📅 발행일: 2026년 6월 22일 | 🏷️ 카테고리: AI·테크 | ⏱️ 예상 읽기 시간: 약 6분
📋 목차
세상의 물리 법칙을 이해하고, 앞으로 벌어질 장면을 예측하며, 로봇 팔이 어떻게 움직여야 할지 스스로 판단하는 AI가 등장했습니다. NVIDIA가 2026년 6월 1일 공개한 Cosmos 3는 단순한 언어 모델도, 이미지 생성기도 아닙니다. 텍스트·이미지·비디오·소리·행동 데이터를 하나의 모델에서 처리하는 세계 최초 오픈 피지컬 AI 옴니모델(Omni-model)입니다.
로봇 공학자들이 수개월을 들여야 했던 훈련 데이터 생성 작업을 이제는 며칠 만에 끝낼 수 있습니다. 자율주행차 팀이 도로에서 수만 킬로미터를 주행해야 포착할 수 있었던 극단적 상황을 가상으로 무한히 만들어낼 수 있습니다. Cosmos 3가 피지컬 AI 업계에 가져올 변화를 지금 바로 정리합니다.
NVIDIA Cosmos 3란 무엇인가?
NVIDIA Cosmos 3는 NVIDIA가 개발한 물리 세계 파운데이션 모델(World Foundation Model)입니다. 기존 LLM이 텍스트만 처리했던 것과 달리 텍스트, 이미지, 비디오, 주변 소리, 행동 데이터를 동시에 이해하고 생성할 수 있습니다.
핵심 목표는 로봇과 자율주행 시스템이 물리 법칙을 이해하는 능력을 갖추게 하는 것입니다. 물체가 충돌하면 어떻게 되는지, 컨베이어 벨트 위 물체가 어떤 궤적으로 움직이는지, 비 오는 날 도로의 마찰 계수가 어떻게 달라지는지 — 이런 물리적 상식을 AI가 학습할 수 있도록 설계되었습니다.
Cosmos 3는 Hugging Face에 완전 공개(오픈 웨이트)되어 있으며, 두 가지 버전으로 출시되었습니다.
| 버전 | 구성 | 적합 용도 |
|---|---|---|
| Nano | 추론 8B + 생성 8B | 빠른 추론, 프로토타입 개발, 엣지 디바이스 |
| Super | 추론 32B + 생성 32B | 높은 물리 정확도의 로봇·AV 시뮬레이션 |
혁신적인 아키텍처: 혼합 전문가 트랜스포머(MoT)
Cosmos 3의 핵심 기술은 혼합 트랜스포머(Mixture-of-Transformers, MoT) 아키텍처입니다. 기존 단일 트랜스포머와 달리 두 개의 전문 트랜스포머가 협력하는 구조입니다.
- 추론 트랜스포머(Reasoning Transformer): 입력된 장면의 물체 간 상호작용, 공간적·시간적 관계를 분석합니다.
- 생성 전문가 트랜스포머(Expert Generation Transformer): 분석 결과를 바탕으로 미래 비디오 프레임과 행동 궤적을 생성합니다.
이 구조 덕분에 모델은 "먼저 생각하고, 그 다음 생성하는" 프로세스를 따릅니다. 단순히 패턴을 모방하는 것이 아니라 물리 법칙에 근거한 예측이 가능해집니다.
훈련 데이터도 방대합니다. 20조 개 토큰에 달하는 멀티모달 데이터를 학습했으며, 여기에는 약 10억 장의 이미지와 4억 개의 실제·합성 비디오가 포함됩니다.
실제 활용 사례: 로봇과 자율주행의 판도를 바꾸다
로봇 정책 학습 가속화
Cosmos 3는 세계 행동 모델(World Action Models, WAMs) 개발의 핵심 백본으로 활용됩니다. 로봇이 새로운 작업을 배우려면 수천 번의 시행착오가 필요한데, 현실에서 이 과정을 반복하는 것은 비용과 시간이 막대합니다.
Cosmos 3는 다양한 작업 궤적을 가상 환경에서 대규모로 생성할 수 있어, 실제 로봇 테스트 없이도 정책 모델을 훈련할 수 있게 해줍니다. 파트너사인 Agile Robots는 산업용 로봇 Thor 3와 FR3에 Cosmos 3를 활용해 자율 작업 학습 속도를 크게 높였다고 발표했습니다.
자율주행차의 엣지 케이스 시나리오 생성
자율주행 개발에서 가장 어려운 부분은 이례적인 상황('엣지 케이스')입니다. 갑자기 나타난 공사 구간, 폭설 속 교차로, 역주행 차량 — 이런 상황은 도로에서 직접 마주치기 전까지는 데이터를 확보하기 어렵습니다.
Cosmos 3는 이런 시나리오를 가상으로 무한히 생성할 수 있습니다. 자율주행 기업 Waabi와 Wayve는 Cosmos 3를 활용해 안전 검증용 극단적 주행 시나리오를 생성하는 프로젝트를 이미 진행 중입니다.
NVIDIA Cosmos 코얼리션: 업계 연합 결성
NVIDIA는 Cosmos 3 발표와 함께 Cosmos Coalition(코스모스 연합)을 출범했습니다. 세계 최고 수준의 AI 연구소와 로봇 기업들이 참여해 차세대 오픈 월드 모델 개발을 공동으로 추진합니다.
- Agile Robots — 휴머노이드 로봇 행동 학습
- Black Forest Labs — 이미지·비디오 생성 연구
- Runway — 비디오 생성·편집 AI
- Skild AI — 로봇 범용 정책 모델
- Waabi — 자율주행 소프트웨어 개발
- Wayve — 자율주행 엣지 케이스 검증
이 연합의 핵심 목적은 Cosmos 3를 기반으로 각 영역에서 특화된 모델을 개발하고, 이를 다시 오픈소스로 생태계에 환원하는 것입니다. 오픈 이노베이션 방식으로 피지컬 AI 발전을 가속하겠다는 NVIDIA의 전략이 담겨 있습니다.
✅ 핵심 정리
- NVIDIA Cosmos 3: 2026년 6월 1일 출시, 세계 최초 오픈 피지컬 AI 옴니모델
- 텍스트·이미지·비디오·소리·행동 데이터를 단일 모델로 처리하는 진정한 옴니모달 구조
- 혼합 트랜스포머(MoT) 아키텍처: 추론 후 생성하는 2단계 처리
- Nano(8B+8B)와 Super(32B+32B) 두 버전을 Hugging Face에 무료 공개
- 로봇 훈련 주기를 수개월 → 수일로 단축, AV 엣지 케이스 무한 생성
- 20조 토큰 학습 데이터 (이미지 10억 장 + 영상 4억 개)
- Agile Robots, Runway, Waabi, Wayve 등과 Cosmos Coalition 공동 출범
자주 묻는 질문 (FAQ)
Q: NVIDIA Cosmos 3는 무료로 사용할 수 있나요?
A: 네, Cosmos 3의 모델 가중치(웨이트)는 Hugging Face에 완전 오픈 웨이트로 공개되어 있습니다. 상업적 사용 시 NVIDIA의 라이선스 조건을 별도로 확인해야 합니다.
Q: Cosmos 3와 이전 버전의 차이점은 무엇인가요?
A: Cosmos 3는 텍스트, 이미지, 비디오, 소리, 행동 데이터를 하나의 모델에서 처리하는 첫 번째 옴니모달 버전입니다. 혼합 트랜스포머(MoT) 아키텍처를 도입해 물리적 추론 능력이 이전 세대 대비 크게 향상되었으며, 훈련 주기도 수개월에서 수일로 줄었습니다.
Q: 일반 개발자도 Cosmos 3를 활용할 수 있나요?
A: 가능합니다. NVIDIA 개발자 포털과 기술 블로그에서 Cosmos 3 활용 가이드를 제공합니다. 로봇 개발, 시뮬레이션 환경 구축, 합성 훈련 데이터 생성 등 다양한 분야에 응용할 수 있습니다.
결론
NVIDIA Cosmos 3는 피지컬 AI의 새로운 기준을 제시했습니다. 로봇이 처음 보는 환경에서도 적응하고, 자율주행차가 극단적 상황을 미리 학습할 수 있게 하는 이 기술은 AI가 디지털 세계를 넘어 물리 세계로 확장되는 전환점이 될 것입니다.
오픈 웨이트로 공개된 만큼 Cosmos 3의 실질적인 영향력은 개발자 커뮤니티가 어떻게 활용하느냐에 달려 있습니다. 로봇 개발이나 자율주행 시뮬레이션에 관심 있는 분이라면, 지금 당장 Hugging Face에서 Cosmos 3를 내려받아 시작해보세요.
'[POLF] 재테크 > 기술' 카테고리의 다른 글
| 스페이스X, AI 코딩 도구 Cursor 84조 원에 인수 ： 개발자 생태계 대격변 (0) | 2026.06.18 |
|---|---|
| 구글 I/O 2026: AI 검색 25년 만의 대변혁, 제미나이 3.5 플래시 완전 정리 (0) | 2026.06.15 |
| 애플 WWDC 2026: iOS 27 새로운 Siri AI, 구글 제미나이 탑재로 완전 변신 (0) | 2026.06.10 |
| 엔지니어링 플라스틱(Engineering plastics) 종류, 특성 (0) | 2023.02.16 |
| 세상을 혁신으로 이끌 2023년 10대 기술 : 배터리 재활용 기술 (0) | 2023.02.14 |
댓글