NVIDIA сделала ИИ, который воспринимает мир как человек — и отдала его роботам, беспилотникам и умным заводам
NewsMakerCosmos 3 - это главное, чего не хватало настоящей робототехнике.
На конференции GTC Taipei NVIDIA показала набор технологий для физического ИИ . Компания продвигает системы, которым нужно понимать не только текст и картинки, но и реальные объекты, движение, звук, роботов, автомобили и производственные процессы. Новые анонсы охватывают гуманоидных роботов, беспилотный транспорт, выпуск чипов и промышленную автоматизацию.
Главная новинка - Cosmos 3, открытая базовая модель для физического ИИ. NVIDIA описывает её как единую систему для текста, изображений, видео, звуков окружающей среды и действий. Такой набор нужен там, где ИИ должен не просто распознать сцену, а понять, что происходит вокруг, связать обстановку с движением и выбрать следующий шаг.
Глава NVIDIA Дженсен Хуанг связывает развитие физического ИИ с прогрессом в мультимодальных языковых моделях, компьютерном зрении и моделях мира. По его словам, Cosmos 3 должна помочь разработчикам создавать роботов, беспилотные автомобили и системы визуального ИИ, которые воспринимают окружение, рассуждают, планируют и действуют в реальной среде.
Cosmos 3 построена на архитектуре mixture-of-transformers. Разные трансформерные компоненты в ней совмещают рассуждение и генерацию содержимого. NVIDIA видит для модели несколько ролей: визуально-языковая система, модель мира для симуляции физических сред и основа для алгоритмов, которые управляют действиями роботов.
По заявлению NVIDIA, Cosmos 3 обходит ряд открытых моделей в тестах на генерацию мира, политики действий для роботов и понимание визуальной информации. Семейство выходит в нескольких версиях. Cosmos 3 Super рассчитана на более точные задачи в робототехнике и автономном транспорте, а Cosmos 3 Nano - на более быстрое выполнение запросов.
Вместе с моделью NVIDIA выпустила открытые инструменты и навыки для ИИ-агентов, которые работают с физическими задачами. Они разбивают сложную разработку на повторяемые действия и позволяют автоматизировать генерацию данных, симуляцию, обучение, тестирование и развёртывание. Компания видит применение набора в робототехнике, компьютерном зрении, беспилотном транспорте, здравоохранении и промышленных цифровых двойниках.
Для разработчиков роботов NVIDIA представила Isaac GR00T Reference Humanoid Robot - открытую эталонную платформу для гуманоидного робота. В неё входят робот Unitree H2 Plus, манипуляторы Sharpa, бортовой вычислитель Jetson Thor и программный стек Isaac GR00T. Платформа собирает аппаратную часть, симуляцию, обучение и развёртывание в одну рабочую основу.
Использовать Isaac GR00T Reference Humanoid Robot собираются Ai2, ETH Zurich, Stanford Robotics Center и UC San Diego. Готовая конструкция снимает с лабораторий часть инженерной рутины: не нужно заново подбирать корпус, руки, вычислительный модуль и программную среду. Исследователи смогут быстрее перейти к поведению робота, обучению движений и проверке навыков в симуляции и на реальном устройстве.
Отдельный блок посвящён производству полупроводников. NVIDIA сообщила о развитии сотрудничества с TSMC. Тайваньский производитель использует библиотеки CUDA-X и ИИ-модели NVIDIA для вычислительной литографии, моделирования транзисторов, управления технологическими процессами, инспекции пластин и планирования работы фабрик.
Вычислительная литография помогает заранее рассчитать, как рисунок схемы перенесётся на кремниевую пластину при выпуске чипа. Моделирование транзисторов показывает поведение микроскопических элементов ещё до производства. Контроль процессов и проверка пластин помогают находить дефекты раньше, когда отбраковка обходится дешевле, чем после полного цикла.
По данным NVIDIA, TSMC повысила вычислительную эффективность в этих задачах. Производитель также применяет NVIDIA Metropolis и TAO Toolkit для поиска дефектов нанометрового масштаба. Хуанг отметил, что NVIDIA и TSMC почти три десятилетия вместе развивают вычислительные технологии, а теперь ускоренные вычисления и ИИ используют уже внутри фабрик: в проектировании, симуляции, оптимизации и производстве.
Для автономного транспорта NVIDIA представила Alpamayo 2 Super. Это модель рассуждений на 32 млрд параметров, созданная для роботакси. Она должна помогать беспилотным автомобилям понимать дорожную обстановку, планировать движение и реагировать на сложные ситуации.
NVIDIA постепенно собирает набор инструментов для физического ИИ: от синтетических данных и симуляции до обучения, проверки и запуска в реальных устройствах. Cosmos 3 отвечает за базовую модель, Isaac GR00T - за гуманоидных роботов, агентские инструменты - за автоматизацию разработки, а сотрудничество с TSMC показывает, как те же методы заходят в производство микросхем.
На конференции GTC Taipei NVIDIA показала набор технологий для физического ИИ . Компания продвигает системы, которым нужно понимать не только текст и картинки, но и реальные объекты, движение, звук, роботов, автомобили и производственные процессы. Новые анонсы охватывают гуманоидных роботов, беспилотный транспорт, выпуск чипов и промышленную автоматизацию.
Главная новинка - Cosmos 3, открытая базовая модель для физического ИИ. NVIDIA описывает её как единую систему для текста, изображений, видео, звуков окружающей среды и действий. Такой набор нужен там, где ИИ должен не просто распознать сцену, а понять, что происходит вокруг, связать обстановку с движением и выбрать следующий шаг.
Глава NVIDIA Дженсен Хуанг связывает развитие физического ИИ с прогрессом в мультимодальных языковых моделях, компьютерном зрении и моделях мира. По его словам, Cosmos 3 должна помочь разработчикам создавать роботов, беспилотные автомобили и системы визуального ИИ, которые воспринимают окружение, рассуждают, планируют и действуют в реальной среде.
Cosmos 3 построена на архитектуре mixture-of-transformers. Разные трансформерные компоненты в ней совмещают рассуждение и генерацию содержимого. NVIDIA видит для модели несколько ролей: визуально-языковая система, модель мира для симуляции физических сред и основа для алгоритмов, которые управляют действиями роботов.
По заявлению NVIDIA, Cosmos 3 обходит ряд открытых моделей в тестах на генерацию мира, политики действий для роботов и понимание визуальной информации. Семейство выходит в нескольких версиях. Cosmos 3 Super рассчитана на более точные задачи в робототехнике и автономном транспорте, а Cosmos 3 Nano - на более быстрое выполнение запросов.
Вместе с моделью NVIDIA выпустила открытые инструменты и навыки для ИИ-агентов, которые работают с физическими задачами. Они разбивают сложную разработку на повторяемые действия и позволяют автоматизировать генерацию данных, симуляцию, обучение, тестирование и развёртывание. Компания видит применение набора в робототехнике, компьютерном зрении, беспилотном транспорте, здравоохранении и промышленных цифровых двойниках.
Для разработчиков роботов NVIDIA представила Isaac GR00T Reference Humanoid Robot - открытую эталонную платформу для гуманоидного робота. В неё входят робот Unitree H2 Plus, манипуляторы Sharpa, бортовой вычислитель Jetson Thor и программный стек Isaac GR00T. Платформа собирает аппаратную часть, симуляцию, обучение и развёртывание в одну рабочую основу.
Использовать Isaac GR00T Reference Humanoid Robot собираются Ai2, ETH Zurich, Stanford Robotics Center и UC San Diego. Готовая конструкция снимает с лабораторий часть инженерной рутины: не нужно заново подбирать корпус, руки, вычислительный модуль и программную среду. Исследователи смогут быстрее перейти к поведению робота, обучению движений и проверке навыков в симуляции и на реальном устройстве.
Отдельный блок посвящён производству полупроводников. NVIDIA сообщила о развитии сотрудничества с TSMC. Тайваньский производитель использует библиотеки CUDA-X и ИИ-модели NVIDIA для вычислительной литографии, моделирования транзисторов, управления технологическими процессами, инспекции пластин и планирования работы фабрик.
Вычислительная литография помогает заранее рассчитать, как рисунок схемы перенесётся на кремниевую пластину при выпуске чипа. Моделирование транзисторов показывает поведение микроскопических элементов ещё до производства. Контроль процессов и проверка пластин помогают находить дефекты раньше, когда отбраковка обходится дешевле, чем после полного цикла.
По данным NVIDIA, TSMC повысила вычислительную эффективность в этих задачах. Производитель также применяет NVIDIA Metropolis и TAO Toolkit для поиска дефектов нанометрового масштаба. Хуанг отметил, что NVIDIA и TSMC почти три десятилетия вместе развивают вычислительные технологии, а теперь ускоренные вычисления и ИИ используют уже внутри фабрик: в проектировании, симуляции, оптимизации и производстве.
Для автономного транспорта NVIDIA представила Alpamayo 2 Super. Это модель рассуждений на 32 млрд параметров, созданная для роботакси. Она должна помогать беспилотным автомобилям понимать дорожную обстановку, планировать движение и реагировать на сложные ситуации.
NVIDIA постепенно собирает набор инструментов для физического ИИ: от синтетических данных и симуляции до обучения, проверки и запуска в реальных устройствах. Cosmos 3 отвечает за базовую модель, Isaac GR00T - за гуманоидных роботов, агентские инструменты - за автоматизацию разработки, а сотрудничество с TSMC показывает, как те же методы заходят в производство микросхем.