Коротко
- Cosmos Data Factory предлагает пять шаблонов облачных рабочих процессов.
- Cosmos Curator поддерживает обработку мультимодальных и мультисенсорных входных данных.
- Cosmos Framework включает инструменты тонкой настройки, обучения с подкреплением и оптимизации моделей.
- Варианты Cosmos 3 Nano предназначены для симуляционного тестирования политик автономных автомобилей и двуруких роботов.
NVIDIA расширила платформу Cosmos новыми инструментами подготовки данных, обучения и симуляции для команд, разрабатывающих мировые модели. Компания опубликовала объявление в блоге 22 октября; часть обновлений была представлена в рамках анонсов на GTC Berlin. По словам NVIDIA, Cosmos объединяет инструменты работы с данными, моделями и оптимизацией, чтобы системы физического ИИ могли понимать и симулировать реальный мир.
Пять шаблонов рабочих процессов для подготовки данных
Cosmos Data Factory ориентирована на масштабирование процессов разметки, упорядочивания, разнообразия и оценки данных. Cosmos Curator обрабатывает обучающие видеодатасеты с помощью GPU и теперь поддерживает новые блоки для работы с мультимодальными и мультисенсорными входными данными.
Data Factory включает пять шаблонов облачных рабочих процессов, доступных через GitHub, Microsoft Azure, Nebius и CoreWeave. Эти готовые процессы рассчитаны на разные задачи подготовки данных:
В проектах автономного вождения записи поездок упорядочиваются и размечаются; для редких или сложных для фиксации ситуаций можно создавать дополнительные примеры.
Поток визуального расширения признаков меняет внешний вид объектов, создавая более разнообразный контент для визуального поиска.
Шаблон видео событий формирует из отдельных изображений движущиеся примеры редких или потенциально опасных с точки зрения безопасности ситуаций.
Создание изображений дефектов предназначено для подготовки данных контроля качества по неисправностям печатных плат, металла и стекла.
Рабочий процесс расширения видеоданных меняет погодные условия и освещение в кадре, сохраняя общую композицию сцены.
По данным NVIDIA, Porsche использует Cosmos Data Factory через Voxel51 и Microsoft Azure для создания общего цикла работы с данными автономного вождения между брендами Volkswagen Group. Компания ожидает, что такой подход позволит сократить повторные физические тестовые поездки на 90%, а сроки разработки — до 85%. Эти показатели являются прогнозами NVIDIA; в объявлении они не представлены как результаты независимых измерений.
Обучение моделей и оптимизация
Cosmos Framework описывается как открытая модульная среда для обучения и оптимизации моделей. NVIDIA сообщает, что разработчики могут адаптировать открытые модели, такие как GR00T, Alpamayo, QWEN и Pi0.5, с помощью тонкой настройки или обучения с подкреплением. С этими инструментами также могут работать совместимые модели Hugging Face. После обучения модели можно оптимизировать и готовить к развертыванию с помощью дистилляции и квантования.
В примере MicroAGI, приведённом в объявлении, Cosmos 3 повторно обучили на видео, показывающих взаимодействие людей с объектами. Затем модель рассуждения с 32 миллиардами параметров дистиллировали в Nano-модель с 8 миллиардами параметров; как отмечается, точность при этом не снизилась. Этот результат относится к конкретному примеру, которым поделилась компания, и не означает, что такой же результат будет достигнут с другими моделями или задачами.
Влияние на симуляцию и проектные процессы
Новые симуляционные варианты Cosmos 3 Nano предназначены для тестирования политик автономных автомобилей и двуруких роботов в воспроизводимых сценариях с несколькими ракурсами и сенсорными данными. NVIDIA также сообщает, что микросервисы Cosmos 3 NIM в проверенных конфигурациях обеспечивают до двукратного ускорения инференса без потери качества. По заявлению компании, Metropolis Blueprint 3.3 для поиска и суммаризации видео помогает анализировать на 40% больше видеопотоков на том же GPU.
Для команд, работающих в архитектуре и дизайне интерьеров, анонс не предлагает новых инструментов моделирования или визуализации. Однако в проектах, использующих данные физических сред, например при инспекции зданий и объектов, можно рассмотреть создание синтетических данных о дефектах или событиях. Для художников archviz в объявлении не указаны конкретные интеграции с программами или требования к оборудованию. Поэтому перед внедрением рабочего процесса следует проверить совместимость с используемыми инструментами, потребность в GPU и условия доступа к соответствующим сервисам.
Источники
Источников: 1Тексты источников не перепечатываются; короткие цитаты отмечены, остальное — наш пересказ и комментарий.
Практическая ценность обновления Cosmos — в том, что создание синтетических данных объединено на одной платформе с инструментами обучения и симуляции. Командам, которым нужно работать с редкими или опасными сценариями, не воссоздавая их в реальности, стоит изучить этот подход. Однако считать его непосредственным инструментом для архитектурных и archviz-студий нельзя: в анонсе не говорится об интеграции с распространёнными программами для проектирования.
Командам в Турции перед принятием решения следует уточнить доступность облачных сервисов, требования к GPU, порядок работы с имеющимися данными и условия лицензирования. Заявленные показатели производительности основаны на данных самой NVIDIA и не должны учитываться в расчётах инвестиций без проверки в условиях конкретного проекта. Более конкретными выглядят сценарии применения в инспекции объектов и робототехнике.
Частые вопросы
Какие шаблоны рабочих процессов предлагает Cosmos Data Factory?
Пять blueprint предназначены для работы с данными автономного вождения, расширения визуальных признаков, видео событий, изображений дефектов и расширения видеоданных.
Какие модели можно адаптировать с помощью Cosmos Framework?
NVIDIA сообщает, что с помощью тонкой настройки и обучения с подкреплением можно адаптировать GR00T, Alpamayo, QWEN и Pi0.5, а также совместимые модели Hugging Face.
Для чего будет использоваться Cosmos 3 Nano?
Новые варианты предназначены для тестирования политик автономных автомобилей и двуруких роботов в воспроизводимых симуляционных сценариях с несколькими ракурсами и сенсорными данными.
