Представлена Muse Spark Open: мультимодальная модель на 816 млрд параметров

Мультимодальная модель с открытыми весами Muse Spark Open от Meta была представлена 15 октября 2026 года в блоге Hugging Face. Модель, обученная для рабочих процессов программирования, обрабатывает текстовые, графические, аудио- и видеоданные и генерирует текст. В ней около 816 млрд параметров; благодаря архитектуре Mixture-of-Experts (MoE) для каждого токена активируется около 42 млрд параметров.

Какие типы данных обрабатывает Muse Spark Open?

Модель может работать с разными типами медиа в рамках одной системы. Изображения и видеокадры передаются языковой модели через энкодер восприятия, а аудио — через отдельный аудиоэнкодер. В публикации Hugging Face приводятся примеры чтения снимков экрана, прослушивания голосовых заметок и анализа записей экрана. Модель генерирует только текст.

По умолчанию видео обрабатывается с частотой 2 кадра в секунду; максимум — 96 кадров. Частоту кадров можно повысить, однако, как отмечается в источнике, это может увеличить потребление памяти и задержку предварительной обработки. При прямой обработке аудио ожидаются монофонический сигнал и частота дискретизации 24 кГц. Контекстное окно модели достигает 1 млн токенов с учётом и текстовых, и медиатокенов.

Архитектура MoE и требования к оборудованию

В каждом слое MoE модели Muse Spark Open предусмотрено 256 экспертов, из которых для каждого токена выбираются 8. Благодаря такой схеме во время вычислений активными остаются около 42 млрд параметров. При этом в памяти должны находиться все эксперты. Поэтому число активных параметров само по себе не показывает, сколько памяти потребуется для запуска всей модели.

Согласно техническим сведениям, опубликованным Hugging Face, файлы весов BF16 в формате safetensors занимают около 1,5 ТБ. Для запуска версии BF16 с Transformers указаны 4 узла с 8 графическими процессорами H200, а для версии NVFP4 — один узел B200. NVFP4 описывается как 4-битный формат, подготовленный для графических процессоров NVIDIA Blackwell. В публикации также приводится оценка: для контекста в полный 1 млн токенов в BF16 может потребоваться около 266 ГБ KV-кэша.

Программирование и варианты развёртывания

Модель обучалась с упором на рабочие процессы разработчиков, например рефакторинг нескольких файлов и длительную отладку. Она также поддерживает вызов инструментов и может выполнять длительные задачи, планируя действия, предпринимая их, анализируя результаты и исправляя собственные ошибки. Это указывает на то, что основное назначение модели — не непосредственная генерация изображений, а программирование и работа с инструментами на основе мультимодальных данных.

В публикации Hugging Face описаны компоненты MuseSparkForConditionalGeneration и MuseSparkProcessor для Transformers. Для настройки распределённого запуска используется DistributedConfig. Также в публикации приведены ссылки на инструкции по запуску с llama.cpp, vLLM и SGLang. В опубликованном тексте не указаны цены и подробности лицензии на использование; перед развёртыванием необходимо отдельно изучить лицензию и требования к оборудованию в репозитории весов.

Влияние на рабочие процессы в архитектуре и визуализации

Для архитекторов, дизайнеров интерьеров и команд визуализации практическая ценность модели может заключаться в возможности анализировать изображения и видеозаписи вместе с текстом. Например, можно задавать вопросы о снимках экрана или записи рабочего процесса в рамках проектной и технической оценки. Однако в источнике не заявлены плагины для архитектурного ПО или специальная функция анализа рендеров. Следовательно, это не существующая функция, а возможный сценарий использования, вытекающий из поддержки мультимодальных данных.

Главное препятствие — оборудование. Указанные конфигурации требуют систем с очень большим объёмом памяти, поэтому офисам, рассматривающим локальный запуск модели, не стоит ориентироваться только на число активных параметров на токен. Необходимо также учитывать формат весов, совместимость с графическими процессорами, потребность в памяти и лицензионные условия.