TraVisionLM: модель на 875 млн параметров, понимающая изображения и турецкий язык

TraVisionLM, разработанная Ucsahin и опубликованная на Hugging Face, — визуально-языковая модель, предназначенная для ответов на инструкции к изображениям на турецком языке. Дата публикации в карточке модели не указана, поэтому установить день анонса нельзя. Модель на 875 млн параметров рассчитана на создание описаний изображений, ответы на базовые вопросы о них и дообучение для различных задач.

Как объединены визуальный и языковой компоненты?

TraVisionLM сочетает визуальный энкодер SigLIP с языковой моделью ytu-ce-cosmos/turkish-gpt2-large. Связующим звеном между двумя компонентами служит визуальный проектор. Разработчик отмечает, что архитектура модели близка к PaliGemma, однако в проектор и механизм авторегрессионного языкового моделирования внесены некоторые изменения.

Вместо обучения обоих компонентов с нуля использовались уже существующие модели. Согласно карточке модели, для выравнивания визуальных и текстовых признаков по рецепту обучения LLaVA на 500 тыс. пар изображение–текст обучался только визуальный проектор. Затем для задач краткого и подробного описания, а также базовых вопросов о визуальном содержимом использовали более 1 млн троек «изображение — запрос — ответ».

Какие задачи поддерживаются?

Пользователь может дать модели инструкцию на турецком, например «Кратко опиши изображение» или «Расскажи подробно». Среди базовых сценариев — вопросы о главном объекте изображения, цвете предметов или содержании сцены. Разработчик указывает, что при создании кратких описаний модель реже склонна к галлюцинациям, чем при подробном описании и ответах на открытые вопросы.

У модели есть и важные ограничения. TraVisionLM не принимает несколько изображений одновременно, поэтому сравнивать два изображения с её помощью нельзя. Также она не подходит для сложных многошаговых диалогов: контекст предыдущих вопросов не сохраняется. Кроме того, модель не обучалась для OCR, сегментации и обнаружения нескольких объектов. Хотя разработчик указал отдельную модель, дообученную для обнаружения объектов, это не отменяет ограничений базовой модели в перечисленных задачах.

Чем она может быть полезна в архитектуре и визуализации?

Архитектурные и интерьерные команды могут попробовать модель для создания краткого описания рендера или референсного изображения на турецком языке либо задать базовый вопрос об отдельном элементе. Такой сценарий может помочь на этапах описания изображения и первичной оценки, однако нет данных о том, что модель специально обучалась на архитектурных изображениях. Поэтому её выводы не следует считать проверенной экспертной оценкой пространственных характеристик, материалов или проектных решений.

Разработчик заявляет о совместимости модели с библиотекой Transformers и сообщает, что для загрузки, использования и дообучения внешние библиотеки не требуются. Указанная лицензия — Apache 2.0. В карточке модели нет сведений о требованиях к оборудованию или результатах оценки производительности, поэтому командам не стоит делать выводы о необходимой рабочей станции или скорости генерации, не протестировав модель в собственной среде.

Какие ограничения учитывать при тестировании?

Для первых тестов можно использовать инструкции для создания кратких описаний и сравнивать результат с исходным изображением. Ответы с подробным описанием и на вопросы нужно проверять: модель может добавлять детали, которых нет на изображении. Ограничение одним изображением, отсутствие памяти о предыдущих сообщениях и поддержки OCR сужают возможности её применения при работе с планшетами, чертежами и несколькими изображениями. Если требуется обнаружение объектов, следует оценить возможности отдельно указанной в карточке дообученной версии.