Коротко
- Gemma 3 и более поздние модели можно использовать для анализа визуального контента.
- В примере с Gemma 4 применяется конвейер image-text-to-text из библиотеки Transformers.
- В руководстве рассматриваются описание сцен, анализ нескольких изображений, OCR и обнаружение объектов.
- В Gemma 4 можно выбрать бюджет визуальных токенов: 70, 140, 280, 560 или 1120.
Чему вы научитесь в этом руководстве?
Возможности Gemma по пониманию изображений можно использовать не только для описания архитектурной визуализации. В руководстве Google указано, что Gemma 3 и более поздние модели могут описывать содержимое изображений, распознавать объекты, классифицировать сцены и делать выводы о визуальном контексте. Также приведены примеры обработки нескольких изображений в одном запросе, распознавания текста на изображении (OCR) и генерации координат ограничивающих рамок для объектов.
Это практическое руководство посвящено использованию модели для первичного описания проектных изображений командами архитекторов и интерьерных дизайнеров, анализа изображений по конкретным вопросам и составления списка видимых элементов. Результат модели следует рассматривать как требующий проверки аналитический инструмент, а не как основу для проектных решений или точную техническую документацию: источник не обещает ни достоверности, ни точности архитектурных измерений.
Требования
В примере из официального руководства библиотека Transformers используется вместе с PyTorch и accelerate для установки пакетов Python. Для Transformers указана версия 5.10.1 или выше. В качестве идентификатора модели приведён google/gemma-4-E2B-it; для обработки изображений и текстовых входных данных настраивается pipeline с задачей image-text-to-text.
pip install torch accelerate
pip install 'transformers>=5.10.1'В этом руководстве не указаны требования к оборудованию для установки и локального запуска. Поэтому совместимость имеющегося компьютера нужно отдельно проверить в выбранной среде выполнения. В примере используются device_map='auto' и dtype='auto' — это параметры конфигурации pipeline, показанной в руководстве.
Шаги
1. Настройте pipeline модели
В примере ниже MODEL_ID соответствует идентификатору модели из руководства. Pipeline настроен на обработку пользовательских сообщений с изображениями и текстом.
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
task='image-text-to-text',
model=MODEL_ID,
device_map='auto',
dtype='auto'
)2. Задайте вопрос по проектному изображению
В исходном примере изображение загружается по URL, а в сообщении передаются и изображение, и текст. В своей работе замените значение img_url на адрес изображения для анализа. Промпт ниже адаптирует показанный в источнике способ задавать вопросы об изображении для архитектурного анализа.
Bu mimari görselde görünen mekânı tarafsız biçimde tarif et. Belirgin yapı elemanlarını, yüzeyleri, açıklıkları, ışık koşullarını ve kadrajda seçilebilen nesneleri ayrı ayrı belirt. Görselde doğrulanamayan ölçüleri veya malzemeleri tahmin etme.Этот промпт просит модель описать изображение словами и отдельно указывает не выдавать неопределённые сведения за достоверные. Сопоставьте полученное описание с проектными чертежами и информацией о материалах.
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
{
'role': 'user',
'content': [
{'type': 'image', 'url': img_url},
{'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
]
}
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])В исходном примере параметр max_new_tokens установлен на 512. Здесь сохранена конфигурация примера; не следует приписывать этому значению какие-либо гарантии производительности или качества, не указанные в источнике.
3. Сравните два изображения
В руководстве Gemma показано, что в одном запросе можно передать несколько изображений и задать для них общую текстовую инструкцию. Например, этот подход можно попробовать для сравнения двух ракурсов одного интерьера или для отдельного описания видимых особенностей двух вариантов визуализации. Не следует считать, что модель правильно сопоставит все детали.
İki görseli ayrı ayrı incele. Her birinde görülebilen mekân özelliklerini ve mobilya düzenini kendi başlığı altında özetle. Yalnızca görselde seçilebilen ortak ve farklı unsurları belirt; açı veya kadraj farkını tasarım değişikliği olarak yorumlama.Добавьте два изображения в список сообщений как отдельные элементы image, а затем передайте инструкцию в элементе text. В примере из руководства показано, что в одном сообщении можно использовать несколько изображений; архитектурный промпт выше — новый пример для практического применения.
4. Прочитайте текст на изображении
В источнике на примере OCR показано, что модели могут распознавать многоязычный текст на изображениях. Эту возможность можно попробовать, чтобы извлечь текст с указателя, видимой подписи на планшете или вывески на фотографии интерьера. При этом источник не приводит конкретных показателей точности.
Görselde okunabilen tüm yazıları, konumlarını kısaca belirterek aktar. Emin olmadığın karakterleri tahmin etmek yerine okunaksız olarak işaretle. Görselde yazı yoksa bunu söyle.Проверяйте буквы и контекст чисел по исходному изображению. Особенно важно вручную перепроверять мелкий текст на планшетах и в скриншотах с низким разрешением, а не переносить результат модели в документацию для сдачи без проверки.
5. Обнаружение объектов и выбор разрешения
В примере обнаружения объектов из руководства найденные объекты представлены вместе с метками и координатами, нормализованными относительно сетки 1000 × 1000. Указано, что эти координаты необходимо адаптировать к фактическому размеру изображения. Поэтому не считайте их непосредственно пиксельными координатами: в примере из источника координаты также масштабируются с учётом ширины и высоты изображения.
Модели Gemma 4 поддерживают переменное разрешение. Можно выбрать бюджет визуальных токенов 70, 140, 280, 560 или 1120. В документации объясняется, что больший бюджет позволяет сохранить больше визуальных деталей, а меньший может ускорить вывод за счёт обработки меньшего числа патчей. Это выбор между скоростью и детализацией; источник не утверждает, что для каждого проектного изображения существует одно идеальное значение. Для задач, требующих высокой детализации, например обнаружения объектов, рассмотрите более высокий бюджет и сравните результаты при разных значениях.
Типичные ошибки
Интерпретация координат как пиксельных: Согласно руководству, координаты рамок, возвращаемые при обнаружении объектов, нормализованы относительно масштаба 1000 × 1000. Если не масштабировать их с учётом фактических ширины и высоты изображения, рамки могут отображаться не в тех местах.
Выдача неподтверждённых сведений за точные: Материал поверхности, размеры помещения или назначение невидимого элемента не всегда можно достоверно определить по изображению. Безопаснее просить модель описывать только различимые элементы и проверять результат по проектным данным.
Игнорирование различий ракурса при анализе нескольких изображений: На двух изображениях одно и то же помещение может быть показано с разных ракурсов. В промпте для сравнения явно укажите, что изображения нужно рассматривать отдельно, а различия кадрирования не следует считать изменениями дизайна.
Игнорирование бюджета токенов: Разрешение изображения и бюджет токенов влияют на количество обрабатываемых визуальных деталей. При низком бюджете мелкие элементы могут быть пропущены в задачах, требующих детализации; учитывайте также, что высокий бюджет означает обработку большего числа патчей и создаёт компромисс между скоростью и детализацией.
Что дальше: применение в архитектуре и визуализации
Архитектурные бюро, интерьерные дизайнеры и команды archviz могут попробовать этот метод для предварительного просмотра визуального архива, описания сцен, фиксации видимых различий между двумя вариантами или проверки текста на изображениях. Студентам также может быть полезно попросить модель описать референсное изображение, а затем сравнить ответ с собственными наблюдениями. Это возможные способы применения описанных в документации возможностей понимания изображений и обработки нескольких изображений, а не специальная функция архитектурного продукта, заявленная источником.
В следующем эксперименте начните с одного вопроса, ограничьте промпт целями проекта и проверяйте результат по изображению. При обнаружении объектов правильно интерпретируйте масштаб координат; отдельно оцените бюджет токенов, влияющий на детализацию. В руководстве нет сведений о стоимости лицензии модели, требованиях к конкретному оборудованию или совместимости с архитектурным ПО. Перед принятием решений по этим вопросам отдельно изучите условия выбранного способа развертывания и среды выполнения.
Источник и лицензия
Это руководство адаптировано на турецкий язык на основе примеров из документации Google по пониманию изображений в Gemma. Источник распространяется по лицензии CC BY 4.0. Архитектурные промпты подготовлены специально для этой статьи.
Источники
Источников: 1Тексты источников не перепечатываются; короткие цитаты отмечены, остальное — наш пересказ и комментарий.
Бюро и студенты в Турции могут попробовать возможности Gemma по пониманию изображений для предварительных задач: например, быстро описывать проектные изображения и систематизировать референсы. Команды, которым приходится на первом этапе просматривать множество изображений, должны использовать результат как заметку для проверки, а не как основу для проектного решения.
Перед началом работы важно отдельно проверить требования к оборудованию и условия лицензирования: источник не даёт по ним однозначной информации. Бюджет токенов также требует выбора между скоростью и детализацией. Не следует считать совместимость с архитектурным ПО гарантированной; OCR и координаты объектов нужно проверять на реальных изображениях.
Частые вопросы
Может ли Gemma 4 анализировать изображения?
В руководстве Google указано, что Gemma 3 и более поздние модели можно использовать для описания визуального содержимого, распознавания объектов, анализа сцен и выводов на основе визуального контекста.
Можно ли обработать несколько изображений в одном запросе Gemma 4?
Да. В руководстве показано, что в одном сообщении можно передать несколько изображений и обработать их с помощью общей текстовой инструкции.
Какие варианты бюджета визуальных токенов доступны в Gemma 4?
В руководстве перечислены бюджеты 70, 140, 280, 560 и 1120 токенов. Более высокий бюджет позволяет сохранить больше визуальных деталей, а более низкий — обрабатывать меньше патчей.



