Últimas noticias
TutorialesMariGemma

Análisis de imágenes arquitectónicas con Gemma 4: instalación y uso en Python

Gemma 3 y los modelos posteriores pueden utilizarse para analizar imágenes y realizar tareas como describir escenas, reconocer textos y localizar objetos. Esta guía explica los pasos básicos para probar Gemma 4 con Python y Transformers en imágenes arquitectónicas.

Dos visualizaciones de interiores comparadas sobre la mesa de un equipo de arquitecturaImagen IA
Imagen ilustrativa generada con IA.Imagen: 3dsınıfı / FCA AI

En resumen

  1. Gemma 3 y los modelos posteriores pueden utilizarse para analizar contenido visual.
  2. El ejemplo con Gemma 4 usa el pipeline image-text-to-text de la biblioteca Transformers.
  3. La guía aborda la descripción de escenas, el análisis de varias imágenes, el OCR y la detección de objetos.
  4. En Gemma 4, el presupuesto de tokens de imagen puede establecerse en 70, 140, 280, 560 o 1120.

¿Qué aprenderás en esta guía?

Las funciones de comprensión visual de Gemma pueden utilizarse para tareas que van más allá de pedir una descripción de una imagen arquitectónica. La guía de Google señala que Gemma 3 y los modelos posteriores pueden describir el contenido de las imágenes, reconocer objetos, clasificar escenas y hacer inferencias sobre el contexto visual. También ofrece ejemplos para procesar varias imágenes en una misma solicitud, reconocer el texto de una imagen (OCR) y generar las coordenadas de cuadros delimitadores para los objetos.

Esta aplicación se centra en ayudar a los equipos de arquitectura e interiorismo a describir imágenes de proyectos en una primera fase, examinarlas mediante preguntas específicas o enumerar los elementos que aparecen en ellas. El resultado del modelo debe considerarse una ayuda para el análisis que hay que verificar, no una decisión de diseño ni documentación técnica con medidas: la fuente no promete garantías de exactitud ni precisión para mediciones arquitectónicas.

Requisitos

El ejemplo de la guía oficial utiliza la biblioteca Transformers junto con PyTorch y accelerate para instalar los paquetes de Python. El documento especifica la versión 5.10.1 o posterior de Transformers. El identificador de modelo del ejemplo es google/gemma-4-E2B-it; se configura un pipeline con la tarea image-text-to-text para procesar entradas de imagen y texto.

python
pip install torch accelerate
pip install 'transformers>=5.10.1'

Esta guía no especifica los requisitos de hardware necesarios para la instalación y la ejecución local. Por eso, hay que comprobar por separado si el equipo disponible es suficiente en el entorno de ejecución. El ejemplo utiliza device_map='auto' y dtype='auto'; ambos forman parte de la configuración del pipeline que muestra la guía.

Pasos de implementación

1. Configura el pipeline del modelo

En el ejemplo siguiente, MODEL_ID se asigna al identificador de modelo indicado en la guía. El pipeline se configura para procesar mensajes de usuario que incluyen imágenes y texto.

python
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
    task='image-text-to-text',
    model=MODEL_ID,
    device_map='auto',
    dtype='auto'
)

2. Haz una pregunta sobre una imagen del proyecto

El ejemplo de la fuente carga la imagen desde una URL y envía la imagen y el texto juntos en el contenido del mensaje. En tu caso, sustituye el valor de img_url por una dirección que permita acceder a la imagen que quieres analizar. El prompt siguiente adapta el método de consulta visual que muestra la fuente a una inspección arquitectónica.

Prompt
Bu mimari görselde görünen mekânı tarafsız biçimde tarif et. Belirgin yapı elemanlarını, yüzeyleri, açıklıkları, ışık koşullarını ve kadrajda seçilebilen nesneleri ayrı ayrı belirt. Görselde doğrulanamayan ölçüleri veya malzemeleri tahmin etme.

Este prompt pide al modelo que describa la imagen mediante texto y le indica expresamente que no presente como hechos ciertos los elementos ambiguos. Compara la descripción generada con los planos del proyecto y la información sobre los materiales.

python
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
    {
        'role': 'user',
        'content': [
            {'type': 'image', 'url': img_url},
            {'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
        ]
    }
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])

En el ejemplo de la fuente, max_new_tokens se establece en 512. Aquí también se sigue la configuración del ejemplo; no debe suponerse un resultado de rendimiento o calidad distinto del indicado en la fuente para otra longitud de salida.

3. Analiza dos imágenes juntas

La guía de Gemma muestra que se pueden proporcionar varias imágenes en una misma solicitud y darles una instrucción de texto común. Este enfoque puede probarse, por ejemplo, para comparar dos vistas del mismo interior o resumir por separado las características visibles de dos imágenes alternativas. No se debe dar por sentado que el modelo relacionará correctamente todos los detalles.

Prompt
İki görseli ayrı ayrı incele. Her birinde görülebilen mekân özelliklerini ve mobilya düzenini kendi başlığı altında özetle. Yalnızca görselde seçilebilen ortak ve farklı unsurları belirt; açı veya kadraj farkını tasarım değişikliği olarak yorumlama.

Añade las dos imágenes a la lista de mensajes como elementos image independientes y, después, envía la instrucción en un elemento text. El ejemplo de la guía muestra que se pueden incluir varias imágenes en un mismo mensaje; el prompt arquitectónico de aquí es un ejemplo nuevo, preparado para esta aplicación.

4. Lee el texto de una imagen

La fuente muestra, mediante un ejemplo de OCR, que los modelos pueden reconocer texto en varios idiomas dentro de imágenes. Esta función puede probarse para examinar como texto un letrero de señalización visible en una imagen, una etiqueta de un plano o un cartel en una fotografía de interiores. No obstante, la fuente no proporciona una tasa de precisión específica.

Prompt
Görselde okunabilen tüm yazıları, konumlarını kısaca belirterek aktar. Emin olmadığın karakterleri tahmin etmek yerine okunaksız olarak işaretle. Görselde yazı yoksa bunu söyle.

Al utilizar el texto de una imagen, comprueba las letras y el contexto de los números en la imagen original. Sobre todo en textos pequeños de planos o capturas de pantalla de baja resolución, verifica manualmente el resultado en vez de copiarlo directamente a la documentación final.

5. Detección de objetos y elección de resolución

El ejemplo de detección de objetos de la guía expresa los objetos encontrados con sus etiquetas y coordenadas normalizadas según una cuadrícula de 1000 × 1000. Se indica que estas coordenadas deben adaptarse a las dimensiones reales de la imagen. Por tanto, no interpretes directamente las coordenadas del resultado como posiciones en píxeles: el ejemplo de la fuente también las escala según el ancho y el alto de la imagen.

Los modelos Gemma 4 admiten resolución variable. El presupuesto de tokens de imagen puede establecerse en 70, 140, 280, 560 o 1120. El documento explica que un presupuesto más alto puede conservar más detalles visuales, mientras que uno más bajo puede acelerar la inferencia al procesar menos parches. Se trata de elegir entre velocidad y nivel de detalle; la fuente no afirma que exista un único valor ideal para todas las imágenes de un proyecto. En tareas que requieren detalle, como la detección de objetos, considera un presupuesto mayor y comprueba los resultados con distintos valores.

Errores frecuentes

Interpretar las coordenadas como píxeles: Según la guía, las coordenadas de los cuadros devueltos por la detección de objetos están normalizadas según una escala de 1000 × 1000. Si no se escalan usando el ancho y el alto reales de la imagen, es posible que los cuadros no se dibujen en la posición correcta.

Dar por ciertos datos que no aparecen en la imagen: No siempre es posible verificar en una imagen el material de una superficie, las dimensiones de un espacio o la función de un elemento que no se ve. Es más seguro pedir en el prompt que el modelo se limite a los elementos visibles y comprobar el resultado con la información del proyecto.

Pasar por alto las diferencias de ángulo entre varias imágenes: Dos imágenes pueden mostrar el mismo espacio desde distintos ángulos. En la instrucción de comparación, especifica claramente que cada imagen debe analizarse por separado y que las diferencias de encuadre no deben considerarse cambios de diseño.

No tener en cuenta el presupuesto de tokens: La resolución de la imagen y el presupuesto de tokens afectan a la cantidad de detalles visuales procesados. Evaluar detecciones que requieren detalle con un presupuesto menor puede hacer que se pasen por alto elementos pequeños; ten en cuenta que un presupuesto más alto procesa más parches y supone un equilibrio entre velocidad y detalle.

Próximos pasos: uso en flujos de trabajo de arquitectura y visualización

Los estudios de arquitectura, los interioristas y los equipos de archviz pueden probar este método como apoyo para tareas como una revisión preliminar de archivos de imágenes, la descripción de escenas, la anotación de diferencias visibles entre dos alternativas o la comprobación del texto en una imagen. También puede ser útil para los estudiantes pedir una descripción de una imagen de referencia y luego compararla con sus propias observaciones. Estos son posibles usos de las funciones documentadas de comprensión visual y procesamiento de varias imágenes; no son funciones de un producto específico de arquitectura mencionadas por la fuente.

En la siguiente prueba, empieza con una sola pregunta, limita el prompt al objetivo del proyecto y comprueba el resultado junto con la imagen. Si necesitas detectar objetos, interpreta correctamente la escala de las coordenadas; evalúa también el presupuesto de tokens, que afecta al nivel de detalle. La guía no proporciona información sobre el coste de la licencia del modelo, los requisitos de hardware específicos ni la compatibilidad con software de arquitectura. Antes de tomar decisiones sobre estos aspectos, conviene revisar las condiciones del entorno de distribución y ejecución previsto.

Fuente y licencia

Esta guía se ha adaptado al turco a partir de los ejemplos de la documentación de comprensión visual de Gemma de Google. La fuente se ofrece con licencia CC BY 4.0. Los ejemplos de prompts arquitectónicos se han creado expresamente para este artículo.

Fuentes

1 fuente
A(
ai.google.dev (CC BY 4.0)ai.google.dev/gemma/docs/capabilities/vision/image
Resumen

No republicamos los textos de las fuentes; las citas breves van marcadas y el resto es resumen y comentario propios.

La opinión de 3dsınıfı
3dValoración del editor

Para los estudios y estudiantes de Turquía, las funciones de comprensión visual de Gemma pueden probarse en tareas preliminares como describir rápidamente imágenes de proyectos y revisar referencias de forma organizada. En particular, los equipos que revisan muchas imágenes en una primera fase deberían utilizar los resultados como notas que hay que verificar, no como decisiones de diseño.

Antes de empezar, es importante comprobar por separado los requisitos de hardware del entorno de trabajo y las condiciones de la licencia; la fuente no ofrece información clara al respecto. El presupuesto de tokens también implica elegir entre velocidad y detalle. No se debe dar por sentada la compatibilidad directa con software de arquitectura, y es necesario comprobar el OCR y las coordenadas de los objetos en imágenes reales.

Preguntas frecuentes

¿Gemma 4 puede analizar imágenes?

La guía de Google señala que Gemma 3 y los modelos posteriores pueden utilizarse para describir contenido visual, reconocer objetos, comprender escenas y hacer inferencias a partir del contexto visual.

¿Se pueden procesar varias imágenes en una misma solicitud con Gemma 4?

Sí. La guía muestra que se pueden incluir varias imágenes en el contenido de un mismo mensaje y procesarlas con una instrucción de texto común.

¿Qué opciones hay para el presupuesto de tokens de imagen de Gemma 4?

La guía enumera presupuestos de 70, 140, 280, 560 y 1120 tokens. Un presupuesto más alto permite conservar más detalles visuales, mientras que uno más bajo procesa menos parches.

Los comentarios y el foro están en turco.Únete al debate
+

Noticias relacionadas