Últimas noticias
Crear una escena USD en Houdini Solaris: guía de flujos por capasGPT-6 Astra contribuye a una demostración sobre un problema de la física de partículasGuía de Level Streaming en Unreal Engine: gestionar grandes escenas arquitectónicasNVIDIA Vera: plataforma HPC con 192 CPU para simulaciones científicasLimpieza de mallas en Blender: guía de Voxel Remesh y retopologíaPremio Ambasz–MoMA para Friendship Centre: arquitectura en armonía con la naturaleza¿Cómo gestionar escenas, cámaras y ajustes de render con Blender Python?Transferir escenas a Unreal Engine con Datasmith: guía de visualización arquitectónicaDesplegar UV en Blender: mapas UV limpios y controlados con costurasNVIDIA informa de su liderazgo de Vera Rubin en las pruebas MLPerf
TutorialesMariGemma

Prueba de la entrada de imágenes de Gemma con visuales arquitectónicos: guía de prompts

La documentación de Gemma indica que admite el procesamiento de imágenes, pero no confirma una capacidad específica para planos arquitectónicos o renders. Esta guía presenta opciones y pasos de verificación para probar la función general con visuales arquitectónicos.

Mesa de diseño iluminada con un plano arquitectónico, muestras de materiales y una maquetaImagen IA
Imagen ilustrativa generada con IA.Imagen: 3dsınıfı / FCA AI

En resumen

  1. La documentación de Gemini API incluye un ejemplo de entrada de imágenes para Gemma 4, pero no confirma su rendimiento con visuales arquitectónicos.
  2. Para usar la API se necesita una cuenta de Google y una clave de API obtenida en Google AI Studio.
  3. La guía de Gemma library establece que los prompts con imágenes requieren Gemma 3 o posterior, un modelo 4B o superior y Gemma3Tokenizer.
  4. La documentación de Gemma está marcada como antigua; consulta la documentación nueva para verificar la instalación y la información de los modelos.

Qué aprenderás en esta guía

La documentación de Gemma indica que los modelos pueden procesar imágenes junto con texto. Esto no demuestra que puedan interpretar específicamente planos arquitectónicos o renders de interiores, ni que se pueda confiar en esos resultados. El objetivo aquí es explicar cómo plantear un prompt para probar la función general de entrada de imágenes con visuales arquitectónicos y cómo evaluar los resultados con cautela.

La guía contempla dos vías: usar modelos Gemma alojados a través de Gemini API y trabajar en un entorno de biblioteca siguiendo el ejemplo de Gemma library for JAX. Los pasos de configuración son distintos en cada caso. Además, las páginas correspondientes de Gemma incluyen un aviso de documentación antigua; antes de aplicar los requisitos indicados, compáralos con la documentación actual.

Requisitos: cuenta, software y modelo

Vía de Gemini API: Las fuentes indican que para usar la API se necesita una cuenta de Google y una clave de API obtenida en Google AI Studio. La página de Gemma API enumera los modelos gemma-4-31b-it y gemma-4-26b-a4b-it entre los modelos Gemma 4. El ejemplo con imágenes muestra cómo subir un archivo y enviarlo junto con texto usando el modelo gemma-4-26b-a4b-it. Como la página de la API está marcada como antigua, consulta la documentación nueva antes de dar por vigentes los nombres de los modelos y los métodos del cliente.

Vía de Gemma library for JAX: La guía de la biblioteca establece que la entrada de imágenes requiere un modelo Gemma 3 o posterior, de 4B o superior, y el uso de Gemma3Tokenizer. El ejemplo incluye la instalación de la biblioteca Gemma, el acceso con una cuenta y una clave de API de Kaggle, un entorno Colab, JAX y la carga de los parámetros del modelo. También indica que el entorno de ejecución de Colab debe contar con recursos suficientes para ejecutar el modelo, aunque la guía no especifica una cantidad concreta de hardware.

Este ejemplo de configuración también está marcado como antiguo. Antes de empezar, verifica en las fuentes actuales el nombre de la biblioteca, la configuración del modelo y sus dependencias. Los documentos proporcionados no indican los costos de la API, por lo que tendrás que investigar el costo de uso por separado.

Prueba paso a paso con un visual arquitectónico

1. Elige una imagen y define el objetivo de la prueba

Para la primera prueba, utiliza una sola imagen y formula una pregunta concreta. Pedir que describa las superficies visibles de un render o que enumere las conexiones legibles en la imagen de un plano son ejemplos de pruebas para evaluar la función general de entrada de imágenes. No son tareas arquitectónicas específicas cuya eficacia con Gemma esté confirmada por las fuentes; considera los resultados como una prueba para observar lo que el modelo puede hacer con esas imágenes.

Desde el principio, delimita qué puede demostrar la imagen. Un render no permite confirmar por sí solo las dimensiones reales, los detalles constructivos ni el tipo exacto de material empleado. También es posible que el modelo lea mal los textos pequeños de un plano. No des por verificada información importante del proyecto sin contrastarla con el plano o el archivo de escena.

2. Elige la vía de uso

En la vía de la API, el ejemplo de la fuente muestra cómo subir el archivo mediante el cliente de API y enviar el archivo cargado al modelo junto con un prompt de texto. Si eliges esta vía para tu propia aplicación, confirma en la documentación nueva si los modelos y las formas de uso del SDK incluidos en el ejemplo siguen vigentes.

En el ejemplo de la biblioteca, primero se configuran el modelo, los parámetros y el tokenizer; luego, el prompt con imagen se pasa al generador junto con los datos de la imagen. Esta configuración no es igual a la del ejemplo de la API. No mezcles el código ni los pasos de acceso de ambas vías.

3. Limita el prompt a elementos observables

Un buen prompt de prueba no debe pedir al modelo que deduzca información que no aparece en la imagen. Especifica con claridad qué elementos debe observar y cómo debe expresar la incertidumbre. Los siguientes ejemplos se han redactado para esta guía; no implican que las fuentes hayan confirmado la capacidad de interpretación arquitectónica.

Para enumerar los elementos visibles en un render:

Prompt
Describe los elementos que se distinguen directamente en esta imagen. Separa en apartados las superficies visibles, la distribución de la luz en la imagen y los elementos que destacan en el encuadre. Si no se puede determinar con seguridad el tipo de material, las dimensiones o la fuente de luz, indícalo claramente; no añadas información que no aparezca en la imagen.

Este prompt busca separar los detalles observables de las suposiciones. No interpretes la respuesta como una identificación de materiales ni como un cálculo de iluminación; para ese tipo de conclusiones, consulta la documentación del proyecto.

Para comprobar qué puede leerse en una imagen de un plano:

Prompt
Enumera los nombres de los espacios que se puedan leer en esta imagen y las conexiones que se vean claramente en el plano. Indica por separado los textos ilegibles y las áreas sobre las que no estés seguro. No calcules dimensiones, nombres de habitaciones ni decisiones de uso que no aparezcan en la imagen.

Esta prueba no garantiza que el modelo interprete correctamente el plano. Compara la respuesta con los textos del dibujo, la leyenda y el archivo del proyecto.

Para probar la descripción de una imagen de interior:

Prompt
Describe en viñetas breves los muebles visibles en este interior, las relaciones entre los colores y el punto focal más destacado. No hagas inferencias sobre la función, las dimensiones o el comportamiento de los usuarios que no puedan verificarse en la imagen. Indica por separado los puntos inciertos.

Lo que se pide en este ejemplo se centra en los elementos que se distinguen en la fotografía. Como una sola imagen no muestra todas las condiciones de uso del espacio, no consideres la respuesta una evaluación integral del diseño.

Para preparar un borrador de notas de revisión visual antes de una presentación:

Prompt
Enumera tres características que se vean a primera vista en este visual arquitectónico y tres aspectos que el equipo deba revisar por separado. No califiques como error técnico algo que no pueda confirmarse con seguridad en la imagen; exprésalo como una recomendación de verificación.

Este prompt sirve para probar la respuesta del modelo como borrador de una nota de revisión. No presentes las recomendaciones como detecciones de errores; verifícalas en el archivo de escena o en el plano correspondiente.

4. Verifica la respuesta y registra la prueba

Revisa la respuesta del modelo junto a la imagen que le proporcionaste. Si hay una observación importante, compárala con la imagen y la fuente del proyecto; comprueba también si el modelo señaló la incertidumbre. Usar el mismo prompt con imágenes similares puede ayudar a comparar las respuestas, pero por sí solo no constituye una medición objetiva.

Si vas a compartir la prueba con el equipo, guarda juntos la imagen utilizada, el prompt y la respuesta obtenida. Así será posible entender en qué contexto se produjo el resultado. No uses la respuesta del modelo como única fuente de verificación para una presentación a clientes, una decisión de ejecución o documentación técnica.

Errores frecuentes

  • Confundir el soporte general con una capacidad especializada: Las fuentes muestran el uso de entrada de imágenes, pero no confirman la eficacia al interpretar planos arquitectónicos o renders.

  • Plantear una tarea ambigua: En vez de pedir algo amplio como «interpreta», especifica qué elementos de la imagen debe examinar y cómo debe estructurar la respuesta.

  • Dar por sentada información que no aparece en la imagen: Si no se pueden determinar con seguridad dimensiones, materiales o funciones, compruébalos en el archivo del proyecto.

  • Generalizar instrucciones entre modelos: La página de PaliGemma describe el orden de las imágenes y el texto, así como sintaxis específicas para cada tarea. No apliques automáticamente esos formatos a todos los modelos Gemma; sigue las instrucciones del modelo que vayas a usar.

  • Dar por vigente documentación antigua: Las páginas de Gemma API y de la biblioteca remiten a documentación nueva. Verifica el nombre del modelo, el SDK y los requisitos de instalación.

Próximos pasos

Empieza con una sola imagen y un prompt concreto, y comprueba la respuesta directamente en la imagen. Después, repite la misma prueba con imágenes similares y anota los aspectos que se reconocen de forma consistente y aquellos en los que se producen errores. Estas observaciones reflejan únicamente los resultados de tu propio entorno de pruebas; no deben convertirse en afirmaciones generales sobre la precisión en tareas arquitectónicas.

Si está previsto usarlo en una oficina o un entorno educativo, revisa por separado las condiciones de acceso y los posibles costos. Si eliges la biblioteca local, verifica la documentación de instalación actual y que el entorno de ejecución tenga recursos suficientes. En ambas vías, confirma las decisiones del proyecto de forma independiente, usando los planos y los archivos de diseño, no solo la respuesta del modelo.

Fuentes y licencias

Se utilizaron el repositorio Gemini API Cookbook de Google (K1), la documentación de Gemma para Gemini API (K2), la guía de Gemma library for JAX (K3) y la página sobre el formato de prompts de PaliGemma (K4). La licencia del repositorio K1 se indica como Apache-2.0. Las páginas de documentación K2, K3 y K4 tienen licencia CC BY 4.0; K3 y K4 también especifican la licencia Apache 2.0 para los ejemplos de código. El contenido se ha adaptado al español. Ten en cuenta que la documentación de Gemma incluye un aviso de documentación antigua.

Fuentes

3 fuentes
A(
ai.google.dev (CC BY 4.0)ai.google.dev/gemini-api/cookbook
Resumen
A(
ai.google.dev (CC BY 4.0)ai.google.dev/gemma/docs/core/gemma_on_gemini_api
Resumen
A(
ai.google.dev (CC BY 4.0)ai.google.dev/gemma/docs/core/gemma_library
Resumen

No republicamos los textos de las fuentes; las citas breves van marcadas y el resto es resumen y comentario propios.

La opinión de 3dsınıfı
3dValoración del editor

Para oficinas y estudiantes de Turquía, probar la entrada de imágenes con visuales arquitectónicos puede aportar notas iniciales para una conversación de diseño. Sin embargo, las fuentes no demuestran un rendimiento específico en el análisis de planos arquitectónicos o renders; por eso, no sería correcto tratar los resultados como información técnica verificada ni como una decisión de diseño.

Las fuentes no indican el precio de la opción de API; es necesario consultar la documentación actual para comprobar el acceso y los posibles costos. El ejemplo de la biblioteca local requiere una instalación de JAX y un entorno con recursos suficientes para ejecutar el modelo. Además, dado que la documentación es antigua, es especialmente importante comprobar la compatibilidad antes de incorporarla al flujo de trabajo.

Preguntas frecuentes

¿Puede Gemma analizar planos arquitectónicos y renders?

Las fuentes muestran que los modelos Gemma pueden procesar entradas de imágenes, pero no confirman específicamente su capacidad para interpretar planos arquitectónicos o renders. Las pruebas con este tipo de imágenes deben verificarse.

¿Qué se necesita para usar imágenes con Gemma API?

Las fuentes indican que se necesita una cuenta de Google y una clave de API obtenida en Google AI Studio. Consulta la documentación nueva para verificar la vigencia de los pasos relacionados con el modelo y el SDK.

¿Qué requisitos se indican para usar prompts con imágenes en la biblioteca Gemma?

Según la guía de Gemma library for JAX, se necesita Gemma 3 o posterior, un modelo 4B o superior y Gemma3Tokenizer. La guía también muestra cómo acceder a Kaggle y utilizar un entorno Colab con recursos suficientes.

Los comentarios y el foro están en turco.Únete al debate
+

Noticias relacionadas