Dernières actualités
Blender Geometry Nodes : obtenir des données de surface et de collision avec Raycast NodeAfter Night There Is Nothing : une installation à trois dômes à SharjahGraphic Override Rules dans Archicad 29 : guide de créationAnalyser des images d’architecture avec Gemma 4 : installation et pratique en PythonCréer des chanfreins contrôlés et non destructifs avec le Bevel Modifier de BlenderAméliorer les performances de SketchUp : modélisation légère et transfert CAOGuide : exécuter un plug-in Revit dans le cloud avec APS Design AutomationComment créer un Agent Skill pour l’API Revit ? Guide dll2llmParamètres globaux et Parameters Service dans Revit : guide pratiqueGuide pour apprendre MAXScript dans 3ds Max : ouvrir et exécuter un script
TutorielsMariGemma

Analyser des images d’architecture avec Gemma 4 : installation et pratique en Python

Gemma 3 et les modèles suivants peuvent analyser des images pour décrire des scènes, reconnaître du texte ou repérer des objets. Ce guide présente les étapes essentielles pour tester Gemma 4 sur des images d’architecture avec Python et Transformers.

Deux rendus d’intérieur comparés sur la table d’une équipe d’architectureImage IA
Image d’illustration générée par IA.Image : 3dsınıfı / FCA AI

En bref

  1. Gemma 3 et les modèles suivants peuvent servir à analyser du contenu visuel.
  2. L’exemple Gemma 4 utilise le pipeline image-text-to-text de la bibliothèque Transformers.
  3. Le guide aborde la description de scènes, l’analyse de plusieurs images, l’OCR et la détection d’objets.
  4. Avec Gemma 4, le budget de tokens visuels peut être réglé sur 70, 140, 280, 560 ou 1120.

Ce que vous apprendrez dans ce guide

Les capacités de compréhension visuelle de Gemma permettent d’aller au-delà de la simple description d’une image d’architecture. Selon le guide de Google, Gemma 3 et les modèles suivants peuvent décrire le contenu d’images, reconnaître des objets, classer des scènes et tirer des conclusions sur leur contexte visuel. Le guide propose également des exemples d’analyse de plusieurs images dans une même requête, de reconnaissance du texte présent dans une image (OCR) et de génération des coordonnées de boîtes englobantes autour des objets.

Cette mise en pratique s’adresse aux équipes d’architecture et d’aménagement intérieur qui souhaitent décrire des visuels de projet lors d’une première analyse, les examiner à partir de questions précises ou dresser la liste des éléments qui y figurent. La sortie du modèle doit être considérée comme une aide à l’analyse à vérifier, et non comme une décision de conception ou une documentation technique cotée : la source ne garantit ni l’exactitude ni une précision de mesure architecturale.

Prérequis

L’exemple du guide officiel utilise la bibliothèque Transformers, ainsi que PyTorch et accelerate pour installer les paquets Python. La documentation indique que Transformers doit être en version 5.10.1 ou supérieure. L’identifiant de modèle donné en exemple est google/gemma-4-E2B-it ; un pipeline est configuré avec la tâche image-text-to-text pour traiter des entrées combinant image et texte.

python
pip install torch accelerate
pip install 'transformers>=5.10.1'

Ce guide ne précise pas la configuration matérielle nécessaire à l’installation et à l’exécution en local. Il faut donc vérifier séparément que l’ordinateur utilisé est suffisamment puissant pour l’environnement d’exécution envisagé. L’exemple utilise device_map='auto' et dtype='auto' ; ces paramètres font partie de la configuration du pipeline présentée dans le guide.

Étapes de mise en œuvre

1. Configurer le pipeline du modèle

Dans l’exemple ci-dessous, MODEL_ID est associé à l’identifiant du modèle indiqué dans le guide. Le pipeline est configuré pour traiter des messages utilisateur contenant une image et du texte.

python
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
    task='image-text-to-text',
    model=MODEL_ID,
    device_map='auto',
    dtype='auto'
)

2. Poser une question sur un visuel de projet

L’exemple source récupère l’image à partir d’une URL et transmet ensemble l’image et le texte dans le contenu du message. Pour votre propre travail, remplacez img_url par une adresse permettant d’accéder à l’image à analyser. Le prompt ci-dessous adapte à l’analyse architecturale la méthode de questionnement illustrée dans la source.

Prompt
Bu mimari görselde görünen mekânı tarafsız biçimde tarif et. Belirgin yapı elemanlarını, yüzeyleri, açıklıkları, ışık koşullarını ve kadrajda seçilebilen nesneleri ayrı ayrı belirt. Görselde doğrulanamayan ölçüleri veya malzemeleri tahmin etme.

Ce prompt demande au modèle de décrire l’image par écrit et lui indique explicitement de ne pas présenter les éléments incertains comme des faits avérés. Comparez la description produite aux plans du projet et aux informations sur les matériaux.

python
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
    {
        'role': 'user',
        'content': [
            {'type': 'image', 'url': img_url},
            {'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
        ]
    }
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])

Le paramètre max_new_tokens est réglé sur 512 dans l’exemple source. Cette valeur reprend ici la configuration de l’exemple ; il ne faut pas en déduire de performances ou de résultats qualitatifs qui ne seraient pas indiqués par la source.

3. Analyser deux images ensemble

Le guide Gemma montre qu’il est possible de fournir plusieurs images dans une même requête et de leur associer une instruction textuelle commune. Cette méthode peut être testée, par exemple, pour comparer deux vues d’un même intérieur ou résumer séparément les caractéristiques visibles de deux propositions. Il ne faut pas partir du principe que le modèle associera correctement chaque détail.

Prompt
İki görseli ayrı ayrı incele. Her birinde görülebilen mekân özelliklerini ve mobilya düzenini kendi başlığı altında özetle. Yalnızca görselde seçilebilen ortak ve farklı unsurları belirt; açı veya kadraj farkını tasarım değişikliği olarak yorumlama.

Ajoutez les deux images au contenu de la liste des messages en tant qu’éléments image distincts, puis transmettez l’instruction dans un élément text. L’exemple du guide montre qu’un même message peut contenir plusieurs images ; le prompt d’architecture ci-dessus est, quant à lui, un nouvel exemple conçu pour cette mise en pratique.

4. Lire le texte présent dans une image

La source montre, à travers un exemple d’OCR, que les modèles peuvent reconnaître du texte multilingue dans des images. Cette fonctionnalité peut être testée pour extraire le texte d’un panneau de signalisation, d’une annotation visible sur une planche ou d’une enseigne photographiée dans un intérieur. La source ne fournit toutefois aucun taux de précision.

Prompt
Görselde okunabilen tüm yazıları, konumlarını kısaca belirterek aktar. Emin olmadığın karakterleri tahmin etmek yerine okunaksız olarak işaretle. Görselde yazı yoksa bunu söyle.

Lorsque vous utilisez le texte extrait d’une image, vérifiez les lettres et le contexte des chiffres sur le visuel d’origine. Pour les petits caractères sur une planche ou les captures d’écran en basse résolution, vérifiez manuellement le résultat au lieu de le reprendre directement dans un document destiné à être livré.

5. Détection d’objets et choix de la résolution

L’exemple de détection d’objets du guide représente les objets détectés avec leurs étiquettes et des coordonnées normalisées selon une grille de 1000 × 1000. La documentation précise qu’il faut adapter ces coordonnées à la taille réelle de l’image. Ne considérez donc pas directement les coordonnées obtenues comme des positions en pixels : l’exemple de la source les met lui aussi à l’échelle en fonction de la largeur et de la hauteur de l’image.

Les modèles Gemma 4 prennent en charge les résolutions variables. Le budget de tokens visuels peut être réglé sur 70, 140, 280, 560 ou 1120. La documentation explique qu’un budget élevé peut préserver davantage de détails visuels, tandis qu’un budget plus faible traite moins de patches et peut accélérer l’inférence. Il s’agit d’un compromis entre vitesse et niveau de détail ; la source ne désigne pas une valeur idéale unique pour toutes les images de projet. Pour les tâches exigeant des détails, comme la détection d’objets, envisagez un budget plus élevé et vérifiez les résultats avec différentes valeurs.

Erreurs fréquentes

Interpréter les coordonnées comme des pixels : selon le guide, les coordonnées des boîtes renvoyées lors de la détection d’objets sont normalisées sur une échelle de 1000 × 1000. Sans mise à l’échelle à partir de la largeur et de la hauteur réelles de l’image, les boîtes risquent de ne pas être tracées au bon endroit.

Présenter comme certains des éléments absents de l’image : le matériau d’une surface, les dimensions d’un espace ou la fonction d’un élément hors champ ne sont pas toujours vérifiables à partir de l’image. Pour travailler plus sûrement, demandez au modèle de ne mentionner que les éléments visibles et vérifiez le résultat à l’aide des informations du projet.

Ne pas tenir compte de l’angle de vue dans une comparaison d’images : deux images peuvent montrer le même espace sous des angles différents. Dans votre instruction de comparaison, demandez explicitement d’examiner chaque image séparément et de ne pas interpréter les différences de cadrage comme des changements de conception.

Négliger le budget de tokens : la résolution de l’image et le budget de tokens influent sur la quantité de détails visuels traités. Évaluer des détections nécessitant beaucoup de détails avec un budget plus faible peut conduire à manquer de petits éléments ; tenez également compte du fait qu’un budget élevé traite davantage de patches et implique un compromis entre vitesse et niveau de détail.

Pour aller plus loin : intégration aux flux de travail en architecture et en visualisation

Les agences d’architecture, les architectes d’intérieur et les équipes d’archviz peuvent tester cette méthode pour des tâches d’assistance, comme le premier tri d’une banque d’images, la description de scènes, le relevé des différences visibles entre deux variantes ou la vérification du texte présent sur un visuel. Les étudiants peuvent également faire décrire une image de référence, puis confronter cette description à leurs propres observations. Ce sont des utilisations possibles des capacités documentées de compréhension visuelle et de traitement de plusieurs images ; il ne s’agit pas d’une fonctionnalité dédiée à l’architecture mentionnée dans la source.

Pour votre prochain essai, commencez par une seule question, adaptez le prompt à l’objectif du projet et vérifiez la réponse à partir de l’image. Si vous utilisez la détection visuelle, interprétez correctement l’échelle des coordonnées et évaluez séparément le budget de tokens, qui influe sur le niveau de détail. Le guide ne fournit aucune information sur le coût de licence du modèle, les exigences matérielles spécifiques ou sa compatibilité avec des logiciels d’architecture. Avant de prendre une décision sur ces points, examinez les conditions propres au déploiement et à l’environnement d’exécution envisagés.

Source et licence

Ce guide a été adapté en turc à partir des exemples de la documentation de Google sur la compréhension visuelle de Gemma. La source est publiée sous licence CC BY 4.0. Les exemples de prompts architecturaux ont été créés spécialement pour cet article.

Sources

1 source
A(
ai.google.dev (CC BY 4.0)ai.google.dev/gemma/docs/capabilities/vision/image
Résumé

Les textes sources ne sont pas republiés ; les courtes citations sont signalées, le reste est notre propre résumé et commentaire.

L’avis de 3dsınıfı
3dL’analyse de la rédaction

Pour les agences et les étudiants en Turquie, les capacités de compréhension visuelle de Gemma peuvent être testées lors de tâches préliminaires, comme décrire rapidement des visuels de projet ou examiner des références de manière structurée. Les équipes qui passent en revue un grand nombre d’images lors d’une première étape devraient utiliser les résultats comme des notes à vérifier, et non comme des décisions de conception.

Avant la mise en œuvre, il est important de vérifier séparément les exigences matérielles de l’environnement d’exécution et les conditions de licence ; la source ne fournit pas d’informations précises à ce sujet. Le budget de tokens implique également un compromis entre vitesse et niveau de détail. Ne présumez pas d’une compatibilité directe avec les logiciels d’architecture et vérifiez les résultats de l’OCR et les coordonnées des objets sur les images réelles.

Questions fréquentes

Gemma 4 peut-il analyser des images ?

Le guide de Google indique que Gemma 3 et les modèles suivants peuvent servir à décrire du contenu visuel, reconnaître des objets, comprendre des scènes et tirer des conclusions à partir du contexte visuel.

Peut-on traiter plusieurs images dans une même requête avec Gemma 4 ?

Oui. Le guide montre qu’il est possible de fournir plusieurs images dans le contenu d’un même message et de les traiter à l’aide d’une instruction textuelle commune.

Quelles sont les options de budget de tokens visuels de Gemma 4 ?

Le guide liste des budgets de 70, 140, 280, 560 et 1120 tokens. Un budget plus élevé permet de préserver davantage de détails visuels, tandis qu’un budget plus faible traite moins de patches.

Les commentaires et le forum sont en turc.Rejoindre la discussion
+

À lire aussi