Neueste Meldungen
TutorialsMariGemma

Architekturbildanalyse mit Gemma 4: Installation und Anwendung in Python

Gemma 3 und neuere Modelle können für Aufgaben wie Bildanalyse, Szenenbeschreibung, Texterkennung und Objekterkennung eingesetzt werden. Dieser Leitfaden erläutert die grundlegenden Schritte, um Gemma 4 mit Python und Transformers an Architekturvisualisierungen auszuprobieren.

Zwei Innenraumvisualisierungen, die auf dem Tisch eines Architekturteams verglichen werdenKI-Bild
Symbolbild, mit KI erzeugt.Bild: 3dsınıfı / FCA AI

Kurz gesagt

  1. Gemma 3 und neuere Modelle eignen sich zur Analyse visueller Inhalte.
  2. Das Gemma-4-Beispiel verwendet die image-text-to-text-Pipeline der Transformers-Bibliothek.
  3. Der Leitfaden behandelt Szenenbeschreibungen, die Auswertung mehrerer Bilder, OCR und Objekterkennung.
  4. Bei Gemma 4 lässt sich das visuelle Token-Budget auf 70, 140, 280, 560 oder 1120 festlegen.

Was lernen Sie in diesem Leitfaden?

Die visuellen Verständnisfunktionen von Gemma lassen sich für mehr als nur die Beschreibung einer Architekturvisualisierung nutzen. Laut dem Leitfaden von Google können Gemma 3 und neuere Modelle Bildinhalte beschreiben, Objekte erkennen, Szenen klassifizieren und aus dem visuellen Kontext Schlussfolgerungen ziehen. Außerdem enthält der Leitfaden Beispiele für die Verarbeitung mehrerer Bilder in einer Anfrage, die Texterkennung in Bildern (OCR) sowie die Ausgabe von Koordinaten für Begrenzungsrahmen um Objekte.

Diese Anwendung richtet sich an Architektur- und Innenraumteams, die Projektvisualisierungen zunächst beschreiben lassen, Bilder anhand konkreter Fragen untersuchen oder die darin sichtbaren Elemente auflisten möchten. Die Modellausgabe sollte als zu überprüfende Analysehilfe verstanden werden, nicht als Grundlage für eine Entwurfsentscheidung oder eine maßgenaue technische Dokumentation: Die Quelle verspricht weder eine bestimmte Genauigkeit noch architektonische Messpräzision.

Voraussetzungen

Das Beispiel im offiziellen Leitfaden verwendet die Transformers-Bibliothek zusammen mit PyTorch und accelerate, um Python-Pakete zu installieren. Für Transformers ist in der Dokumentation Version 5.10.1 oder höher angegeben. Als Modellkennung dient google/gemma-4-E2B-it; für Bild- und Texteingaben wird eine Pipeline mit der Aufgabe image-text-to-text eingerichtet.

python
pip install torch accelerate
pip install 'transformers>=5.10.1'

Angaben zur Hardware, die für Installation und lokale Ausführung erforderlich ist, sind in diesem Leitfaden nicht enthalten. Deshalb sollte die Eignung des vorhandenen Computers in der jeweiligen Laufzeitumgebung gesondert geprüft werden. Im Beispiel kommen device_map='auto' und dtype='auto' zum Einsatz; sie sind Teil der dort gezeigten Pipeline-Konfiguration.

Anwendungsschritte

1. Die Modell-Pipeline einrichten

Im folgenden Beispiel wird MODEL_ID der im Leitfaden angegebenen Modellkennung zugewiesen. Die Pipeline ist darauf ausgelegt, Nutzernachrichten mit Bild- und Textinhalten zu verarbeiten.

python
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
    task='image-text-to-text',
    model=MODEL_ID,
    device_map='auto',
    dtype='auto'
)

2. Eine Projektvisualisierung abfragen

Im Quellbeispiel wird das Bild über eine URL geladen und gemeinsam mit dem Textinhalt in der Nachricht übergeben. Ersetzen Sie in Ihrer eigenen Anwendung den Wert von img_url durch eine Adresse, über die das zu analysierende Bild erreichbar ist. Die folgende Eingabeaufforderung überträgt die im Quelltext gezeigte Methode der Bildabfrage auf eine architektonische Analyse.

Prompt
Bu mimari görselde görünen mekânı tarafsız biçimde tarif et. Belirgin yapı elemanlarını, yüzeyleri, açıklıkları, ışık koşullarını ve kadrajda seçilebilen nesneleri ayrı ayrı belirt. Görselde doğrulanamayan ölçüleri veya malzemeleri tahmin etme.

Diese Eingabeaufforderung fordert das Modell auf, das Bild in Textform zu beschreiben, und weist es ausdrücklich an, unklare Merkmale nicht als gesicherte Fakten darzustellen. Vergleichen Sie die erzeugte Beschreibung mit den Projektzeichnungen und Materialangaben.

python
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
    {
        'role': 'user',
        'content': [
            {'type': 'image', 'url': img_url},
            {'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
        ]
    }
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])

Im Quellbeispiel wird max_new_tokens auf 512 gesetzt. Auch hier folgt der Wert der Beispielkonfiguration; aus der Quelle lässt sich keine Aussage zu Leistung oder Qualität bei einer anderen Ausgabelänge ableiten.

3. Zwei Bilder gemeinsam auswerten

Der Gemma-Leitfaden zeigt, dass sich mehrere Bilder in einer Anfrage übermitteln und mit einer gemeinsamen Textanweisung versehen lassen. So kann man beispielsweise zwei Ansichten desselben Innenraums gemeinsam interpretieren lassen oder die sichtbaren Merkmale zweier Bildalternativen jeweils separat zusammenfassen lassen. Es sollte nicht vorausgesetzt werden, dass das Modell jedes Detail korrekt zuordnet.

Prompt
İki görseli ayrı ayrı incele. Her birinde görülebilen mekân özelliklerini ve mobilya düzenini kendi başlığı altında özetle. Yalnızca görselde seçilebilen ortak ve farklı unsurları belirt; açı veya kadraj farkını tasarım değişikliği olarak yorumlama.

Fügen Sie die beiden Bilder als separate image-Inhalte in die Nachrichtenliste ein und übermitteln Sie anschließend die Anweisung als text-Inhalt. Das Beispiel im Leitfaden zeigt, dass mehrere Bildinhalte innerhalb derselben Nachricht verwendet werden können; die hier gezeigte Architekturanweisung ist dagegen ein neues, für die praktische Anwendung erstelltes Beispiel.

4. Text in Bildern lesen lassen

Die Quelle veranschaulicht anhand eines OCR-Beispiels, dass die Modelle mehrsprachigen Text in Bildern erkennen können. Diese Funktion lässt sich etwa nutzen, um ein sichtbares Wegweiserschild, eine Beschriftung auf einem Plan oder ein Schild auf einem Innenraumfoto als Text auszulesen. Die Quelle nennt allerdings keine konkrete Genauigkeitsrate.

Prompt
Görselde okunabilen tüm yazıları, konumlarını kısaca belirterek aktar. Emin olmadığın karakterleri tahmin etmek yerine okunaksız olarak işaretle. Görselde yazı yoksa bunu söyle.

Prüfen Sie beim Weiterverwenden des Bildtexts die Buchstaben und den Kontext der Zahlen anhand des Originalbildes. Besonders bei kleinen Beschriftungen auf Plänen oder Screenshots mit niedriger Auflösung sollten Sie die Modellausgabe manuell verifizieren, statt sie direkt in die Abgabedokumentation zu übernehmen.

5. Objekterkennung und Auflösungsoptionen

Das Objekterkennungsbeispiel im Leitfaden gibt erkannte Objekte mit ihren Bezeichnungen und Koordinaten aus, die anhand eines Rasters von 1000 × 1000 normalisiert wurden. Laut Dokumentation müssen diese Koordinaten an die tatsächliche Bildgröße angepasst werden. Betrachten Sie die ausgegebenen Koordinaten daher nicht direkt als Pixelpositionen; auch das Beispiel in der Quelle skaliert sie anhand der Bildbreite und -höhe.

Gemma-4-Modelle unterstützen variable Auflösungen. Das visuelle Token-Budget lässt sich auf 70, 140, 280, 560 oder 1120 festlegen. Laut Dokumentation kann ein höheres Budget mehr Bilddetails erhalten, während ein niedrigeres Budget weniger Patches verarbeitet und so die Inferenz beschleunigen kann. Es handelt sich um eine Abwägung zwischen Geschwindigkeit und visuellen Details; die Quelle nennt keinen einzigen Idealwert für jedes Projektbild. Bei detailintensiven Aufgaben wie der Objekterkennung sollten Sie ein höheres Budget in Betracht ziehen und die Ergebnisse mit unterschiedlichen Budgets überprüfen.

Häufige Fehler

Koordinaten als Pixelwerte interpretieren: Die beim Erkennen von Objekten ausgegebenen Box-Koordinaten sind laut Leitfaden auf ein Raster von 1000 × 1000 normalisiert. Ohne Skalierung anhand der tatsächlichen Bildbreite und -höhe werden die Boxen möglicherweise nicht an der richtigen Position eingezeichnet.

Nicht sichtbare Informationen als sicher darstellen: Das Material einer Oberfläche, die Abmessungen eines Raums oder die Funktion eines nicht sichtbaren Elements lassen sich nicht immer aus dem Bild verlässlich bestimmen. Sicherer ist es, in der Eingabeaufforderung nur nach erkennbaren Merkmalen zu fragen und das Ergebnis anhand der Projektinformationen zu überprüfen.

Bei mehreren Bildern den Unterschied im Blickwinkel übersehen: Zwei Bilder können denselben Raum aus unterschiedlichen Blickwinkeln zeigen. Geben Sie bei einem Vergleich ausdrücklich vor, jedes Bild einzeln zu betrachten und Unterschiede im Bildausschnitt nicht als Entwurfsänderung zu interpretieren.

Das Token-Budget außer Acht lassen: Bildauflösung und Token-Budget beeinflussen, wie viele visuelle Details verarbeitet werden. Werden Erkennungsaufgaben, die viele Details erfordern, mit einem niedrigeren Budget ausgewertet, können kleine Elemente übersehen werden. Berücksichtigen Sie außerdem, dass ein höheres Budget mehr Patches verarbeitet und damit einen Kompromiss zwischen Geschwindigkeit und Detailgrad mit sich bringt.

Nächste Schritte: Einsatz in Architektur- und Visualisierungsabläufen

Architekturbüros, Innenarchitekten und Archviz-Teams können diese Methode als Hilfsmittel für die erste Sichtung eines Bildarchivs, für Szenenbeschreibungen, zum Festhalten sichtbarer Unterschiede zwischen zwei Alternativen oder zum Prüfen von Text in Bildern ausprobieren. Auch für Studierende kann es hilfreich sein, ein Referenzbild beschreiben zu lassen und die Beschreibung anschließend mit den eigenen Beobachtungen abzugleichen. Dies sind mögliche Einsatzweisen der dokumentierten Funktionen für visuelles Verständnis und die Verarbeitung mehrerer Bilder, keine spezielle Architekturfunktion, die in der Quelle genannt wird.

Beginnen Sie den nächsten Versuch mit einer einzelnen Frage, richten Sie die Eingabeaufforderung auf das Projektziel aus und prüfen Sie die Ausgabe gemeinsam mit dem Bild. Wenn Sie eine Objekterkennung benötigen, interpretieren Sie den Koordinatenmaßstab korrekt und berücksichtigen Sie zusätzlich das Token-Budget, das den Detailgrad beeinflusst. Der Leitfaden enthält keine Angaben zu Lizenzkosten des Modells, bestimmten Hardwareanforderungen oder zur Kompatibilität mit Architektursoftware. Vor Entscheidungen zu diesen Punkten sollten die Bedingungen der vorgesehenen Bereitstellung und Laufzeitumgebung gesondert geprüft werden.

Quelle und Lizenz

Dieser Leitfaden wurde auf Grundlage der Beispiele aus Googles Dokumentation zum visuellen Verständnis mit Gemma ins Türkische übertragen und angepasst. Die Quelle steht unter der CC-BY-4.0-Lizenz. Die Beispiele für architektonische Eingabeaufforderungen wurden eigens für diesen Artikel erstellt.

Quellen

1 Quelle
A(
ai.google.dev (CC BY 4.0)ai.google.dev/gemma/docs/capabilities/vision/image
Zusammenfassung

Quelltexte werden nicht neu veröffentlicht; kurze Zitate sind gekennzeichnet, der Rest ist eigene Zusammenfassung und Einordnung.

Die Einschätzung von 3dsınıfı
3dEinschätzung der Redaktion

Für Büros und Studierende in der Türkei lassen sich Gemmas Funktionen für visuelles Verständnis bei vorbereitenden Aufgaben ausprobieren, etwa um Projektvisualisierungen schnell beschreiben zu lassen oder Referenzen systematisch zu sichten. Teams, die in der ersten Phase viele Bilder prüfen, sollten die Ausgabe als zu überprüfende Notiz und nicht als Grundlage für eine Entwurfsentscheidung verwenden.

Vor der praktischen Anwendung ist es wichtig, die Hardwareanforderungen der Laufzeitumgebung und die Lizenzbedingungen gesondert zu prüfen; die Quelle enthält dazu keine eindeutigen Angaben. Auch das Token-Budget erfordert eine Abwägung zwischen Geschwindigkeit und Detailgrad. Eine direkte Kompatibilität mit Architekturprogrammen sollte nicht vorausgesetzt werden; OCR-Ergebnisse und Objektkoordinaten müssen anhand der tatsächlichen Bilder überprüft werden.

Häufige Fragen

Kann Gemma 4 Bilder analysieren?

Laut Googles Leitfaden können Gemma 3 und neuere Modelle Bildinhalte beschreiben, Objekte erkennen, Szenen verstehen und Schlussfolgerungen aus dem visuellen Kontext ziehen.

Kann Gemma 4 mehrere Bilder in einer Anfrage verarbeiten?

Ja. Der Leitfaden zeigt, dass mehrere Bilder als Teil einer einzelnen Nachricht übermittelt und mit einer gemeinsamen Textanweisung verarbeitet werden können.

Welche Optionen gibt es für das visuelle Token-Budget von Gemma 4?

Im Leitfaden sind Budgets von 70, 140, 280, 560 und 1120 Tokens aufgeführt. Ein höheres Budget kann mehr Bilddetails erhalten, ein niedrigeres ermöglicht die Verarbeitung weniger Patches.

Kommentare und Forum sind auf Türkisch.Mitdiskutieren
+

Verwandte Meldungen