Leitfaden: Baustellen- und Innenraum-Audio mit der Gemini API analysieren

Was erfahren Sie in diesem Leitfaden?

Audioaufnahmen von Baustellenbesuchen, Innenraumbegehungen oder Projektbesprechungen lassen sich später in durchsuchbare Notizen umwandeln. Die Gemini API kann für Aufgaben wie das Beschreiben und Zusammenfassen von Audioinhalten sowie das Beantworten von Fragen zu einer Aufnahme eingesetzt werden. Auch Szenarien wie Transkription, Übersetzung, Emotionserkennung und das Versehen bestimmter Audioabschnitte mit Zeitstempeln sind in der Dokumentation beschrieben.

Dieser Leitfaden erläutert, wie Sie Audiodateien an die API übermitteln und passende Anweisungen für Architektur-Workflows formulieren. Die Beispiele eignen sich dazu, Beobachtungen von der Baustelle, Materialbewertungen oder Aufzeichnungen von Projektbesprechungen aufzubereiten. Betrachten Sie die erzeugte Ausgabe nicht als Baustellenprotokoll oder technische Entscheidung, sondern als Entwurf, den Sie anhand der Aufnahme überprüfen sollten.

Voraussetzungen

Für den Workflow benötigen Sie Zugriff auf die Gemini API, einen API-Schlüssel und eine Audiodatei. In den Google-Beispielen kommt für Python der Client google-genai zum Einsatz. Er wird mit from google import genai importiert und über genai.Client() erstellt. Da in der Quelle keine bestimmte Version der Clientbibliothek angegeben ist, wird hier keine Versionsnummer genannt.

Die Dokumentation zeigt, wie Sie eine Audiodatei hochladen und in einer generate_content-Anfrage verwenden oder die Audiodaten direkt an die Anfrage anhängen. Ist die Gesamtgröße der Anfrage – einschließlich Datei, Textprompt und Systemanweisungen – größer als 20 MB, sollte die Files API verwendet werden. Die Textbeispiele in diesem Leitfaden sind Anweisungen, die an die API übermittelt werden. Das Hochladen der Datei und der Abruf der Antwort erfolgen über den API-Aufruf der Anwendung.

Beachten Sie außerdem eine Einschränkung: Die Gemini API unterstützt keine Echtzeittranskription. Die folgenden Schritte dienen daher der Verarbeitung einer bereits vorhandenen Audiodatei und nicht der Live-Transkription einer Besprechung.

Audio Schritt für Schritt analysieren

1. Aufnahme und Ziel festlegen

Legen Sie zunächst fest, welche Frage beantwortet werden soll. Sie können beispielsweise Geräusche im Raum auflisten, die in einer Besprechung gefassten Beschlüsse herausarbeiten oder eine bestimmte Gesprächspassage in der Aufnahme finden lassen. Bitten Sie das Modell, sich ausschließlich auf Informationen zu stützen, die in der Aufnahme hörbar sind. So lässt sich die Ausgabe leichter überprüfen.

Laden Sie die Audiodatei über die Files API hoch oder fügen Sie sie, sofern geeignet, der Anfrage hinzu. Im Google-Beispiel wird der Modellname gemini-3.8-flash verwendet. Übermitteln Sie anschließend die Audiodatei und eine auf Ihren Zweck zugeschnittene Anweisung wie die folgende mit einem generate_content-Aufruf.

Bu ses kaydını mimari saha gözlemi olarak incele. Yalnızca kayıtta duyulan bilgilere dayanarak mekân, duyulan sesler ve konuşmacıların belirttiği sorunları kısa maddeler hâlinde özetle. Duyulmayan veya belirsiz kalan bilgileri tahmin etme; belirsiz olduklarını açıkça belirt.

Diese Anweisung fordert eine erste Liste von Notizen an, statt die Aufnahme direkt als technischen Bericht auszugeben. Hören Sie sich die als unklar markierten Punkte noch einmal an und überprüfen Sie sie.

2. Transkript oder kurze Zusammenfassung anfordern

Um Beschlüsse und Folgeaufgaben aus einer Besprechungsaufnahme herauszuarbeiten, können Sie ein Transkript oder eine Zusammenfassung anfordern. Die Gemini API kann Audioinhalte zusammenfassen und Fragen dazu beantworten. Richten Sie die Anweisung gezielt auf die Informationen aus, die das Team anschließend benötigt.

Bu proje toplantısı kaydını özetle. Alınan kararları, konuşmacıların açıkça belirttiği takip işlerini ve yanıtı kesinleşmeyen soruları ayrı başlıklar altında yaz. Kayıtta bulunmayan kişi, tarih, ölçü veya karar ekleme.

Eine solche Ausgabe kann als erster Entwurf für Besprechungsnotizen dienen. Vergleichen Sie jedoch Projektbegriffe und verantwortliche Personen mit der Originalaufnahme: Ein falsch verstandener Ausdruck kann die Bedeutung eines Beschlusses verändern.

3. Zeitstempel und strukturierte Ergebnisse anfordern

Wenn Sie bestimmte Stellen in einer Aufnahme wiederfinden müssen, können Sie für jeden Abschnitt einen Zeitstempel anfordern. Die Beispielimplementierung von Google verwendet ein in Abschnitte unterteiltes Audiotranskript und eine strukturierte Ausgabe mit Feldern wie Zeitstempel, Inhalt, Sprache und Stimmung. Im Beispiel ist das Antwortformat auf JSON eingestellt; die Felder werden anhand eines Schemas definiert.

Ses kaydını anlamlı bölümlere ayır. Her bölüm için MM:SS biçiminde zaman damgası, duyulan içeriğin dökümü ve bölümün dilini belirt. Ayrıca bölümün kısa bir özetini ekle. Zaman damgasından emin değilsen bunu açıkça yaz; duyulmayan sözcükleri tamamlama.

Wenn Ihre Anwendung ein strukturiertes Ergebnis benötigt, können Sie – wie im Beispiel der API-Dokumentation – Antwortformat und Felder anhand eines Schemas definieren. Im Beispielschema enthält das Feld summary die allgemeine Zusammenfassung; das Array segments enthält die einzelnen Abschnitte. Die Abschnittsobjekte umfassen Felder wie Zeitstempel und Inhalt. Das kann die spätere Prüfung oder Verarbeitung in der Anwendung erleichtern. Das Schema garantiert jedoch nicht automatisch die Richtigkeit der Transkription.

4. Fragen zum Audioinhalt stellen

Statt die gesamte Datei erneut zusammenfassen zu lassen, können Sie eine Frage zu einem bestimmten Thema in der Aufnahme stellen. Bei einer Innenraumbegehung könnten Sie beispielsweise herausarbeiten lassen, was die Sprecher über Beleuchtung, Akustik oder Oberflächen gesagt haben. Setzen Sie nicht voraus, dass diese Themen in der Aufnahme vorkommen. Weisen Sie in der Anweisung darauf hin, dass nur tatsächlich hörbare Passagen wiedergegeben werden sollen.

Bu iç mekân inceleme kaydında aydınlatma, akustik ve yüzey malzemeleri hakkında söylenenleri ayrı ayrı listele. Bir başlık kayıtta hiç geçmiyorsa bunu belirt. Her madde için ilgili bölümün zaman damgasını ver ve kayıtta bulunmayan teknik öneriler ekleme.

Die Gemini API unterstützt Anwendungsfälle, bei denen bestimmte Audiopassagen analysiert und mit Zeitstempeln versehen werden. Hören Sie sich bei der Überprüfung jeden Punkt im entsprechenden Zeitabschnitt an. Ein Zeitstempel allein beweist nicht, dass die Aufnahme korrekt interpretiert wurde.

Häufige Fehler

• Unklare Anweisungen formulieren: Eine allgemeine Aufforderung wie „Analysiere die Aufnahme“ legt nicht fest, welche Informationen benötigt werden. Wählen Sie ein konkretes Ziel: Transkript, Zusammenfassung, Folgeaufgabe oder ein bestimmtes Thema.

• Vermutungen als Fakten übernehmen: Sind technische Maße, Materialbezeichnungen oder Beschlüsse in der Aufnahme nicht eindeutig, bitten Sie das Modell, sie nicht zu ergänzen, und überprüfen Sie die Ausgabe durch Anhören.

• Anfragegröße übersehen: Bei einer Gesamtgröße von mehr als 20 MB sollte die Files API verwendet werden. Berücksichtigen Sie dabei neben der Audiodatei auch die übrigen Inhalte der Anfrage.

• Live-Transkription erwarten: Laut Audiodokumentation der Gemini API wird Echtzeittranskription nicht unterstützt. Verwenden Sie diesen Workflow für vorhandene Dateien.

• Strukturierte Ausgabe für ein verifiziertes Protokoll halten: Ein JSON-Schema bestimmt die Struktur der Antwort. Richtigkeit der gehörten Wörter, der Sprachangabe und der Zeitstempel müssen Sie gesondert überprüfen.

Nächste Schritte

Beginnen Sie mit einer kurzen Aufnahme, deren Inhalt Ihnen bekannt ist. Testen Sie für dasselbe Audio getrennte Anweisungen für eine Zusammenfassung, ein Transkript und zeitmarkierte Abschnitte, um herauszufinden, welche Ausgabe für Ihr Team am nützlichsten ist. Wenn die Ergebnisse in Projektnotizen übernommen werden, sollten Sie den Abgleich mit der Audioaufnahme fest in den Workflow integrieren.

Teams, die eine Anwendung entwickeln, können sich das Python-Beispiel in der Dokumentation ansehen. Dort wird Audio über die Files API hochgeladen und anschließend ein generate_content-Aufruf ausgeführt. Im REST-Beispiel mit API-Schlüssel wird außerdem die Variable GEMINI_API_KEY gezeigt. Berücksichtigen Sie bei der Wahl der Übermittlungsmethode die Gesamtgröße der Anfrage. Wenn Sie eine Live-Transkription benötigen, beachten Sie, dass die Anleitung zur Gemini API-Audioverarbeitung diesen Anwendungsfall nicht unterstützt.

Quelle und Lizenz

Dieser Leitfaden basiert auf der Dokumentation zum Audioverständnis der Gemini API von Google sowie auf den Informationen zu Gemini Omni Flash auf der Seite zur Videogenerierung. Der Inhalt wurde aus unter CC BY 4.0 lizenzierten Quellen ins Türkische übertragen und für Workflows in Architektur, Innenraumgestaltung und Archviz neu verfasst.