Audio mit der Gemini API analysieren: Aufnahmen transkribieren und zusammenfassen

Was erfahren Sie in dieser Anleitung?

Mit Audioeingaben können Sie die Gemini API dazu auffordern, den Inhalt einer Aufnahme zu beschreiben oder zusammenzufassen oder Fragen dazu zu beantworten. Die API kann Audio transkribieren und übersetzen sowie bestimmte Abschnitte anhand von Zeitstempeln analysieren. Auch die Emotionserkennung in Sprache und Musik gehört zu den dokumentierten Anwendungsfällen.

Architektur- und Innenarchitekturbüros können diese Funktionen beispielsweise ausprobieren, um aus Besprechungsprotokollen, Projektbesprechungen oder Baustellenaufnahmen Textentwürfe zu erstellen. Die Genauigkeit des Transkripts muss jedoch überprüft werden. Behandeln Sie automatische Ergebnisse insbesondere bei Projektentscheidungen, Maßen und Fachbegriffen nicht wie ein freigegebenes Protokoll.

Voraussetzungen und Dateiauswahl

Das Beispiel verwendet den Python-Client und die Modellkennung gemini-3.8-flash. Der Python-Code importiert das Paket google.genai, erstellt einen Client, lädt anschließend eine Audiodatei hoch und fügt sie zusammen mit einer Textanweisung in eine generate_content-Anfrage ein. Da die Quelle keine Angaben zu Preisen, Kontotypen oder erforderlichen Installationsschritten macht, nehmen wir hier keine entsprechenden Voraussetzungen an.

Audiodaten können auf zwei Arten übermittelt werden: direkt in der Anfrage oder als zuvor hochgeladene Datei. Bei einer Gesamtgröße von mehr als 20 MB – einschließlich Datei, Textprompt und Systemanweisungen – empfiehlt die Dokumentation die Files API. Das folgende kurze Python-Beispiel zeigt, wie Sie eine Datei hochladen und mit einer Anweisung verknüpfen:

from google import genai

client = genai.Client()
myfile = client.files.upload(file="path/to/sample.mp3")
response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=["Describe this audio clip", myfile]
)
print(response.text)

Ersetzen Sie path/to/sample.mp3 durch den Pfad zur gewünschten Audiodatei. Der Text in contents legt fest, was das Modell tun soll. Der Code gibt die Antwort als Text aus. Gehen Sie daher nicht davon aus, dass die Ausgabe jedes Mal einem bestimmten JSON-Schema entspricht.

Audio Schritt für Schritt analysieren

1. Legen Sie die Aufgabe genau fest. Fordern Sie zunächst nur eine Art von Ergebnis an: eine kurze Zusammenfassung, eine Transkription, eine Übersetzung oder eine Beschreibung des Audios. Wenn Sie mehrere Ergebnisse aus derselben Aufnahme benötigen, führen Sie die Anforderungen in der Anweisung getrennt auf.

Fasse diese Audioaufnahme auf Türkisch zusammen. Konzentriere dich auf das Hauptthema und die von den Sprechenden genannten Projektentscheidungen. Rate keine Informationen, die unverständlich oder nicht eindeutig sind, sondern kennzeichne sie als unklar.

Diese Anweisung ist ein Beispielprompt für eine erste Zusammenfassung einer Besprechung oder Projektbesprechung. Es handelt sich nicht um einen fertigen Architektur-Prompt aus der Quelle, sondern um ein Beispiel, das auf der dokumentierten Funktion zur Audiozusammenfassung basiert.

1. Laden Sie die Audiodatei hoch und fügen Sie sie der Anfrage hinzu. Im obigen Code wird die Datei mit client.files.upload hochgeladen. Anschließend werden die hochgeladene Datei und die Anweisung an den Aufruf von generate_content übergeben. Prüfen Sie die Gesamtgröße der Anfrage: Die Grenze von 20 MB bezieht sich auf die in der Quelle beschriebene Gesamtanfrage, nicht nur auf die Datei. Laut Dokumentation können kleinere Anfragen Audiodaten auch direkt enthalten.

2. Formulieren Sie die Erwartungen an die Transkription. Nennen Sie beim Transkribieren einer Aufnahme ausdrücklich Anforderungen wie Sprache, Übersetzung und Segmentierung. Das Beispiel in der Dokumentation verlangt für jeden Abschnitt einen Zeitstempel im Format MM:SS, die primäre Sprache, eine englische Übersetzung für Abschnitte in anderen Sprachen und die Emotion der sprechenden Person. Die möglichen Emotionen sind im Beispiel auf Happy, Sad, Angry und Neutral beschränkt.

Transkribiere die Audioaufnahme detailliert. Gib für jeden Abschnitt einen Zeitstempel im Format MM:SS und die gesprochene Sprache an. Wenn die Sprache nicht Englisch ist, füge eine englische Übersetzung hinzu. Gib für jeden Abschnitt die vorherrschende Emotion an und verwende dafür genau eine der folgenden Optionen: Happy, Sad, Angry, Neutral. Stelle an den Anfang eine kurze Zusammenfassung der Aufnahme.

Dieser Prompt formuliert den in der Dokumentation erläuterten Transkriptionsablauf für eine allgemeine Aufnahme, etwa eine Architekturbesprechung, neu. Ist die Aufnahme auf Türkisch, bleibt die in der ursprünglichen Anweisung enthaltene Erwartung einer englischen Übersetzung bestehen. Eine Änderung der Zielsprache garantiert nicht dasselbe Ergebnis wie im Beispiel.

1. Fordern Sie eine strukturierte Ausgabe an. Im offiziellen Beispiel wird das Antwortformat auf application/json gesetzt und ein Schema definiert. Das Schema enthält ein Zusammenfassungsfeld namens summary und ein Array namens segments. Für die einzelnen Abschnitte sind Felder wie Zeitstempel, Inhalt, Sprache, Sprachcode, Übersetzung und Emotion vorgesehen. So lassen sich die Ergebnisse in der Anwendung anhand bestimmter Felder verarbeiten. Im Beispielschema sind einige Felder als erforderlich markiert, das Feld translation gehört jedoch nicht zur Liste der Pflichtfelder. Prüfen Sie daher, welche Felder Ihre Anwendung benötigt.

2. Gleichen Sie die Ausgabe mit der Aufnahme ab. Vergleichen Sie Zeitstempel, Eigennamen, Zahlen und Maße mit dem Originalaudio. Bei Aufnahmen in mehreren Sprachen sollten Sie auch die Sprach- und Übersetzungsfelder gesondert überprüfen. Eine Emotion ist ebenfalls eine automatische Klassifizierung und sollte in einem Sitzungsprotokoll oder Kundenfeedback nicht ohne Weiteres als objektive Tatsache behandelt werden.

Häufige Fehler und Einschränkungen

Die wichtigste Einschränkung: Die Gemini API unterstützt keine Echtzeittranskription. Für Live-Sprach- und Videointeraktionen verweist die Dokumentation auf die Live API; für spezielle Speech-to-Text-Modelle mit Echtzeittranskription auf die Google Cloud Speech-to-Text API. Sofortige Untertitel während einer Besprechung und die spätere Verarbeitung einer Audiodatei sind daher zwei unterschiedliche Workflows.

Ein weiterer häufiger Fehler ist die Annahme, eine kurze Anweisung führe automatisch zu einer detaillierten und strukturierten Ausgabe. Wenn Sie Zeitstempel, Zusammenfassung, Sprache, Übersetzung oder Emotionen benötigen, beschreiben Sie diese Anforderungen ausdrücklich im Prompt. Soll die Anwendung die Antwort in Felder aufteilen, ziehen Sie den in der Quelle gezeigten Ansatz mit strukturierten Ausgaben in Betracht. Eine allgemeine Anfrage wie Describe this audio clip fordert außerdem nur eine Beschreibung des Audios an – keine Transkription oder Zeitangaben zu einzelnen Abschnitten.

Berücksichtigen Sie bei der Wahl der Upload-Methode die Gesamtgröße der Anfrage. Die offizielle Dokumentation empfiehlt ausdrücklich die Files API, wenn die Gesamtanfrage größer als 20 MB ist. Da die Quellen keine Angaben zu Preisen, Speicherdauer von Dateien oder einer umfassenden Kompatibilitätsliste bestimmter Audioformate enthalten, sollten Sie hierzu keine Annahmen treffen. Prüfen Sie vor dem Einsatz die aktuelle API-Dokumentation.

Auswirkungen auf Architektur-, Innenarchitektur- und Archviz-Workflows

Architekten und Innenarchitekten können ausprobieren, Besprechungsaufnahmen zusammenfassen zu lassen, Sprachnotizen von Baustellen zu transkribieren oder mündliches Feedback zu Visualisierungen in Abschnitte aufzuteilen. Zeitstempel erleichtern es, bei längeren Aufnahmen zu einer relevanten Stelle zurückzukehren. Bei mehrsprachigen Gesprächen kann auch das Übersetzungsfeld für die Erstellung eines Arbeitsentwurfs nützlich sein.

Diese Anwendungen werden in der Quelle nicht als fertige Lösungen für die Architekturbranche vorgestellt. Es sind mögliche Workflows, die sich aus den Funktionen der API für Zusammenfassung, Transkription, Übersetzung und Zeitstempel ableiten. Fachbegriffe, Raumbezeichnungen, Maße und Kundenentscheidungen müssen unbedingt durch Abhören überprüft werden. Büros sollten außerdem die Kosten und Bedingungen der Datenverarbeitung für ihr eigenes API-Konto prüfen; auf der Quellseite finden sich dazu keine Details.

Nächste Schritte

Wählen Sie für den ersten Versuch eine kurze Aufnahme mit einem klaren Ziel. Lassen Sie zunächst eine Zusammenfassung oder Transkription erstellen und überprüfen Sie das Ergebnis, indem Sie die Aufnahme erneut anhören. Ergänzen Sie anschließend schrittweise weitere Anforderungen wie Zeitstempel, Übersetzung oder JSON-Felder. So lässt sich leichter feststellen, ob ein Fehler auf die Audioeingabe, die Anweisung oder das erwartete Ausgabeformat zurückzuführen ist.

Wenn Sie Echtzeittranskription benötigen, verwenden Sie das Beispiel zur dateibasierten Verarbeitung mit der Gemini API nicht als Echtzeitlösung. Prüfen Sie stattdessen die in der Dokumentation genannten Optionen Live API und Google Cloud Speech-to-Text. Das hier gezeigte Beispiel dient der dateibasierten Audioanalyse und der Erzeugung von Textantworten.

Quelle und Lizenz

Diese Anleitung wurde anhand der Beispiele in der Dokumentation von Google zur Audioverarbeitung mit der Gemini API ins Türkische übertragen und angepasst. Die Quelle steht unter der Lizenz CC BY 4.0. Das Codebeispiel und die Informationen zur Nutzung basieren auf den Erläuterungen in diesem offen lizenzierten Leitfaden; die Architektur-Prompts wurden redaktionell erstellt.