Analyser des fichiers audio avec l’API Gemini : transcrire et résumer des enregistrements

Ce que vous apprendrez dans ce guide

Vous pouvez utiliser l’entrée audio de l’API Gemini pour décrire le contenu d’un enregistrement, le résumer ou répondre à des questions à son sujet. L’API permet également de transcrire et de traduire des fichiers audio, ainsi que d’examiner des passages précis avec des horodatages. La détection des émotions dans la parole et la musique figure aussi parmi les cas d’usage documentés.

Ces fonctionnalités peuvent être testées par les équipes d’architecture et de design d’intérieur afin de produire une première ébauche de texte à partir de comptes rendus de réunion, d’évaluations de projet ou d’enregistrements de chantier. Il faut toutefois vérifier l’exactitude de la transcription : en particulier pour les décisions de projet, les mesures et les termes techniques, ne considérez pas le résultat automatique comme un compte rendu validé.

Prérequis et choix du fichier

L’exemple utilise le client Python et l’identifiant de modèle gemini-3.8-flash. Le code Python importe le paquet google.genai pour créer un client, puis téléverse le fichier audio et l’ajoute à une requête generate_content avec une instruction textuelle. La source ne précise ni tarif, ni type de compte, ni étapes d’installation requises ; nous ne supposons donc aucune condition à ce sujet.

Vous pouvez envoyer les données audio de deux façons : les inclure directement dans la requête ou téléverser le fichier avant l’envoi. Si la taille totale de la requête, fichier, prompt textuel et instructions système compris, dépasse 20 MB, la documentation recommande d’utiliser l’API Files. Le court exemple Python ci-dessous montre la méthode de téléversement et une instruction associée au fichier :

from google import genai

client = genai.Client()
myfile = client.files.upload(file="path/to/sample.mp3")
response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=["Describe this audio clip", myfile]
)
print(response.text)

Remplacez path/to/sample.mp3 dans l’exemple par le chemin du fichier audio à utiliser. Le texte dans contents indique au modèle le résultat attendu. Le code affiche la réponse sous forme de texte ; ne partez donc pas du principe que la sortie respectera à chaque fois un schéma JSON précis.

Analyse audio étape par étape

1. Définissez clairement la tâche. Commencez par demander un seul type de résultat : un bref résumé, une transcription, une traduction ou une description de l’audio. Si vous souhaitez obtenir plusieurs résultats à partir du même enregistrement, énumérez séparément vos attentes dans l’instruction.

Résume cet enregistrement audio en turc. Concentre-toi sur le sujet principal et les décisions de projet mentionnées par les intervenants. Ne devine pas les informations inaudibles ou ambiguës ; indique qu’elles sont incertaines.

Cette instruction est un exemple de prompt permettant d’obtenir un premier résumé d’un enregistrement de réunion ou d’évaluation de projet. Il ne s’agit pas d’un prompt d’architecture fourni tel quel par la source, mais d’un exemple conçu à partir de la fonctionnalité documentée de résumé audio.

1. Téléversez le fichier audio et ajoutez-le à la requête. Dans le code ci-dessus, le fichier est téléversé avec client.files.upload, puis le fichier téléversé et l’instruction sont transmis à l’appel generate_content. Vérifiez la taille totale de la requête : la limite de 20 MB concerne la requête entière, comme l’explique la source, et non le seul fichier. La documentation précise aussi que les données audio peuvent être envoyées directement dans la requête lorsque celle-ci est plus petite.

2. Précisez vos attentes pour la transcription. Pour transcrire un enregistrement, indiquez clairement vos attentes en matière de langue, de traduction et de segmentation. L’exemple de la documentation demande un horodatage au format MM:SS pour chaque segment, la langue principale, une traduction en anglais des passages qui ne sont pas en anglais, ainsi que l’émotion de l’intervenant. Les émotions proposées dans l’exemple sont limitées à Happy, Sad, Angry et Neutral.

Transcris cet enregistrement audio en détail. Pour chaque segment, indique l’horodatage au format MM:SS et la langue parlée. Si la conversation n’est pas en anglais, ajoute une traduction en anglais. Pour chaque segment, indique l’émotion dominante en choisissant une seule option parmi : Happy, Sad, Angry, Neutral. Commence par un bref résumé de l’enregistrement.

Ce prompt reformule, pour un enregistrement général tel qu’une réunion d’architecture, le déroulement de l’exemple de transcription décrit dans la documentation. Si l’audio est en turc, l’attente de traduction vers l’anglais, conformément à l’instruction source, est conservée ; modifier la langue cible ne garantit pas le même résultat que dans l’exemple.

1. Demandez une sortie structurée. Dans l’exemple officiel, le format de réponse est défini sur application/json et un schéma est spécifié. Celui-ci contient un champ de résumé nommé summary et un tableau de segments nommé segments. Pour chaque segment, il définit des champs tels que l’horodatage, le contenu, la langue, le code de langue, la traduction et l’émotion. Cette approche peut permettre de traiter des champs précis dans l’application. Toutefois, certains champs sont obligatoires dans le schéma d’exemple, tandis que le champ translation ne figure pas dans la liste des champs obligatoires ; vérifiez les champs attendus dans votre propre application.

2. Vérifiez le résultat à l’écoute de l’enregistrement. Comparez les horodatages, les noms propres, les nombres et les mesures avec l’audio d’origine. Pour les enregistrements en plusieurs langues, examinez aussi les champs de langue et de traduction. L’étiquette d’émotion est également une classification automatique : elle ne doit pas être utilisée comme un fait objectif dans un compte rendu de réunion ou un retour client.

Erreurs fréquentes et limites

La principale limite est que l’API Gemini ne prend pas en charge la transcription en temps réel. Pour les interactions en direct avec de la voix et de la vidéo, la documentation renvoie vers l’API Live ; pour les modèles spécialisés de conversion de la parole en texte prenant en charge la transcription en temps réel, elle renvoie vers l’API Google Cloud Speech-to-Text. Générer des sous-titres pendant une réunion et traiter ultérieurement un fichier audio ne correspondent donc pas au même flux de travail.

Autre erreur fréquente : supposer qu’une instruction brève produira un résultat détaillé et bien structuré. Si vous avez besoin d’horodatages, d’un résumé, de la langue, d’une traduction ou d’une émotion, précisez-le clairement dans le prompt ; si votre application doit répartir la réponse dans différents champs, envisagez l’approche de sortie structurée présentée dans la source. Par ailleurs, une requête générale telle que Describe this audio clip demande uniquement une description du son ; elle ne sollicite ni transcription ni horodatage des segments.

Lors du choix de la méthode de téléversement, tenez compte de la taille totale de la requête. La documentation officielle précise explicitement qu’il faut utiliser l’API Files pour les requêtes dont la taille totale dépasse 20 MB. Les sources ne fournissant pas d’informations sur les tarifs, la durée de conservation des fichiers ou une liste complète des formats audio compatibles, ne faites pas de supposition à ce sujet ; consultez la documentation actuelle de l’API avant toute utilisation.

Incidence sur les flux de travail en architecture, en design d’intérieur et en archviz

Les architectes et les designers d’intérieur peuvent essayer de résumer des enregistrements de réunion, de transcrire des notes vocales prises sur un chantier ou de segmenter les commentaires exprimés lors de revues de visualisation. Les horodatages peuvent faciliter le retour à un passage pertinent dans un long enregistrement. Pour les échanges multilingues, le champ de traduction peut également être utile comme base de travail.

Ces usages ne sont pas présentés comme des applications architecturales prêtes à l’emploi dans la source ; ce sont des flux de travail potentiels déduits des fonctionnalités de résumé, de transcription, de traduction et d’horodatage de l’API. Il faut impérativement vérifier à l’écoute les termes techniques, les noms de pièces, les mesures et les décisions des clients. Les équipes doivent également examiner les coûts et les conditions de traitement des données associés à l’utilisation de l’API pour leur propre compte ; la page source ne donne pas de détails à ce sujet.

Étapes suivantes

Pour votre premier essai, choisissez un enregistrement court avec un objectif unique. Commencez par générer un résumé ou une transcription et vérifiez le résultat en écoutant l’enregistrement ; ajoutez ensuite, une par une, les exigences supplémentaires comme les horodatages, la traduction ou les champs JSON. Il sera ainsi plus facile de déterminer si une erreur vient de l’entrée audio, de l’instruction ou du format de sortie attendu.

Si vous avez besoin d’une transcription en direct, n’utilisez pas l’exemple de traitement de fichier avec l’API Gemini comme s’il s’agissait d’une solution en temps réel. Examinez séparément les options mentionnées dans la documentation : l’API Live et Google Cloud Speech-to-Text. L’exemple présenté ici concerne l’analyse audio à partir d’un fichier et la génération d’une réponse textuelle.

Source et licence

Ce guide a été adapté en turc à partir des exemples de la documentation de Google sur la compréhension audio avec l’API Gemini. La source est sous licence CC BY 4.0. L’exemple de code et les informations d’utilisation s’appuient sur les explications de ce guide sous licence libre ; les prompts axés sur l’architecture ont été préparés par la rédaction.