Analizar audio con Gemini API: convertir grabaciones en texto y resúmenes

¿Qué aprenderás en esta guía?

Puedes usar la entrada de audio de Gemini API para que describa el contenido de una grabación, la resuma o responda preguntas sobre ella. Además de transcribir y traducir audio, la API puede analizar segmentos concretos con marcas de tiempo; la detección de sentimientos en voz y música también figura entre los usos documentados.

Los equipos de arquitectura y diseño de interiores pueden probar estas funciones para generar borradores de texto a partir de actas de reuniones, revisiones de proyectos o grabaciones de obra. Sin embargo, es necesario verificar la precisión de la transcripción: especialmente en lo referente a decisiones de proyecto, medidas y términos técnicos, no se debe tratar el resultado automático como un acta aprobada.

Requisitos y selección de archivos

El ejemplo utiliza el cliente de Python y el identificador de modelo gemini-3.8-flash. El código de Python importa el paquete google.genai para crear un cliente; después, carga el archivo de audio y lo incluye en una solicitud generate_content junto con una instrucción de texto. La fuente no especifica precios, tipo de cuenta ni pasos de instalación necesarios, así que no suponemos ninguna condición al respecto.

Puedes enviar los datos de audio de dos maneras: adjuntarlos directamente a la solicitud o subirlos como archivo antes de realizarla. La documentación indica que se debe usar Files API si el tamaño total de la solicitud, incluidos el archivo, la instrucción de texto y las instrucciones del sistema, supera los 20 MB. El siguiente ejemplo breve en Python muestra cómo cargar un archivo y asociarlo a una instrucción:

from google import genai

client = genai.Client()
myfile = client.files.upload(file="path/to/sample.mp3")
response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=["Describe this audio clip", myfile]
)
print(response.text)

Sustituye path/to/sample.mp3 por la ruta del archivo de audio que vayas a usar. El texto de contents determina qué tarea se espera que realice el modelo. El código imprime la respuesta como texto; por tanto, no des por sentado que el formato de salida siempre se ajustará a un esquema JSON concreto.

Análisis de audio paso a paso

1. Define claramente la tarea. Primero, solicita un solo tipo de resultado: un resumen breve, una transcripción, una traducción o una descripción del audio. Si necesitas varios resultados de la misma grabación, especifica cada expectativa por separado en la instrucción.

Bu ses kaydını Türkçe olarak özetle. Ana konuya ve konuşmacıların belirttiği proje kararlarına odaklan. Duyulmayan veya belirsiz kalan bilgileri tahmin etme; bunları belirsiz olarak belirt.

Esta instrucción es un ejemplo de prompt para obtener un resumen inicial de una grabación de una reunión o una revisión de proyecto. No es un prompt de arquitectura incluido en la fuente, sino un ejemplo elaborado a partir de la función de resumen de audio documentada.

1. Sube el archivo de audio e inclúyelo en la solicitud. En el código anterior, el archivo se carga con client.files.upload; después, el archivo cargado y la instrucción se pasan a la llamada generate_content. Comprueba el tamaño total de la solicitud: el límite de 20 MB se refiere a la solicitud total descrita en la fuente, no solo al tamaño del archivo. La documentación también indica que los datos de audio pueden enviarse directamente en la solicitud cuando esta es más pequeña.

2. Especifica qué resultado esperas de la transcripción. Al transcribir una grabación, indica claramente aspectos como el idioma, la traducción y la segmentación. El ejemplo de la documentación solicita una marca de tiempo en formato MM:SS para cada segmento, el idioma principal, una traducción al inglés de los segmentos que no estén en inglés y el sentimiento del hablante. Las opciones de sentimiento del ejemplo se limitan a Happy, Sad, Angry y Neutral.

Ses kaydını ayrıntılı biçimde yazıya dök. Her bölüm için MM:SS biçiminde zaman damgası ve konuşulan dili belirt. Konuşma İngilizce değilse İngilizce çevirisini ekle. Her bölüm için şu seçeneklerden yalnızca birini kullanarak baskın duyguyu belirt: Happy, Sad, Angry, Neutral. Başta kaydın kısa bir özetini ver.

Este prompt reformula el flujo del ejemplo de transcripción descrito en la documentación para una grabación genérica, como una reunión de arquitectura. Si el audio está en turco, se mantiene la expectativa de traducirlo al inglés de la instrucción original; cambiar el idioma de destino no garantiza el mismo resultado que el del ejemplo.

1. Solicita el resultado en un formato estructurado. En el ejemplo oficial, el formato de respuesta se configura como application/json y se define un esquema. El esquema incluye un campo de resumen llamado summary y una lista de segmentos llamada segments; los segmentos especifican campos como la marca de tiempo, el contenido, el idioma, el código de idioma, la traducción y el sentimiento. Esto puede permitir que la aplicación procese campos específicos. Sin embargo, en el esquema de ejemplo algunos campos se indican como obligatorios y el campo translation no figura en la lista de campos obligatorios; comprueba qué campos necesita tu aplicación.

2. Verifica el resultado comparándolo con la grabación. Contrasta las marcas de tiempo, los nombres propios, las cifras y las medidas con el audio original. Si la grabación contiene varios idiomas, revisa también los campos de idioma y traducción. La etiqueta de sentimiento también es una clasificación automática; no debe tratarse directamente como un hecho objetivo en un acta de reunión ni en comentarios de clientes.

Errores frecuentes y limitaciones

La limitación más importante es que Gemini API no admite la transcripción en tiempo real. Para interacciones en directo de audio y video, la documentación remite a Live API; para modelos específicos de voz a texto que admiten transcripción en tiempo real, remite a Google Cloud Speech-to-Text API. Por tanto, generar subtítulos instantáneos durante una reunión y procesar posteriormente un archivo de audio son flujos de trabajo distintos.

Otro error es dar por hecho que una instrucción breve producirá un resultado detallado y ordenado. Si necesitas marcas de tiempo, un resumen, el idioma, una traducción o el sentimiento, descríbelos claramente en la instrucción; si la aplicación va a separar la respuesta en campos, considera el enfoque de salida estructurada que muestra la fuente. Además, una solicitud genérica como Describe this audio clip solo pide una descripción del audio; no solicita una transcripción ni marcas de tiempo para los segmentos.

Al elegir cómo cargar el archivo, ten en cuenta el tamaño total de la solicitud. La documentación oficial indica expresamente que se debe usar Files API para solicitudes totales que superen los 20 MB. Como las fuentes no incluyen información sobre precios, tiempo de almacenamiento de los archivos ni una lista exhaustiva de formatos de audio compatibles, no hagas suposiciones al respecto; consulta la documentación actualizada de la API antes de empezar a usarla.

Impacto en los flujos de trabajo de arquitectura, interiores y archviz

Los arquitectos y diseñadores de interiores pueden probar la generación de resúmenes de grabaciones de reuniones, la transcripción de notas de voz de obra o la segmentación de comentarios orales durante revisiones de visualización. Las marcas de tiempo pueden facilitar el regreso al fragmento pertinente de una grabación larga. En reuniones multilingües, el campo de traducción también puede resultar útil para preparar un borrador.

Estas no se presentan en la fuente como aplicaciones de arquitectura listas para usar, sino que son posibles flujos de trabajo inferidos de las funciones de resumen, transcripción, traducción y marcas de tiempo de la API. Es imprescindible escuchar y verificar los términos técnicos, los nombres de espacios, las medidas y las decisiones de los clientes. Los equipos también deben revisar los costes y las condiciones de tratamiento de datos asociados al uso de la API en sus propias cuentas; la página fuente no ofrece detalles al respecto.

Próximos pasos

Para la primera prueba, elige una grabación breve y con un único objetivo. Primero, genera un resumen o una transcripción y comprueba el resultado escuchando el audio; después, añade poco a poco requisitos como marcas de tiempo, traducción o campos JSON. Así será más fácil determinar si un error se debe a la entrada de audio, a la instrucción o al formato de salida esperado.

Si necesitas transcripción en directo, no uses el ejemplo de procesamiento de archivos con Gemini API como si fuera una solución en tiempo real. Consulta también las opciones Live API y Google Cloud Speech-to-Text mencionadas en la documentación. El ejemplo de esta guía está pensado para analizar archivos de audio y generar respuestas de texto.

Fuente y licencia

Esta guía se ha adaptado al turco a partir de los ejemplos de la documentación de Google sobre comprensión de audio de Gemini API. La fuente está bajo la licencia CC BY 4.0. El ejemplo de código y la información de uso se basan en las explicaciones de esta guía con licencia abierta; los prompts orientados a arquitectura se han preparado con fines editoriales.