Анализ аудио через Gemini API: превращаем записи в текст и краткое содержание

Что вы узнаете из этого руководства?

С помощью аудиоввода Gemini API можно попросить описать содержание записи, составить её краткое изложение или ответить на вопросы. API также умеет транскрибировать и переводить аудио, а ещё анализировать отдельные фрагменты с временными метками; к задокументированным сценариям использования относятся и определение эмоций в речи и музыке.

Архитектурные и интерьерные команды могут попробовать эти возможности, чтобы подготовить текстовые черновики по итогам совещаний, обсуждений проекта или записей с объекта. Однако точность транскрипта необходимо проверять: особенно при работе с проектными решениями, размерами и техническими терминами не следует считать автоматический результат утверждённым протоколом.

Требования и выбор файла

В примере используется клиент Python и идентификатор модели gemini-3.8-flash. Код Python импортирует пакет google.genai, создаёт клиент, затем загружает аудиофайл и передаёт его в запросе generate_content вместе с текстовой инструкцией. Источник не указывает цены, тип учётной записи или обязательные шаги установки, поэтому мы не предполагаем никаких условий на этот счёт.

Аудиоданные можно передать двумя способами: добавить непосредственно в запрос или предварительно загрузить как файл. Если общий размер запроса превышает 20 MB с учётом файла, текстового промпта и системных инструкций, документация рекомендует использовать Files API. Короткий пример на Python ниже показывает загрузку файла и передачу инструкции:

from google import genai

client = genai.Client()
myfile = client.files.upload(file="path/to/sample.mp3")
response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=["Describe this audio clip", myfile]
)
print(response.text)

Замените path/to/sample.mp3 на путь к нужному аудиофайлу. Текст в contents задаёт ожидаемую задачу для модели. Код выводит ответ как текст, поэтому не стоит рассчитывать, что результат каждый раз будет соответствовать конкретной JSON-схеме.

Анализ аудио: пошаговый процесс

1. Чётко сформулируйте задачу. Сначала запросите только один тип результата: краткое содержание, транскрипцию, перевод или описание аудио. Если вам нужны несколько вариантов по одной записи, перечислите требования в инструкции отдельными пунктами.

Bu ses kaydını Türkçe olarak özetle. Ana konuya ve konuşmacıların belirttiği proje kararlarına odaklan. Duyulmayan veya belirsiz kalan bilgileri tahmin etme; bunları belirsiz olarak belirt.

Эта инструкция — пример промпта для получения краткого содержания записи совещания или обсуждения проекта. Это не готовый архитектурный промпт из источника, а пример, подготовленный с учётом описанной функции суммирования аудио.

1. Загрузите аудиофайл и добавьте его в запрос. В приведённом выше коде файл загружается с помощью client.files.upload, затем передаётся в вызов generate_content вместе с инструкцией. Проверьте общий размер запроса: ограничение в 20 MB относится не к размеру одного файла, а к суммарному размеру запроса, как поясняется в источнике. Документация также указывает, что для запросов меньшего размера аудиоданные можно передать непосредственно в запросе.

2. Укажите требования к транскрипции. При расшифровке записи чётко обозначьте пожелания к языку, переводу и разбиению на фрагменты. В примере из документации запрашиваются временная метка каждого фрагмента в формате MM:SS, основной язык, перевод на английский для фрагментов не на английском и эмоция говорящего. В примере список эмоций ограничен значениями Happy, Sad, Angry и Neutral.

Ses kaydını ayrıntılı biçimde yazıya dök. Her bölüm için MM:SS biçiminde zaman damgası ve konuşulan dili belirt. Konuşma İngilizce değilse İngilizce çevirisini ekle. Her bölüm için şu seçeneklerden yalnızca birini kullanarak baskın duyguyu belirt: Happy, Sad, Angry, Neutral. Başta kaydın kısa bir özetini ver.

Этот промпт адаптирует описанный в документации пример транскрипции для общей записи, например архитектурного совещания. Если аудио на турецком языке, инструкция по-прежнему требует перевода на английский; замена целевого языка не гарантирует тот же результат, что и в примере.

1. Запросите структурированный вывод. В официальном примере формат ответа задаётся как application/json, а для результата определяется схема. В неё входят поле summary с кратким содержанием и массив фрагментов segments. Для каждого фрагмента задаются такие поля, как временная метка, содержимое, язык, код языка, перевод и эмоция. Это может упростить обработку результата в приложении по конкретным полям. Однако в примерной схеме некоторые поля указаны как обязательные, а translation в список обязательных не входит; проверьте, какие поля нужны в вашем приложении.

2. Сверьте результат с записью. Проверьте временные метки, имена, числа и размеры по исходному аудио. Если в записи звучит несколько языков, отдельно проверьте поля языка и перевода. Метка эмоции тоже является автоматической классификацией — её не следует выдавать за объективный факт в протоколе совещания или отзыве клиента.

Частые ошибки и ограничения

Главное ограничение: Gemini API не поддерживает транскрибацию в реальном времени. Для живых разговоров и видеоинтеракций документация рекомендует Live API, а для специализированных моделей преобразования речи в текст с поддержкой транскрибации в реальном времени — Google Cloud Speech-to-Text API. Поэтому создание субтитров во время встречи и последующая обработка аудиофайла — это разные сценарии работы.

Ещё одна распространённая ошибка — рассчитывать, что короткая инструкция обеспечит подробный и хорошо структурированный результат. Если нужны временные метки, краткое содержание, язык, перевод или эмоция, явно укажите это в запросе. Если приложение должно распределять ответ по полям, рассмотрите описанный в источнике подход со структурированным выводом. Кроме того, общий запрос вроде Describe this audio clip просит только описать аудио — он не требует транскрипции или временных меток фрагментов.

При выборе способа загрузки учитывайте общий размер запроса. В официальной документации прямо сказано использовать Files API, если общий размер превышает 20 MB. Источники не приводят сведений о ценах, сроке хранения файлов или исчерпывающем списке поддерживаемых аудиоформатов, поэтому не делайте предположений на этот счёт; перед началом работы проверьте актуальную документацию API.

Как это может пригодиться в архитектуре, интерьерах и archviz

Архитекторы и дизайнеры интерьеров могут попробовать суммировать записи совещаний, транскрибировать голосовые заметки с объекта или разбивать на фрагменты устные комментарии к визуализациям. Временные метки помогут быстро вернуться к нужному моменту длинной записи. В многоязычных обсуждениях поле перевода может быть полезно для подготовки черновиков.

Эти сценарии не представлены в источнике как готовые архитектурные решения — это возможные варианты применения функций API для суммирования, транскрипции, перевода и расстановки временных меток. Технические термины, названия помещений, размеры и решения клиентов обязательно нужно проверять, прослушивая запись. Командам также следует изучить расходы на использование API и условия обработки данных для своих учётных записей; в источнике эти вопросы подробно не раскрыты.

Что делать дальше

Для первого теста выберите короткую запись с одной чёткой задачей. Сначала получите краткое содержание или транскрипцию и проверьте результат, прослушав запись. Затем поочерёдно добавляйте дополнительные требования — временные метки, перевод или поля JSON. Так будет проще определить, связана ли ошибка с аудиовводом, инструкцией или ожидаемым форматом результата.

Если нужна транскрибация в реальном времени, не используйте пример обработки файла через Gemini API как решение для живых записей. Отдельно изучите варианты, на которые указывает документация: Live API и Google Cloud Speech-to-Text. Пример из этого руководства предназначен для анализа аудиофайлов и генерации текстового ответа.

Источник и лицензия

Это руководство адаптировано на турецкий язык на основе примеров из документации Google по пониманию аудио в Gemini API. Источник распространяется по лицензии CC BY 4.0. Пример кода и сведения об использовании основаны на материалах этого руководства с открытой лицензией; промпты для архитектурной сферы подготовлены редакцией.