Коротко
- Gemini API может анализировать аудио и формировать текстовый ответ.
- Аудиофайл можно загрузить через Files API или отправить вместе с запросом.
- Если общий размер запроса превышает 20 МБ, Google рекомендует использовать Files API.
- Gemini API не поддерживает транскрибацию в реальном времени.
Что вы узнаете из этого руководства?
Аудиозаписи, сделанные во время посещения стройплощадки, осмотра интерьера или проектного совещания, можно превратить в заметки, которые удобно искать. Gemini API позволяет описывать и обобщать аудио, а также отвечать на вопросы о его содержании. В документации также рассматриваются такие сценарии, как преобразование речи в текст, перевод, определение эмоциональной окраски и добавление временных меток к отдельным фрагментам.
В этом руководстве описаны шаги по передаче аудиофайла в API и составлению инструкций для архитектурного рабочего процесса. Примеры подготовлены для работы с записью наблюдений на объекте, оценки материалов или проектного совещания. Результат следует рассматривать как черновик для проверки по исходной записи, а не как готовый акт осмотра или техническое решение.
Что потребуется
Для этого рабочего процесса нужны доступ к Gemini API, API-ключ и аудиофайл. В примерах Google для Python используется клиент google-genai: его импортируют командой from google import genai, а затем создают через genai.Client(). В источнике не указана конкретная версия клиентской библиотеки, поэтому номер версии здесь не приводится.
В документации показаны два способа работы с аудиофайлом: загрузить его и использовать в запросе generate_content или добавить аудиоданные непосредственно в запрос. Если общий размер запроса — включая файл, текст запроса и системные инструкции — превышает 20 МБ, следует использовать Files API. Текстовые примеры в этом руководстве — это инструкции для API; загрузка файла и получение ответа выполняются приложением посредством вызова API.
Заранее учитывайте одно ограничение: Gemini API не поддерживает транскрибацию в реальном времени. Поэтому описанные ниже шаги предназначены для обработки уже существующего аудиофайла, а не для мгновенной расшифровки текущего совещания.
Анализ аудио шаг за шагом
1. Определите запись и задачу
Сначала уточните, на какой вопрос нужно получить ответ. Например, можно перечислить шумы, слышимые в помещении, извлечь решения, принятые на совещании, или найти конкретный фрагмент разговора. Если попросить опираться только на информацию, которую действительно можно услышать в записи, результат будет проще проверить.
Загрузите запись в API через Files API или, если это допустимо, добавьте её непосредственно в запрос. В примере Google используется название модели gemini-3.8-flash. Затем передайте аудиофайл и составленную для вашей задачи инструкцию в вызов generate_content.
Bu ses kaydını mimari saha gözlemi olarak incele. Yalnızca kayıtta duyulan bilgilere dayanarak mekân, duyulan sesler ve konuşmacıların belirttiği sorunları kısa maddeler hâlinde özetle. Duyulmayan veya belirsiz kalan bilgileri tahmin etme; belirsiz olduklarını açıkça belirt.Эта инструкция просит составить первоначальный список заметок, а не представлять запись как готовый технический отчёт. Отмеченные в результате как неясные пункты следует дополнительно проверить, прослушав запись.
2. Запросите транскрипцию или краткое изложение
Чтобы извлечь решения и задачи для дальнейшей работы из записи совещания, можно запросить транскрипцию или краткое изложение. Gemini API умеет обобщать аудиосодержание и отвечать на вопросы о нём. Формулируйте запрос с учётом того, какая информация понадобится команде на следующем этапе.
Bu proje toplantısı kaydını özetle. Alınan kararları, konuşmacıların açıkça belirttiği takip işlerini ve yanıtı kesinleşmeyen soruları ayrı başlıklar altında yaz. Kayıtta bulunmayan kişi, tarih, ölçü veya karar ekleme.Такой результат может стать черновиком протокола совещания. Однако термины проекта и ответственных лиц, упомянутых в записи, нужно сверить с оригинальным аудио: неверно распознанное слово может изменить смысл решения.
3. Запросите временные метки и структурированный результат
Если нужно найти отдельные фрагменты записи, можно запросить временную метку для каждого из них. В примере Google транскрипция аудио разделяется на фрагменты, а результат представляется в структурированном виде с такими полями, как временная метка, содержание, язык и эмоциональная окраска. В примере формат ответа задан как JSON, а поля описаны с помощью схемы.
Ses kaydını anlamlı bölümlere ayır. Her bölüm için MM:SS biçiminde zaman damgası, duyulan içeriğin dökümü ve bölümün dilini belirt. Ayrıca bölümün kısa bir özetini ekle. Zaman damgasından emin değilsen bunu açıkça yaz; duyulmayan sözcükleri tamamlama.Если приложению нужен структурированный результат, можно, как в примере из документации API, задать схему с форматом ответа и полями. В примерной схеме поле summary содержит общее краткое изложение, а массив segments — записи отдельных фрагментов; объект фрагмента включает такие поля, как временная метка и содержание. Такой подход может упростить проверку результата и его обработку в приложении, однако сама схема не гарантирует точность транскрипции.
4. Задайте вопрос о содержании аудио
Вместо того чтобы просить повторно обобщить весь файл, можно задать вопрос о конкретной теме в записи. Например, при осмотре интерьера можно извлечь высказывания об освещении, акустике или отделочных материалах. Не следует предполагать, что эти темы обязательно упоминаются в записи: попросите передавать только то, что действительно слышно.
Bu iç mekân inceleme kaydında aydınlatma, akustik ve yüzey malzemeleri hakkında söylenenleri ayrı ayrı listele. Bir başlık kayıtta hiç geçmiyorsa bunu belirt. Her madde için ilgili bölümün zaman damgasını ver ve kayıtta bulunmayan teknik öneriler ekleme.Gemini API поддерживает сценарии, в которых анализируются отдельные фрагменты аудио и указываются временные метки. Проверяя результат, прослушайте каждый пункт в соответствующем временном диапазоне: сама по себе временная метка не доказывает, что запись интерпретирована верно.
Типичные ошибки
Слишком общий запрос: инструкция вроде «Проанализируй запись» не объясняет, какая именно информация нужна. Уточните задачу: транскрипция, краткое изложение, список последующих задач или сведения по конкретной теме.
Принятие предположений за факты: если технические параметры, название материала или решение звучат в записи неразборчиво, попросите модель не додумывать их и проверьте результат, прослушав аудио.
Игнорирование размера запроса: если общий размер превышает 20 МБ, следует использовать Files API. Учитывайте не только аудиофайл, но и другие данные в запросе.
Ожидание транскрибации в реальном времени: в документации Gemini API по аудио указано, что такая возможность не поддерживается. Используйте этот рабочий процесс для уже существующих файлов.
Восприятие структурированного ответа как проверенной записи: JSON-схема задаёт структуру ответа. Точность распознанных слов, языковых данных и временных меток нужно проверять отдельно.
Дальнейшие шаги
Для начала протестируйте процесс на короткой записи с известным содержанием. Попробуйте отдельно запросить по одному и тому же аудио краткое изложение, транскрипцию и фрагменты с временными метками, чтобы определить, какой формат удобнее команде. Если результаты будут переноситься в проектные заметки, включите в рабочий процесс их сверку с аудиозаписью.
Команды, разрабатывающие приложения, могут изучить пример на Python в документации: в нём аудио загружается через Files API, а затем выполняется вызов generate_content. В примере REST-запроса с API-ключом также показана переменная GEMINI_API_KEY. Выбирая способ передачи аудиоданных, учитывайте общий размер запроса; если нужна транскрибация в реальном времени, помните, что руководство Gemini API по работе с аудио не поддерживает этот сценарий.
Источники и лицензия
Это руководство основано на документации Google по распознаванию аудио в Gemini API и информации о Gemini Omni Flash на странице генерации видео. Материалы из источников, распространяемых по лицензии CC BY 4.0, адаптированы на турецкий язык и переработаны для рабочих процессов в архитектуре, дизайне интерьеров и archviz.
Источники
Источников: 2Тексты источников не перепечатываются; короткие цитаты отмечены, остальное — наш пересказ и комментарий.
Для архитектурных бюро и студентов в Турции преобразование аудиозаписи в краткое изложение или черновик заметок с возможностью поиска может сократить объём работы после выезда на объект и совещания. В частности, фрагменты с временными метками — удобная отправная точка, когда нужно быстро найти в записи нужную информацию.
При этом использование API, передача записей и интеграция в рабочий процесс требуют дополнительных решений; в источниках не указаны цены и стоимость использования. Поэтому перед оценкой бюджета следует отдельно проверить актуальные условия. При выборе также нужно учитывать отсутствие поддержки транскрибации в реальном времени и необходимость сверять результаты с записью.
Частые вопросы
Может ли Gemini API расшифровывать аудиофайлы?
Да. В документации Google описаны такие сценарии, как преобразование аудио в текст, краткое изложение и перевод. Транскрибация в реальном времени не поддерживается.
Как отправить аудиофайл в Gemini API?
Аудиофайл можно загрузить через Files API и использовать в запросе `generate_content` или, если это допустимо, добавить непосредственно в запрос. Если общий размер запроса превышает 20 МБ, следует использовать Files API.
Можно ли получить временные метки при анализе аудио?
В документации описан сценарий анализа отдельных фрагментов аудио с указанием временных меток, а также пример структурированного ответа для транскрипции с временными метками.
