Gemini 3.5 Live Translate: руководство по API для голосового перевода в реальном времени

Что запустила Google

Gemini 3.5 Live Translate — это не чат-модель с промптом для перевода. Это специализированный режим перевода в Live API: вы передаете потоковый аудиосигнал 16kHz PCM, выбираете целевой язык и получаете переведенный аудиопоток 24kHz, а также опциональные транскрипты от gemini-3.5-live-translate-preview.

Что изменилось для разработчиков

В своем посте о запуске Google позиционирует Gemini 3.5 Live Translate как аудиомодель для синхронного перевода речи в речь. Ключевое изменение для разработчиков заключается в том, что теперь перевод в реальном времени доступен через Gemini Live API и Google AI Studio, а не только внутри конечных продуктов Google.

Официальная ветка в X и видео

Ветка запуска от Google AI Developers полезна тем, что описывает возможности для разработчиков в продуктовых терминах: многоязычный ввод, автоматическое определение языка, нативная обработка аудио и устойчивость к работе в шумной среде.

Встроенный пост содержит официальное видео запуска от Google. Важный вывод для разработчиков заключается не только в том, что перевод стал быстрее; суть в том, что интерфейс продукта спроектирован для непрерывной речи, где система остается «близко» к говорящему, не дожидаясь завершения фразы.

Ментальная модель: Live Agent против Live Translation

Gemini Live API поддерживает взаимодействие с агентами в реальном времени, но Live Translation — это более узкий режим. В документации Google он описывается как конвейер интерпретатора. Это различие меняет весь дизайн продукта.

Практический вывод: не используйте промпты для Live Translate как для многоязычного ассистента. Создавайте медиа-конвейер, а не чат-бота. API ориентирован на аудиофрагменты, языковые коды, транскрипты и воспроизведение вывода.

Минимальная структура API

В документации представлены варианты для Python, JavaScript и работа через WebSocket. Для большинства веб-команд JavaScript SDK является наиболее понятной отправной точкой, однако клиентские приложения должны использовать эфемерные токены, а не раскрывать API ключ.

import { GoogleGenAI, Modality } from "@google/genai";

const ai = new GoogleGenAI({});

const session = await ai.live.connect({
  model: "gemini-3.5-live-translate-preview",
  config: {
    responseModalities: [Modality.AUDIO],
    inputAudioTranscription: {},
    outputAudioTranscription: {},
    translationConfig: {
      targetLanguageCode: "es",
      echoTargetLanguage: false,
    },
  },
  callbacks: {
    onmessage: (message) => {
      const content = message.serverContent;
      const transcript = content?.outputTranscription?.text;
      const translatedAudio = content?.modelTurn?.parts?.find((part) => part.inlineData);

      if (transcript) console.log("Translated transcript:", transcript);
      if (translatedAudio) {
        // Decode and play the translated PCM audio chunk.
      }
    },
  },
});

Аудиоконтракт: PCM на входе, переведенное аудио на выходе

Документация Live Translate четко определяет медиаконтракт. Входное аудио должно быть в формате raw, little-endian, 16-бит PCM с частотой 16 кГц моно. Выходное аудио — raw 16-бит PCM с частотой 24 кГц моно. Google рекомендует использовать фрагменты по 100 мс для потоковой передачи с низкой задержкой.

// Browser microphone audio usually needs conversion before sending.
// Target input for Live Translate:
// - raw PCM
// - 16-bit
// - little-endian
// - mono
// - 16kHz sample rate
// - roughly 100ms chunks

session.sendRealtimeInput({
  audio: {
    data: pcm16MonoChunk.toString("base64"),
    mimeType: "audio/pcm;rate=16000",
  },
});

Это означает, что самая сложная часть реального приложения — зачастую не вызов API. Это захват звука, передискретизация, обработка голосовой активности, буферизация, рассинхронизация воспроизведения и обратная связь в UI при проблемах с сетью или микрофоном.

Безопасность клиента с использованием эфемерных токенов

В документации Google рекомендуется использовать эфемерные токены для клиент-серверных приложений, чтобы браузерные клиенты не раскрывали API key. Для перевода более безопасным вариантом по умолчанию является фиксация translationConfig ограничений токена на стороне сервера.

Промышленный дизайн должен хранить API key на стороне сервера, создавать краткосрочные токены, ограничивать доступные модели, фиксировать целевые языки там, где это возможно, и логировать достаточно метаданных для отладки задержек без излишнего хранения конфиденциальных необработанных аудиоданных.

Ограничения, которые следует учитывать при проектировании

Концепция запуска выглядит убедительно, но официальная документация также содержит практические предостережения. Именно в этих ограничениях качественному приложению требуется поддержка UX.

Эталонная архитектура

Пример приложения от Google демонстрирует полезный паттерн трансляции с использованием LiveKit: организатор публикует аудио, мост перевода подписывается на него, для каждого целевого языка создается одна сессия Gemini Live API, а участники подписываются на переведенную аудиодорожку для выбранного ими языка.

Organizer microphone
  -> realtime room audio
  -> translation bridge per target language
  -> Gemini Live API translationConfig
  -> translated 24kHz audio
  -> attendee playback + optional transcript

Самая важная идея масштабирования в этой демонстрации — совместное использование сессий. Если пятьдесят участников выбирают испанский язык, им не нужно создавать пятьдесят идентичных сессий Gemini. Мост может транслировать один поток перевода на испанском, который будут использовать все слушатели.

Развертывание в продуктах Google

Этот запуск — не просто анонс API. Google сообщает, что Gemini 3.5 Live Translate внедряется через три канала: публичное превью для разработчиков через Gemini Live API и AI Studio, закрытое превью для корпоративных клиентов Google Meet, а также приложение Google Translate на Android и iOS.

Чек-лист по сборке

Если на этой неделе вы работаете над Live Translate, начните с медиа-конвейера и сценариев сбоев, прежде чем приступать к полировке интерфейса.

1. Start in Google AI Studio to test target languages.
2. Use gemini-3.5-live-translate-preview behind a feature flag.
3. Capture microphone audio and convert to 16kHz mono PCM.
4. Send roughly 100ms chunks over the Live API session.
5. Request input and output transcripts for debugging.
6. Keep API keys on the server; use ephemeral tokens for browser clients.
7. Decide whether target language is locked server-side or user-selectable.
8. Test accents, background music, overlapping speakers, long pauses, and rapid language switches.
9. Add visible latency and transcript status in the UI.
10. Disclose AI-generated translated audio and preserve SynthID expectations.

FAQ

Официальные источники и ссылки

• Ветка запуска Google AI Developers в X
• Пост о запуске в Google Keyword: Gemini 3.5 Live Translate
• Документация Gemini API: Live translation with Gemini Live API
• Примеры Google Gemini Live API: Live Translate with LiveKit
• Карточка модели Gemini 3.5 Audio