Gemini 3.5 Live Translate: Guia da API para tradução de voz em tempo real

O que o Google lançou

O Gemini 3.5 Live Translate não é um modelo de chat com um prompt de tradução. É um modo de tradução dedicado da Live API: transmita áudio PCM de 16kHz, escolha um idioma de destino e receba áudio traduzido de 24kHz, além de transcrições opcionais do gemini-3.5-live-translate-preview.

O que mudou para desenvolvedores

O post de lançamento do Google posiciona o Gemini 3.5 Live Translate como um modelo de áudio para tradução de fala para fala em tempo real. A mudança para o desenvolvedor é que a tradução em tempo real agora é exposta através da Gemini Live API e do Google AI Studio, e não apenas dentro dos produtos Google para o usuário final.

Thread oficial no X e vídeo

A thread de lançamento do Google AI Developers é útil porque enquadra as capacidades do desenvolvedor em termos de produto: entrada multilíngue, detecção automática de idioma, processamento de áudio nativo e robustez em ambientes ruidosos.

A publicação incorporada inclui o vídeo oficial de lançamento do Google. O ponto importante para os desenvolvedores não é apenas que a tradução é mais rápida; é que a superfície do produto foi projetada para fala contínua, onde o sistema permanece próximo ao falante em vez de esperar por uma frase completa.

Modelo Mental: Live Agent vs. Live Translation

A Gemini Live API pode suportar interações de agentes em tempo real, mas o Live Translation é um modo mais restrito. A documentação do Google descreve-o como um pipeline de intérprete. Essa distinção muda todo o design do produto.

A implicação prática: não faça prompts no Live Translate como se fosse um assistente multilíngue. Construa um pipeline de mídia, não um chatbot. A superfície da API trata de chunks de áudio, códigos de idioma, transcrições e reprodução de saída.

Menor Formato de API

A documentação mostra opções em Python, JavaScript e WebSocket puro. Para a maioria das equipes web, o formato do JavaScript SDK é o ponto de partida mais claro, mas aplicativos client-side ainda devem usar tokens efêmeros em vez de expor uma API key.

import { GoogleGenAI, Modality } from "@google/genai";

const ai = new GoogleGenAI({});

const session = await ai.live.connect({
  model: "gemini-3.5-live-translate-preview",
  config: {
    responseModalities: [Modality.AUDIO],
    inputAudioTranscription: {},
    outputAudioTranscription: {},
    translationConfig: {
      targetLanguageCode: "es",
      echoTargetLanguage: false,
    },
  },
  callbacks: {
    onmessage: (message) => {
      const content = message.serverContent;
      const transcript = content?.outputTranscription?.text;
      const translatedAudio = content?.modelTurn?.parts?.find((part) => part.inlineData);

      if (transcript) console.log("Translated transcript:", transcript);
      if (translatedAudio) {
        // Decode and play the translated PCM audio chunk.
      }
    },
  },
});

Contrato de Áudio: PCM In, Áudio Traduzido Out

A documentação do Live Translate é explícita sobre o contrato de mídia. O áudio de entrada deve ser PCM bruto, little-endian, 16-bit a 16kHz mono. O áudio de saída é PCM bruto de 16-bit a 24kHz mono. O Google recomenda chunks de 100ms para streaming de baixa latência.

// Browser microphone audio usually needs conversion before sending.
// Target input for Live Translate:
// - raw PCM
// - 16-bit
// - little-endian
// - mono
// - 16kHz sample rate
// - roughly 100ms chunks

session.sendRealtimeInput({
  audio: {
    data: pcm16MonoChunk.toString("base64"),
    mimeType: "audio/pcm;rate=16000",
  },
});

Isso significa que a parte difícil de um aplicativo real geralmente não é a chamada de API. É a captura, reamostragem, tratamento de atividade de voz, buffering, desvio de reprodução (drift) e feedback da UI quando a rede ou o microfone apresentam instabilidade.

Segurança do Cliente com Tokens Efêmeros

A documentação do Google recomenda tokens efêmeros para aplicações cliente-servidor, para que clientes de navegador não exponham a API key. Para tradução, o padrão mais seguro é bloquear translationConfig as restrições de token no servidor.

Um design de produção deve manter a API key no lado do servidor, gerar tokens de curta duração, limitar os modelos permitidos, restringir idiomas de destino sempre que possível e registrar metadados suficientes para depurar a latência sem armazenar áudio bruto sensível desnecessariamente.

Limitações que você deve considerar no design

A estrutura de lançamento é sólida, mas a documentação oficial também lista ressalvas práticas. Essas limitações são exatamente onde um aplicativo polido precisa de suporte de UX.

Arquitetura de Referência

O aplicativo de exemplo do Google mostra um padrão de transmissão útil com LiveKit: o organizador publica o áudio, uma ponte de tradução se inscreve, uma sessão da Gemini Live API é criada por idioma de destino e os participantes se inscrevem na faixa de áudio traduzida para o idioma escolhido.

Organizer microphone
  -> realtime room audio
  -> translation bridge per target language
  -> Gemini Live API translationConfig
  -> translated 24kHz audio
  -> attendee playback + optional transcript

A ideia de escalonamento mais importante da demonstração é o compartilhamento de sessão. Se cinquenta participantes escolherem espanhol, eles não devem criar cinquenta sessões Gemini idênticas. Uma ponte pode publicar um fluxo de tradução em espanhol que todos os ouvintes de espanhol compartilham.

Implementação em produtos Google

O lançamento não é apenas um anúncio de API. O Google diz que o Gemini 3.5 Live Translate está sendo implementado em três superfícies: visualização pública para desenvolvedores por meio da Gemini Live API e AI Studio, visualização privada para clientes corporativos do Google Meet e o aplicativo Google Translate no Android e iOS.

Checklist de construção

Se você estiver desenvolvendo com Live Translate esta semana, comece pelo pipeline de mídia e pelos modos de falha antes de refinar a interface.

1. Start in Google AI Studio to test target languages.
2. Use gemini-3.5-live-translate-preview behind a feature flag.
3. Capture microphone audio and convert to 16kHz mono PCM.
4. Send roughly 100ms chunks over the Live API session.
5. Request input and output transcripts for debugging.
6. Keep API keys on the server; use ephemeral tokens for browser clients.
7. Decide whether target language is locked server-side or user-selectable.
8. Test accents, background music, overlapping speakers, long pauses, and rapid language switches.
9. Add visible latency and transcript status in the UI.
10. Disclose AI-generated translated audio and preserve SynthID expectations.

FAQ

Fontes e links oficiais

• Thread de lançamento do Google AI Developers no X
• Post de lançamento no Google Keyword: Gemini 3.5 Live Translate
• Documentação da Gemini API: Tradução em tempo real com a Gemini Live API
• Exemplos da Google Gemini Live API: Live Translate com LiveKit
• Cartão do modelo Gemini 3.5 Audio