Gemini 3.5 Live Translate: Guía de API para traducción de voz en tiempo real

Qué lanzó Google

Gemini 3.5 Live Translate no es un modelo de chat con un prompt de traducción. Es un modo de traducción dedicado de la Live API: transmite voz PCM a 16kHz, elige un idioma de destino y recibe audio traducido a 24kHz además de transcripciones opcionales desde gemini-3.5-live-translate-preview.

Qué cambió para los desarrolladores

La publicación de lanzamiento de Google posiciona a Gemini 3.5 Live Translate como un modelo de audio para traducción de voz a voz en tiempo real. El cambio para los desarrolladores es que la traducción en tiempo real ahora está expuesta a través de la Gemini Live API y Google AI Studio, no solo dentro de los productos de Google para el usuario final.

Hilo oficial de X y video

El hilo de lanzamiento de Google AI Developers es útil porque enmarca las capacidades para desarrolladores en términos de producto: entrada multilingüe, detección automática de idioma, procesamiento de audio nativo y robustez en entornos ruidosos.

La publicación incrustada incluye el video de lanzamiento oficial de Google. La conclusión importante para los desarrolladores no es solo que la traducción sea más rápida; es que la superficie del producto está diseñada para el habla continua, donde el sistema se mantiene cerca del hablante en lugar de esperar a que termine su turno.

Modelo mental: Live Agent frente a Live Translation

La Gemini Live API puede admitir interacciones de agentes en tiempo real, pero Live Translation es un modo más limitado. La documentación de Google lo describe como un pipeline de intérprete. Esa distinción cambia todo el diseño del producto.

La implicación práctica: no utilices prompts en Live Translate como si fuera un asistente multilingüe. Construye un pipeline multimedia, no un chatbot. La superficie de la API se basa en fragmentos de audio, códigos de idioma, transcripciones y reproducción de salida.

Forma mínima de la API

La documentación muestra opciones para Python, JavaScript y WebSocket sin procesar. Para la mayoría de los equipos web, la forma del SDK de JavaScript es el punto de partida más claro, pero las aplicaciones del lado del cliente deberían seguir utilizando tokens efímeros en lugar de exponer una API key.

import { GoogleGenAI, Modality } from "@google/genai";

const ai = new GoogleGenAI({});

const session = await ai.live.connect({
  model: "gemini-3.5-live-translate-preview",
  config: {
    responseModalities: [Modality.AUDIO],
    inputAudioTranscription: {},
    outputAudioTranscription: {},
    translationConfig: {
      targetLanguageCode: "es",
      echoTargetLanguage: false,
    },
  },
  callbacks: {
    onmessage: (message) => {
      const content = message.serverContent;
      const transcript = content?.outputTranscription?.text;
      const translatedAudio = content?.modelTurn?.parts?.find((part) => part.inlineData);

      if (transcript) console.log("Translated transcript:", transcript);
      if (translatedAudio) {
        // Decode and play the translated PCM audio chunk.
      }
    },
  },
});

Contrato de audio: PCM de entrada, audio traducido de salida

La documentación de Live Translate es explícita sobre el contrato de medios. El audio de entrada debe ser PCM sin procesar, little-endian, de 16 bits a 16kHz mono. El audio de salida es PCM sin procesar de 16 bits a 24kHz mono. Google recomienda fragmentos de 100ms para streaming de baja latencia.

// Browser microphone audio usually needs conversion before sending.
// Target input for Live Translate:
// - raw PCM
// - 16-bit
// - little-endian
// - mono
// - 16kHz sample rate
// - roughly 100ms chunks

session.sendRealtimeInput({
  audio: {
    data: pcm16MonoChunk.toString("base64"),
    mimeType: "audio/pcm;rate=16000",
  },
});

Eso significa que la parte difícil de una aplicación real a menudo no es la llamada a la API. Es la captura, el remuestreo, el manejo de la actividad de voz, el almacenamiento en búfer, la deriva de la reproducción y la respuesta de la interfaz de usuario cuando la red o el micrófono presentan problemas.

Seguridad del cliente con tokens efímeros

La documentación de Google recomienda tokens efímeros para aplicaciones de cliente a servidor, de modo que los clientes de navegador no expongan la API key. Para la traducción, la opción predeterminada más segura es bloquear translationConfig las restricciones del token en el servidor.

Un diseño de producción debe mantener la API key en el lado del servidor, generar tokens de corta duración, limitar los modelos permitidos, restringir los idiomas de destino siempre que sea posible y registrar suficientes metadatos para depurar la latencia sin almacenar audio sin procesar sensible innecesariamente.

Limitaciones que debes considerar en tu diseño

El enfoque del lanzamiento es sólido, pero la documentación oficial también enumera advertencias prácticas. Estas limitaciones son precisamente donde una aplicación pulida necesita soporte de UX.

Arquitectura de referencia

La aplicación de ejemplo de Google muestra un patrón de transmisión útil con LiveKit: el organizador publica audio, un puente de traducción se suscribe, se crea una sesión de Gemini Live API por cada idioma de destino y los asistentes se suscriben a la pista de audio traducida para el idioma que hayan elegido.

Organizer microphone
  -> realtime room audio
  -> translation bridge per target language
  -> Gemini Live API translationConfig
  -> translated 24kHz audio
  -> attendee playback + optional transcript

La idea de escalado más importante de la demo es el uso compartido de sesiones. Si cincuenta asistentes eligen español, no deberían crearse cincuenta sesiones de Gemini idénticas. Un puente puede publicar un flujo de traducción al español que compartan todos los oyentes de ese idioma.

Lanzamiento en los productos de Google

El lanzamiento no es solo un anuncio de una API. Google indica que Gemini 3.5 Live Translate se está implementando a través de tres superficies: vista previa pública para desarrolladores a través de la Gemini Live API y AI Studio, vista previa privada para clientes empresariales de Google Meet, y la aplicación Google Translate en Android e iOS.

Lista de verificación de compilación

Si vas a desarrollar con Live Translate esta semana, comienza por la canalización de medios y los modos de fallo antes de pulir la interfaz.

1. Start in Google AI Studio to test target languages.
2. Use gemini-3.5-live-translate-preview behind a feature flag.
3. Capture microphone audio and convert to 16kHz mono PCM.
4. Send roughly 100ms chunks over the Live API session.
5. Request input and output transcripts for debugging.
6. Keep API keys on the server; use ephemeral tokens for browser clients.
7. Decide whether target language is locked server-side or user-selectable.
8. Test accents, background music, overlapping speakers, long pauses, and rapid language switches.
9. Add visible latency and transcript status in the UI.
10. Disclose AI-generated translated audio and preserve SynthID expectations.

FAQ

Fuentes y enlaces oficiales

• Hilo de lanzamiento de Google AI Developers en X
• Publicación de lanzamiento en Google Keyword: Gemini 3.5 Live Translate
• Documentación de la Gemini API: Traducción en vivo con la Gemini Live API
• Ejemplos de la Google Gemini Live API: Live Translate con LiveKit
• Tarjeta del modelo Gemini 3.5 Audio