Gemini 3.5 Live Translate: API-Handbuch für Echtzeit-Sprachübersetzung

Was Google gestartet hat

Gemini 3.5 Live Translate ist kein Chat-Modell mit einem Übersetzungs-Prompt. Es handelt sich um einen dedizierten Live API-Übersetzungsmodus: Streamen Sie 16kHz PCM-Sprache hinein, wählen Sie eine Zielsprache aus und erhalten Sie übersetztes 24kHz-Audio sowie optionale Transkripte von gemini-3.5-live-translate-preview.

Was sich für Entwickler geändert hat

Googles Launch-Beitrag positioniert Gemini 3.5 Live Translate als Audio-Modell für Live-Sprache-zu-Sprache-Übersetzungen. Die für Entwickler relevante Änderung besteht darin, dass Echtzeit-Übersetzung nun über die Gemini Live API und Google AI Studio verfügbar ist und nicht mehr nur innerhalb von Google-Endnutzerprodukten.

Offizieller X-Thread und Video

Der Launch-Thread von Google AI Developers ist nützlich, da er die Entwicklerfunktionen in Produktbegriffen einordnet: mehrsprachige Eingabe, automatische Spracherkennung, native Audioverarbeitung und Robustheit in lauten Umgebungen.

Der eingebettete Beitrag enthält das offizielle Launch-Video von Google. Die wichtige Erkenntnis für Entwickler ist nicht nur, dass die Übersetzung schneller ist; es geht darum, dass die Produktoberfläche für kontinuierliche Sprache ausgelegt ist, bei der das System nah am Sprecher bleibt, anstatt auf einen vollständigen Redebeitrag zu warten.

Mentales Modell: Live Agent vs. Live Translation

Die Gemini Live API kann Echtzeit-Agenteninteraktionen unterstützen, aber Live Translation ist ein spezialisierterer Modus. Die Dokumentation von Google beschreibt ihn als Interpreter-Pipeline. Diese Unterscheidung verändert das gesamte Produktdesign.

Die praktische Konsequenz: Prompten Sie Live Translate nicht wie einen mehrsprachigen Assistenten. Bauen Sie eine Media-Pipeline, keinen Chatbot. Die API-Oberfläche dreht sich um Audio-Chunks, Sprachcodes, Transkripte und die Wiedergabe der Ausgabe.

Kleinste API-Form

Die Dokumentation zeigt Optionen für Python, JavaScript und rohe WebSockets. Für die meisten Web-Teams ist die Form des JavaScript SDK der klarste Ausgangspunkt, aber Client-seitige Apps sollten dennoch ephemere Tokens verwenden, anstatt einen API-Key offenzulegen.

import { GoogleGenAI, Modality } from "@google/genai";

const ai = new GoogleGenAI({});

const session = await ai.live.connect({
  model: "gemini-3.5-live-translate-preview",
  config: {
    responseModalities: [Modality.AUDIO],
    inputAudioTranscription: {},
    outputAudioTranscription: {},
    translationConfig: {
      targetLanguageCode: "es",
      echoTargetLanguage: false,
    },
  },
  callbacks: {
    onmessage: (message) => {
      const content = message.serverContent;
      const transcript = content?.outputTranscription?.text;
      const translatedAudio = content?.modelTurn?.parts?.find((part) => part.inlineData);

      if (transcript) console.log("Translated transcript:", transcript);
      if (translatedAudio) {
        // Decode and play the translated PCM audio chunk.
      }
    },
  },
});

Audio-Vertrag: PCM In, übersetztes Audio Out

Die Dokumentation zu Live Translate ist explizit bezüglich des Media-Vertrags. Das Eingabe-Audio muss rohes, Little-Endian, 16-Bit PCM mit 16kHz Mono sein. Das Ausgabe-Audio ist rohes 16-Bit PCM mit 24kHz Mono. Google empfiehlt 100ms-Chunks für Streaming mit geringer Latenz.

// Browser microphone audio usually needs conversion before sending.
// Target input for Live Translate:
// - raw PCM
// - 16-bit
// - little-endian
// - mono
// - 16kHz sample rate
// - roughly 100ms chunks

session.sendRealtimeInput({
  audio: {
    data: pcm16MonoChunk.toString("base64"),
    mimeType: "audio/pcm;rate=16000",
  },
});

Das bedeutet, dass der schwierige Teil einer echten App oft nicht der API-Aufruf ist. Es sind die Erfassung, das Resampling, die Handhabung der Sprachaktivität, das Buffering, die Wiedergabe-Drifts und das UI-Feedback, wenn das Netzwerk oder das Mikrofon Probleme bereiten.

Client-Sicherheit mit ephemeren Tokens

Die Dokumentation von Google empfiehlt für Client-Server-Anwendungen ephemere Tokens, damit Browser-Clients den API key nicht offenlegen. Für die Übersetzung ist es die sicherere Standardeinstellung, translationConfig die Token-Beschränkungen serverseitig festzulegen.

Ein produktionsreifes Design sollte den API key serverseitig halten, kurzlebige Tokens ausstellen, erlaubte Modelle einschränken, Zielsprachen wo möglich begrenzen und genügend Metadaten protokollieren, um Latenzen zu debuggen, ohne unnötigerweise sensible Roh-Audiodaten zu speichern.

Einschränkungen, die Sie bei der Planung berücksichtigen sollten

Das Launch-Framing ist stark, aber die offizielle Dokumentation nennt auch praktische Vorbehalte. Genau an diesen Einschränkungen benötigt eine ausgereifte App UX-Unterstützung.

Referenzarchitektur

Die Beispiel-App von Google zeigt ein nützliches Broadcast-Muster mit LiveKit: Der Organisator veröffentlicht Audio, eine Übersetzungs-Bridge abonniert dieses, pro Zielsprache wird eine Gemini Live API Session erstellt und die Teilnehmer abonnieren die übersetzte Tonspur für ihre gewählte Sprache.

Organizer microphone
  -> realtime room audio
  -> translation bridge per target language
  -> Gemini Live API translationConfig
  -> translated 24kHz audio
  -> attendee playback + optional transcript

Die wichtigste Skalierungsidee der Demo ist das Session-Sharing. Wenn fünfzig Teilnehmer Spanisch wählen, sollten sie nicht fünfzig identische Gemini-Sessions erstellen. Eine Bridge kann einen spanischen Übersetzungs-Stream bereitstellen, den sich alle spanischsprachigen Zuhörer teilen.

Einführung in Google-Produkten

Der Start ist nicht nur eine API-Ankündigung. Google gibt an, dass Gemini 3.5 Live Translate über drei Oberflächen ausgerollt wird: öffentliche Vorschau für Entwickler über die Gemini Live API und AI Studio, private Vorschau für Google Meet-Unternehmenskunden sowie die Google Translate App für Android und iOS.

Build-Checkliste

Wenn du diese Woche mit Live Translate entwickelst, beginne mit der Media-Pipeline und den Fehlerzuständen, bevor du die Benutzeroberfläche verfeinerst.

1. Start in Google AI Studio to test target languages.
2. Use gemini-3.5-live-translate-preview behind a feature flag.
3. Capture microphone audio and convert to 16kHz mono PCM.
4. Send roughly 100ms chunks over the Live API session.
5. Request input and output transcripts for debugging.
6. Keep API keys on the server; use ephemeral tokens for browser clients.
7. Decide whether target language is locked server-side or user-selectable.
8. Test accents, background music, overlapping speakers, long pauses, and rapid language switches.
9. Add visible latency and transcript status in the UI.
10. Disclose AI-generated translated audio and preserve SynthID expectations.

FAQ

Offizielle Quellen und Links

• Google AI Developers Launch-Thread auf X
• Google Keyword Launch-Beitrag: Gemini 3.5 Live Translate
• Gemini API-Dokumentation: Live-Übersetzung mit der Gemini Live API
• Google Gemini Live API-Beispiele: Live Translate mit LiveKit
• Gemini 3.5 Audio Model Card