Gemini 3.5 Live Translate：リアルタイム音声翻訳のためのAPIガイド

Googleが発表したこと

Gemini 3.5 Live Translateは、翻訳プロンプトを使用するチャットモデルではありません。 これは専用のLive API翻訳モードです。16kHzのPCM音声をストリーミング入力し、ターゲット言語を選択することで、翻訳された24kHzの音声と、オプションで文字起こしデータを受け取ることができます。 gemini-3.5-live-translate-preview。

開発者にとっての変更点

Googleのローンチ投稿では、Gemini 3.5 Live Translateをライブ音声対音声翻訳のためのオーディオモデルとして位置づけています。開発者にとっての大きな変化は、リアルタイム翻訳がエンドユーザー向けのGoogle製品内だけでなく、Gemini Live APIやGoogle AI Studioを通じて利用可能になった点です。

公式Xスレッドおよび動画

Google AI Developersのローンチスレッドは、多言語入力、自動言語検出、ネイティブ音声処理、ノイズの多い環境での堅牢性といった開発者向け機能を製品の観点から整理しており、非常に有益です。

埋め込まれた投稿には、Googleの公式ローンチ動画が含まれています。開発者にとって重要なポイントは、単に翻訳が高速であることだけでなく、製品インターフェースが連続的な発話に対応するように設計されている点です。システムは発話の完了を待つのではなく、話し手に寄り添う形で動作します。

メンタルモデル：Live Agent vs. Live Translation

Gemini Live APIはリアルタイムのエージェント対話をサポートできますが、Live Translationはより限定的なモードです。Googleのドキュメントでは、これを「通訳パイプライン」として説明しています。この違いが、製品設計全体に影響を与えます。

実践的な示唆：Live Translateに対して、多言語アシスタントのようなプロンプトを与えないでください。チャットボットではなく、メディアパイプラインを構築しましょう。APIのインターフェースは、オーディオチャンク、言語コード、トランスクリプト、および出力再生を中心に構成されています。

最小限のAPI構成

ドキュメントにはPython、JavaScript、および生のWebSocketを使用するオプションが示されています。多くのWebチームにとって、JavaScript SDKの構成が最も分かりやすい出発点となりますが、クライアントサイドのアプリではAPIキーを公開せず、エフェメラルトークンを使用すべきです。

import { GoogleGenAI, Modality } from "@google/genai";

const ai = new GoogleGenAI({});

const session = await ai.live.connect({
  model: "gemini-3.5-live-translate-preview",
  config: {
    responseModalities: [Modality.AUDIO],
    inputAudioTranscription: {},
    outputAudioTranscription: {},
    translationConfig: {
      targetLanguageCode: "es",
      echoTargetLanguage: false,
    },
  },
  callbacks: {
    onmessage: (message) => {
      const content = message.serverContent;
      const transcript = content?.outputTranscription?.text;
      const translatedAudio = content?.modelTurn?.parts?.find((part) => part.inlineData);

      if (transcript) console.log("Translated transcript:", transcript);
      if (translatedAudio) {
        // Decode and play the translated PCM audio chunk.
      }
    },
  },
});

オーディオコントラクト：PCM入力、翻訳済みオーディオ出力

Live Translateのドキュメントでは、メディアコントラクトについて明記されています。入力音声は、raw、リトルエンディアン、16bit PCM、16kHzモノラルである必要があります。出力音声は、raw、16bit PCM、24kHzモノラルです。Googleは低遅延ストリーミングのために100msのチャンクサイズを推奨しています。

// Browser microphone audio usually needs conversion before sending.
// Target input for Live Translate:
// - raw PCM
// - 16-bit
// - little-endian
// - mono
// - 16kHz sample rate
// - roughly 100ms chunks

session.sendRealtimeInput({
  audio: {
    data: pcm16MonoChunk.toString("base64"),
    mimeType: "audio/pcm;rate=16000",
  },
});

つまり、実際のアプリ開発において難しいのはAPI呼び出しそのものではなく、キャプチャ、リサンプリング、音声アクティビティの処理、バッファリング、再生のズレ、そしてネットワークやマイクの状態が悪化した際のUIフィードバックの管理です。

エフェメラルトークンによるクライアントセキュリティ

Googleのドキュメントでは、ブラウザクライアントがAPIキーを公開しないよう、クライアント・サーバー間アプリケーションにはエフェメラルトークンの使用が推奨されています。翻訳においては、より安全なデフォルト設定として translationConfig サーバー側でトークンの制約をロックすることが挙げられます。

本番環境の設計では、APIキーをサーバーサイドに保持し、短期間有効なトークンを発行し、使用可能なモデルを制限し、可能な限りターゲット言語を制約し、機密性の高い生の音声を不必要に保存することなく、レイテンシのデバッグに必要なメタデータを十分に記録するようにすべきです。

設計時に考慮すべき制限事項

ローンチ時の構成は強力ですが、公式ドキュメントには実用上の注意点も記載されています。これらの制限事項こそ、洗練されたアプリにおいてUXによるサポートが必要となる部分です。

リファレンスアーキテクチャ

Googleのサンプルアプリでは、LiveKitを使用した有用なブロードキャストパターンが示されています。主催者が音声を配信し、翻訳ブリッジがそれをサブスクライブし、ターゲット言語ごとに1つのGemini Live APIセッションを作成し、参加者が選択した言語の翻訳済みオーディオトラックをサブスクライブするという仕組みです。

Organizer microphone
  -> realtime room audio
  -> translation bridge per target language
  -> Gemini Live API translationConfig
  -> translated 24kHz audio
  -> attendee playback + optional transcript

このデモにおける最も重要なスケーリングのアイデアは、セッションの共有です。50人の参加者がスペイン語を選択した場合、50個の同一のGeminiセッションを作成すべきではありません。ブリッジを介して1つのスペイン語翻訳ストリームを配信し、すべてのスペイン語リスナーがそれを共有できるようにします。

Google製品全体への展開

今回の発表は単なるAPIの告知ではありません。Googleによると、Gemini 3.5 Live Translateは、Gemini Live APIおよびAI Studioを通じた開発者向けパブリックプレビュー、Google Meetエンタープライズ顧客向けプライベートプレビュー、そしてAndroidおよびiOS版Google Translateアプリという3つのサーフェスを通じて展開されます。

ビルドチェックリスト

今週 Live Translate を使用して開発を行う場合は、インターフェースの調整を行う前に、メディアパイプラインと障害モードから着手してください。

1. Start in Google AI Studio to test target languages.
2. Use gemini-3.5-live-translate-preview behind a feature flag.
3. Capture microphone audio and convert to 16kHz mono PCM.
4. Send roughly 100ms chunks over the Live API session.
5. Request input and output transcripts for debugging.
6. Keep API keys on the server; use ephemeral tokens for browser clients.
7. Decide whether target language is locked server-side or user-selectable.
8. Test accents, background music, overlapping speakers, long pauses, and rapid language switches.
9. Add visible latency and transcript status in the UI.
10. Disclose AI-generated translated audio and preserve SynthID expectations.

FAQ

公式ソースおよびリンク

• X での Google AI Developers ローンチスレッド
• Google Keyword ローンチ投稿: Gemini 3.5 Live Translate
• Gemini API ドキュメント: Gemini Live API を使用したライブ翻訳
• Google Gemini Live API サンプル: LiveKit を使用した Live Translate
• Gemini 3.5 Audio モデルカード