Meet Media API のコンセプト

Google Meet Media API を使用すると、アプリで Google Meet の会議に参加して、リアルタイムのメディア ストリームを利用できます。

クライアントは WebRTC を使用して Meet サーバーと通信します。提供されているリファレンス クライアント（C++、TypeScript）は、推奨される方法を示しています。これらのクライアントを基に直接ビルドすることをおすすめします。

ただし、Meet Media API の技術要件に準拠した完全なカスタム WebRTC クライアントを構築することもできます。

このページでは、Meet Media API セッションを正常に行うために必要な主な WebRTC のコンセプトについて説明します。

オファーと回答のシグナル

WebRTC はピアツーピア（P2P）フレームワークであり、ピアは相互にシグナルを送信して通信します。セッションを開始するには、開始側のピアがリモート ピアに SDP オファーを送信します。この特典には、次の重要な詳細情報が含まれています。

音声と動画のメディアの説明

メディアの説明には、P2P セッション中に通信される内容が示されます。説明には、音声、動画、データの 3 種類があります。

n オーディオ ストリームを示すには、オファーに n オーディオ メディアの説明を含めます。動画についても同様です。ただし、データ メディアの説明は 1 つだけです。

方向

各音声または動画の説明は、RFC 3711 によって管理される個々の Secure Real-time Transport Protocol（SRTP）ストリームを記述します。これらは双方向であり、2 つのピアが同じ接続を介してメディアを送受信できます。

このため、各メディアの説明（オファーとレスポンスの両方）には、ストリームの使用方法を記述する次の 3 つの属性のいずれかが含まれています。

• sendonly: 提供ピアからのメディアのみを送信します。リモートピアはこのストリームでメディアを送信しません。

• recvonly: リモートピアからのみメディアを受信します。オファリング ピアはこのストリームでメディアを送信しません。

• sendrecv: 両方のピアがこのストリームで送受信できます。

コーデック

各メディアの説明には、ピアがサポートするコーデックも指定します。Meet Media API の場合、技術要件で指定されているコーデックを（少なくとも）サポートしていない限り、クライアントの申し出は拒否されます。

DTLS handshake

SRTP ストリームは、ピア間の最初の Datagram Transport Layer Security（DTLS、RFC 9147）ハンドシェイクによって保護されます。DTLS は従来、クライアントからサーバーの方向のプロトコルです。シグナリング プロセス中に、一方のピアがサーバーとして機能し、もう一方のピアがピアとして機能します。

各 SRTP ストリームに独自の専用 DTLS 接続がある可能性があるため、各メディア記述で 3 つの属性のいずれかを指定して、DTLS ハンドシェイクでのピアのロールを示します。

• a=setup:actpass: オファリング ピアは、リモート ピアの選択を優先します。

• a=setup:active: このピアはクライアントとして機能します。

• a=setup:passive: このピアはサーバーとして機能します。

アプリのメディアの説明

データチャネル（RFC 8831）は、ストリーム制御伝送プロトコル（「SCTP」、RFC 9260）の抽象化です。

初期シグナリング フェーズ中にデータ チャネルを開くには、オファーにアプリケーション メディアの説明が含まれている必要があります。音声や動画の説明とは異なり、アプリの説明では、向きやコーデックは指定されません。

ICE の候補者

ピアの Interactive Connectivity Establishment（ICE、RFC 8445）候補は、リモートピアが接続を確立するために使用できるルートのリストです。

2 つのピアのリストのデカルト積（候補ペア）は、2 つのピア間の潜在的なルートを表します。これらのペアはテストされ、最適なルートが決定されます。

Meet REST API を介したシグナル

このオファー / 回答シグナリングを実行するには、Meet REST API を使用します。アプリは connectActiveConference() メソッドに SDP オファーを提供し、SDP アンサーを受け取ります。

接続フローの例

音声メディアの説明を含むオファーは次のとおりです。

リモートピアは、同じ数のメディア記述行を含む SDP レスポンスで応答します。各行は、リモートピアが SRTP ストリームを介してオファリング クライアントに返すメディア（存在する場合）を示します。リモートピアは、メディアの説明エントリを recvonly に設定して、オファー元からの特定のストリームを拒否することもできます。

Meet Media API の場合、クライアントは常に SDP オファーを送信して接続を開始します。Meet が開始元になることはありません。

この動作はリファレンス クライアント（C++、TypeScript）によって内部で管理されますが、カスタム クライアントのデベロッパーは WebRTC の PeerConnectionInterface を使用してオファーを生成できます。

Meet に接続するには、特典が特定の要件を満たしている必要があります。

1. クライアントは常に DTLS ハンドシェイクでクライアントとして動作するため、オファー内のすべてのメディア記述で a=setup:actpass または a=setup:active を指定する必要があります。

2. 各メディアの説明行は、そのメディアタイプに必要なすべてのコーデックをサポートする必要があります。

   • 音声: Opus
   • 動画: VP8、VP9、AV1

3. 音声を受け取るには、オファーに受信専用の音声メディアの説明を 3 つ含める必要があります。これは、ピア接続オブジェクトにトランシーバーを設定することで行えます。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (int i = 0; i < 3; ++i) {
     webrtc::RtpTransceiverInit audio_init;
     audio_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     audio_init.stream_ids = {absl::StrCat("audio_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
       audio_result = peer_connection->AddTransceiver(
         cricket::MediaType::MEDIA_TYPE_AUDIO, audio_init);
   
     if (!audio_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add audio transceiver: ",
                                               audio_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive audio from Meet servers.
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   

4. 動画を受け取るには、オファーに 1 ～ 3 個の受信専用の動画メディアの説明を含める必要があります。これは、ピア接続オブジェクトにトランシーバーを設定することで行えます。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (uint32_t i = 0; i < configurations.receiving_video_stream_count; ++i) {
     webrtc::RtpTransceiverInit video_init;
     video_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     video_init.stream_ids = {absl::StrCat("video_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
         video_result = peer_connection->AddTransceiver(
           cricket::MediaType::MEDIA_TYPE_VIDEO, video_init);
   
     if (!video_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add video transceiver: ",
                                               video_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive video from Meet servers.
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   

5. オファーには必ずデータ チャネルを含める必要があります。少なくとも、session-control チャネルと media-stats チャネルは常に開いている必要があります。すべてのデータチャネルは ordered にする必要があります。

   C++

   // ...
   // All data channels must be ordered.
   constexpr webrtc::DataChannelInit kDataChannelConfig = {.ordered = true};
   
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   // Signal session-control data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     session_create_result = peer_connection->CreateDataChannelOrError(
       "session-control", &kDataChannelConfig);
   
   if (!session_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             session_create_result.error().message()));
   }
   
   // Signal media-stats data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     stats_create_result = peer_connection->CreateDataChannelOrError(
       "media-stats", &kDataChannelConfig);
   
   if (!stats_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             stats_create_result.error().message()));
   }
   

   JavaScript

   // ...
   pc = new RTCPeerConnection();
   
   // All data channels must be ordered.
   const dataChannelConfig = {
     ordered: true,
   };
   
   // Signal session-control data channel.
   sessionControlChannel = pc.createDataChannel('session-control', dataChannelConfig);
   sessionControlChannel.onopen = () => console.log("data channel is now open");
   sessionControlChannel.onclose = () => console.log("data channel is now closed");
   sessionControlChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   
   // Signal media-stats data channel.
   mediaStatsChannel = pc.createDataChannel('media-stats', dataChannelConfig);
   mediaStatsChannel.onopen = () => console.log("data channel is now open");
   mediaStatsChannel.onclose = () => console.log("data channel is now closed");
   mediaStatsChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   

SDP の提案と回答の例

以下に、有効な SDP オファーと一致する SDP レスポンスの完全な例を示します。このオファーは、音声と 1 つの動画ストリームを使用して Meet Media API セッションをネゴシエートします。

3 つのオーディオ メディアの説明、1 つの動画メディアの説明、必要なアプリ メディアの説明があることを確認します。

関連トピック

• 使ってみる