認識 Media API 概念

Google Meet Media API 可讓您的應用程式加入 Google Meet 會議，並使用即時媒體串流。

用戶端會使用 WebRTC 與 Meet 伺服器通訊。我們提供的參考用戶端 (C++、TypeScript) 展示了建議做法，建議您直接以此為基礎進行建構。

不過，您也可以建構完全自訂的 WebRTC 用戶端，遵循 Meet Media API 的技術規範。

本頁面將概述 Meet Media API 工作階段成功執行所需的關鍵 WebRTC 概念。

提案-回覆信號

WebRTC 是點對點 (P2P) 架構，其中對等端會透過信號傳送訊息進行通訊。如要開始工作階段，發起端對等端會將 SDP 提供傳送至遠端對等端。這項優惠包含以下重要細節：

音訊和影片的媒體說明

媒體說明會指出 P2P 工作階段期間傳送的內容。說明分為三種類型：音訊、影片和資料。

如要指出 n 音訊串流，供應者應在商品中加入 n 音訊媒體說明。影片也是如此。不過，最多只能有一個資料媒體說明。

通行方向

每個音訊或影片說明都會描述由 RFC 3711 管理的個別安全即時傳輸通訊協定 (SRTP) 串流。這些是雙向連線，可讓兩個同級節點透過相同連線傳送及接收媒體。

因此，每個媒體說明 (包含在提案和答案中) 都包含以下三個屬性之一，說明如何使用串流：

• sendonly：只傳送來自提供方同儕的媒體。遠端對等端不會在這個串流中傳送媒體。

• recvonly：只接收來自遠端對等端的媒體。提供方對等端不會在這個串流中傳送媒體。

• sendrecv：兩個端點皆可透過這個串流傳送及接收資料。

轉碼器

每個媒體描述也會指定對等端支援的編解碼。在 Meet Media API 的情況下，除非客戶端廣告放送支援「技術需求」中指定的編解碼，否則系統會拒絕廣告放送。

DTLS 握手

SRTP 串流會透過初始 資料包傳輸層安全標準 (「DTLS」，RFC 9147) 握手，在對等端之間建立安全連線。DTLS 通常是用於用戶端與伺服器之間的通訊協定；在訊號傳送程序期間，一個同級節點會同意擔任伺服器，另一個則擔任同級節點。

由於每個 SRTP 串流可能都有專屬的 DTLS 連線，因此每個媒體說明都會指定三個屬性之一，用於指出對等端在 DTLS 握手中的角色：

• a=setup:actpass：提供同端會延遲至遠端同端的選擇。

• a=setup:active：這個同端會做為用戶端。

• a=setup:passive：此對等端會充當伺服器。

應用程式媒體說明

資料管道 (RFC 8831) 是串流控制傳輸通訊協定 的抽象概念 (「SCTP」，RFC 9260)。

如要在初始訊號傳送階段開啟資料管道，商品必須包含應用程式媒體說明。與音訊和影片說明不同，應用程式說明不會指定方向或編解碼。

ICE 候選人

對等端的互動連線建立 (「ICE」，RFC 8445) 候選項目，是遠端對等端可能用來建立連線的路徑清單。

兩個對等端清單的笛卡兒乘積 (稱為「候選組合」) 代表兩個對等端之間的潛在路徑。這些組合會經過測試，以便判斷最佳路徑。

透過 Meet REST API 傳送信號

請使用 Meet REST API 執行這項提供-回應訊號。應用程式會向 connectActiveConference() 方法提供 SDP 優惠，並換取 SDP 答案。

連線流程示例

以下是含有音訊媒體說明的商品：

遠端對等端會傳回 SDP 答案，其中包含相同數量的媒體說明行。每行都會指出遠端同端透過 SRTP 串流傳回給服務提供者用戶端的媒體 (如果有)。遠端對等端也可能會將媒體說明項目設為 recvonly，藉此拒絕供應者提供的特定串流。

針對 Meet Media API，用戶端一律會傳送 SDP 優惠來啟動連線。Meet 不會發起會議。

這項行為是由參考用戶端 (C++、TypeScript) 在內部管理，但自訂用戶端的開發人員可以使用 WebRTC 的 PeerConnectionInterface 產生優惠。

如要連結至 Meet，產品必須符合特定規定：

1. 用戶端必須一律在 DTLS 握手中扮演用戶端的角色，因此商品中的每個媒體說明都必須指定 a=setup:actpass 或 a=setup:active。

2. 每個媒體說明行都必須支援該媒體類型的所有必要編解碼：

   • 音訊： Opus
   • 影片： VP8、VP9、AV1

3. 如要收聽音訊，商品必須包含 3 個僅收聽音訊媒體說明。您可以透過在對等連線物件上設定收發器來執行此操作。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (int i = 0; i < 3; ++i) {
     webrtc::RtpTransceiverInit audio_init;
     audio_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     audio_init.stream_ids = {absl::StrCat("audio_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
       audio_result = peer_connection->AddTransceiver(
         cricket::MediaType::MEDIA_TYPE_AUDIO, audio_init);
   
     if (!audio_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add audio transceiver: ",
                                               audio_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive audio from Meet servers.
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   

4. 如要接收影片，商品必須包含 1 到 3 個僅接收影片媒體的說明。您可以透過在對等連線物件上設定收發器來執行此操作。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (uint32_t i = 0; i < configurations.receiving_video_stream_count; ++i) {
     webrtc::RtpTransceiverInit video_init;
     video_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     video_init.stream_ids = {absl::StrCat("video_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
         video_result = peer_connection->AddTransceiver(
           cricket::MediaType::MEDIA_TYPE_VIDEO, video_init);
   
     if (!video_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add video transceiver: ",
                                               video_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive video from Meet servers.
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   

5. 商品一律必須包含資料管道。至少應一律開放 session-control 和 media-stats 管道。所有資料管道都必須是 ordered。

   C++

   // ...
   // All data channels must be ordered.
   constexpr webrtc::DataChannelInit kDataChannelConfig = {.ordered = true};
   
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   // Signal session-control data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     session_create_result = peer_connection->CreateDataChannelOrError(
       "session-control", &kDataChannelConfig);
   
   if (!session_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             session_create_result.error().message()));
   }
   
   // Signal media-stats data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     stats_create_result = peer_connection->CreateDataChannelOrError(
       "media-stats", &kDataChannelConfig);
   
   if (!stats_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             stats_create_result.error().message()));
   }
   

   JavaScript

   // ...
   pc = new RTCPeerConnection();
   
   // All data channels must be ordered.
   const dataChannelConfig = {
     ordered: true,
   };
   
   // Signal session-control data channel.
   sessionControlChannel = pc.createDataChannel('session-control', dataChannelConfig);
   sessionControlChannel.onopen = () => console.log("data channel is now open");
   sessionControlChannel.onclose = () => console.log("data channel is now closed");
   sessionControlChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   
   // Signal media-stats data channel.
   mediaStatsChannel = pc.createDataChannel('media-stats', dataChannelConfig);
   mediaStatsChannel.onopen = () => console.log("data channel is now open");
   mediaStatsChannel.onclose = () => console.log("data channel is now closed");
   mediaStatsChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   

SDP 提案和回應範例

以下是有效的 SDP 優惠和相符的 SDP 答案完整範例。這項服務會協商 Meet Media API 工作階段，其中包含音訊和單一影片串流。

請注意，這裡有三個音訊媒體說明、一個影片媒體說明，以及必要的應用程式媒體說明。

相關主題

• 開始使用