了解 Media API 概念

借助 Google Meet Media API，您的应用可以加入 Google Meet 会议并使用实时媒体串流。

客户端使用 WebRTC 与 Meet 服务器通信。提供的参考客户端（C++、TypeScript）展示了推荐做法，我们建议您直接基于这些做法构建应用。

不过，您也可以构建完全自定义的 WebRTC 客户端，使其符合 Meet Media API 的技术要求。

本页面概述了成功建立 Meet Media API 会话所需的关键 WebRTC 概念。

出价-回答信号

WebRTC 是一个点对点 (P2P) 框架，其中对等设备通过相互发送信号进行通信。如需开始会话，发起方对等体会向远程对等体发送 SDP 报价。此优惠包含以下重要详细信息：

音频和视频的媒体说明

媒体说明用于指明点对点会话期间传输的内容。描述分为三种：音频、视频和数据。

如需指明 n 音频串流，提供商应在提供内容中添加 n 音频媒体描述。视频也是如此。不过，数据媒体描述最多只有一个。

方向

每个音频或视频说明都描述了由 RFC 3711 管理的各个安全实时传输协议 (SRTP) 串流。这些连接是双向的，允许两个对等方通过同一连接发送和接收媒体。

因此，每个媒体说明（在提供方和回答中）都包含以下三个属性之一，用于说明应如何使用数据流：

• sendonly：仅发送来自提供方对等的媒体。远程对等方不会在此串流中发送媒体。

• recvonly：仅接收来自远程对等方的媒体。提供方对等不会在此串流中发送媒体。

• sendrecv：两个对等方都可以在此数据流上发送和接收数据。

编解码器

每个媒体描述还会指定对等支持的编解码器。对于 Meet Media API，除非客户端提供的媒体至少支持技术要求中指定的编解码器，否则系统会拒绝其提供的媒体。

DTLS 握手

SRTP 流通过对等方之间的初始数据报传输层安全协议 (“DTLS”RFC 9147) 握手进行保护。DTLS 传统上是一种客户端到服务器协议；在信号传送过程中，一个对等方同意充当服务器，另一个对等方充当对等方。

由于每个 SRTP 流都可能有自己的专用 DTLS 连接，因此每个媒体描述都指定以下三个属性之一，以指示对等方在 DTLS 握手中的角色：

• a=setup:actpass：提供对等方会遵循远程对等方的选择。

• a=setup:active：此对等方充当客户端。

• a=setup:passive：此对等方充当服务器。

应用媒体说明

数据通道 (RFC 8831) 是对流控制传输协议（“SCTP”RFC 9260）的抽象。

如需在初始信令阶段打开数据通道，优惠必须包含应用媒体描述。与音频和视频说明不同，应用说明不会指定方向或编解码器。

ICE 候选人

对等方的Interactive Connectivity Establishment（“ICE”RFC 8445）候选对象是远程对等方可能用于建立连接的路由列表。

两个对等点列表的笛卡尔积（称为候选对）表示两个对等点之间的潜在路线。系统会对这些对进行测试，以确定最佳路线。

通过 Meet REST API 发送信号

使用 Meet REST API 执行此提供-接听信号。您的应用向 connectActiveConference() 方法提供 SDP 提议，并接收 SDP 响应。

连接流程示例

以下是包含音频媒体说明的商品：

远程对等方会响应一个包含相同数量媒体描述行的 SDP 响应。每行都表示远程对等方通过 SRTP 流向提供方客户端发送的媒体（如果有）。远程对等方还可以通过将该媒体描述条目设置为 recvonly 来拒绝提供方提供的特定串流。

对于 Meet Media API，客户端始终发送 SDP 报价以发起连接。Meet 绝不会是发起者。

此行为由参考客户端（C++、TypeScript）在内部管理，但自定义客户端的开发者可以使用 WebRTC 的 PeerConnectionInterface 生成 offer。

要与 Meet 关联，商品必须符合特定要求：

1. 客户端始终必须在 DTLS 握手中充当客户端，因此，报价中的每个媒体描述都必须指定 a=setup:actpass 或 a=setup:active。

2. 每行媒体描述都必须支持相应媒体类型的所有必需编解码器：

   • 音频：Opus
   • 视频：VP8、VP9、AV1

3. 如需接收音频，商品必须包含恰好 3 条仅接收音频的媒体说明。为此，您可以在对等连接对象上设置收发器。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (int i = 0; i < 3; ++i) {
     webrtc::RtpTransceiverInit audio_init;
     audio_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     audio_init.stream_ids = {absl::StrCat("audio_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
       audio_result = peer_connection->AddTransceiver(
         cricket::MediaType::MEDIA_TYPE_AUDIO, audio_init);
   
     if (!audio_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add audio transceiver: ",
                                               audio_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive audio from Meet servers.
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   

4. 如需接收视频，商品必须包含 1-3 个仅接收视频的媒体说明。为此，您可以在对等连接对象上设置收发器。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (uint32_t i = 0; i < configurations.receiving_video_stream_count; ++i) {
     webrtc::RtpTransceiverInit video_init;
     video_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     video_init.stream_ids = {absl::StrCat("video_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
         video_result = peer_connection->AddTransceiver(
           cricket::MediaType::MEDIA_TYPE_VIDEO, video_init);
   
     if (!video_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add video transceiver: ",
                                               video_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive video from Meet servers.
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   

5. 优惠始终必须包含数据渠道。至少，session-control 和 media-stats 通道应始终处于打开状态。所有数据通道都必须为 ordered。

   C++

   // ...
   // All data channels must be ordered.
   constexpr webrtc::DataChannelInit kDataChannelConfig = {.ordered = true};
   
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   // Signal session-control data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     session_create_result = peer_connection->CreateDataChannelOrError(
       "session-control", &kDataChannelConfig);
   
   if (!session_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             session_create_result.error().message()));
   }
   
   // Signal media-stats data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     stats_create_result = peer_connection->CreateDataChannelOrError(
       "media-stats", &kDataChannelConfig);
   
   if (!stats_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             stats_create_result.error().message()));
   }
   

   JavaScript

   // ...
   pc = new RTCPeerConnection();
   
   // All data channels must be ordered.
   const dataChannelConfig = {
     ordered: true,
   };
   
   // Signal session-control data channel.
   sessionControlChannel = pc.createDataChannel('session-control', dataChannelConfig);
   sessionControlChannel.onopen = () => console.log("data channel is now open");
   sessionControlChannel.onclose = () => console.log("data channel is now closed");
   sessionControlChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   
   // Signal media-stats data channel.
   mediaStatsChannel = pc.createDataChannel('media-stats', dataChannelConfig);
   mediaStatsChannel.onopen = () => console.log("data channel is now open");
   mediaStatsChannel.onclose = () => console.log("data channel is now closed");
   mediaStatsChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   

SDP 报价和回复示例

以下是有效 SDP 报价和匹配 SDP 回答的完整示例。此方案会协商包含音频和单个视频串流的 Meet Media API 会话。

请注意，其中包含 3 个音频媒体说明、1 个视频媒体说明以及必需的应用媒体说明。

相关主题

• 开始