פתרון בעיות הקשורות לשגיאות ב-Meet Media API ותיקון שלהן

במדריך הזה מוסבר איך לפתור שגיאות נפוצות ב-Google Meet Media API.

פתרון בעיות בקודי שגיאה

ריכזנו כאן טיפים לפתרון בעיות שקשורות לקודי שגיאה שמוחזרים מנקודת הקצה connectActiveConference:

מינוי מאוחד

אם ערוצי הנתונים אף פעם לא נפתחים ואתם אף פעם לא מקבלים אודיו או וידאו, צריך לוודא שרק Unified Plan נמצא בשימוש כשמגדירים את חיבור ה-peer המקומי.

שגיאה בסדר של תיאורי מדיה

כשיוצרים חיבור ישיר (P2P) עם הצעה של Session Description Protocol (SDP), יכול להיות שתופיע השגיאה:

Failed to execute 'setRemoteDescription' on 'RTCPeerConnection':
Failed to set remote answer sdp:
The order of m-lines in answer doesn't match order in offer. Rejecting answer.

כלומר, שורות תיאור המדיה בתשובת ה-SDP לא תואמות לתיאורי המדיה בהצעת ה-SDP:

כדי לפתור את השגיאה הזו, צריך לוודא שסוגי מדיה דומים מוגדרים בצורה נכונה ומקובצים יחד כשמגדירים את אובייקט חיבור העמיתים. אין תמיכה בתיאורי מדיה שמשולבים בתוכן.

בדוגמת הקוד הבאה אפשר לראות איך מתאימים נכון את תיאורי המדיה:

rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;

// Signal the entire video at once.
for (uint32_t i = 0; i < configurations.receiving_video_stream_count; ++i) {
    webrtc::RtpTransceiverInit video_init;
    video_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
    video_init.stream_ids = {absl::StrCat("video_stream_", i)};

    webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
        video_result = peer_connection->AddTransceiver(
            cricket::MediaType::MEDIA_TYPE_VIDEO, video_init);
  // . . .
}

pc = new RTCPeerConnection();

// Signal the entire video at once.
pc.addTransceiver(video, {'direction':'recvonly'});
pc.addTransceiver(video, {'direction':'recvonly'});
pc.addTransceiver(video, {'direction':'recvonly'});

שגיאה במאפיין התפקיד של DTLS

כשמגדירים את מאפיין התפקיד DTLS, יכול להיות שתופיע השגיאה:

All DTLS roles must be one of [ACTIVE, ACTPASS].

השגיאה הזו מתרחשת כשמאפיין a=setup:< > לא מוגדר בצורה תקינה לכל תיאורי המדיה בהצעת ה-SDP.

כדי לפתור את השגיאה הזו, צריך לוודא שלכל תיאור מדיה בהצעת ה-SDP יש אחד מהמאפיינים הנדרשים הבאים:

• a=setup:actpass
• a=setup:active

v=0
o=- 4743178474630771513 3 IN IP4 127.0.0.1
s=-
t=0 0
a=group:BUNDLE 0 1
a=extmap-allow-mixed
a=msid-semantic: WMS
. . .
m=video 9 UDP/TLS/RTP/SAVPF 96 97 98 99 100 101
. . .
a=setup:actpass
. . .
m=audio 39807 UDP/TLS/RTP/SAVPF 111 63 9 0 8 13 110 126
. . .
a=setup:actpass
. . .

פתרון בעיות שמע

בקטעים הבאים מוסבר איך לפתור בעיות שקשורות לאודיו באפליקציה.

בדיקת היומנים

אם אתם משתמשים בלקוח האינטרנט בדפדפן Chrome:

1. פותחים כרטיסייה חדשה ומזינים בסרגל הכתובות: chrome://webrtc-internals.
2. עוברים לקטע עם התווית Stats graph for inbound-rtp.
3. בודקים כל תרשים אודיו כדי לראות אם מתקבלים חבילות נתונים.

אם אתם משתמשים בלקוח ההפניה C++, בדקו אם מתבצעת קריאה ל-OnAudioFrame.

אימות היקפי ההרשאות של OAuth

העברת האודיו מתבצעת רק אם היקף השימוש המתאים מצורף לבקשת החיבור הראשונית. כדי לפתור את השגיאה, צריך לוודא שציינתם את היקפי ההרשאות הנכונים של OAuth 2.0. מידע נוסף זמין במאמר היקפי ההרשאות של Meet Media API.

בודקים שהוועידה מוגדרת בצורה נכונה

• כשהלקוח מתחבר לשרתי Google Meet, הוא לא מקבל אישור כניסה לפגישה באופן אוטומטי. חשוב לוודא שקיבלתם עדכון של משאב לבקרת סשן בערוץ הנתונים של בקרת הסשן, עם סטטוס של STATE_JOINED.

  {"sessionStatus":{"connectionState":"STATE_JOINED"}}
  

• מוודאים שיש משתתפים אחרים בוועידה שההשתקה של זרמי האודיו שלהם לא בוטלה.

אימות האות שלכם לאודיו

ב-Meet אפשר להעביר רק אודיו אם מציינים זאת בהצעת ה-SDP. בהצעה צריכים להיות שלושה תיאורים של מדיה עם אודיו, שניתן רק לקבל אותם.

m=audio 39807 UDP/TLS/RTP/SAVPF 111 63 9 0 8 13 110 126
. . .
a=mid:0
. . .
a=recvonly
. . .
a=rtpmap:111 opus/48000/2
a=rtcp-fb:111 transport-cc
a=fmtp:111 minptime=10;useinbandfec=1
. . .
m=audio 9 UDP/TLS/RTP/SAVPF 111 63 9 0 8 13 110 126
. . .
a=mid:1
. . .
a=recvonly
. . .
a=rtpmap:111 opus/48000/2
a=rtcp-fb:111 transport-cc
a=fmtp:111 minptime=10;useinbandfec=1
. . .
m=audio 9 UDP/TLS/RTP/SAVPF 111 63 9 0 8 13 110 126
. . .
a=mid:2
. . .
a=recvonly
. . .
a=rtpmap:111 opus/48000/2
a=rtcp-fb:111 transport-cc
a=fmtp:111 minptime=10;useinbandfec=1
. . .

אם השרתים של Meet מקבלים הצעה תקפה, הם משיבים עם תשובת SDP שכוללת שלוש תיאורים של מדיה אודיו, שמוגדרים לשליחה בלבד.

m=audio 19306 UDP/TLS/RTP/SAVPF 111
. . .
a=mid:0
. . .
a=sendonly
a=msid:virtual-6666 virtual-6666
. . .
a=rtpmap:111 opus/48000/2
a=fmtp:111 minptime=10;useinbandfec=1
. . .
m=audio 9 UDP/TLS/RTP/SAVPF 111
. . .
a=mid:1
. . .
a=sendonly
a=msid:virtual-6667 virtual-6667
. . .
a=rtpmap:111 opus/48000/2
a=fmtp:111 minptime=10;useinbandfec=1
. . .
m=audio 9 UDP/TLS/RTP/SAVPF 111
. . .
a=mid:2
. . .
a=sendonly
a=msid:virtual-6668 virtual-6668
. . .
a=rtpmap:111 opus/48000/2
a=fmtp:111 minptime=10;useinbandfec=1
. . .

בדיקת ההטמעה של ה-Observer

אם מעבירים את עיבוד הנתונים לשרשור אחר, חשוב ליצור עותקים של נתוני האודיו. ‫AudioFrame.pcm16 הוא למעשה הפניה לנתונים הבסיסיים, ולכן ניסיון לגשת אליו אחרי OnAudioFrame יוביל להתנהגות לא מוגדרת, כמו שגיאת פילוח.

פתרון בעיות בסרטונים

הקטעים הבאים יכולים לעזור לפתור בעיות שקשורות לסרטונים באפליקציה.

בדיקת היומנים

אם אתם משתמשים בלקוח האינטרנט בדפדפן Chrome:

1. פותחים כרטיסייה חדשה ומזינים בסרגל הכתובות: chrome://webrtc-internals.
2. עוברים לקטע עם התווית Stats graph for inbound-rtp.
3. בודקים את הגרף של כל סרטון כדי לראות אם החבילות מתקבלות.

אם אתם משתמשים בלקוח ההפניה C++, בדקו אם מתבצעת קריאה ל-OnVideoFrame.

אימות היקפי ההרשאות של OAuth

הסרטון מועבר רק אם היקף השימוש המתאים מסופק עם בקשת החיבור הראשונית. כדי לפתור את השגיאה, צריך לוודא שציינתם את היקפי ההרשאות הנכונים של OAuth 2.0. מידע נוסף זמין במאמר היקפי ההרשאות של Meet Media API.

בודקים שהוועידה מוגדרת בצורה נכונה

• כשהלקוח מתחבר לשרתי Meet, הוא לא מקבל אישור אוטומטי להצטרף לפגישה. חשוב לוודא שקיבלתם עדכון של משאב לבקרת סשן בערוץ הנתונים של בקרת הסשן, עם סטטוס של STATE_JOINED.

  {"sessionStatus":{"connectionState":"STATE_JOINED"}}
  

• מוודאים שיש משתתפים אחרים בוועידה ששידורי הווידאו שלהם לא מושתקים.

אימות האות שלכם לסרטון

ב-Meet, הווידאו זמין רק אם הוא מופיע בהצעת ה-SDP. במבצע צריכים להיות עד שלושה תיאורים של מדיה מסוג וידאו, שמוגדרים כתיאורים לקבלה בלבד.

v=0
o=- 4743178474630771513 3 IN IP4 127.0.0.1
s=-
t=0 0
a=group:BUNDLE 0 1
a=extmap-allow-mixed
a=msid-semantic: WMS
. . .
m=video 9 UDP/TLS/RTP/SAVPF 96 97 98 99 100 101 35 36 37 38 102 103 104 105 106 107 108 109 127 125 39 40 41 42 43 44 45 46 47 48 112 113 114 115 116 117 118 49
. . .
a=setup:actpass
a=mid:1
. . .
a=recvonly
. . .
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 goog-remb
a=rtcp-fb:96 transport-cc
a=rtcp-fb:96 ccm fir
a=rtcp-fb:96 nack
a=rtcp-fb:96 nack pli
a=rtpmap:97 rtx/90000
a=fmtp:97 apt=96
. . .

אם Meet מקבל הצעה תקפה, הוא מגיב עם תשובת SDP עם n תיאורים של מדיה מסוג וידאו לשליחה בלבד, כאשר n הוא מספר התיאורים של מדיה מסוג וידאו בהצעת ה-SDP.

v=0
o=- 0 2 IN IP4 127.0.0.1
s=-
t=0 0
a=group:BUNDLE 0 1
a=msid-semantic: WMS virtual-video-7777/7777
a=ice-lite
. . .
m=video 9 UDP/TLS/RTP/SAVPF 96 97 98 99
. . .
a=setup:passive
a=mid:1
. . .
a=msid:virtual-video-7777/7777 virtual-video-7777/7777
a=rtcp-mux
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 ccm fir
a=rtcp-fb:96 nack
a=rtcp-fb:96 nack pli
a=rtcp-fb:96 goog-remb
. . .

פתרון בעיות שקשורות להצגת סרטונים

• בודקים ש-m=video … קיים בהצעת ה-SDP שנשלחה לשרתי Meet.
• בודקים שמאפיין a=recvonly מופיע מתחת לכל שורה של m=video.
• בודקים שיש מספר שווה של שורות m=video בתשובת ה-SDP.
• בודקים שa=sendonly או a=sendrecv הם מאפיינים מתחת לכל שורה m=video בתשובה של SDP.
• בודקים שVideoAssignmentRequest נשלח לשרתי Meet ושהתקבל בהם. ההצלחה או הכישלון צריכים להיות מועברים בחזרה ללקוח באותו ערוץ נתונים.

פתרון בעיות שקשורות למספר נמוך מהצפוי של סטרימינג של סרטונים

• בודקים שהצעת ה-SDP מכילה את המספר הנכון של שורות m=video ….
• מוודאים שכל התיאורים של m=video בתשובת ה-SDP מכילים את המאפיין a=sendonly או a=sendrecv. כל שורה שמסומנת ב-a=recvonly בתשובה מפחיתה את מספר הזרמים שנשלחים ללקוח באותו מספר.

בדיקת ההטמעה של ה-Observer

אם מעבירים את עיבוד הנתונים ל-thread אחר, חשוב ליצור עותקים של נתוני הסרטון. ‫VideoFrame.frame הוא למעשה הפניה לנתונים הבסיסיים, ולכן ניסיון לגשת אליו אחרי OnVideoFrame יוביל להתנהגות לא מוגדרת, כמו שגיאת פילוח.

נושאים קשורים

• מושגים ב-Meet Media API