《【杜金房】FreeSWITCH 连接 RTC 及人工智能融合通信实践.pdf》由会员分享,可在线阅读,更多相关《【杜金房】FreeSWITCH 连接 RTC 及人工智能融合通信实践.pdf(50页珍藏版)》请在三个皮匠报告上搜索。
1、F Fr re ee eS SWWI IT TC CH H 连连接接R RT TC C及及人人工工智智能能融融合合通通信信实实践践杜杜金金房房小樱桃科技CTO小樱桃科技CTO2009年创办FREESWITCH中文社区2020年创办RTS社区FREESWITCH权威指南作者KAMAILIO实战作者腾讯云TVP杜杜金金房房F Fr re ee eS SWWI IT TC CH H与与R RT TC C简简介介MMC CU U与与S SF FU U对对接接解解决决方方案案F Fr re ee eS SWWI IT TC CH H连连接接各各种种音音视视频频服服务务F Fr re ee eS SWWI
2、 IT TC CH H连连接接A AI I平平台台及及A AI I服服务务通通信信的的本本质质通通画一个四通八达的路通通0 01 1F Fr re ee eS SWWI IT TC CH H与与WWe eb bR RT TC C简简介介AIASR/TTSZ ZL LMMe ed di ia aK Ki it B B2 2B BU UA A视视频频通通话话视视频频通通话话0 02 2MMC CU U与与S SF FU U对对接接方方案案MMC CU US SF FU U视视频频会会议议几种模式MMC CU UFreeSWITCH、Polycom、Cisco、华为S SF FU UZoom、声网、
3、腾讯会议MMe es sh h对讲机F Fr re ee eS SWWI IT TC CH H对对接接声声网网SIP to Agora,Agora to SIP,MCU to SFUF Fr re ee eS SWWI IT TC CH H对对接接声声网网媒体流示意图MCU下下行行视视频频上上行行视视频频F Fr re ee eS SWWI IT TC CH H MMC CU U媒体流示意图F Fr re ee eS SWWI IT TC CH H MMC CU U媒体流示意图F Fr re ee eS SWWI IT TC CH H MMC CU U多画布下下行行视视频频上上行行视视频频MC
4、UF Fr re ee eS SWWI IT TC CH H MMC CU U多画布下下行行视视频频上上行行视视频频MCU0 03 3F Fr re ee eS SWWI IT TC CH H连连接接各各种种音音视视频频服服务务双双流流MMC CU U双双流流S SD DP Pm=audio m=video m=video S SD DP Pm=audio m=video S SD DP Pm=video S SR RS SRTMP推流拉流推流拉流live-pusherlive-推流拉流推流拉流live-pusherlive-playerS SD DP P B Bu un nd dl le e
5、S SR RS SWebRTCT TR RT TC C腾讯T TR RT TC C S SD DK KT TR RT TC C S SD DK KT TR RT TC C S SD DK KT TR RT TC C 模模块块 mmo od d_ _t tr rt tc SIP腾腾讯讯会会议议室室连连接接器器MRA腾讯会议客户端企业微信客户端微信小程序会议室(Rooms)客户公司会议室公司内部会议室会会议议室室连连接接器器腾腾讯讯会会议议室室连连接接器器MRAMMi ic cr ro os so of ft t T Te ea amms s很很多多种种S SI IP P对对接接方方式式SIP网关
6、Direct RoutingRTMPNDICommunication Service SDKCVI-Cloud Video InterOPD Di ir re ec ct t R Ro ou ut ti in ng gSBCTLS域名:Record-Route、ContactICE,且仅支持一个CandidateFreeSWITCH+Kamailiohttps:/skalatan.de/en/blog/kamailio-sbc-teamshttps:/kb.smartvox.co.uk/opensips/opensips-as-ms-teams-sbc/https:/ string.match
7、(KSR.pv.gete($fd),sip.*%.pstnhub%.microsoft%.com$)thenKSR.setflag(FLT_SRC_MS_TEAMS);endKSR.hdr.remove(X-AUTH-IP);KSR.hdr.append(X-AUTH-IP:.KSR.pv.get($si).rn);T Te ea amms sSBC上判断呼叫是否来自Tif KSR.isflagset(FLT_SRC_MS_TEAMS)thenKSR.rr.record_route_preset(10.10.0.13:1001;transport=tcp,;transport=tls)KSR.
8、rr.add_rr_param(;r2=on)elseif KSR.isflagset(FLT_DST_MS_TEAMS)thenKSR.rr.record_route_preset(;transport=tls,10.10.0.13:1001;transport=tcp)KSR.rr.add_rr_param(;r2=on)elseKSR.rr.record_route()endT Te ea amms sRecord-Route处理if KSR.sdpops.sdp_get_line_startswith($avp(candidate),a=candidate:)0 thenlocal c
9、andidate=KSR.pv.gete($avp(candidate):gsub(.*$,)candidate=candidate.2 udp KSR.sdpops.remove_line_by_prefix(candidate,audio)end处理Contact头域if evname=tm:local-request thenif KSR.is_OPTIONS()and string.match(KSR.pv.get($ru),pstnhub%.microsoft%.com)thenKSR.hdr.append(Contact:rn);endendT Te ea amms sSBC上处理
10、Record-Route 头域电电话话,手手机机上上的的一一等等公公民民支持视频音视频切换(升降级)视频彩铃基于电话通道,有QoS保障给客服传图片不需要挂断电话再“加个微信”视频会议运运营营商商4 4G G V Vo oL LT TE E 5 5G G N NR RSIP 与 音视频通话S SD DP Pb=ASb=RSb=RRr re eI IN NV VI IT TE Em=audiom=video运运营营商商4 4G G V Vo oL LT TE E 5 5G G N NR RSIP 与 音视频通话运运营营商商S SI IP PRequire:preconditionRequire:1
11、00relS SD DP P o of ff fe er ra=curr:qos local nonea=curr:qos remote nonea=des:qos mandatory local sendrecva=des:qos mandatory remote sendrecvS SD DP P a an ns swwe er ra=curr:qos local sendrecva=curr:qos remote nonea=des:qos mandatory local sendrecva=des:qos mandatory remote sendrecv4 4G G V Vo oL
12、LT TE E 5 5G G N NR R4 4G G V Vo oL LT TE E 5 5G G N NR Rprecondition运运营营商商4 4G G V Vo oL LT TE E 5 5G G N NR RS SI IP P/R RT TP P/P PS SG GB B2 28 81 18 81 1各种安防摄像头和手持设备等协协议议基于SIP媒体流 RTPPS封装H264mod_0 04 4F Fr re ee eS SWWI IT TC CH H连连接接A AI I平平台台及及A AI I服服务务A AI IASR/TTSMMR RC CP PA AI IASR/TTSWWe
13、 eb bs so oc ck ke et t阿里讯飞百度华为思必弛C Ch ha at tG GP PT TGenerative Pre-trained Transformer协协议议SSE-Server Sent EventHTTP 长连接Go SDKhttps:/ Ch ha at tG GP PT TGenerative Pre-trained TransformerL Lu ua amod_luaSWIG多线程,事件驱动扩展libcurl支持SSE事事件件回回调调A AS SR R检检测测到到语语音音c cU UR RL L收收到到C Ch ha at tG GP PT T响响应应缓缓存存、断断句句、播播放放数数字字人人数数字字人人数数字字人人腾腾讯讯会会议议-X XS Swwi it tc ch h-C Ch ha at tG GP PT T 融融合合通通信信,关关键键是是“通通”A AI I加加持持,无无限限可可能能开开源源与与商商业业化化相相结结合合,共共同同推推进进生生态态发发展展T TH HA AN NK KS S杜杜金金房房