《王浩宇-声网实时互动场景下的创新之路-对外版.pdf》由会员分享,可在线阅读,更多相关《王浩宇-声网实时互动场景下的创新之路-对外版.pdf(36页珍藏版)》请在三个皮匠报告上搜索。
1、探索边缘计算的未来王浩宇 Dylan声网云原生边缘计算团队负责人声网实时互动场景下的创新之路业务的朴素需求01体验好,高可用,便宜,快速扩展,而且哪都能跑离户更近?l云游戏场景可以简单粗暴,越近越好,可实时互动不定:l交互的多可能遍布各地l多了server 2 server的路,处理不好带来更多问题放在今天看,计算下沉,边缘分发是共识和趋势但为什么不是中化计算,边缘传输加速?边缘计算会带来更好的体验么成本更低?l资源分散后,不定能有效利l算打包聚合在起才最效,数百个机房,会流量分配不均匀,是调度是汇聚,级联,动态组,忙的不亦乐乎,还不如资源堆在起什么也不做l就近接带来层层转发,数倍推成本l来不
2、同地区的户接同个机房 vs 各接就近的机房,机房间互相转发流量l北上,三个户互动,除了上下带宽 3份,就近接每个机房还需要额外多两份转发带宽,考虑FEC和多路径传输,还需要再翻1.5倍,共12份带宽,放了2倍;随数增加还会何倍数放可性更?l故障的险是被分散了l但数据中很少出问题,机房反是故障不断天然的云边协同l整个业务场景基本能在边缘侧闭环lCDN的流量分发l物联,云游戏,控,智慧城市,定是本地化就近的场景中化架构解决80%问题,边缘架构解决剩下20%问题的同时,带来了200%的新问题该不该下沉边缘“得不偿失”的云边协同l业务场景复杂,具有不确定性l对开发者和服务提出极要求,同机房内原本简单的
3、微服务变复杂,依赖的中间件,云的弹性,基建的可靠性都不复存在真的不能上云么?l游戏业务同样延迟敏感,提到边缘计算,都是挠头l公有云要啥有啥,前在套个全球加速,覆盖问题也解决了l公有云太贵?没错,所以我们也尝试过海外运营的AS,全球建设区域级数据中,跟互联数据交换中共址,通过BGP Peer和Transit搭建PoP,同Google搜索样络覆盖问题络解决Tldraw在个全上云的时代,为什么要把的基建丢的满世界都是,给找麻烦?实时互动的白板应该在边缘还是在中心?Agora Flathttps:/ 3000ms同步性差,链路,质量保障极速直播集成简单成本低,同步性强,质量有保障解决质量和体验问题解决
4、质量和体验问题第二步第三步解决资源弹性和利效率问题解决资源弹性和利效率问题第四步解决边缘业务的局限性解决边缘业务的局限性第一步度可迁移度可迁移&在哪都能跑在哪都能跑第五步解决易性与扩展性解决易性与扩展性在边缘能跑起来只是第步,把边缘好很难把边缘计算装进业务需要几步?解决在哪都能跑03以高度可迁移为设计基准千奇百怪的运环境l不同时期采购的硬件设备,租机,虚拟机,各有不同l电源可以只有个,机器能就l软件的式解决硬件问题l怎么办?l业务扛下所有l从络协议,到RPC,中间件,全部研,为互动和边缘做适配适应各种环境,屏蔽基建层的差异把不可靠的基础设施变为可靠Edge Service媒体信令编解码接入质量
5、探测.传输全球各地的机器没有“real”timel早期机器靠系统带ntpdate时间偏差从上百ms到数秒l从CMOS芯不到虚拟机底层迁移带来的时间跳变l建个类似Google Spanner的TrueTime?lGPS时钟,PTP协议搞起来l可是要每个机房都去部署卫星天线么?就算条件允许,成本也受不了l怎么办?l搞软件时间同步实现毫秒级精度,适应各种机房环境从最基本的时间同步和域名解析说起打好基础不容易当DNS解析被“调包”l运营商DNS经常李逵变李,尤其是移动,案还拿了专利奖l莫名其妙解析被洞,指向错误IPl不遵守EDNS和真实的TTLl发的DNS包根本投递不到真实地址就被调包l不劫持解析成功
6、率也很感l海外运营商就没问题了?错误率同样感l服务器的IP被DNS Resolver错误识别国家和地区l追着Maxmind等各IP数据库把服务器地址改对l怎么办?l更,研DNS resolver,的路从0起步打造快速部署的边缘机房l个机房的服务整体迁移到另个城市需要多久?l主要取决于物流效率,个核机房3天可以搬完l持续增的覆盖地图:以列的Rosh Hain City,尼利亚的Lagos,厄多尔的Quito,肯尼亚的Nairobil主要取决于机器采购与海关,我们也有很多合作伙伴协助解决机器供应问题在硬件到位的基础上,快速完成架构部署扩展到任意国家和城市的覆盖机房络还是没有质量保障,怎么办?lIP
7、这不通那不通,会这个端不了会那个端不了l会机房其他客户的带宽炸了,会运营商割接调路由弄出个奇奇怪怪的故障解决质量和体验问题04寻找端侧与边缘节点最优的排列组合提供有质量保障的互联l内传输丢包率肩专线l曾经有教育客户花重在全球拉专线,下来发现还是声边缘+SD-RTN覆盖效果更好lCDN的调度单位是域名,我们需要细到针对不同户的不同场景做策略l同城师学起上课 vs 全球各地师学起上课是截然不同的场景l平驾驶/远程摄像头/铃远控 也是不同的场景l视频会议和社交娱乐直播l银/医院/运营商内部既要能本地化接,要能跟云打通l与SD-RTN相关的技术细节之前有做过很多相关分享,感兴趣的可以搜索相关资料就近覆
8、盖接&根据QoS平衡质量与成本SD-RTN传输与智能调度SD-RTN内传输与公共互联丢包对实时合唱实时合唱解决资源弹性和利用效率问题05追寻质与效的结合边缘也同样具备云能l为Global Edge Infra提供通解决案与资源编排能l从物理机耕种到可扩展的声明式APIl在开源组件的基础上,全套研CRD,摆脱社区案瓶颈基于k8s打造 HCI Core&Edge,同业界的HCI定义相同,代表计算,存储,络能为体的超融合计算基础设施云原生引擎兼顾云原的设计哲学与业务场景灵活诉求l为什么要做络组件?l把SD-RTN当作vxlan使,业务感集成l软硬结合的负载均衡器持源地址透传和IPv6l容器机器IP来
9、固定IP?这不叫云原lUnicast PodIP&Multicast PodIP实现IP地址可迁移可多播UAPServicel专为边缘设计的Serverless Worker编排能l持动态伸缩,但不同于社区的HPA/VPA案l持通过业务状态的idle/busy和定义负载来扩缩l具备真实业务容量视(持国家地区/版本/商/客户/甚不同调度逻辑下的容量视图)l负载动态调度Worker,Worker Pod直接实现跨Pod资源共享,不确定性负载不再成为问题,通过cgroup reparent实现同服务下的Pod资源共享l资源分配和管理上,户只需关平均资源开销*所需Worker数量,需关request/
10、limit,整体动态规划边缘资源编排NodeServicel专为RTC设计,根据Pod数量动态规划NodePool,持各种粒度的灰度,发布,资源隔离管控l把Pod和Pod简单放起不满实时互动的混步需要l按CPU真实的物理核绑定到指定业务线程lDemeter统封装控制接l多集群设计,持多套控制横向扩展l单集群承载10w+Podl全球资源统管理lKubeEdge vs HCI Edgel类似的边缘优化但具备完整的控制能,功能不裁剪l相直接OpenYurt/Flannel进步节约90%云边控制带宽Global Edge Infra统一资源编排设计在有限资源下如何做到最好?l保障质量的基础上,最化减少
11、资源浪费,最化利服务器带宽和算lQoS分级才能保障体验和成本的平衡l不做调度会发什么?l边缘计算+不调度=烧钱,给家算笔账l不同机房计费峰值叠加,实际没那么多,也要交更多的钱,最终声给该地区运营商的计费带宽可能是实际带宽峰值累加的倍数甚更多“Goldilocks Principle”源童话发姑娘和三只熊的故事:迷路了的发姑娘未经允许就进了熊的房,她尝了三只碗的粥,试了三把椅,在三张床上躺了躺,最后决定碗的粥最可,椅坐着最舒服,床上躺着最惬意,因为那是最适合她的,不不刚刚好。Goldilocks PrincipleGoldilocks Overview负载调度器 Unilbs&Appcenter
12、离线预测实时预测离线调度实时调度统一资源编排Demeter历史数据节点数据可用性及配置数据上量报备数据调度决策触发策略局部优化策略质量数据全局调度规划Goldilocks建模数据机器学习运筹优化解决方案带宽调度与算力调度l相互联业务在线和离线场景的混步调度和CDN的带宽调度案l声需要在实时在线的边缘业务场景下进针对性设计示例图,线上数据解决边缘业务的局限性06管理越来越复杂的服务状态UAP on HCI的Worker抽象了多种业务场景的基本模型有状态业务的管理Serverless&Universal Application Platform分布式边缘计算平台对外:RTM 2.xl从强致性,因果
13、致性,到最终致的多样化存储能l从消息队列,到状态订阅,解耦边缘状态复杂的业务边缘化可么?再看实时互动白板场景对内:完善全球化数据服务能l不仅有云信令能,引频道(Channel)、消息(Message)、Topic、Presence、Storage 和 Lock 等功能模块,能覆盖更多业务场景l从元宇宙互动,到远程控制,协同办公,远程医疗解决易用性和扩展性07曾经的声娃娃机场景l六年前,花了天开发完成Demol做成个能的后台服务花了个,很多客户等不及l真正打磨成为个成熟后台服务更是经年累的功夫l可/监控/弹性l质量/体验/成本如何低槛享受边缘计算带来的好处从0开始研发一个边缘业务场景,需要多久?
14、实时互动场景业务本身的复杂度仍待解决l看到这些平台能我们前端的同学很兴奋,觉得可以展拳脚l服务写完很快上线了,看细节还是不少问题Serverless UAP的未来边缘互动创新的空间08RTE与云市场插件SDK插件开发趋成熟服务端场景仍在孵化中l开发边缘架构下的后台服务槛仍然很,需求尚未被很好的满lAI模型下沉边缘并与实时场景伴是趋势l我们希望与社区共建,前服务端插件场景还在内部打磨,感兴趣我们边缘Serverless开发业务场景的同学可以加微信详细交流l服务商开发的插件和插件使集成都很简单l内部Hackathon利云市场插件快速实现了ChatGPT+语转字+虚拟数字的互动demo感谢参与THANKS400 632