《QUIC协议在分布式系统架构中的实践_李龙彦.pdf》由会员分享,可在线阅读,更多相关《QUIC协议在分布式系统架构中的实践_李龙彦.pdf(41页珍藏版)》请在三个皮匠报告上搜索。
1、QUIC 协议在分布式系统架构中的实践OPPO/李龙彦 OPPO网络优化领域技术专家,多年网络协议栈开发经验。目前主要负责OPPO的移动端网络库、接入层安全的架构设计和研发工作。从0-1建设了OPPO特色的QUIC(HTTP/3)协议,并成功在OPPO各个业务的进行上线,对网络传输效率以及安全有较大的提升。Quic协议介绍01.OPPO分布式系统架构02.03.04.Quic协议在分布式架构中的优化Quic协议实现中的问题案例分享clientserverSYNSYN,ACKACK(socket,bind,listen)LISTENLISTEN(accept阻塞)SYN_RCVDSYN_RCVD
2、(socket,connect)SYN_SENTSYN_SENT(connect返回)ESTABLISHEDESTABLISHED(accept返回)ESTABLISHEDESTABLISHEDClient HelloServer Hello,Cert,ServerKeyExClientKeyEx,ChangeChipherSpecChangeChipherSpec1 RTT2 RTT1 RTTUser requestResponse dataTLS 1.2握手用户请求响应DNS+4RTTHTTPDNS ServerDNSHTTPDNSHTTPDNSLocal DNSLocal DNSDNS解
3、析TCP三次握手TLS四次握手用户数据传输一个请求的过程一个请求的过程HTTP/2TLSTCPIPUDPHTTP over QUICMultistreamingTLS1.3 key negotiationflow controlQUICuserspaceuserspacekernelspacekernelspacecongestion controlBoringSSLis a fork of OpenSSLTCP+TLS1.2TCP+TLS1.3QUICHTTP/2提出了提出了“流流”的概念的概念,实现了在一条连接上的并发请求实现了在一条连接上的并发请求。但是但是TCP协议是内核态协议协议是内
4、核态协议,无法识别无法识别“流流”,QUIC连接实现在用户态,可以识别连接实现在用户态,可以识别“流流”。QUIC协议解决了协议解决了TCP的队头阻塞问题的队头阻塞问题单调递增的包序号单调递增的包序号,解决了解决了TCP重传包的二义性重传包的二义性。数千级业务集群数十万级容器实例千万级QPS数亿级用户OPPO统一接入层业务规模统一接入层业务规模TLSTLS卸载卸载1 10RTT0RTT优化优化2 2连接连接迁移迁移3 3现在业界的TLS卸载都是基于硬件的,QUIC上由于boring SSL的引入,TLS的硬件卸载如何无缝兼容,也是能让QUIC大规模运行的关键QUIC设置的0-RTT的开启条件比
5、较苛刻,在实际运行中0-RTT率并不高,安全的提高0-RTT率是QUIC优化的重要手段要正确实现连接迁移并不容易,需要充分考虑的QUIC包的传输路径,即使在同一台机器下,正确处理多核下UDP数据包传递也不容易将非对称加密过程卸载到QAT加速卡中针对Nginx进行适配异步处理方式支持强大的压缩加速能力实现了对BoringSSL库的支持,支持Quic协议OPPO的安全网关基于Nginx进行自研定制化,继承了Nginx的异步设计特性。OPPO与英特尔联合开发基于Quic协议的SSL卸载方案,包括加解密库的QAT加速适配、Quic协议栈和QAT引擎的异步化等措施。通过这些优化,在一台web服务器中能够
6、并发进行TLS1.2/TLS1.3/Quic的加速,在QAT引擎库中实现了对Open SSL和Boring SSL的同时支持。TCP+TLS1.3 性能提升达4.05倍QUIC 性能提升达3倍通过设备ID信息作为补充IP地址的补充验证,提高0-RTT率实际过程中会产生的问题实际过程中会产生的问题:1.四层架构的影响:LVS、DPVS等四层负载均衡工具基于四元组进行转发,会转发到不同的后端服务上,导致无法连接迁移;2.多核的影响:由于多核的原因,连接迁移中源地址的改变可能会让接下来的数据包去到不同的进程,影响socket数据的接收业内统计数据全球有7%地区的运营商对UDP有限速或者禁闭,除了运营
7、商还有很多企业、公共场合也会限制UDP流量甚至禁用UDP。这对使用UDP来承载QUIC协议的场景会带来致命的伤害。对此,OPPO安全网关采用多路竞速的方式使用TCP和QUIC同时建连。除了在建连进行竞速以外,还可以对网络QUIC和TCP的传输延时进行实时监控和对比,如果有链路对UDP进行了限速,可以动态从QUIC切换到TCP。作用如何实现交互过程接入层架构中如何设计间隔时间1.用于测试网络连接的可达性和延迟情况2.解决连接迁移失败问题3.触发网络拥塞控制1.1-RTT时的时候,需要在连接建立完成后开始发送PING帧。2.0-RTT的时候,无法确定连接是否建立完成,PING帧该何时发送?1.服务
8、端不需要回PONG帧,ACK即可。2.PING帧中包含Token1.发送时间间隔如何与四层负载均衡的超时时间进行权衡?又该如何与七层网关进行权衡?PING帧的实现有哪些问题?保持和探测连接活性保持和探测连接活性、及时关闭及时关闭“坏死坏死”连接连接,提升连接复用率提升连接复用率解决连接迁移偶然失败的问题解决连接迁移偶然失败的问题TOA/UOA:通过将源IP/端口信息放置到IP头的options中,服务端通过ip头中的option获取源IP信息,支持的信息有限,V6存在局限性;ProxyProtocol:基于TCP的协议都是使用这种方式,通过将源IP/端口信息放置到每个UDP的payload的起始位置,服务器端在获取报文后,将前面payload的源IP信息取出来,支持V4/V6;通过弱网实验测试,QUIC在开启0-RTT时,其延迟要比HTTP降低20%,比HTTPS要降低50%以上。现在主要在海外商店、小布助手等多个业务上线使用QUIC。在海外软件商店、小布助手上线后,性能有显著提升:接口成功率提升3%13%,秒开率提升2%19%,平均延时提升27%50%。握手包乱序导致建连时间特别长Retry报文引起建连需要2-RTT为了防止放大攻击,握手需要多个RTT 更多网络相关知识,请关注我的微信公众号:网络小菜鸟