报告预览

2019年爱奇艺CDN运维平台实践.pdf

编号：95947

PDF 31页 1.41MB 下载积分：VIP专享

下载报告请您先登录！

2019年爱奇艺CDN运维平台实践.pdf

1、爱奇艺CDN运维平台实践爱奇艺基础架构部研发总监01 爱奇艺CDN概况02 运维痛点分析03 运维平台架构设计04 平台应用&实践05 总结&展望目录01 爱奇艺CDN概况数据增长趋势数据增长趋势节点分层策略节点分层策略CDN 节点特点节点特点爱奇艺CDN数据增长趋势2001820162017CDN设备量增长8倍分布区域增长10倍带宽增长20倍爱奇艺CDN节点分层爱奇艺CDN节点特点多多运营商运营商分布分散分布分散中心中心可连通性弱可连通性弱变更频繁变更频繁02 运维痛点总结软件配置管理软件配置管理运维数据统计运维数据统计CDN设备管理设备管理运维痛点软件配置连通性不

2、可保证状态不可预知周期不可预估运维痛点数据统计实时性差迭代低效开发繁琐CNCCTCMNETGWBNSCCIPTV收集代理HDFS数据统计、展示SSH-Based-Tools运维痛点设备管理三大ISP小ISP纯内网通过BGP、多线机房实现连通管理方便部分需要单独打隧道缺点:节点上线复杂、不可靠依赖合作商网络情况缺点:配置复杂、登录管理复杂，不稳定运维痛点小结软件配置l 配置任务状态不可控l 连通性不可靠l 日常软件、配置升级不可控l 一些案例:数据统计l 实时性差l 迭代效率低l 开发繁琐设备管理03 运维平台设计架构演进大事记架构演进大事记整体架构设计整体架构设计通用代理服

3、务集群设计通用代理服务集群设计(Promise)运运维任务模型设计维任务模型设计应用配置管理应用配置管理权限管理权限管理运维平台Fast 整体架构APIAPI接入层接入层通用代理服务通用代理服务(Promise)(Promise)HTTPHTTP传输传输ZMQ-ZMQ-ProxyProxyKCP-ProxyKCP-Proxy任务模板任务模板生生成成器器配置管理配置管理服务发现服务发现设备管理设备管理sshsshwebshellwebshellFast webFast cliFast monitor其他外部系统智能调度资产平台监控系统云图可视化应用层应用层基于基于APIAPI层实现的层实现的

4、WebWeb管理、命令行工具、监控管理、命令行工具、监控dashboarddashboard等等APIAPI层层提供任务管理、模板管理、设备管理、服务发现及状态等接口提供任务管理、模板管理、设备管理、服务发现及状态等接口核心模块核心模块实现通用运维任务模板、差异化配置管理、设备反向管理等功能实现通用运维任务模板、差异化配置管理、设备反向管理等功能通用代理集群服务通用代理集群服务实现多协议的实时消息、文件传输、设备管理、数据上报等服务实现多协议的实时消息、文件传输、设备管理、数据上报等服务客户端客户端任务管理客户端、代理客户端、插件库等任务管理客户端、代理客户端、插件库等Fast 运维平台架构f

5、ast客户端promise客户端插件库外部系统外部系统外部联动可视化、资产、调度、监控等多个系统外部联动可视化、资产、调度、监控等多个系统通用代理服务(Promise)设计目标:l 集群化:自动探测发现集群所有的服务实例l 高可用:保证每个节点有3+可用代理l 可扩展:可以任意上线下线代理设备，自动摘除l 智能路由:自动探测最佳代理节点l 接口简单:支持HTTP、SDK方式使用l 多协议:支持控制流、数据流等场景的实时性和可靠性l 模型:数据传输类:标准http模式消息控制类:sub/pub,push/pull,register/unregister 支持服务发现PromisePromise

6、集群集群CNCCTCMCDN CDN 节点节点CNCCTCM应用服务端应用服务端通用代理服务(Promise)架构及应用HTTP 接口ZMQZMQ协议协议KCPKCP协议协议应用层应用层APIAPI层层封装底层不同协议实现封装底层不同协议实现pub/sub,push/pull pub/sub,push/pull 等接口等接口核心模块核心模块协议协议目前支持目前支持zmqzmq/kcpkcp协议，协议，前者高吞吐、后者高效低延时前者高吞吐、后者高效低延时Promise 架构API:pub/sub push/pull,API:pub/sub push/pull,register/unregiste

7、r register/unregisterPingHeartbeat服务管理SDKSDK数据收集设备管理设备管理PromisedPromised/agent/agentMonitorMonitor服务服务端、客户端，目前还有数据状态收集、设备管理跳板服务等端、客户端，目前还有数据状态收集、设备管理跳板服务等路由算法核心实现基于核心实现基于Ping Ping 的保活、路由算法，支持管理注册的服务集群的保活、路由算法，支持管理注册的服务集群Promise 集群可以随意扩展、实现CDN设备跟服务端保持实时链接，使运维平台Fast可以完成实时任务下发、远程设备管理等功能，对拓展的CDN资源设备也不再需

8、要外网需求Fast运维平台任务设计任务抽象名称说明nameJob 模板名称url下载地址,支持模板渲染md5sumMD5 值,用于下载后校验target_dir下载目录,timeoutJOB 超时时间,默认30spre_scripts前置脚本,默认-,将不执行任何操作post_scripts后置脚本,默认-,将不执行任何操作rollback_scripts回滚脚本，任务失败后执行文件下载类Job定义运维操作抽象文件下载文件下载RPMRPM类类AppApp管理管理TarTar类类AppApp管理管理软连接创建软连接创建Shell Shell 类类配置变更类配置变更类运维平台任务设计模型设计运

9、维平台任务设计流程设计通常包括文件下载类、软件通常包括文件下载类、软件包类、脚本等几类包类、脚本等几类Job.Job.创建基础创建基础Job1联动资产平台的服务管理系联动资产平台的服务管理系统，间接会关联到具体的服统，间接会关联到具体的服务器资产务器资产关联服务关联服务3可以指定执行的设备列表，可以指定执行的设备列表，也可以默认引用服务所包含也可以默认引用服务所包含的所有服务器列表的所有服务器列表创建创建Task实例实例4可基于可基于Fast-WebFast-Web或或Fast-cliFast-cli查询查询Task执行执行5同一个同一个JobJob模板可以被应用到模板可以被应用到多个多个T

10、askTask模板，一个模板，一个TaskTask模板模板往往包含多个往往包含多个Job Job 模板模板组合组合Task模板模板2运维平台任务设计高级功能软件、配置自动同步软件、配置自动同步版本控制版本控制(Version Control)灰度计划灰度计划远程管理远程管理运维平台-配置管理平台采用服务端渲染、中心化管平台采用服务端渲染、中心化管理的配置模型理的配置模型.配置可以是一个配置可以是一个压缩压缩包，也可以包，也可以是是单单个文件，均有个文件，均有md5md5信息和版信息和版本信息用于本信息用于设备设备本地本地验证验证和数据和数据上上报报基于多维度、优先级覆盖策略设基于多维度、优先

11、级覆盖策略设计差异化算法计差异化算法以设备、以设备、IDCIDC、运营商、运营商、全局这四全局这四个维度设定优先级进行差异化个维度设定优先级进行差异化配配置置每个每个AppApp的配置关联一个的配置关联一个Task Task 模板模板.配置关联配置关联TaskTask模板后，可以服用平模板后，可以服用平台的基于设备、台的基于设备、IDCIDC、运营运营商等多商等多维度的灰度机制维度的灰度机制管理模型差异化算法灰度机制运维平台系统联动Fast运维平台监控系统Hubble资产管理平台天工智能调度平台伏羲运维平台权限管理设备资源设备资源服务服务Fast TaskFast Task模板模板资产平台

12、模板模板(Template)(Template)服务服务 (Service)(Service)关联用户和设备资源，用户间接关联有权限的设备关联用户和设备资源，用户间接关联有权限的设备用户用户 (User)(User)任务任务 (Task)(Task)只只允许执行自己有权限的关系的模板允许执行自己有权限的关系的模板获取用户权限服务列表，不允许关联没有权限的服务获取用户权限服务列表，不允许关联没有权限的服务可以查看所有模板，只能在有权限设备上执行任务可以查看所有模板，只能在有权限设备上执行任务运维平台Fast 大事记2017.05产品设计研发，抽象运维任务模型、设计简单的代理集群服务2018.02

13、Fast 2.0 支持服务发现、状态上报报警，推进完成视频CDN 近万设备上线，覆盖数百个机房2017.09Fast 1.0 上线，并完成静态CDN 上千台设备管理和日常配置管理2018.09Fast 3.0 上线，全新通信机制，任务实时发布，权限管理可Shell管理任何设备，包括NAT纯内网设备04 应用实践&效果软件配置管理软件配置管理数据统计架构数据统计架构&开发流程开发流程设备管理应用设备管理应用平台应用数据统计应用层应用层(Apps)(Apps)服务端服务端 (Server)(Server)处理设备经过处理设备经过PromisePromise集群上报的实时数据，打集群上报的实时数据

14、，打TagTag入入KafkaKafka队列、队列、RedisRedis最新数据最新数据代理集群代理集群(Promised(Promised )CDNCDN设备层设备层部署部署Fast-AgentFast-Agent用于控制用于控制Fast-PluginFast-Plugin应用插件的执应用插件的执行，将数据通过本地的行，将数据通过本地的promise-agentpromise-agent上报数据上报数据不同的应用到不同的应用到Kafka/Kafka/RedisRedis 消费自己投递的指定消费自己投递的指定TopicTopic数据数据多运营商、多点部署将多运营商、多点部署将CDNCDN设备上

15、报的数据上报设备上报的数据上报ServerServerPromise-AgentFast-AgentPluginsPromised代理集群智能路由心跳健康探测API/SDKPromised服务端集群TaggingReformat数据过滤AppsCDN 设备节点多维度带宽实时统计设备状态实时统计视频CDN服务质量统计静态/DNS等业务关键关键指标指标实时实时性性(秒级秒级)；可扩展；易开发；可扩展；易开发；平台应用运维开发分析任务类型，确定相关依分析任务类型，确定相关依赖项赖项:接口、命令，环境等接口、命令，环境等需求设计需求设计1开发响应的数据汇聚逻辑，开发响应的数据汇聚逻辑，直接消费

16、直接消费kafkakafka数据，执行汇数据，执行汇聚、可视化、报警投递等逻聚、可视化、报警投递等逻辑辑数据汇聚数据汇聚3根据需求设计，设定业务需根据需求设计，设定业务需求的维度求的维度(tag)(tag)字段和指标字字段和指标字段段(数值类数值类)可视化配置可视化配置(河图河图)4投递入河图的数据对接了公投递入河图的数据对接了公司司HubbleHubble系统，可以针指标系统，可以针指标进行配置监控逻辑进行配置监控逻辑监控报警配置监控报警配置5基于河图存储的时序数据，基于河图存储的时序数据，可以用任意维度组合生成日可以用任意维度组合生成日报、周报，并发给响应的邮报、周报，并发给响应的邮件组和

17、人员件组和人员日报日报/周报周报6根据不同的业务在业务机部根据不同的业务在业务机部署署Fast-PluginFast-Plugin，完成数据投递，完成数据投递测试测试7本部本部分基于分基于Fast Fast 灵活的版本灵活的版本控制功能，可在个别控制功能，可在个别IDCIDC、ISPISP上线上线灰度发布灰度发布8配置全网稳定版本，启用定配置全网稳定版本，启用定时同步功能，完成全网发布时同步功能，完成全网发布全网发布全网发布9开发开发Fast-PluginFast-Plugin，执行运维任，执行运维任务，通过务，通过Promise-AgentPromise-Agent上报上报相关数据，数据通过

18、相关数据，数据通过PromisePromise集群、服务端直接投递到集群、服务端直接投递到KafkaKafka插件开发插件开发2平台应用软件/配置管理任务模板任务模板经过一年时间的推进完成所有经过一年时间的推进完成所有CDNCDN日常运维操作日常运维操作模板化，模板化，包含包含100+软件模板软件模板、7878个个配置模板配置模板业务覆盖业务覆盖已经对接静态已经对接静态CDNCDN、视频、视频CDNCDN、调度、调度、DNSDNS等业等业务，涵盖务，涵盖服务初始化、单软件服务初始化、单软件/配置配置升级等升级等服务指标服务指标单单季度总任务季度总任务数数1.5W1.5W，操作设备操作设备次数

19、次数2500W2500W次次,平均耗时平均耗时4141分钟分钟,首次首次任务成功率任务成功率9999%效率提升效率提升全网变更在全网变更在1 1小时小时左右，基于通用代理服务解左右，基于通用代理服务解决连通性问题，效率提升决连通性问题，效率提升近百倍近百倍对接安全云堡垒机l Step 1:登录安全云堡垒机l Step 2:根据设备ID登录对接Fast-Web、资产等平台实现WebConsole管理平台应用设备管理Fast Web资产平台调度平台05 总结&展望总结总结展望展望总结总结痛点、梳理日常总结痛点、梳理日常运维工作、输出知识运维工作、输出知识库，合理设计架构库，合理设计架构需求分析&设计单元测试、单元测试、StagingStaging环环境测试境测试、巡检、报警、巡检、报警开发规范无状态、多机房、容无状态、多机房、容器化器化部署，对接部署，对接QLBQLB实实现故障自动摘除现故障自动摘除高可用设计日常运维效率提升百日常运维效率提升百倍倍.运维效率运维任务模型化、易上运维任务模型化、易上手、可交付、加快整体运手、可交付、加快整体运营迭代效率营迭代效率运维可交付释放运维潜力、运维释放运维潜力、运维开发转型开发转型运维开发

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2019年爱奇艺CDN运维平台实践.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

2019年爱奇艺CDN运维平台实践.pdf

2019年爱奇艺CDN运维平台实践.pdf