1、OneLink架构演进之路 个人介绍 公司介绍 OneLink背景介绍背景介绍 应用服务演进 存储系统演进 灾备建设演进架构演进架构演进 百亿级报文处理案例分享案例分享 架构演进VS业务发展心得体会心得体会目录公司介绍中移物联网有限公司，是中国移动通信集团公司出资成立的全资子公司，以公众物联网为核心，聚焦智能连接、芯片模组、开放平台、智能硬件、行业应用五大板块，形成了物联网“云-管-端”能力，为政府、企业提供优质的物联网服务，携手推进物联网产业发展。云管端TelematicsUtilitiesAutomationIndustrialHealthcare应用及服务芯片、模组、终端M2M Gate

2、way连接2/3/4/5G蜂窝网络卫星LPWAMAN固网短距连接管理平台CMP业务使能平台AEP平台智能硬件五大核心业务智能连接行业应用芯片模组开放平台OneLink增值服务规模架构平台体系连接管理增值服务能力开放国际业务应用层应用平台业务支撑系统PBOSS内容计费CMIOT省BOSSMGWSGSNMSC交换网EPC基础网络系统GGSNP-GWSMSCHLR/HSSPCRF2G/GSM3G/TD-SCDMA4G/TD-LTE5G/CEP/MEC接入网运营支撑系统OneLink体系连接管理平台能力开放增值服务平台国际业务物联网终端网络层感知层MMES-GW中国移动公众物联网连接管理平台，通过专属

3、的通信网元设备，以高品质、广覆盖的通信接入，满足物联网业务“规模性、流动性、安全性、稳定性”的特殊需求。为客户提供物联卡连接管理服务，为合作伙伴提供产品引入代销结算服务，为省公司提供运营支撑服务。物联网增值业务综合服务平台，面向企业客户、经销商/供应商、运营管理人员，整合OneLink、OneNET、云服务、大数据等多种产品和服务，打造增值服务生态圈。目标：建立物联网增值业务综合服务生态思路：多平台相互协作，打通孤立平台壁垒为客户提供统一的产品订购、计费账务、运营管理等服务为经销商/供应商提供产品供应、销售、结算、经营分析等服务为后端人员提供运营管理、审核、合作伙伴管理、经营分析等服务价值：外

4、部能力：人工智能托管服务内容服务硬件产品安全能力内部能力：APN专网5G能力DPI能力第三方能力合作：对第三方能力进行统一的引入及封装，输出标准能力产品，并向行业客户提供物联卡+能力产品整体打包的解决方案。联合第三方和省公司，输出增值能力，提升行业竞争力整合能力、打造生态智能出入服务移动商旅服务健康管理服务智慧金融服务智能制造服务安全服务能力OneLink增值服务规模架构平台体系物联卡用户发展情况单位：万户X00X000X000+X0000200172018X0000+X000002019（E）外部系统外部系统连接管理平台OneLink省BOSS工单系统PBOSS切片平台

5、Core DCEdge DC接入机房风控平台计费系统空写平台位置平台网状网CMIOT支付平台SCEF生命周期资费管理自动化规则账单管理5G切片增值运营充值缴费故障诊断GGSNHLR/HSS业务网关OneLink近年来物联卡用户数快速增长，规模、增速全球第一，多个城市已实现“物超人”。OneLink是中国移动物联网连接管理平台，模式从分省管理到集约化管理演进，功能从业支、运营、增值以及5G+AICDE不断迭代，全面提升连接能力。增值服务规模架构平台体系 个人介绍 公司介绍 OneLink背景介绍背景介绍 应用服务演进 存储系统演进 灾备建设演进架构演进架构演进 百亿级报文处理案例分享案例分享 架

6、构演进VS业务发展心得体会心得体会目录应用服务演进用户操作层业务逻辑层数据存储层网元交互层数据处理层用户门户BizServiceOracle RAC外部系统代理存储过程Stored Procedure千万级数亿级百万级1、重点功能：集团客户、卡、套餐、用量2、支撑用户：数百万级3、团队构成：需求和测试人员为主4、主要技术：WebLogic、JSP、Java存储过程、Oracle RAC系统情况应用服务演进千万级数亿级百万级1、重点功能：统计报表、自助服务2、支撑用户：数千万级3、团队构成：研发和运维为主4、主要技术：Tomcat、JavaScriptHadoop、Oracle RACScala

7、、Java、Spring Boot系统情况用户操作层业务逻辑层数据存储层网元交互层数据处理层Active MQSparkUDMcamelHadoopClusterOracle RACClusterBiz-ServerReport-Server运管CCMPNginx用户操作层连接管理5G+AICDE增值平台API业务逻辑层SIMConnectionSubscriberFileTaskProvinceReportRiskAbilityDAL-ServiceAuthentication-Center数据存储层RedisClusterHadoopClusterOracle RACCluster网元交互

8、层PBOSS接收服务IBOSS账务FTPGGSN数据处理层PBOSS开卡订购IBOSS卡状态变更Spark统计报表Streaming在线离线数Active MQKafka应用服务演进千万级数亿级百万级1、重点功能：生态建设、风险防控2、支撑用户：数(十)亿级3、团队构成：绝大部分研发4、主要技术：Spark、Docker、K8SHadoop、Oracle RACRedis、AI、Spring Cloud系统情况存储系统演进大数据数据库缓存MemcachedMemcached独立缓存TimesTenRedis易用 VS 成本Redis Cluster流量卸载、辅助扩容（X0节点X集群）业务进程内

9、部缓存存储系统演进HDFS(redundant,reliable storage)MapReduce(cluster resource management&data processing)Hive日志处理（X0节点）统计报表（X00节点）人工智能、风控、报表（X000节点）大数据数据库缓存演进路线继承现有业务和数据按省份分布规律基于省份编码作为一级分库键根据省份客户规模基于企业客户编码作为二级分键根据企业客户规模基于用户号段作为三级分库键存储系统演进分库分表中间件EC:X里EC:X拜ApplicationEC:X米EC:X想EC:X想EC:X想Province ID：023（重庆）Provi

10、nce ID：010（北京）扩展方式垂直拆分水平拆分多库一省一省一库多省一库50S 5S自研ShardingJDBC裂变衍生单库省份2省份R省份1省份N省份3省份T客户P号段1-5客户L客户P号段6-0客户A号段0-4客户X客户A号段5-9客户J号段3-6客户J号段0-2客户J号段7-9裂变衍生大数据数据库缓存灾备建设演进数据存储层按需部署用户操作层运管业管省平台FTPAPI业务逻辑层SIMConnectionSubscriberFileTaskProvinceReportRiskAbilityDAL-ServiceGateway/Authentication-CenterRedisClust

11、erHadoopClusterOracle RACCluster网元交互层比例部署PBOSS接收服务IBOSS账务FTPGGSN数据处理层PBOSS开卡订购IBOSS卡状态变更Spark统计报表Streaming在线离线数Active MQKafkaRedisClusterHadoopClusterOracle RACClusterPBOSS接收服务IBOSS账务FTPGGSNDATA GUARDFUSION生产机房灾备机房机房独立承载网地址机房独立承载网地址数据转发两地三中心多中心数据灾备1、数据灾备仅将生产中心的数据复制到容灾中心。2、在生产中心出现故障时，仅能实现存储系统的接管或是数据的

12、恢复。3、延迟的差异数据通过工具（如操作记录、日志等）手工补回。4、RTO24小时容灾能力同城机房A同城机房B数据存储层缓存重建OracleClusterRedisClusterHadoopClusterOracleClusterHadoopClusterRedisCluster大数据同步数据库同步用户操作层智能DNS微信APPWEB微信APPWEB域名 路由 负载网元交互层智能DNSPBOSS账务文件GGSNPBOSS账务文件GGSN域名 路由 负载业务逻辑层互斥改造ConnectionFileReportGateway/Authentication-CenterConnectionFile

13、Report数据处理层业务分担PBOSS开卡订购Spark批量计算Streaming流式计算KafkaKafka 同步PBOSS开卡订购Spark批量计算Streaming流式计算Active MQKafkaActive MQ异地机房OracleClusterHadoopCluster数据库同步大数据同步PBOSS账务文件GGSN同城双活、异地灾备：同城两个中心双活、共同承载业务；异地中心为数据灾备建设思路1、网络层：网络设备双机、网络协议保障，10秒内接管2、应用层：通过心跳、拨测等方式自动发现故障，应用服务在分钟级进行接管3、数据库层：多数据源冗余、数据源在分钟级进行切换4、RTO和RPO

14、均在分钟级。容灾能力灾备建设演进两地三中心多中心数据灾备系统分层：1.服务能力分层：数据层、应用层、展示层解耦，最大化系统扩展性2.分层部署：各层能力独立部署，独立规划，最大化系统灵活性能力解耦：1.系统微服务化，提高系统灵活性2.通过容器化技术实现部署解耦分布式部署：1.混合云：静态资源公有云部署，数据处理与存储私有云部署，增强异构能力2.全国DCI网络：通过CMNET+IP承载网，支撑业务全国分布式部署分布式数据中心：多个机房共同承载业务；在跨机房层面支持数十亿级用户的横向扩容；重大灾难情况下保障业务连续性Web服务器1Client应用服务器DB-1 应用服务器DB-2 应用服务器DB-3

15、 应用服务器DB-4 应用服务器DB Web服务器2Web服务器3Web服务器4Web服务器31SLBGSLBGSLBSLBSLBClient机房1机房2机房3机房4机房N公有云公有云应用服务器Web服务器32DB 机房N-1SLBDC-1DC-2DC-3DC-4DC-31DC-32数据层应用层展示层灾备建设演进两地三中心多中心数据灾备 个人介绍 公司介绍 OneLink背景介绍背景介绍 应用服务演进 存储系统演进 灾备建设演进架构演进架构演进 百亿级报文处理案例分享案例分享 架构演进VS业务发展心得体会心得体会目录性能瓶颈1万每秒单点故障竞态条件业务耦合单点故障性能瓶颈2万每秒业务模块互相影

16、响吞吐量低至5千每秒单点故障单点故障外部重点问题业务网关速率内部重点问题数据库吞吐量百亿级报文处理优化后优化前分批割接逐步直连集群负载20万每秒集群负载20万每秒集群负载100万每秒缓冲队列高可用集群按需扩容大数据集群业务应用独立外部问题绕过去内部问题啃下硬骨头百亿级报文处理优化后优化前 个人介绍 公司介绍 OneLink背景介绍背景介绍 应用服务演进 存储系统演进 灾备建设演进架构演进架构演进 百亿级报文处理案例分享案例分享 架构演进VS业务发展心得体会心得体会目录架构演进VS业务发展集团、个人、卡订购、用量、资费连接管理连接管理集团账号融合长周期套餐运营管理运营管理客户保障、漫途大数据、灾

17、备建设增值服务增值服务切片管理、流量预测国际业务、风险防控5G+AICDE业务发展 促进 架构演进Neutron/SDN物理网络 虚拟网络对象存储Cinder/Swift计算资源池存储资源池网络资源池大数据平台和容器化平台物理服务器VMwareFusionSphereDockerNova/IronicResource/ManageResource/ManageResource/Manage连接管理增值服务风险防控国际业务块存储内部客户VDC外部客户VDC专网VDC能力开放移动机房D移动机房A移动机房B移动机房C标准化服务和生态运营架构演进 保障 业务发展架构缺陷，小规模不会暴露，规模成长后会放大架构缺陷，小规模不会暴露，规模成长后会放大显现。显现。