1、IOT运维之路Seraphim 大数据运维高级总监About25,000,000人次 7,000,000辆180+城市Mobike的一天摩拜单车消耗卡路里4329亿个汉堡全国用户共消耗389.62亿卡路里的热量，相当于消耗了4329亿个汉堡（一个汉堡大约900卡路里）高德地图：摩拜缓解交通拥堵显著 北京CBD晚高峰拥堵时间明显缩短高德追踪2016年1月1日至2017年6月30日CBD高峰拥堵延时指数，数据显示，随着摩拜单车在CBD周边投放量从0增至4000辆，CBD拥堵延时指数同比有所下降，CBD下降幅度最快，达16%，平均车辆时速由21公里提升至24.36公里。广州市交通规划研究院通过7个月

2、对广州昌岗地铁站周边黑车数量进行统计，摩拜单车出现后，82%的市民放弃乘坐黑车，黑车收入下降超过70%，37%的地铁站点再无黑车，黑车交通事故下降超过22%。广州规划院：82%的广州市民放弃乘坐黑车Seamless Integration of Cutting-edge Software and Hardware TechnologiesCrank&Shaft transmission A 4-year maintenance-free design with over 30+patentsWorlds first IoT smart lockFull aluminum bodyOne sid

3、ed suspensionOrange five-spoke wheelsPuncture-free airless tiresAdjustable seatSafety bellQR code unlockGPS trackingData recordsEasy payment+HardwareSoftware发现问题线上问题总是业务先发现NOC值班靠感觉啥是监控？好看的图吗？业务监控 基础监控链路监控大数据监控异常日志监控Sentry业务监控dashboard Event LogTracing 全链路监控 Oncall rotation toolPrometheus汇总监控数据：Elast

4、icSearch汇总日志：1.生态相对成熟，相关文档很全面，从通用的到专用的各种exporter也很丰富。2.查询语句和配置简单易上手。3.原生具有分布式属性。4.所有组件都可以部署在Docker容器内。Mesos Exporter：1、可以用来收集容器的各项运行指标。2、并且本身他消耗的资源也很少，每个容器分配0.2CPU，128MB内存也毫无压力。Mesos Exporter：1、对比cAdvisor。cAdvisor是一个Google开源的项目，跟Mesos Exporter收集的信息八成以上都是类似的；而且也可以通过image字段也可以变相实现关联服务与容器，2、Mesos expor

5、ter里面的source字段可以直接关联到marathon的application id，更加直观一些。3、同时cAdvisor还可以统计一些自定义事件，而我们更多的用日志去收集类似数据，再加上Mesos Exporter也可以统计一些Mesos本身的指标，比如已分配和未分配的资源。短信风暴没人看短信Oncall睡觉了短信微信模版中心策略调度报警数据库报警策略call最大的难点并不是实际业务代码的编写，而是服务的监控和调试以及容器的编排最大的难点并不是实际业务代码的编写，而是服务的监控和调试以及容器的编排Zipkin Eye Appdash（二次开发）（二次开发）（1）Annotation1.

6、cs-Client Start。客户端发起一次请求时记录2.sr-Server Receive。服务器收到请求并开始处理，sr和cs的差值就是网络延时和时钟误差3.ss-Server Send:服务器完成处理并返回给客户端，ss和sr的差值就是实际的处理时长4.cr-Client Receive:客户端收到回复时建立。标志着一个span的结束。我们通常认为一但cr被记录了，一个RPC调用也就完成了。其他的annotation则在整个请求的生命周期里建立以记录更多的信息。（2）Span由特定RPC的一系列annotation构成Span序列，span记录了很多特定信息如 traceId，span

7、dId，parentId和RPC name。（3）Trace一个trace中所有的span都共享一个根span，trace就是一个拥有共同traceid的span的集合，所有的span按照spanid和父spanid来整合成树形，从而展现一次请求的调用链。目前每次请求由PHP端生成traceid，并将span写入Ktrace，沿调用链传递traceid，每个service自己在有需要的地方埋点并写入Ktrace。效率平台In Place Deployment1、lb 维护页面2、downtime monitor3、更新、测试完成4、恢复monitorRolling Update Deploym

8、ent1、通知lb disable服务器。2、部署成功，测试完成后，lb enable已更新的服务器，undowntime监控服务。3、重复2的步骤，直至所有服务器都更新完成Red-Black DeploymentNetflix部署手段1、通过AutoScaling Group用包含新版本应用的AMI的LaunchConfiguration创建2、失败，销毁新生成的服务器以及Autoscaling Group。3、通过，则将ELB指向新的服务器集群，然后销毁掉旧的服务器集群以及AutoScaling GroupBlue-Green DeploymentMulti Region Deployment集成交付CICDTHANKS