报告预览

2019年.NET大数据实时计算.pdf

编号：98007

PDF 19页 7.47MB 下载积分：VIP专享

下载报告请您先登录！

2019年.NET大数据实时计算.pdf

1、.NET Core 2019China.NET Conf 2019.NET大数据实时计算数据中通财报摘要显示，中通快递二季度业务量完成31.07亿件，同比增长46.8%，超出行业平均增速18.5个百分点。市场份额较上年同期提升2.5个百分点达19.9%。大数据来源China.NET Conf 2019目录计算平台架构项目实战CONTENTS目录背景介绍China.NET Conf 2019Part01背景介绍China.NET Conf 2019背景介绍每天一亿多个包裹在路上，产生好几亿数据末端时效管控，收件时间缩短，提升用户体验由实时计算平台支撑营运管控系统每天凌晨，外省大货车进入上

2、海自动分拣，系统开始跟踪网点合理安排车辆和人员派件签收，系统实时反馈（10min）管理人员全网监控China.NET Conf 2019背景介绍全国各地网点，存在地区性差异系统参数需要不断调整，营运政策改变计算平台按需重新计算原始数据主要来自PDA、自动分拣机、狂扫等设备，以及手机APP 公司之间接口对接也会产生大量数据，如订单还有其它一些中小型IoT物联网设备产生的数据China.NET Conf 2019Part02计算平台架构China.NET Conf 2019计算平台架构系统规模计算平台以调度系统为核心，40多台虚拟服务器作为计算节点，30多台虚拟服务器作为数据清洗和

3、数据服务，3组数据库（Oracle/MySql），9台Redis（共250实例）。共支撑70多个系统，700多个计算作业，年计算量万亿级。技术架构整个平台设计于2016年，基于2008年某金融公司数据处理思路，采用分片处理数据思想，我们自称蚂蚁算法，实际上就是MapReduce。系统基于.NET 4.5开发，在2018年初引入.NET Core来做数据清洗、数据服务和数据计算，几乎所有功能模块都同时编译.NET4.5/.NET Core版本，根据部署环境选用，CentOS占80%。数据流程各个终端产生的数据汇总后进入公司核心数据库，同时推送RocketMQ消息队列。频繁使用的核心数据，需要即时

4、消费MQ写入Redis，以获取高吞吐和低延迟。老系统数据在核心数据库中，可以通过备库按插入时间去抽取，写入Redis。各计算节点通过专门的RPC网关去Redis分批抽取数据，进行分割计算。China.NET Conf 2019分片实时计算调度系统缓存平台数据平台统计落库以较小时间片（如5秒）对原始数据进行分片，建立工作任务，多线程分批处理。分片调度对接各业务线数据库、消息队列，数据清洗，对外数据开放。内部数据通信微服务化。数据收集与开放全量扫描数据、订单数据，以单号为Key，压缩后写入Redis，有效期30天。以时间为Key，建立单号列表缓存运单/订单缓存统计数据在内存归并后批量落库；明细数据

5、经Redis缓冲后批量写入统计与明细China.NET Conf 2019计算平台数据规模Redis共有68亿Key运单16亿（单号KV）订单16亿（单号KV）业务25亿 List/Set冗余备份11亿总内存4T，已使用2T接入应用配置中心共接入系统模块188个活跃应用103个每日缓存调用量146亿次系统性能Redis日常17万ops平均延迟300us单点压测峰值222万opsRPC单点压测峰值2256万tps系统架构前中后三套系统分别偏移30秒/540秒/3600秒抽取扫描数据写入Redis，缓存30天，另有两套写备用Redis，缓存10天。*以上数据采样于2018年9月China.NET

6、Conf 2019数据统计模型China.NET Conf 2019开源项目 NewLife.Redis NewLife.RocketDB NewLife.XCode AntJobChina.NET Conf 2019Part03项目实战China.NET Conf 2019项目实战数据清洗这是一个按照插入时间抽取数据的案例每张表一个作业，按自己的结构写入Redis 偏移45秒很短，实时性好，但可能漏数据冗余系统使用2小时偏移抽取，补缺补漏China.NET Conf 2019项目实战数据计算每个作业会在多服务器节点上进行多线程计算，各自处理不同的时间分片，最后汇总数据China.NET

7、 Conf 2019项目实战汇总统计数据按批计算后，在数据库或Redis中写入明细表数据，并对统计表进行增量累加，实时性好定时汇总任务从明细表执行聚合查询，修正统计表数据每天凌晨重算一次明细数据，更准确后置定时任务修正几天前统计数据，以免因明细数据改变导致统计数据不准确重大汇总任务，采用消息驱动模式，分摊到不同节点进行处理China.NET Conf 2019项目实战分布式作业分布在多节点上进行多线程处理每线程处理能力超过1000tps 实际经验，不需要太多节点和线程，瓶颈在数据库写入China.NET Conf 2019总结系统架构设计思想项目实战落地SUMMARY总结快递物流行业场景China.NET Conf 2019谢谢观看China.NET Conf 2019

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2019年.NET大数据实时计算.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

2019年.NET大数据实时计算.pdf

2019年.NET大数据实时计算.pdf