1、万里牛实时数仓的演进之路陈晓亮湖畔网络大数据平台负责人Contents目录01万里牛是谁02万里牛的数据中台之路03万里牛与Hologres万里牛用互联网服务推动企业创新值得依赖与尊敬的云服务商业内最早的SaaS ERP服务商主要针对电商、跨境、实体门店等业务群体。万里牛产品体系丰富，以ERP、跨境电商ERP、WMS（仓储管理系统）为核心，搭建融合商业智能BI、新零售、多牛订货系统等为一体的产品矩阵，帮助电商企业快速布局跨境和新零售，提升订单处理效率，实现数字化业务管理，为企业降本增效。万里牛的产品矩阵BI订货系统ERP（含跨境）WMSCRM智慧零售万里牛的客户中粮集团倍思科勒鸿星尔克钉钉恒源

2、祥青春宝日本乐天客户对数据的痛点业务环节产生了大量数据却不会通过数据分析来反哺业务人工整合数据费时费力难以保证准确性统计繁琐、耗时长结果与市场、业务节奏脱节作业流程的优化和调整无法通过数据来直观评估效果数据质量更高数据来源覆盖更高数据时效更快数据指标获取更快数据融合性更强数据系统稳定性更强客户对数据的诉求积累的数据能够持续产生价值万里牛“业务+数据”双中台天猫/京东等（国内平台）Amazon/AliExpress等（国外平台）微商城门店B2B 直播美团饿了么ERP WMS CRM 智慧零售分销系统订货系统BI 实时大屏数据中台业务中台权限中心订单中心商品中心会员中心库存中心支付中心财务中心结算

3、中心渠道中心订单数据会员数据库存数据商品数据财务数据运营辅助奇门/虎符/方舟万里牛开放平台财务系统三方仓储快递物流三方支付TMS OA 其他.数据沉淀API离线计算实时计算共享服务中心前台客户触点万里牛全渠道中台运营管理第三方系统业务支撑系统（SAP/用友/金蝶/oracle/NetSuite等）（菜鸟/京东）万里牛的数据中台之路DataWorks 数据同步（DataX）DBHologres MC查询加速 ADS缓存数据资产管理系统数据中台 v1.0DBDBDB数据服务可视化CRMDataWorks任务编辑调度，数据质量MaxCompute离线数仓万里牛的BI产品结构全渠道前台200+电商平台

4、+自建线上小程序+公众号+APP商城+门店万里牛作业系统ERPWMSCRM会员中心 商品中心 订单中心财务中心 仓储中心 店铺中心万里牛前台万里牛POS万里牛分销BI 产品数据权限数据大屏报表发布企业咨询业务支撑店铺画像商品画像ABC分析库销分析滞销分析商品定价模型线上链接分析业务指导全域交叉分析钻取/切片自由设计自定义数据集交互式分析每日看板会员看板销售看板发货看板利润看板库存看板进销存看板主题看板数据集市销售主题会员主题店铺主题商品主题库存主题进销存主题财务主题数据中台离线数据实时数据自定义导入其他业务系统数据来源数据清洗数据建模数据来源联合分析数据质量赋能输出维度管理指标管理算法引擎高速

5、通道数据服务数据中台 v1.0成果和不足不足1.数据时效性差，没有实时能力2.产品场景化弱，学习成本高成果1.解决数据孤岛2.从0-1采用维度建模方法建设离线数据仓库3.实现零代码可视化交互式分析实时数仓需要解决的问题Lambda架构下联邦查询实时数仓的运营成本LambdaDataWorks 数据同步（DataX，Binlog）DataWorks任务编辑调度，数据质量DBHologres 联邦查询 MC查询加速 ADS缓存数据资产管理系统数据中台 v2.0DBDBDBMaxCompute离线数仓数据服务可视化CRMHologres 实时数仓数据中台 v2.0成果和不足不足1.缺少流计算能力成果

6、1.构建可用的实时，准实时数据仓库2.开放底层数据，支持灵活多样的数据服务万里牛与Hologres为什么选Hologres维护成本低资源灵活性高一站式实时数仓架构简单支持OLTP，OLAP与阿里云大数据组件兼容性高Hologres扮演的角色Hologres实时，离线 联邦查询离线查询加速低qps低并发下冷热数据混合查询服务实时，准实时 计算引擎联邦查询实时，准实时 计算引擎Holo 微批ODSADS合成视图T-0Holo内表Binlog数据同步H-1.H-nHolo内表准实时计算H-0 H-1Holo内表实时数据H-2.H-nHolo内表准实时数据T-2.T-nHolo外表离线数据T-1.T-

7、nHolo外表离线计算成果和不足1.联邦查询视图支持查询实时离线数据2.联邦查询运行时长10s如果只涉及内表查询运行时长1s1.维度表从离线同步，时效性差2.实时，准实时的统计直接从ODS走效率是问题成果不足联邦查询实时，准实时 计算引擎Holo 微批ODSADS合成视图T-0Holo内表Binlog数据同步H-1.H-nHolo内表准实时计算H-0 H-1Holo内表实时数据H-2.H-nHolo内表准实时数据T-2.T-nHolo外表离线数据T-1.T-nHolo外表离线计算DWDT-0Holo内表Flink 实时低qps低并发下冷热数据混合查询服务ODS合成视图T-0Holo内表Binlog数据同步T-0T-7Holo内表实时数据T-1.T-nHolo外表离线计算T-8.T-nHolo外表离线数据Hologres目前的不足多数据源实时同步的问题资源隔离的问题Java API 要求版本高THANKS