《数据湖在联华华商的应用实践_王建中.pdf》由会员分享,可在线阅读,更多相关《数据湖在联华华商的应用实践_王建中.pdf(17页珍藏版)》请在三个皮匠报告上搜索。
1、王建中杭州联华华商集团信息中心系统架构师数据湖在联华华商的应用实践联华华商:作为联华华商致力于打造全时空、全渠道、全领域的销售模式,拥有购物中心、大卖场、综合超市、标准超市、精品超市、便利店、校园店、品类店等零售业态,分别冠以“印悦里”“天华世纪城”“世纪联华”“联华”“CiTYLiFE”“Green&Health”“鲸选”“快客”等多业态品牌,曾获评“中国服务业五百强”“浙江省服务业百强”“浙江省商贸业百强”“浙江省商贸龙头企业”“浙江省重点流通企业”“浙江省诚信示范企业”“浙江省放心消费示范单位”等称号价值观与愿景 使命:最受顾客信赖、员工认同、股东满意、社会尊敬的浙江连锁零售企业;愿景:
2、让消费者更喜爱我们,致力于打造百年企业联华华商探索消费新场景,布局零售新未来网点数量顾客自提配送到家线下体验顾客自提配送到家线上服务线上业务线下业务三大场景家社区商圈鲸选APP用户138万人510+个浙江地级市覆盖11个直营、加盟门店341家快客便利店169家商城业务到家业务线上业务鲸选APP平台接入 整体融合社群分销拼团业务社区生鲜店微店精超社区生活店购物中心餐饮店便利店复合型卖场生鲜综超线上商城联华华商IT基础架构演进之路:从分离到集中-2010客户端单数据库2010-2018客户端中间件多数据库(业务分离)2019-2021客户端容器化部署中间件分布式数据库(业务分离)2022-客户端容
3、器化部署中间件分布式存算分离数据库(业务集中)集中集 中-分 离-集 中演变趋势 集中化-数据能力提升业财账务(业财中台)全域凭证(交易中台)OceanBase(for MySQL)多读多写,蚂蚁金服金融级数据库Tablestore:Serverless NoSQL多模型数据库OceanBase 在平台业务中的落地数据实例多,数据库种类多,增加了运维和开发复杂性,承担联华实体门店的充值卡、商品预付卡、会员储值卡、储值卡、鲸选支付、微支付、津贴等业务。财务系统数据体量大,接近8T,存储成本高;且后续业财一体化改造,会接入更多业务数据,存储成本将会进一步快速增长。鲸选平台面向C端用户,并发访问量和
4、数据量都有可能爆发增长,所以需要一套既能平滑扩缩容应对流量的爆增,也要有数据的高压缩比能力的数据库,达到降本增效。业务现状卡系统财务FAS鲸 选Mysal模式租户(生产)MySQL模式租户(生产)Mysal模式租户(生产)MySQL模式租户(生产)卡账户管理TS卡账务管理CC报表管理PASO财务系统(生产)鲸选平台系统(生产)卡系统测试应用MySQL模式租户(测试)财务系统 鲸选平台系统统一OceanBase集群OceanBase 在平台业务中的落地通过使用大集群,多租户的架构,将卡系统,账务,财务,鲸选平台迁移到OB,统一管理OceanBase集群替换原有架构卡账户管理TS阿里云DTS账户管
5、理卡账务管理TS数据对接报表管理PASO卡片物料库ORACLEDRDSMYSQL分析加工PG报表展示ADS三级账计算日常报表三级账服务层存储层为啥选择 OceanBase?高资源集约高扩展性高性价比高兼容经过线上复杂系统验证的 HTAP 数据库云架构轻松运维资源集约,大集群,多租户统一管理租户资源动态调配,随时应对业务高峰替换后优势采用大集群多租户的模式,进行资源集约,降低运维复杂性,卡系统、鲸选平台主要为TP系统,而财务,账务主要为AP 业务,TP 和 AP业务合二为一,充分利用 OceanBase 的 HTAP 能力弹性扩容缩容,大促期间,资源规格动态调整,应对业务洪峰;持续性可用性增强,
6、三副本高可用架构确保了联华业务的连续性。数据强一致性成本降低资源集约降低复杂度架构先进性升级集中化-应用能力提升APP客户端服务网关服务A服务B服务CWeb客户端.服务注册中心服务集群服务配置中心通过熔断、限流等 机制保证高可用;微服务之间调用的负载均衡;分布式事务;服务调用链跟踪;服务C采用微服务架构搭建中台系统服务A服务B配置中心服务注册中心服务注册与发现获取/刷新配置获取/刷新配置服务调用服务调用服务调用服务注 册与发现服务注册与发现获取/刷新配置获取/刷新配置集中化架构采用的技术方案云容器引擎K8S分布式存算分离数据库Serverless云厂商庆春路IDC机房云厂商联华华商IT基础架构
7、集中化资源集中1、应用服务器2、数据库服务器数据集中1、数据感知2、数据智能账务集中1、供应链规则2、库存记账等服务集中1、弹性部署2、可横向扩展门店应用服务器,260+台独立的门店服务器1台;数据库服务器,260+台独立的数据库服务器1台节省云端的服务器和数据库成本资源集中供应链统一规则管理统一记账账务集中整体基于微服务技术中台架构,支持大并发的查询或处理能力,保障系统的稳健运行及对多端的松耦合访问支持。服务集中库存、销售等数据集中,可为自动补货,配货池等算法的优化提升提供数据支持业务更便捷的获悉全供应链的数据数据集中联华华商云计算资源规模集中前后对比ECS 总体 658 台RDS 总体 320 台存储规模 150 TBVS存储规模 105 TBECS 总体 438 台RDS 总体 105 台OceanBase/其他分布式中间件总体 2 台K8S 集群 总体 1/3整体云化率达到95%以上谢谢谢谢谢谢