《顾风胜:AliSQL在零售云平台实践(17页).pdf》由会员分享,可在线阅读,更多相关《顾风胜:AliSQL在零售云平台实践(17页).pdf(17页珍藏版)》请在三个皮匠报告上搜索。
1、AliSQL在零售云平台实践阿里巴巴高级技术专家顾风胜零售云介绍数据同步服务全链路压测服务123云服务器云数据库对象存储分布缓存消息服务负载均衡物流中心发票中心订单中心账务中心营销中心ERP会员中心S-PaaS电商级别门店数字颗粒度业务运维工作台业务全链路监控业务全链路压测业务安全和防护WMSCRM绩效T-PaaS电商级别业务稳定性B-PaaS电商级别业务灵活性Aliware奇门淘宝开放平台C-PaaS零售服务能力开放D-PaaS电商级别数据能力数据中心策略中心数据银行IaaS(基础设施&云产品)PaaS(中台构建&业务组件)SaaS(官方应用&服务市场)电商 SaaS 产品零售 SaaS 产
2、品云中台云POS云导购云客流云互动云客服营销手淘开放硬件框架千牛框架品牌营销定制品牌号定制智能导购智能客流智能互动云POS组件导购员组件零售云产品架构阿里内网聚石塔电商云安全可靠实时聚合定制订单商品会员物流优惠阿里中台会员商品交易仓储财务商家服务商零售云数据同步诉求会员商品交易数据层消息系统全量API增量API详情API业务APIAPI 网关消息通道开放平台会员中心商品中心交易中心业务中台会员CRM订单OMS智能POS仓储WMSAPP全量初始化增量更新实时更新为什么不用API同步分页处理不当引起数据不一致热点数据查询DB超时交易异地多活,DB同步延迟大促交易接口限流技术成本高,重复建设订单延迟
3、,丢单变更消息变更消息业务中台开放平台服务商系统阿里内网零售云业务数据业务系统开放平台同步服务中间表ISV应用业务表零售云数据同步解决方案业务中台API网关阿里内网零售云业务表控制台推送服务端ISV服务端RDS Proxy推送消息服务数据分发RDS推送RDS推送云通道RDS 中间表RDS 中间表对账任务全量详情零售云数据同步整体架构推送消息服务端 接收订单变更消息 获取交易全量详情 数据推送路由云通道 内外双向的RPC通讯数据分发 订单数据分发RDS推送 负责RDS数据写入API网关 对账任务稳定、易用、低成本名称类型是否索引说明tidNUMBERY交易IDstatusVARCHARY交易状态
4、typeVARCHARY交易类型seller_nickVARCHARY卖家昵称buyer_nickVARCHAR买家昵称createdDATETIMEY交易创建时间modifiedDATETIMEY交易修改时间jdp_createdDATETIMEY数据入库时间jdp_modifiedDATETIMEY数据最后修改时间jdp_hashcodeVARCHAR用来做数据校验的字段jdp_responseMEDIUMTEXTAPI返回的整个JSON BODY关键字段系统字段大字段关键字段业务核心字段,用于查询过滤系统字段jdp_modified避免分页查询漏单jdp_hashcode乐观锁,减少DB
5、操作大字段详情API返回数据(JSON)后台配置需要返回的字段只需要一份SqlMap避免DDL锁表影响业务RDS推送库与中间表设计RDS推送库推送连接池业务库业务连接池如何降低RDS写入开销必要性RDS规格普遍比较低,给到平台的连接数有限(只有120)平台与客户共用RDS,需要尽量少占用RDS的资源写入 区分创建和更新事件 不查询老数据直接更新 数据内容相同不更新 乐观锁避免脏数据写入查询 只查询需要用到的数据 批量查询DB进行对账删除 分片删除以缩小区域锁 凌晨删除避免影响业务优化后减少了90%的DB消耗是否新增消息尝试更新数据new.modified sql.modified查询该记录在D
6、B中的modified&hashcode尝试更新数据记录是否存在new.modified old.modified|new.hashcode=old.hashcodenew.hashcode=old.hashcode写入成功结束开始否否是否是,没有冲突是是尝试插入数据否尝试插入数据是写入成功否是是否,并发更新冲突否,则重试3次12341234InnoDB memcached pluginMySQL ServerMemcache PluginSQL APIMemcache APISQL Parse&Optimize WriteReadPagePagePagePagePagePageBuffer
7、PoolLogFileDataFileDataFileDataFileInnoDB Storage主键查询非主键查询主键查询QPS提升4倍主键查询RT下降30%ERP流程仓储流程分单流程创建订单已付款订单已推送已客审已财审已通知配货仓库已接单已拣货已打包已称重已出库已发货天猫交易ALIBABA压测系统RDS库ERP系统WMS系统接口对接接口对接订单推送拉单服务分单处理奇门仓内作业菜鸟发货ISV全链路压测服务ISV自主压测的痛点压测环境不真实数据构造不真实压测人力成本高压测资源成本高ISV全链路压测对接方案压测环境搭建 复用线上环境 克隆线上环境压测数据构造 推送集团全链路压测数据到RDS压测人力成本 流程化对接 可视化报表数据隔离方案 推送到独立的RDS库 根据订单ID前缀隔离ISV全链路压测报告ISV全链路压测报告ISV全链路压测报告