1、蚂蚁数据成本治理实践数据产品与技术部-阮宏博自我介绍多年在大数据领域的开发和数据架构经验，参与和主导过多个行业的数据架构和数据体系建设当前负责蚂蚁金服数据成本治理业务，同时负责建设统一的数据资产治理平台阮宏博 目录目录1 1）背景介绍）背景介绍2 2）组织设计和职责定义）组织设计和职责定义3 3）蚂蚁成本治理实践）蚂蚁成本治理实践增速难衡量增速难衡量效率难效率难看清看清资源增速快资源增速快，会稀释业务，会稀释业务的盈利能力的盈利能力成本价值单靠引擎和硬件的红利已单靠引擎和硬件的红利已经难以满足业务的需求经难以满足业务的需求从平台视角，从平台视角，看不清各业看不清各业务使用资源效率务使用资源效率

2、从业务视角，从业务视角，觉得平台效觉得平台效率看不清率看不清为什么要做数据成本治理为什么要做数据成本治理组织设计和职责定义组织设计和职责定义通过合理的组织架构，以及清晰的职责定义，可以帮助治理快速落地，且达成目标蚂蚁技术战略蚂蚁技术战略各业务各业务CTOsCTOs蚂蚁全域架构组蚂蚁全域架构组数据智能架构委员会数据智能架构委员会蚂蚁数据工作组蚂蚁数据工作组数据成本治理小组数据成本治理小组平台体系平台体系定价体系建设定价体系建设 对客定价设计和测算 资源成本体系监控 持续优化单价标准和制度建设标准和制度建设 制定统一的标准和规则 达成共识的目标用量体系建设用量体系建设 资源用量账单建设 治理策略挖

3、掘和方案设计 提升业务治理和管理的效率组织视角的成本体系和职责定义组织视角的成本体系和职责定义业务体系业务体系职责：接受各业务数据工作组的指导，完成本业务线内的成本预算目标设定、成本治理目标达成，并与产品能力小组配合，迭代成本治理能力支付宝业务支付宝业务数据智能业务数据智能业务数字金融业务数字金融业务安全业务安全业务国际业务国际业务数字科技业务数字科技业务.SRE+基础资源团队+数据软件团队业务团队+平台治理团队硬件可承载容器池化资源集群已持有实际已分配实际使用硬件选型，定制加速卡，自研硬件.利用统一调度和容器技术来实现池化资源提升流转效率，无用资源及时归还容器，降低无效持有通过需求错峰和分时

4、，来提升配额的利用率管理和评估需求的合理性，平台提升用量的治理效率财务视角的成本体系和职责定义财务视角的成本体系和职责定义定价售卖定价售卖成本治理实践成本治理实践从定价用量管理、单价治理、用量治理、以及平台能力四个维度分别阐述我们在蚂蚁的成本治理实践整体技术架构整体技术架构单价治理单价治理平台用量管治平台用量管治支付宝业务支付宝业务数据智能业务数据智能业务金融业务金融业务大安全业务大安全业务国际业务国际业务数字科技业务数字科技业务.组织保障组织保障制度规约制度规约定价和用量设计健康分规范成本运营培训分享，最佳实践财务成本账单财务成本账单BU账单项目/团队账单个人账单健康分和治理健康分和治理策略

5、挖掘策略挖掘计算资源错峰调度计算资源错峰调度配额分时任务延迟起调闲时补数据基于时效承诺，自动的对计算资源池，任务起调时间进行统筹规划，从而实现CPU全天资源的利用率最大化，以及提升链路下线链路下线提升治理资产覆盖率和治理效率将策略覆盖到事前事中事前事中资源管理事前事中资源管理大任务自动查杀运维补数据管控成本发布管控业务用量管治业务用量管治控制成本的增速，确保健康有序发展，提升资源的密度，看清成本的构成控制成本的增速，确保健康有序发展，提升资源的密度，看清成本的构成自动自动重排和归档重排和归档冷数据重排表级别自动归档网络削峰优化网络削峰优化跨集群缓存网络限流架构分拆和迁移通过尽可能的数据本地化存

6、算以及一定程度的网络限流来降低网络成本基础设施和引擎优化降本基础设施和引擎优化降本热冷分级存储算力混部自建网络.短查询加速SSD 缓存提升I/O硬件选型.其他资源优化其他资源优化回收站治理tunnel上传下载系统错误治理系统账号治理非法传参治理治理.单价单价(效率)用量用量(需求)成本成本目标：目标：平台产品化计量计费，使用方看得清使用成本建立数据资源的效率评估体系，推进效能整体可衡量资源成本存储计算网络其他其他成本软件运维第三方其他表存储回收站其他存储业务消耗系统消耗其他计算可管理可度量基于计量计费体系，向用户透明化计算/存储使用量及成本；建立P&L管理定义关键指标，包括成本指标&效率指标；

7、单价和用量单价和用量资源现状资源现状单价治理单价治理提升配额的利用率，降低单价提升配额的利用率，降低单价存储资源存储资源I/O吞吐能力能力（峰值排队率，日均排队率）CPUCPU内存内存网络网络利用率%日均利用率日均利用率%峰值利用率峰值利用率%日均利用率日均利用率%峰值利用率峰值利用率%日均利用率日均利用率%峰值利用率峰值利用率%结合时效承诺，寻找资源的瓶颈，通过适当的价格引导和技术能力，来提升资源的利用率存储存储/计算用量治理计算用量治理管治结合管治结合数据治理策略计算治理数据倾斜join倾斜group倾斜reduce倾斜暴力扫描数据裁剪DynamicFilterClusterZorder业

8、务裁剪增量化改造渐进计算分区裁剪其他优化Map Join低性能函数函数替换参数不合理map倾斜资产退役无效任务和表下线无效报表下线无效标签下线无效回流下线成本管控运维成本管控事中成本发布管控事中大任务自动查杀事前任务运行成本预估存储治理存储生命周期缩短大字段结构化简单加工重复数据表事前事前事中事中事后事后制定规范，建立标准落实管理持续优化，需求审计平台治理提效平台治理提效（成本健康分）（成本健康分）基于累计浪费和时间加成，升级成本健康分算法基于累计浪费和时间加成，升级成本健康分算法1 1 通过产品和技术能力，提升用户治理体验通过产品和技术能力，提升用户治理体验2 2全面性全面性覆盖N个核心研发

9、平台，可快速集成管控能力集成管控能力准确性准确性整合调度频率的废弃表和无效任务废弃表和无效任务识别整合调度频率和访问跨度的生命周期推荐生命周期推荐及时性及时性部分策略实现实时健康分刷新实时健康分刷新全天候全天候首创基于增量的离在线更新的架构，平台实现7 7*2424业务可用业务可用健壮性健壮性基于配置化 +全资产的架构，未来可以快速快速的集成其他不同类型资产的集成其他不同类型资产融入健康分，同时也可以集成更多特色的处置能力个人健康分=(发现日期统计当天治理项每日实际浪费)可量化治理项(?(发现日期统计当天治理项上游每日实际浪费，时间加成)不可量化治理项设计理念：基于累积浪费和时间加成，越久治理

10、，扣分越多设计理念：基于累积浪费和时间加成，越久治理，扣分越多统一治理基准统一治理基准3 3【基于成本目标，设定健康分基于成本目标，设定健康分8585分及格线（即每人最多允许累计浪费存储分及格线（即每人最多允许累计浪费存储XTB(xXTB(x元元)或计算或计算xCU(xxCU(x元元)）】存储健康分存储健康分计算健康分计算健康分无访问表无访问报表无访问标签产出无访问任务连续出错任务生命周期不合理暴力扫描Top计算重排简单加工无效生产query参数不合理HashTable优化标准函数替代.事中大任务查杀（避免随意大任务提交）事中大任务查杀（避免随意大任务提交）实时资源巡检实时资源巡检任务运行超配

11、额任务运行超配额任务运行超时任务运行超时任务运行占比过高任务运行占比过高 从原来的随意提交，演进到事中的管理和治理模式，禁止随意提交超大任务导致整个资源池的堵塞和打满，进而造成高昂的成本消耗，同时也兼顾效率，仅对异常使用进行管治。特殊任务特殊任务白名单开放白名单开放 事前和事后的成本审计（预测未来一年成本消耗，事前和事后的成本审计（预测未来一年成本消耗，在事前做到需求合理性评估）在事前做到需求合理性评估）新上线资产在3天内，预测未来一年后表和任务的成本消耗，从而实现，在成本发生的第一时刻就立即对成本消耗异常的任务进行评估 存量历史资产，定期只对TOP的进行review持续追踪和评估成本消耗的合理性，从而推动优化和体系升级 补数据事前评估，通过本次补数据预估成本消耗，从而推动代码优化和需求ROI的评估平台治理提效平台治理提效（事中和事前的成本管理能力）（事中和事前的成本管理能力）如果比作今天的大数据，我们希望数据变的更加普惠，更加经济如果比作今天的大数据，我们希望数据变的更加普惠，更加经济让人人用得起，让人人用的爽让人人用得起，让人人用的爽