《DataFun-上午-4rd-腾讯内容结算平台的探索与实践-tentzhang(张鹏).pdf》由会员分享,可在线阅读,更多相关《DataFun-上午-4rd-腾讯内容结算平台的探索与实践-tentzhang(张鹏).pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、腾讯内容结算平台的探索与实践张鹏 腾讯 后台研发工程师|01背景介绍02问题和挑战03解决方案04未来与展望目录CONTENT|01背景介绍1.背景介绍|030401内容生态内容生态02内容结算数据策略风控内容内容创作内容处理内容分发内容结算收益计算|02问题和挑战2.问题与挑战|1.如何将内容结算业务系统化、平台化?2.如何描述灵活多变的结算模式及策略?3.如何保障海量数据下收益的及时性、准确性?涉及10+环节的串联;在线和离线的结合;内容采买、流量补贴、商业化、直播等多种业务形态;月均60+不同的未知策略;包括月结、周结、日结、非固定周期结算;复杂函数计算,如取余、对数、指数等;日均千亿级
2、流量,T+1准时更新收益;保障收益结果在0.0001精度下的准确;千万CP收益账户的资金安全;2.问题与挑战|问题一:如何将内容结算业务系统化、平台化?解法:通过业务领域建模,将业务抽象成结算前、结算中、结算后;2.问题与挑战|问题二:如何描述灵活多变的结算模式及策略?解法:通过插件化与流程编排的开放式架构来实现;2.问题与挑战|问题三:如何保障海量数据下收益的及时性、准确性?解法:全链路校验及重试确保准确性,延迟告警确保及时性;|03解决方案3.1 整体架构|3.2 结算前|正式结算前需要立项配置、预算设定、合同签约、供应商录入等前置过程;3.3.1 结算中-数据质量校验|监控类型:1、指标
3、监控;2、元数据监控;判断类型:1、同环比、值比较;2、按月、周、日;3、最大、最小、平均;3.3.2 结算中-数据模型|模型输入是经过ETL之后的业务数据,输出用于结算策略的配置、收益计算;3.3.3.1 结算中-策略配置(插件表达式协议)|插件可理解成一个表达式计算。通过pb协议描述,分为5种基础类;3.3.3.2 结算中-策略配置(策略DAG编排)|策略是插件的DAG组合,后面的插件可引用前面插件的输出结果作为输入变量;3.3.3.3 结算中-策略配置(可视化界面拖拽)|表单引擎将控件的表单数据按组件的语义转换成协议对应的ExprTree-JSON数据;插件引擎将组件数据进一步转换,生成
4、插件表达式协议对应的ExprTree-JSON数据3.3.4.1 结算中-收益计算(插件解析)|插件解析是一个多叉树的深度优先遍历过程,每个子Expr输出的表达式片段会通过括号括起来,来保障顺序的准确性;3.3.4.2 结算中-收益计算(DAG转串行执行)|通过拓扑排序对DAG中的插件进行排序,然后串行执行每个插件,一次只执行一个插件,上游插件在执行完毕后将结果作为中间变量传递给下游,从而保障了下游插件在计算前上游插件都已经计算完毕;3.3.4.3 结算中-收益计算(执行计算)|通过Spark调用Lambda表达式来实现。每个插件的执行就是一次Lambda表达式调用SQL-piece的过程;3.3.4.4 结算中-收益计算(策略测算)|使用历史数据+新策略来计算收益,再将收益和历史线上收益作对比,以此来评估新策略带来的影响;3.4 结算中-收益发放一致性保障|1.版本号机制;2.db唯一键防重机制;3.结算金额校验机制;4.灰度人工确认机制;5.应发实发对比机制;6.发放动作事务机制;4.未来与展望|1.提供智能推荐测算方案,基于用户选择实现一键发布、分析、灰度上线,提升决策效率;2.基于贡献度模型对流量、单价、结算金额进行自动化归因,提供更全面、更敏捷的分析数据;非常感谢您的观看|