报告预览

指标归因分析实践.pdf

编号：164022

PDF 25页 9.11MB 下载积分：VIP专享

下载报告请您先登录！

指标归因分析实践.pdf

1、指标归因分析在腾讯视频的应用Date:2024.5.26by 林卓楹腾讯数据科学家1目录什么是指标归因2指标归因的基本方法3指标归因的案例介绍4指标归因的工具介绍什么是指标归因1指标并不都是稳定不变的持续下降占比变化指标突变and more.指标的波动，反应业务的波动一旦波动，需要及时分析波动原因指标归因：定位指标波动的核心影响因素持续下降指标发生了怎样的变化？哪些因素导致了指标的波动？不同因素分别带来了多大的影响？哪些因素是可控可优化的？明确问题明确问题分析定位分析定位解决问题解决问题指标归因问题分析框架明确问题明确问题分析定位分析定位解决问题解决问题当前需要解决的问题是什么？该问题能否

2、抽象为数学问题？该数学问题属于哪个类型？是否有足够的信息进行分析？可选择的方法有哪些？各方法的优缺点是什么？该问题选哪个方法更优？通过分析定位到了什么原因？该原因是否具有业务含义？该原因如何回答原始问题？有哪些方案可以解决该问题？每个方案的利弊是什么？选择合适的方法推动执行指标归因的基本方法2指标判断/指标的变动是否真实存在指标暂时性指标暂时性的异常的异常趋势持续性趋势持续性的异常的异常环比过大的突增环比过大的突增点或者突降点，点或者突降点，呈现为一个呈现为一个/几几个凸起的点个凸起的点中长期呈现持续中长期呈现持续上升或者下降的上升或者下降的趋势，无明显的趋势，无明显的突变时刻突变时刻短短期期

3、波波动动长长期期波波动动反应业反应业务变化务变化预示潜预示潜在风险在风险解决数据问题的第一步，永远是明确问题、定义问解决数据问题的第一步，永远是明确问题、定义问题题明确问题明确问题分析定位分析定位解决问题解决问题特殊日子特殊日子线上技术线上技术bugbug数据问题数据问题.预期中的波动预期中的波动预期外的波动预期外的波动未知原因波动未知原因波动.归因方法/指标拆解可量化影响，可解释性高，可复用性强，可工具化结结论论的的确确定定性性结论的可行性（结论的范围）结论的可行性（结论的范围）确定性推确定性推断断可能性推可能性推断断猜测性推猜测性推断断收入下降收入下降10%10%，APPAPP、PCPC、

4、TVTV分别影响多少？分别影响多少？APPAPP端收入下降，受什么因素端收入下降，受什么因素的影响？用户行为？策略？的影响？用户行为？策略？用户行为变化，是否受竞品用户行为变化，是否受竞品的影响？是否受政策的影响？的影响？是否受政策的影响？确定性判断确定性判断可能性判断可能性判断猜测性判断猜测性判断1 1、指标拆解、指标拆解2 2、漏斗分析、漏斗分析.1 1、经验判断、经验判断2 2、时事新闻、时事新闻.1 1、机器学习拟合、机器学习拟合2 2、因果推断、因果推断.PROSPROSCONSCONS确定性判断确定性判断可解释性最高，计算逻辑易理解可解释性最高，计算逻辑易理解计算效率最高计算效率最

5、高不能代表因果关系不能代表因果关系可能性判断可能性判断有一定可解释性有一定可解释性计算效率取决于所选方法，不确定性大计算效率取决于所选方法，不确定性大方法原理的理解门栏高方法原理的理解门栏高可复用性相对较低可复用性相对较低猜测性判断猜测性判断大胆猜测，提供信息增量大胆猜测，提供信息增量可提供新的分析思路，推进下一步的数据验证可提供新的分析思路，推进下一步的数据验证无法提供确定的数据结论无法提供确定的数据结论结论的可靠性不易评估结论的可靠性不易评估明确问题明确问题分析定位分析定位解决问题解决问题确定性判断/指标拆解，贡献度可量化、可相加，满足MECE原则明确问题明确问题分析定位分析定位解决问题解

6、决问题加法加法减法减法乘法乘法除法除法变化量变化量变化率变化率变化量变化量-类似加法类似加法变化率变化率-类似加法类似加法替换法替换法替代的顺序影响贡献度的计算替代的顺序影响贡献度的计算LMDILMDI乘积因子拆解乘积因子拆解每个因子贡献度计算的过程相每个因子贡献度计算的过程相互独立，顺序不影响结果互独立，顺序不影响结果替换法、替换法、LMDILMDI同乘法同乘法双因素法双因素法不转为乘法，而是进行维度拆不转为乘法，而是进行维度拆解解基于不同的问题，选择相应的一种或者多种方法基于不同的问题，选择相应的一种或者多种方法确定性判断/指标拆解，组合分析，定位核心变化场景明确问题明确问题分析定位分析定

7、位解决问题解决问题通过横向通过横向+纵向的组合分析，纵向的组合分析，准确定位至核心的变化场景，有准确定位至核心的变化场景，有针对性的标本兼治针对性的标本兼治针对不同指标，既可选择持续针对不同指标，既可选择持续拆解、也可选择维度分析拆解、也可选择维度分析可能性判断/建模分析，科学性更高、逻辑更严谨明确问题明确问题分析定位分析定位解决问题解决问题机器学习机器学习机器学习机器学习+SHAP+SHAP因果推断因果推断贝叶斯网络贝叶斯网络针对目标指标做回归预测，针对目标指标做回归预测，计算特征重要性计算特征重要性常见方法：常见方法：线性回归、逻辑回线性回归、逻辑回归归回归树、分类树回归树、分类树xgbo

8、ostxgboost.等等优点优点解释直接，容易理解解释直接，容易理解计算效率相对较高计算效率相对较高缺点：缺点：仅能解释相关性仅能解释相关性仅能提供特征的全局仅能提供特征的全局重要性重要性使用使用shap valueshap value计算特计算特征对目标指标的征对目标指标的贡献贡献优点：优点：能提供个体的特征能提供个体的特征贡献度贡献度缺点：缺点：仅能解释相关性仅能解释相关性计算成本相对更高计算成本相对更高确定某个干预对结果的确定某个干预对结果的因因果果影响，及影响的大小影响，及影响的大小常见方法常见方法随机实验随机实验双重差分法双重差分法DIDDID倾向性得分倾向性得分.等等优点：优点：

9、能解释因果性能解释因果性控制混杂变量控制混杂变量缺点：缺点：随机实验不总是可随机实验不总是可行行可能存在未观测到可能存在未观测到的特征，造成偏差的特征，造成偏差通过概率图模型，表示变通过概率图模型，表示变量之间的因果关系量之间的因果关系优点：优点：建模正确时，能进行建模正确时，能进行因果推理因果推理网络图形结构，直观网络图形结构，直观表示变量间的关系表示变量间的关系缺点：缺点：计算复杂且密集计算复杂且密集明确问题明确问题分析定位分析定位解决问题解决问题分析落地/基于分析结论，确定解决方案外部外部头客预算收缩？头部客户预算收缩，减少广告投放，则需要拓展新的行业预算头客预算收缩？头部客户预算收缩，

10、减少广告投放，则需要拓展新的行业预算竞品主动降价？竞品的价格策略，左右广告主预算分配，则需要增加亮点争取客户预算竞品主动降价？竞品的价格策略，左右广告主预算分配，则需要增加亮点争取客户预算用户心智变化？短视频等产品持续挤占用户时间，则需要优化内容吸引用户回流用户心智变化？短视频等产品持续挤占用户时间，则需要优化内容吸引用户回流基于定位到的核心指标，结合商业逻辑，明确问题的本质，寻找对应的解决方法基于定位到的核心指标，结合商业逻辑，明确问题的本质，寻找对应的解决方法内部内部新策略导致未预期的新问题？重新评估该策略的有效性新策略导致未预期的新问题？重新评估该策略的有效性某策略的负面影响累积不断扩大

11、超出预期？评估如何调整优化策略降低负面影响某策略的负面影响累积不断扩大超出预期？评估如何调整优化策略降低负面影响指标归因的案例介绍3明确问题明确问题分析定位分析定位解决问题解决问题背景：监控触发指标同比下降3.13%3.13%（11.29%-8.15%），波动-27.8%27.8%案例分析1/指标判断，确认问题是否存在及严重程度是问题吗？是否需要关注？是问题！需要关注！是问题！需要关注！某场景核心转化指标，反应业务效率效率降低，削弱了业务优化的价值增量长期趋势下降，近期降幅加剧明确问题明确问题分析定位分析定位解决问题解决问题1.选择方法：比例型指标；有明确的转化节点，层层递进选择乘法乘法-替换

12、法替换法：目标指标Y=A*B*C*D案例分析1/指标拆解，初步明确问题方向初步定位了导致指标下降的核心影响因素（环节D和环节B）发现环节C的效率提升，后续值得关注并强化指标选择指标选择指标是有意义的能够有明确的负责团队指标不宜过多切忌切忌无实际含义的强行拆解无法有明确的落地指向指标太碎太细，缺乏重点环节D环节B明确问题明确问题分析定位分析定位解决问题解决问题2.继续拆解or下钻分析？3.下钻方法：加法or双因素法？案例分析1/持续分析，定位核心影响因素进一步定位了导致环节D指标下降的主要影响因素：场景X1加法加法仅限绝对值指标各子场景可直接相加贡献度可计算双因素法双因素法应用于比例型指标可分波

13、动贡献、结构变化贡献满足贡献度可加场景X1明确问题明确问题分析定位分析定位解决问题解决问题案例分析1/结合商业逻辑，明确问题本质，对症下药环节D、场景X1 波动最大，说明什么？业务含义是什么？是否存在已知原因，能与该变化对应？已知原因，新增负面影响发现新问题，重点关注是否讨论解决方案案例分析2/指标判断，抽象数据问题并选择方法明确问题明确问题分析定位分析定位解决问题解决问题背景：日常监控发现某场景用户活跃度同比上升背景：日常监控发现某场景用户活跃度同比上升6.7%6.7%是问题吗？是否需要关注？是问题吗？是否需要关注？是问题！需要关注！是问题！需要关注！该场景为核心场景，直接影响商业变现能力该

14、场景为核心场景，直接影响商业变现能力该指标长期稳定，该变化相对异常该指标长期稳定，该变化相对异常活跃度上升，我们做对了什么？活跃度上升，我们做对了什么？数学问题：数学问题：哪个因素对指标的上升影响最大？如何影响的？哪个因素对指标的上升影响最大？如何影响的？方法选择：方法选择：模型效果模型效果 vs vs 可解释性：可解释性：机器学习机器学习+SHAP Value+SHAP Value明确问题明确问题分析定位分析定位解决问题解决问题案例分析2/建模分析，定位核心影响因素1、建立预测模型2、调用特征重要性函数，计算SHAP值蓝色柱蓝色柱为各特征的SHAP值的绝对值的均值，代表了特征对Y的影响程度解

15、读：因素A对Y的影响最大；因素B次之因素因素A A因素因素B B3、调用特征影响方式函数，查看特征影响的正负向每一行代表一个特征每一行代表一个特征，横轴为SHAP值一个点代表一个样本，颜色越红说明特征本身颜色越红说明特征本身数值越大，颜色越蓝说明特征本身数值越小数值越大，颜色越蓝说明特征本身数值越小解读：Y随着因素A增大而增大；Y随着因素B增大而增大因素因素A A因素因素B B明确问题明确问题分析定位分析定位解决问题解决问题案例分析2/结合商业逻辑，明确问题本质，对症下药4、调用特征依赖函数，查看单个特征的影响方式一个点代表一个样本，纵轴为SHAP值。横轴为特征本身数值，越靠近右侧值越大。解读：Y随着因素A增长而线性增长因素因素A A反向思考反向思考如果因素A代表内容精彩指数，应该如何解读？结合商业特性，我们可以问：是否有优质内容上线？这些优质内容是什么？有什么特性？运营策略是否有所调整？推荐策略是否有所优化？.等基于分析结论，作出策略建议，持续强化内容基于对业务的了解，才能透过数字、看到问题基于对业务的了解，才能透过数字、看到问题本质，提出合理的建议，共同解决问题本质，提出合理的建议，共同解决问题指标归因的工具介绍4数据工具/数据解读、波动分析、归因分析等高级解读能力归因分析/问答式分析，可记忆上下文，可生成思维导图，保存报告Thanks

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（指标归因分析实践.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

指标归因分析实践.pdf

指标归因分析实践.pdf