《Copy-AB实验的敏感指标探索 (1).pdf》由会员分享,可在线阅读,更多相关《Copy-AB实验的敏感指标探索 (1).pdf(18页珍藏版)》请在三个皮匠报告上搜索。
1、DataFunSummitDataFunSummit#20232023AB实验的敏感指标探索苏扬腾讯游戏IEGG资深数据科学家01什么是敏感代理指标02如何寻找敏感代理指标03敏感代理指标应用案例04总结和展望目录 CONTENTDataFunSummitDataFunSummit#2023202301什么是敏感代理指标什么是敏感代理指标什么是敏感代理指标做A/B实验时,我们期望的最终效果是实验策略使北极星指标显著提升。通常很难在A/B实验中观察到北极星指标的显著变化。北极星指标实际上有小幅度的变化,只是受实践中样本量的限制,我们无法探测到北极星指标实际变化不显著,但当若干个策略叠加,会有积少
2、成多的效果实验策略对用户长期的行为有正面影响,但A/B实验周期较短,观察不到什么是敏感代理指标什么是敏感代理指标使用敏感代理指标(sensitive surrogate metrics)作为实验策略对北极星指标是否有显著影响的依据【敏感】-容易被实验策略影响,从而发生显著变化的指标【代理】-与北极星指标关联度高,可以成为北极星指标的“代理”WHYWHY?更快、更准确地了解到实验的真实效果,引导业务向正确的方向优化和迭代,最终提升用户体验和活跃DataFunSummitDataFunSummit#2023202302如何寻找敏感代理指标如何寻找敏感代理指标如何寻找敏感代理指标第一步:【代理】利用
3、模型和相关度分析,圈出若干个跟北极星指标关联度高的候选代理指标第二步:【敏感】测量候选代理指标的敏感程度,找出最敏感的代理指标,从而得到敏感代理指标。候选代理指标的选择候选代理指标的选择选择的候选代理指标应该符合以下条件:与北极星指标有高相关性,是可能被实验策略撼动的指标,适用于实验策略覆盖的业务场景,不同场景下使用的候选代理指标也许会不同。步骤:1.根据对产品和策略的理解,找出可能会影响和预测北极星的一系列指标2.将北极星指标作为因变量,候选代理指标作为特征/自变量,建模并使用相关性分析来圈选出最终的候选代理指标候选代理指标的选择候选代理指标的选择模型名称模型名称方法方法优点优点缺点缺点树模
4、型(1)训练完数模型后,根据特征重要度选出1020个指标(2)建立(1)中指标与北极星指标的correlation map,选出正相关且相关性最高的3-5个指标作为候选代理指标模型依赖的假设较少,非线性的结构更可能符合候选代理指标和北极星指标的关系通过特征重要度筛选出来的指标存在一定随机性(比如两个指标高相关时,都有可能被选为重要指标),且特征重要度相比线性回归的参数在理解上较为不直观Causal Graph模型(1)训练完Causal Graph模型后,选出对北极星指标存在因果效应的指标(2)建立(1)中指标与北极星指标的correlation map,选出正相关且相关性最高的3-5个指标作
5、为候选代理指标可以复现产品体验环节中各个指标与北极星指标的因果关系链条,理解用户行为与北极星指标的关系根据我们有限的实战经验,当特征集的指标数很多时,建模得出的因果图会非常复杂且不易理解,这其中的原因可能是我们的整体数据量不足以让我们获得清晰的因果关系链链条。指标敏感度衡量指标敏感度衡量根据Deng and Shi(2016),指标敏感度包含两个要素:统计功效(Statistical Power),即在实验策略对指标存在真实影响时,我们探测到该指标发生统计显著的变化的概率。存在影响的可能性(Movement Probability),指的实验策略对指标产生真实影响的概率,可以表示为结合以上两个
6、要素,指标的敏感度,即实验策略对指标存在真实影响、并且我们可以探测到该指标发生统计显著的变化的概率为指标敏感度衡量指标敏感度衡量具体地说,测量指标敏感度,一共有三种方式:1.根据已知策略真实效果的历史实验数据,统计指标观察到显著变化且实验策略存在真实影响的实验占比2.当历史实验策略是否有真实效果处于未知状态时,用上述统计方法存在偏差,但也有一定的参考价值3.使用未标记策略效果的历史实验数据,用贝叶斯的方法(EM4.Algorithm)计算和DataFunSummitDataFunSummit#2023202303敏感代理指标应用案例案例案例我们的目标是通过改善新玩家生涯第一局的游戏体验来提升新
7、进玩家注册次日的留存历史实验数据:一系列关于首局难度调整、首局机制设计的实验候选代理指标:所有对局流水中第一局的对局体验指标、首日体验指标案例案例-Step 1 Step 1 候选代理指标的选择候选代理指标的选择尝试了xgboost,random forest,causal graph三种模型,找出的重要指标高度重合用模型圈选出影响次日留存的重要指标,也就是当前候选的代理指标之后,计算了这些代理指标与次日留存的相关性案例案例-Step 2 Step 2 指标敏感度衡量指标敏感度衡量指标敏感度测量方法指标敏感度测量方法结果总结结果总结方法1:标注实验是否存在真实影响之后,计算观察到指标显著变化的
8、实验在存在真实影响的实验中的占比未尝试:实验量不足,且已有结果难以判断是否存在真实影响方法2:历史实验数据中,计算观察到指标显著变化的实验占比-由于不知道实验的真实效果,这个方法的结果最高5%的偏差对局指标2显著比例最高(83.33%),首日指标1和首日指标2显著比例第二高(均为58.33%),注册次日留存显著比例最低(50.00%)方法3:用贝叶斯方法推算指标受到真实影响及观察到显著变化的概率-需要2000或以上个实验的数据才能有较为准确的评估首日指标1和对局指标2受到真实影响的概率最大(分别为99.99%和96.56%),探测到首日指标1显著影响的概率最大(2.56%),结合来看首日指标1的敏感度最高。DataFunSummitDataFunSummit#2023202304总结和展望总结和展望总结和展望寻找代理敏感指标是一个不断更迭的过程,在各个重要的用户体验环节,我们可以不断循环【建立用户行为模型-理解行为指标与北极星指标的关联-测量指标敏感度-设计策略提升敏感代理指标-实验验证假说】这个过程不断地加深我们对用户行为的理解,在得出有指导意义的实验结论的同时,优化用户体验。感谢观看