《洞察AB实验的地区差异基于腾讯游戏海外实验的经验.pdf》由会员分享,可在线阅读,更多相关《洞察AB实验的地区差异基于腾讯游戏海外实验的经验.pdf(27页珍藏版)》请在三个皮匠报告上搜索。
1、DataFunSummit#2023洞察AB实验的地区差异基于腾讯游戏海外实验的经验周俊龙腾讯游戏IEGG资深数据科学家01游戏AB实验地区差异02异质性效果检验与拆分03异质性效果理解与预测04总结与展望目录 CONTENTDataFunSummit#202301游戏AB实验地区差异现状实验效果的地区差异实验效果的地区差异常AB实验场景,我们往往关注整体的实验效果:A组是否B组好。实验效果的地区差异实验效果的地区差异常AB实验场景,我们往往关注整体的实验效果:A组是否B组好。在海外AB实验中,我们经常会对多个地区进实验;或者对于同个实验,观测不同地区的效果。通常会发现,有些地区的效果好,有些
2、地区的效果差。实验效果的地区差异实验效果的地区差异常AB实验场景,我们往往关注整体的实验效果:A组是否B组好。在海外AB实验中,我们经常会对多个地区进实验;或者对于同个实验,观测不同地区的效果。通常会发现,有些地区的效果好,有些地区的效果差。实验效果的地区差异实验效果的地区差异海外实验的发现:8?/?108?/?10都有异质性,如何去理解这个差异?地区实验效果均为AB好,效果的不同。有些地区AB好,有些地区BA好。实验效果的地区差异实验效果的地区差异常见的处理法:基于地区维度下钻。地区下钻分析地区异质性实验效果检验分析原理直接对地区维度下钻,对不同的地区分别计算实验效果。利拆解的法,利微观和宏
3、观的变量来拆解实验效果。优势1.?可以对于给定地区得到处理效应偏估计。2.?操作起来便1.?可以帮助我们来理解地区间差异的来源帮助我们来理解地区间差异的来源,更好理解地区、户特性和实验本。2.?可以帮助我们将实验结果外推到其他地区外推到其他地区。进对其他地区提供指导意见。劣势1.?缺乏泛化能缺乏泛化能,即A地区的结果助于我们了解B地区。2.?只能了解地区间存在差异,只能了解地区间存在差异,法了解差异性的来源。如,差异是否来于噪声?还是来于些我们可以观测到的变量?1.?分析步骤较多2.?需要研究者对实验场景有定了解。DataFunSummit#202302异质性效果检验与拆分检测检测关键问题:明
4、确效果差异(异质性)是真实存在还是统计噪声。检测检测关键问题:明确效果差异(异质性)是真实存在还是统计噪声。使荟萃分析(meta?analysis)来检测地区异质性荟萃分析将每个地区视作个单独的实验,由此检查差异是统计显著还是噪声。拒绝零假设?-?地区间实验效果的差异是显著存在的,简单的误差。拆解拆解般AB实验关注平均处理效应(ATE)如我们关注的Y是次留存;我们想知道实验对次留存的提升效果。?拆解拆解般AB实验关注平均处理效应(ATE)如我们关注的Y是次留存;我们想知道实验对次留存的提升效果。基于微观特征,X?可以得到条件处理效应(CATE):即对于这特征的户,具体处理效应的。拆解拆解般AB
5、实验关注平均处理效应(ATE)如我们关注的Y是次留存;我们想知道实验对次留存的提升效果。基于微观特征,X?可以得到条件处理效应(CATE):即对于这特征的户,具体处理效应的。?在游戏场景中,X可以包括玩家的历史在线时长、单在线时长、等。CATE可以通过机器学习建模,包括meta-learner模式:X-learner,?T-learner,?.?拆解拆解类似定义对于地区c的处理效应。和地区c的条件处理效应拆解拆解类似定义对于地区c的处理效应。和地区c的条件处理效应如果不存在异质性,有:?和?拆解拆解类似定义对于地区c的处理效应。和地区c的条件处理效应如果不存在异质性,有:?和?如果发现了些差异
6、,即对于两个地点存在两种可能:(1)?背后的条件处理效应不同(2)?分布不同拆解拆解进步定义:其中:即利c以外的地区得到的CATE,在c地区X的分布上取期望。拆解拆解进步定义:其中:即利c以外的地区得到的CATE,在c地区X的分布上取期望。如果差异是分布差异导致的,那么?否则,我们知道在CATE上,地区间就不致,那么这个差异可能会被些宏观变量解释,即DataFunSummit#202303异质性效果理解与预测理解理解拆解出来之后,我们知道异质性的来源:地区间是存在根本的不致,还是只是玩家的分布有差异?我们利个研发实验检查了这个问题。*数据已脱敏理解理解预测的实验效果和真实的实验效果是度相关的。
7、在这实验中,微观变量衡量的CATE在不同地区,致是相同的。造成结果不同的主要还是来于分布的不同。*数据已脱敏预测预测我们可以泛化实验效果,并且进预测。对于没有上线实验的国家/地区,如果我们想要预估这个地区的效果,我们可以利这个拆分模型来进预测。DataFunSummit#202304总结与展望理解拆分预测检测跨地区实验未来优化迭代检测地区间的实验效果差异是否显著基于拆解框架,分解实验效果异质性中的可解释部分可解释部分和不可解释部分不可解释部分对于可解释部分可解释部分,分解出重要的变量,检查地区间的变量分布差异。对于不可解释部分不可解释部分,检查宏观变量的解释。对新地区的实验效果进预测。从检测到预测,建完整的分析链路跨地区异质性分析跨地区异质性分析总结总结在海外场景中,AB实验经常会出现实验效果的地区差异。我们提出了个分析框架,可以实现:1.?检测这差异是否构成显著的异质性。2.?对于异质性,我们可以拆分其来源。3.?这拆分可以增进我们对地区的理解;同时为下步策略迭代提供数据持。感谢观看