《探究产品策略优化的长期影响.pdf》由会员分享,可在线阅读,更多相关《探究产品策略优化的长期影响.pdf(20页珍藏版)》请在三个皮匠报告上搜索。
1、2023 DataFunSummit探究产品策略优化的长期影响演讲人:王琛 腾讯微信实验平台目录背景介绍现有方法最新研究问答Contents01 背景介绍背景介绍 A/B实验:进行数据驱动决策的重要手段与黄金准则 A/B testing 的本质:小样本统计推断 由“小”带来的主要问题:短期实验结果无法代表长期策略影响 例如一个新的UI设计,上线前通过A/B实验发现对DAU有1%的提升,但无法判断其在上线后三个月是否仍有具有影响 进行长期实验 与产品快速迭代的目标相违背背景介绍 造成策略效应长短期差异的原因 外生影响 市场达到供需均衡状态需要时间 突发事件 内生影响 用户学习:novelty a
2、nd primacy effect 用户结构改变 产品功能发展现有方法 长期Holdout实验 一个策略前期验证过后上线,再留一部分用户不上该策略,长期观察这部分holdout用户与大盘用户的指标差异 费时间,成本高,策略长期不可迭代 若策略存在负面影响,则有伤害用户体验的风险 构建代理指标预测长期 e.g 对用户生命周期价值(LTV)的预估 一般只关注相关性,无法捕捉到因果效应 Cookie-Cookie-day Design:关注用户学习的产生的携带效应,对其单独建模Hohnhold,Henning,Deirdre OBrien,and Diane Tang.Focusing on the
3、 long-term:Its good for users and business.Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.2015.现有方法用户学习影响(User learning effect)积极的结果会强化导致该结果的行为,而消极的结果会减少导致该结果的行为搜索广告对用户行为(CTR)的影响=广告相关性等直接因素+用户对广告的“态度”目标:计算预测这种“态度”的变化STEP 1.实验设计多实验组实验,每个实验组开始受到策略干预的
4、时间不同1组受干预的时间为第1-7天,2组第2-7天,3组第3-7天C组代表控制组,不受策略干预计算过去t天策略干预对当下指标的影响:t1=11 1,2=22 21,3=33 31,下标数字t代表第t天STEP 2.用指数函数拟合tSTEP 3.建立长期收益的OEC最新研究 Cookie-cookie-day缺陷 实验设计复杂 变种Cookie-cookie-day 需要对携带效应(Carryover effect)建立参数模型 Estimating Effects of Long-Term Treatments(https:/ 只进行短期实验 根据短期实验结果,结合历史行为数据,估计策略的长
5、期影响最新研究 方法浅析代理指标(Surrogates):捕捉到W对Y的所有影响的中间变量例:用肿瘤的大小作为代理指标探究一种靶向药对癌症患者五年生存率的影响将总时间划分为一系列时间窗的加和用代理指标中和早期策略对长期指标的影响根据上一阶段的代理指标、本阶段的策略W、用户协变量,建立对该阶段代理指标与结果Y的预测不断重复嵌套,得到一系列的预测,直到到达想要的预测时间点WYS最新研究现有一个进行了T时间的长期实验,我们将T分解为=+1:可观测到的实验阶段,模拟短期AB实验时间,例如7天+1:无法观测到的未来,例如一个月后:实验前历史时间假设实验者站在时刻目标:用1:时间段的实验数据+的历史数据,
6、预测+1:时间段每个时刻策略的效应将预测效应与真实的T时间实验得到的效应进行比较对于任意一个用户,在t时刻(),定义如下记号:从1到t时刻所接受的策略 1:t=/关注的结果 =(1:)代理指标(Surrogates)=(1:)目标平均处理效应:=()()最新研究1月月1日日特价全场特价全场五折五折影响1月1日点击次数1月1日搜索次数2月1日浏览时长活动策略对一个月后指标的影响(被Surrogates中和)1月1日购买量某电商平台1月1日的特价活动对2月1日的网站流量时长的影响Surrogates:代理指标,覆盖住了活动策略对长期指标影响最新研究某电商平台1月1日上线的新UI页面对2月1日的网站
7、流量时长的影响假如将与进一步分割为更细粒度的时间段:图中虚线代表的上一时间段策略W对下一时间段结果Y的影响,被经由上一时间段代理指标S的实线取代最新研究时段的代理变量假设1.(Surrogacy):1:时间段的代理指标S能中和掉该时间段的策略对+1:时段结果Y的影响假设2.(Comparability):控制住当前时段的策略W与上一时段的代理指标S后的【结果Y/代理指标S】,应与上一时段控制住同样条件的【结果Y/代理指标S】同分布最新研究(,)1:|,|,:,|,:最新研究如何选取合适的代理指标(Surrogates)使其符合假设1?选用过去可观测到的所有代理指标,不仅仅只是上一个阶段的例如指
8、标1,2,3在时间t=1,2,3,4的值,共12个代理指标关注的结果Y的短期表现亦可作为一个代理指标代理指标越多,预测结果方差越大假设2在存在周期性的时候可能不成立e.g.周中周末的时间条件影响我们在实验中,将天粒度的指标聚合成为周粒度来进一步分析最新研究为了帮助建立模型,我们定义如下两个估计目标:Longitudinal Surrogate Modelwhere 1,+1=and 0=0.,1:=|0=,1:=1:,1:|0=,1:=1:=+1(1(0,1,),+1)(0,)最新研究我们将方法应用在真实的长期实验上,实验共进行=20周按周粒度分析:长期实验最开始的几周,模拟可观测的时间:长期实验剩余的时间,模拟不可观测的时间对比该方法得到的预估效应 v.s 长期实验的真实值关注的结果Y上的真实平均处理效应:最新研究Surrogates:选取反应用户相关行为的指标e.g.请求次数,曝光次数,点击次数/某分类下的结果点击次数.结果Y也作为一种特殊地位的代理指标#S:Surrogates指标数量(包含结果Y)最新研究观察比较不同的预测结果2023 DataFunSummit演讲人:王琛 腾讯微信实验平台感谢您的观看 THANKS