《腾讯视频复杂场景实验分析方法和实验质量问题揭秘.pdf》由会员分享,可在线阅读,更多相关《腾讯视频复杂场景实验分析方法和实验质量问题揭秘.pdf(28页珍藏版)》请在三个皮匠报告上搜索。
1、2023 DataFunSummit实验质量问题和进阶实验分析方法揭秘演讲人:潘洁腾讯数科团队leader目录实验质量问题揭秘Contents进阶实验分析揭秘01 实验质量问题揭秘实验分析中会遇到的质量问题问题2:多个指标变化方向无法互相解释?问题1:实验用户数不平(1:1抽样),实验结论是否置信?*数据已脱敏,非真实数据实验链路和实验质量的关系SRM在实验中的重要性u 实验评估的基础是两个群体样本的均衡性u SRM(sample ratio mismatch):流量比例不均衡,流量比例是指实验组和对照组之间的流量比值。当出现SRM问题的时候,实验结果不可信u 一般采用卡方检验(Chi-Squ
2、ared Test)对实验组的样本量是否均衡进行监控。当计算的P值小于阈值时,判定样本量不均衡,即出现了SRM问题实验用户数不平,实验结论正向?实验用户数不平(SRM),出现实验质量问题。追查原因,发现低版本用户无法展现短视频内容,只展现广告,未进入实验组用户过滤掉低版本用户实验结论:负向*数据已脱敏,非真实数据SRM问题的定位和解决实验分流引入 分流不均匀 用户ID改变 实验不正交 互斥实验相互干扰 桶号上报错误实验执行引入 实验配置:实验开始时间不一致、实验配置标签不一致 策略改变产品性能:页面加载速度、播放器起播速度 策略引入上报问题:上报时机、上报错误日志处理引入 异常用户剔除 策略导
3、致延迟上报 错误join导致数据缺失 数据链路问题导致数据丢失实验分析引入 实验分析时间不一致 用户圈选方案 指标计算方法实验干扰引入 放量比例不一致 实验期间终止某个版本 绑定白名单SRM产生原因SRM追查方法数据质量问题的定位与解决u 数据质量指实验计算的实验指标数据是否准确u 数据质量会直接影响实验结论的准确性n1 发现问题:多个指标变化方向无法互相解释?n2 定位问题:以上为某场景的播放数据,是按照当前场景事件(如播放开始、播放结束)上报的实验id作为场景指标计算的过滤条件,猜测是否实验id上报有丢失?n3 解决问题:使用多个事件上报圈定实验用户数,计算实验用户在策略生效场景指标数据(
4、最大程度降低数据上报丢失对实验质量的影响)n4 实现路径指标变化方向异常n其他发现问题方法:指标基准值异常、监控指标异常等n定位问题方法:多维下钻、时序排查等n解决问题方法:1)如果个别维度出现数据质量问题,可考虑剔除后分析2)如果是日志处理环节引入数据质量问题,可修复日志,或采用替代指标3)采用更合理的指标计算方法避免数据质量问题*数据已脱敏,非真实数据02 进阶实验分析揭秘为什么要做进阶实验分析?u如果简单的只根据实验目标指标(3-5个)变化给出结论,决策风险大,且容易错失发现业务洞察的机会u实验归因分析:打开黑箱的工作做决策(正向/负向/持平)找方向实验策略(产品、算法、内容)目标指标显
5、著提升/下降实验正向/负向过程黑箱实验目的定制贴合业务场景的实验分析方法过程黑箱用户维度场景维度内容维度指标体系什么样的用户?在哪些场景?对什么内容?有什么动作?用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析案例1:上海品茶改版实验对照组实验组上海品茶页面1页面2模块1模块2模块3上海品茶页面1页面2模块1模块2-内容1模块3模块2-内容2案例1:上海品茶改版实验全局目标指标 人均播放时长 小幅上升 人均播放次数 小幅上升 人均收入小幅上升实验结论正向业务逻辑是否可验证
6、?改动模块模块正向改动页面正向全局正向下一步优化的方向?*数据已脱敏,非真实数据案例1:上海品茶改版实验过程黑箱用户维度场景维度内容维度指标体系什么样的用户?在哪些场景?对什么内容?有什么动作?用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析案例1:上海品茶改版实验验证业务逻辑分析方法定制分析优化建议场景漏斗拆解分析(验证业务逻辑)上海品茶人均播放时长 大幅下降人均播放次数 大幅下降其他页面播放指标正向 人均播放时长 小幅上升 人均播放次数 小幅上升全局 改动页面播放
7、指标负向,用户流向其他场景消费新样式-内容1 高度矮、海报小,用户观感差,建议优化UI样式页面 目标指标正向 改动页面播放指标负向主要是改动模块贡献的,具体拆分内容类型是内容1贡献的模块*数据已脱敏,非真实数据上海品茶模块3模块1模块2模块2-内容2模块2-内容1上海品茶案例1:上海品茶改版实验过程黑箱用户维度场景维度内容维度指标体系什么样的用户?在哪些场景?对什么内容?有什么动作?用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析案例1:上海品茶改版实验用户路径分析分析方
8、法定制分析用户路径分析(页面网络图)可以帮助分析核心分发场景流量分布变化和用户路径迁移方向页面1页面2页面3页面4页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n*数据已脱敏,非真实数据上海品茶案例1:上海品茶改版实验用户路径分析分析方法定制分析业务洞察用户路径分析(页面网络图)对照组实验组实验组用户路径发生变化:上海品茶播放时长大幅下降,其他页面1、页面2和页面3的播放时长大幅提升页面1页面1页面2页面3页面4页面2页面3页面4页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面n页面
9、n页面n页面n页面n页面n页面n*数据已脱敏,非真实数据上海品茶上海品茶页面n案例1:上海品茶改版实验用户路径分析分析方法定制分析用户路径分析(典型路径分析)桑基图:用户路径组合起来千万条,较难提炼总结典型路径解法:基于频繁模式挖掘(FP-Growth)算法挖掘用户典型路径原始路径抽样数据清洗页面选择页面加权路径压缩超参选择FP Growth路径匹配典型路径基于业务认知对数据的处理数据清洗页面选择页面加权路径重复:ABBB AB功能重复:ABCBCD ABCD复合型:ABBCBCB ABCB路径压缩若全覆盖频繁集,则为典型路径“最长&最先”路径匹配模型基础上的优化点典型路径结果上海品茶-播放页上海品茶-页面1-播
10、放页上海品茶-页面2-播放页上海品茶-页面3-播放页上海品茶-页面2上海品茶-页面1上海品茶算法流程*数据已脱敏,非真实数据案例1:上海品茶改版实验用户路径分析分析方法定制分析业务洞察用户路径分析(典型路径分析)实验组用户路径发生变化:上海品茶-播放页路径session量大幅减少,而从上海品茶-页面1|页面2|页面3-播放页的路径session量大幅增加,用户找内容并消费的路径变长,成本变高,体验变差。*数据已脱敏,非真实数据总结:案例1用到的分析方法过程黑箱用户维度场景维度内容维度指标体系什么样的用户?在哪些场景?对什么内容?有什么动作?用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指
11、标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析优化结果*数据已脱敏,非真实数据一期实验结果:全局播放时长 小幅上升 上海品茶播放时长 大幅下降二期实验结果:全局播放时长 小幅上升 上海品茶播放时长 小幅上升案例2:营销活动实验一期实验结果:次留:持平 人均消费时长 小幅上升 人均收入 小幅下降业务模式不成立?有没有优化空间实验策略:2 内容分析-寻找更合适的策略生效内容1 用户漏斗分析-优化转化效率3 用户分群分析-寻找更合适的策略生效人群消费收益不及预期收入指标显著负向*数据已脱敏,非真实数据活动预期:提升用户消费时长和留存,收入不负向案例2:
12、营销活动实验过程黑箱用户维度场景维度内容维度指标体系什么样的用户?在哪些场景?对什么内容?有什么动作?用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析案例2:营销活动实验1 用户漏斗分析:优化转化效率大盘用户活动触达用户领取权益用户使用权益用户内容消费用户1 增加触达场景,社区传播2 引导登录,领取链路优化3 引导和提醒权益使用,固定场景推广4 可使用权益内容加强运营和分发2 内容分析:寻找更合适的策略生效内容活动权益内容类型内容优质度内容热度内容ROI。
13、案例2:营销活动实验过程黑箱用户维度场景维度内容维度指标体系什么样的用户?在哪些场景?对什么内容?有什么动作?用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析案例2:营销活动实验3 用户分群分析:寻找更合适的策略生效人群基于规则分群基于聚类算法分群用户画像用户目的K-prototype算法,聚类为5类聚类结果 x 行为特点归纳共性特点行为特点1 场景效率2 推荐策略差异3 场景心智基于因果推断算法分群 CausalForestDML是一种基于因果森林和双重
14、/无偏机器学习的算法,用于估计因果效应。其主要思想是将因果森林和DML算法结合起来,以获得更准确、更具泛化性的因果效应估计。Microsoft开发的EconML包中提供了CausalForestDML 模型能力T:是否活动用户X:社会属性、活跃特征、消费特征、内容偏好等Y:播放时长优化建议:针对时长diff贡献大的规则圈定人群、聚类人群和CATE较高的用户群定向推广活动和提醒使用权益*数据已脱敏,非真实数据活跃度社会属性是否高消兴趣偏好消费偏好场景偏好可选分群维度总结:案例2用到的分析方法过程黑箱用户维度场景维度内容维度指标体系什么样的用户?在哪些场景?对什么内容?有什么动作?用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析优化结果一期实验结果:次留:持平 人均消费时长 小幅上升 人均收入 小幅下降二期实验结果:次留 小幅上升 人均消费时长 大幅上升 人均收入 小幅上升*数据已脱敏,非真实数据2023 DataFunSummit感谢您的观看 THANKS 演讲人:潘洁腾讯数科团队leader