1、2023 DataFunSummit打造适合用户增长场景的AB实验体系演讲人：田间字节跳动TikTok UG Prod DS leader目录新用户场景下实验面临的问题01新实验体系及其科学性验证02新实验体系应用案例分享03Learning04新用户场景下实验面临的问题01聊聊UG全景图PaidAdsASOSEO分享裂变自然新手期（New user period）成长期（Growth period）成熟期（Stable period）衰退期（Churning period）流失期（Churned period）MAU拉新+新手运营+NUF拆解后精细化运营流失预警 促活挽留流失召回非MAUti

2、meline未达稳态关键行为x稳定高价值降幅AB实验原理随机SUTVA决策结合统计方法与实验假设，做出决策AB实验分流类型实验平台分流Pros实验平台保证分流均匀性Cons必须有唯一稳定ID才可分流客户端本地分流Pros无时延，开机即可分流Cons分流均匀性无法保证新用户场景AB实验面临的问题问题 1尽可能早的分流新用户场景AB实验面临的问题问题 1尽可能早的分流指标口径ID未生成指标口径ID已生成初始页面82.93%17.07%页面118.62%81.38%页面216.08%83.92%页面315.35%84.65%页面47.81%92.19%页面53.98%96.02%页面63.69%96

3、.31%页面72.95%97.05%非真实数据，仅供展示说明用新用户场景AB实验面临的问题问题 2分流不均客户端本地分流重复进组次数占比179.09%210.53%34.84%42.84%52.69%非真实数据，仅供展示说明用Pros无时延，开机即可分流Cons分流均匀性无法保证新用户场景AB实验面临的问题问题 2分流不均用户卸载重装后，分流ID与统计ID不匹配新用户场景AB实验面临的问题问题 3实验评估标准观察时机远远晚于策略作用的时机,造成 survivorship biasapplaunch+分流策略作用指标ID生成并统计数据FYPTime新实验体系及其科学性验证02新用户场景实验分流I

4、D选择及时性开机即可获取唯一性单次安装周期内稳定，与指标口径id一一对应合规性满足安全合规要求分流ID选择标准新用户场景实验分流ID选择分流ID总量与指标ID 1vs1数1vs1 比例分流ID指标计算ID1xx,xxx,xxx1xx,xxx,xxx99.79%指标ID总量与分流ID 1vs1数1vs1 比例指标计算ID分流ID2xx,xxx,xxx2xx,xxx,xxx99.59%非真实数据，仅供展示说明用分流能力科学性检验均匀性实验流量对照组=实验组正交性Layer1-对照组1Layer1-实验组1Layer1-对照组2Layer1-实验组2Layer2-实验组1Layer2-对照组1分流结

5、果科学性检验对照组1AA simulator 1000+次对照组2对照组1对照组2对照组1对照组2对照组1对照组2非真实数据，仅供展示说明用应用案例分析03新用户场景实验评估渠道 1渠道 2渠道 3渠道 4渠道 5渠道 6Ret RateApplaunchNUJNUT新用户场景实验评估假设新用户下载安装-首启的流程新用户场景实验评估新用户场景实验评估指标ID分流实验结果进组新设备数Retention Rate对照组4,000,05380.1%实验组+0.00027%4,000,164|p_val=0.97-2%78.4%|p_val=0.001非真实数据，仅供展示说明用新用户场景实验评估本地分

6、流实验结果进组新设备数Retention RateStay Duration对照组4,000,08880.1%100实验组+1%4,040,089|p_val2e-16+0.5%80.18%|p_val=0.001-1%99|p_val=0.001非真实数据，仅供展示说明用重复进组次数占比179.09%210.53%34.84%42.84%52.69%非真实数据，仅供展示说明用新用户场景实验评估新分流实验结果分流进组ID数有效新设备数Retention Rate对照组5,000,1104,000,08880%实验组5,001,233+1%4,040,089|p_val2e-16+0.5%80.

7、18%|p_val=0.001非真实数据，仅供展示说明用新用户场景实验评估新分流实验结果有效设备数占比Ret Rate有效设备数占比Ret RateControl720,01618%40%3,280,07282%88%Treatment1,292,82832%51%2,747,26168%91%非真实数据，仅供展示说明用Not login Login 新用户场景实验评估非真实数据 仅供展示说明用有效设备数留存提升新用户场景实验评估00.20.40.60.811.21.41.6策略1策略2策略3LTLearning04新用户场景实验总结安全合规首次启动，即可获取单次安装周期内稳定，与指标ID 单射对应UG新用户场景，现有实验体系不完全适用新用户场景实验总结针对新用户承接的优化有巨大业务收益针对新用户场景的实验评估是一个多维优化有效设备数设备留存DS招聘USCNJD for Data ScientistUG Product DS实验科学与评估因果推断，增长算法数据分析，增长策略2023 DataFunSummit感谢您的观看 THANKS