1、基于双重神经网络的异质性因果效应模型的构建和应用周小羽 快手经济学家团队Tech Lead|个人介绍：2018年phd毕业于路易斯安那州立大学经济系，研究方向是计量经济学。工作经历：2018/052020/11：SAS Institute统计软件开发，主要负责维护以及迭代SAS/ETS以及SAS Econometrics产品中面板数据相关的功能。2020/11今：加入快手经济学家团队并担任Tech Lead。01介绍02难点03应用目录 CONTENT|04总结介绍01|01 介绍|什么是异质性因果效应？不同人对实验的反应不一样实验：给用户发美妆折扣券ATEHTE01 介绍-From ATE

2、to HTE|估计目标：估计目标：难点：一个点怎么求导？难点：一个点怎么求导？思路：交互特征项思路：交互特征项离散离散T连续连续TATE($%)()HTE(CATE/uplift)($%|)()|)&=%+$&+&+&=%+$&+&+(&+&$+(&01 介绍-From ATE to HTE例：用户粒度的数据以及两个画像变量：X1=1为男性、X2=1为大于30岁。用户群用户群特征变量特征变量X1,X2实验组的实验效应实验组的实验效应(T=1)控制组的实验效应控制组的实验效应(T=0)CATE:E(Y|T=1,X)-E(Y|T=0,X)小于30岁的男性用户1,0!+#+$!+#+$大于30岁的男

3、性用户1,1!+%+#+&+$!+#+&+%+$大于30岁的女性用户0,1!+%+&+$!+&%+$小于30岁的女性用户0,0!+$!$难点02|非线性模型如何做统计检验？非线性模型如何做统计检验？treatmenttreatment第一单位和第二单位的边际影响不第一单位和第二单位的边际影响不同，怎么捕捉？同，怎么捕捉？1202 难点应用中的问题应该给哪些用户push两条消息，哪些用户push零条？一个作者粉丝数增加的时候，第1个1000单位粉丝和第2个1000单位粉丝能带来相同的作品生产量吗？大部分用户的HTE在0附近聚集，哪些人是显著正向的？02 难点 应用中的问题02.1 如何估计规模效

4、应经济学理论：“边际效应递减法则”Y：作者生产视频的数量T：作者新增粉丝的数量线性函数：#=$+%#+&#+#+#CATE:!=f,=+#!意味着：f =1|f =0=f =2|f =1 02 难点 应用中的问题02.1 如何估计规模效应思路：拟合CATE和T的非线性函数简单的非线性函数：#=$+%#+&#+#+(#&+#CATE:#=f,=%+#+2(#意味着：f =1|f =0 f =2|f =1 02 难点应用中的问题02.1 一种非线性模型：双重神经网络Farrell,Max H.,Tengyuan Liang,and Sanjog Misra.Deep learning for in

5、dividual heterogeneity:an automatic inference framework.arXiv preprint arXiv:2010.14694(2020).02 难点应用中的问题02.1 双重神经网络基于基于DMLDML框架的双重神经网络和其他模型的比较：框架的双重神经网络和其他模型的比较：CT 1:model y,model T,model CT 1:model y,model T,model finalfinal 都是都是OLSOLSCT 2:model y,model TCT 2:model y,model T是是OLS,OLS,model finalmo

6、del final 都是都是random forest random forest regressorregressorCT 3:model y,model T,model CT 3:model y,model T,model finalfinal 都是都是random forest random forest regressorregressorCT 4:model y,model TCT 4:model y,model T是是OLS,OLS,model finalmodel final是双重神经网络是双重神经网络02 难点 应用中的问题02.2 如何做统计检验Chernozhukov,Vi

7、ctor,et al.Generic Machine Learning Inference on Heterogeneous Treatment Effects in Randomized Experiments,with an Application to Immunization in India.No.w24678.National Bureau of Economic Research,2018.哪些人的哪些人的HTEHTE是显著的？是显著的？模型有多个模型有多个treatmenttreatment，各自，各自HTEHTE差异很小，哪个差异很小，哪个treatmenttreatment

8、更好？更好？用用data splittingdata splitting的方法的方法approximateapproximate：datamain sampleauxiliary samplemain sample:用于训练auxiliary sample：用于预测BLP:(best linear predictors of the effects on machine learning proxies)BLP:(best linear predictors of the effects on machine learning proxies)越靠近0说明估计的HTE等于噪音，越大说明异质性越

9、强。另外，该指标越靠近1说明选择的ML估计方法能对CATE有较好的预测。GATES:(average effects sorted by impact groups)GATES:(average effects sorted by impact groups)近似估计HTE是否显著：将每次预测的HTE排序分段，并检验每段的均值是否显著。CLAN:(average characteristics of most and least impacted units)CLAN:(average characteristics of most and least impacted units)估计X对H

10、TE的影响是否显著。02 难点 应用中的问题02.2 如何做统计检验应用03|03 应用03.1 涨粉和生产如果以涨粉为手段，应该给每个作者涨多少粉丝才能最大化他/她在未来一周的生产数？基于DML+DNN的预测，我们可以做到对某一类或者每一个作者估计涨粉上限：03 应用03.1 涨粉和生产03 应用03.2 push消息假设每个用户每天最多可以收到10条push消息，第一条push对用户app时常的影响和第二条的影响是一样的吗？基于DML+DNN的预测，我们可以对每一个设备预测其在不同push条数下的反应：注：图中7条线分别是选择7个设备进行预测的结果。总结04|04 总结DNN+HTEDNN+HTE可以应用在探索收益天花板的问题中可以应用在探索收益天花板的问题中帮助业务规划资源帮助调整定价策略post analysispost analysis让结果更稳健让结果更稳健对DML可以跨模型比较模型表现可以探索一个模型估计的HTE的variation是否够大可以探究X对HTE的影响是否显著非常感谢您的观看|