1、目录01业务介绍02平台侧：收入优化03商家侧：转化优化04用户侧：体验优化目录01业务介绍02平台侧：收入优化03商家侧：转化优化04用户侧：体验优化用户获取用户服务商业变现商户数360万，用户数3亿+，日活跃骑手60万，覆盖城市2500+业务形态多产品形式多售卖模式多参与方商业生态平台商家用户Display AdsSearch AdsFeeds AdsPush AdsCPT/GDCPMCPCCPA曝光下单点击计算广告的核心问题Find the“best match”between a given user in a given context and a suitable advertis

2、ement目标平台用户商家平台：收入商家：质、量用户：体验如何表达、优化平台收益？如何表达、优化商家质、量？如何表达、优化用户体验？目录01业务介绍02平台侧：收入优化03商家侧：转化优化04用户侧：体验优化平台收入=广告收入=CPC售卖下核心问题：每一项如何优化平台收入=广告收入=CPC售卖下核心问题：每一项如何优化外卖广告预估框架表示学习背景外卖类别特征较多：店铺、商品、用户等常用类别特征表示方法：One-Hot Encoding，嵌入Embedding层，Pre-Train Embedding表示学习充分利用全网非广告数据应用层算子层训练层构造层动作层数据层POISKUImageText

3、ClickOrderSearchSequenceGraphSub-GraphDeep Learning basedRandom walk basedFactorization basedW2VFastTextGFHOPEDeepWalkNode2vecLINESDNEGCNConcatPoolingAttentionSimilarityRecallTargetingRankRelevance表示学习框架Sequence版本1.构建用户行为序列2.Skip-Gram+Negative Sampling3.关键问题 如何构建序列-固定时间段-固定时间间隔-时间节点 构建什么序列：Click、Ord

4、er、Click+OrderProjection从Sequence到Graph1.基于用户行为构建Graph2.基于Graph产生Sequence3.Skip-Gram+Negative SamplingDeepWalk：DFSNode2Vec：BFS+DFSLINE：BFS核心问题有向无向带权核心方法ProjectionSide Information应对冷启动问题从ID序列到多模态序列文本序列反映语义偏好：口味、折扣等图像序列反映视觉偏好：色调、风格等Embedding序列龙虾享半价起特价烤鱼28元起龙虾享半价起Word2VecLSTMVGGInceptionEmbedding模型中使用C

5、oncatSimilarityPoolingAttention业界模型发展历程线性模型树模型神经网络模型LR、FM、FFMGBDT、XGB、LGBDNN、W&D、FNN、DeepFM优点：简单、可解释性缺点：线性，表达能力弱LR：人工组合特征、易到瓶颈FM：比较慢、耗资源优点：非线性，可解释性强缺点：不能Online高维离散特征处理能力弱优点：自动组合特征，表达能力强缺点：非常慢、可解释性差、耗资源外卖广告预估模型的演进XGBLGBDNNW&DDeepFMCNNLSTMDQNMTLDINDIEN线性模型+神经网络多模态信息刻画用户长短期兴趣提升迭代效率增加拟合能力多目标学习序列决策Myerso

6、n Auction1.出价：部分广告主出价较低2.CPC下GSP计费不能反映流量价值3.解法：Myerson Auction0.00%5.00%10.00%15.00%出价=(,用户体验)计费与点击率反比GSP局部无嫉妒均衡期望收益Myerson 均衡GSP均衡VCG刻画流量价值理论收益最高Myerson Auction建模有约束最优化问题st个体理性激励兼容常识难点：f要严格符合Log Normal分布方法：预估分布目录01业务介绍02平台侧：收入优化03商家侧：转化优化04用户侧：体验优化商家侧：转化优化ROI=产出投入商户侧优化OCPC用户A用户B出价=1元商家下单概率0.15下单概率0

7、.01问题同价不同质传统广告粗粒度的流量区分和匹配，非收益最优商户侧优化OCPC MNOPQPRSTMNOPQPRST=()f 如何设计?特征有哪些?特征参数如何学习？核心问题用户A用户B出价=1元商家下单概率0.15下单概率0.01高质量流量低质量流量出价1.5元出价0.5元人工策略进化策略强化学习人工策略如何定义流量质量？先调价、后排序、计费，调价时不知道计费，如何得到ROI？如何度量流量质量的好坏?核心问题MNOPQPRST=()从人工策略到进化策略核心方法：通过参数空间的扰动寻找最优区域，根据Reward反馈计算下一次采样参数是Policy Gradient方法的一种，工程实现简单，便

8、于调试分析在离线模拟上可以稳定收敛，且保证目标单调上升便于我们更好的探索状态和奖赏函数的设计从进化策略到强化学习核心问题建模：如何根据业务设计合理的State、Reward、Action？探索：如何低成本、高效的进行样本探索？评估：如何快速、准确的对强化学习模型进行评估？建模：如何根据业务设计合理的State、Reward、Action业务问题强化学习转化优化OCPC排序GSPRewardStateState设计需要考虑整个过程nState设计需要考虑从State到Reward的整个过程nReward多目标优化问题多目标非独立问题个别目标学偏问题探索：如何低成本、高效的进行样本探索n 探索的重

9、要性Supervised Learning：Learning From TeacherReinforcement Learning：Learning From Experience探索：如何低成本、高效的进行样本探索对模型参数随机扰动可以对模型实时更新Epsilon-Greedy一定概率随机推荐，获取充分丰富的样本朴素Bandit随机若干次后选择收益最大的UCBDBGD(DuelingBanditGradientDescent)评估：仿真模拟离线仿真模块业务无损的进行探索，产生训练样本对强化学习模型进行效果评估强化学习效果评估路径目录01业务介绍02平台侧：收入优化03商家侧：转化优化04用户侧：体验优化用户体验n 背景广告：用户体验换收入需求长期不能满足会丧失广告区域的兴趣n 难点用户体验是什么？外卖场景线下+线上结合，线下体验如何评估？用户体验如何持续优化？自反馈可度量可迭代n 用户体验三要素用户体验短期体验中期体验长期体验点击率转化率页面互动复购率用户月活用户留存n 用户体验三个阶段n Utility角度理解用户体验XYSZ=+S_O S_O?Pbc.?Pbc.PVTwo Week长期总结业务介绍：外卖广告业务介绍、计算广告的核心问题拆解平台侧收入优化：模型预估+机制设计商家侧转化优化：OCPC从人工策略到强化学习的迭代用户侧体验优化：用户体验建模优化谢谢大家！