1、微信广告社交推荐架构与图计算 微信广告 GraphRec 图推荐系统介绍 挑战 挖掘社交广告价值 话题效果差 允许合约保量投放 宽定向 量有保证，效果不确定 窄定向 量无保证，效果变优 品牌广告主更注重品牌影响力的提升 效果广告只关注点击率和转化率 品牌广告主痛点 我们的目标 Guaranteed Delivery 投放算法量和质很难达到平衡 优化效果 结合社交网络 图储存 多目标行为 种子人群?择优人群 传播人群 广告检索 广告排序 广告曝光 社交推荐 社交图谱 兴趣图谱 用户活跃度 个人拉取机会 影响力计算 速览 融合社交推荐的广告系统架构 种子人群挖掘 1 种子人群挖掘策略 大规模 Lo

2、okalike 挖掘 图特征学习 Network Embedding 训 练 集 好友关系网络 好友沟通 网络 行为网络 模型训练评估 测试 集 LR Top人群选择 社交特征 亲密行为特征 兴趣行为特征 活跃行为特征 验 证 集 正例人群扩展 负例人群精选 特征交叉GBDT 组合特征学习 图特征 基础特征 原始特征构造 PULearning 扩大种子人群范围 画像KV 更新服务 Batch View Realtime View uin1 uin2 uinN 更新服务 动态画像服务 写入 人群管理系统 用户画像 合并 Batch Layer Speed Layer Serving Layer

3、uin1 uin2 uinN 写入 种子人群挖掘架构 借鉴 Lambda 架构思想解决大规模数据写入问题 在线社交推荐系统 2 社交波纹传播 图推荐系统 GraphRec 影响力构建 圈子影响 保量反馈模块 广告定向树拆分 个体行为预估 好友影响 库存预估 实时消耗计算 广告传播速度 社会传播学 个人拉取时机 社交推荐框架?广告日志上报 广告播放 数据通道 Spark GraphRec 图存储 无索引结构 索引表 兴趣主题模型推荐 智 能 投 放 广告打分 GraphRec 基础组件 Paxos GraphRec 图计算 影响力 社区发现 Social Hash GraphRec 基础模型 深

4、度学习-行为预估 强化学习-优质人群探索 实时流 文件同步 特征抽取 样本抽样 数据校验 数据清洗Social Route BtPipeline API 接入 GraphRec 图推荐系统 GraphRec 推荐引擎 社交关系图上的推荐 AD AD 好友关系 行为关系 相似度 物品识别 素材质量 借助CNN，通过素材丰富特征 实时计算 行为数据 特征存储 DNN多目标同时预测 画像数据 embedding convolution+nonlinearlty max pooling vec2 vec1 fully connected layers cos(1,2)社交推荐阶段一 个体 社交推荐阶段

5、二 好友 Topic1 Topic2 Topic3 .Topic4 Topic5 Topic6 AD AD AD AD Topic1 Topic2 Topic3 .Topic4 Topic5 Topic6 AD AD 社交推荐阶段三 圈子 城市索引 年龄 20岁 城市=深圳 年龄索引 城市=北京 播放速率实时调整 小时 23 0 库存检索 内存索引，快速高效 Select count(*)from 曝光表 where and (or)20岁 北京 深圳 or and 计数 保量控制 基于实时库存的动态速度调节 播放速度调整 实时校准，与推荐算法相结合 库存预估环境复杂 算法过滤，竞价赢取 1

6、0 1 1 1 0 1 0 0 0 0 1 用户互动数据 库存预估模块 SparkStreaming流式计算 广告库 保量控制模块 广告定向拆分模块 AND 20岁 OR OR 男 OR 北京 深圳 保量控制子系统 广告定向拆分的树形结构 保量控制 社交数据图存储 3 算法实现：清晰的逻辑接口 业务要求：低延时 图存储的必要性 同时支持算法实现与业务要求 好友B 广告 用户A 好友C 好友D 好友E KV1 KV2 KV3 传统KV面对关系查询时需要多跳查询，业务实现复杂，调用次数多时延大 结构 属性 ID :1001 Type:user Data:?ID :1002 Type:ad Data

7、:?ID :1003 Type:user Data:?评论 点赞 好友 dstid ED VD VD srcid 图存储的结构与内容 图VD顶点属性 点赞，评论，拉取曝光列表，点击记录 图ED边属性 好友关系 基于关系链 Hash 用户，提供统一的图查询接口，降低查询时延 关系(Association)如用户1001评论广告1002，用(ID1,Type,ID2)表示并存储 对象(object)如用户，广告，用(ID,Type)表示并存储?Hash?f(ID)=ID%N f(ID)=Colocation Friend(ID)1 2 4 Machine#1 分布式下的图切分 基于社区的划分思路?

8、3 5 6 Machine#2 7 8 9 Machine#1 1 5 9 2 6 Machine#2 3 7 Machine#3 4 8 Machine#4 2359687Master Worker with RDD In-Q Worker with RDD In-Q Worker with RDD In-Q Worker 1.等待 master 启动 2.读取In-Q数据计算 3.和其它worker通信 4.更新worker状态 Master 1.通知worker启动 2.等待所有worker完成 3.更新活动worker数目 4.判断是否完成 Social Hash

9、 计算 BSP 模型 Barrier AA计算节点 ABA迭代划分终止条件，分组内聚合度停止变化 保持划分平衡，阻断大分组出现 V1 V5 V2 V4 V3 Machine Machine Machine Machine Machine Social Hash 计算 通过启发式算法实现分组平衡 社交HASH表 查询请求 缺失Key分配 图划分结果集 图存储数据机1 图存储数据机2 图存储数据机3 广告队列 关系 动态分配 分配表 系统状态 Segment Group Key Social Hash 路由查询 架构 分配表 分配表 Plog DB Plog DB Plog DB 园区A 园区B

10、园区C 读写请求 读写请求 同步 复制 组件 存储 引擎 插件三园区同步 Paxos Paxos Paxos Client 读写副本（园区A）读写副本（园区B）Paxos协议 基于索引的存储 Paxo协议 Social Hash routing table Social Hash routing table 无索引的存储 基于索引的存储 无索引的存储 系统高可用 社交推荐新形态 4 0.5 0.2 0.2 0.3 0.5 0.2 0.4 0.1 0.3 0.3 0.5 0.1 0.2 0.2 0.8 0.4 0.9 0.9 0.3 0.6 0.2 0.2 社交广告推荐探索 定向扩展 被选定定向突破 二度传播用户 传播力Top N用户 0.8 0.3 0.7 0.2 0.2 0.4 0.3 社交广告推荐探索 新形态下策略的思考 广告主互动能力 关系链进一步应用