1、微博在线机器学习和深度学习实践目录1.推荐篇2.平台篇3.总结篇1目录推荐场景推荐在线机器学习深度学习平台背景平台架构平台效果微博技术里程碑微博业务生态推荐篇APPLICATION推荐场景、在线机器学习和深度学习1 11 推荐场景 信息流热门流视频流关系流 推荐流图片推荐流正文推荐流视频推荐流1 推荐场景 推荐在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集模型：趋势实时化：在线机器学习深度化：深度学习平台化：机器学习平台2 推荐 实时化特征实时化：更及时反馈用户行为，更细粒度刻画用户模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化模型推理预测服务实时特征实时数据3 在

2、线机器学习实时样本实时模型训练实时更新参数Task训练预处理Node实时样本拼接Node在线模型训练Node离线样本拼接Node在线模型评估Node模型上线Node实时特征处理Node离线特征处理TaskKafka输入inputprocessprocessoutputWeiFlow工作流Task模型训练Task模型训练TaskMetrics输出3 在线机器学习-工作流互动行为日志数据处理点击行为日志阅读行为日志曝光行为日志数据过滤样本拼接定时轮询KafkaHdfs样本输出3 在线机器学习-实时样本生成 多流拼接曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 如何解决日志延时问题延迟等待机

3、制，先到先走定时轮寻，最长N分钟等待Kafka 堆积监控，实时报警 如何解决内存问题调整内存参数关闭多余的监控点 如何异常处理自动化监控与修复系统Checkpoint 节点异常修复3 在线机器学习-实时样本生成在线机器学习模型训练：Flink/Blink+WeiPS样本生成和特征处理1.配置化2.多标签样本3.支持高维HASH训练预处理1.标签选择2.标签UDF3.样本过滤4.特征过滤模型训练1.支持回归和分类2.支持LR、FM、DeepFM等模型3.支持SGD、FTRL、Adagrad等优化算法模型评估1.独立模型评估2.配置化3.UI展示3 在线机器学习-实时模型训练 模型选择LR:基础模

4、型，对特征工程依赖较强FM：大规模稀疏数据下的特征组合问题DeepFM 优化算法选择FTRL：调节学习率，突出低频特征，非batch优化Adagrad:调节学习率，突出低频特征，实现简单SGD：参数少，效率高，固定学习率 ID特征处理Hash：BKDRhash/CityHash，ID高维度稀疏+实时3 在线机器学习-实时模型训练servingservingserverserverserverworkerModel Serving SystemServing PSTraing PSTraing Model SystemPredict ScoreSample Dataworkerworkerwor

5、ker3 在线机器学习-参数服务器servingservingservingserverserverserverserverserverworkerworkerworkerPSschedulerPSserverPSserverPSserverPSagentPSagentzookeeperPSproxyPSproxyPSsubmitFile SystemcheckpointModel Training SystemModel registerStatus set/getModel deleteModel SaveModel LoadHAFault tolerancecheckpointLocal

6、HDFSParam Server SystemModel Serving System3 在线机器学习-参数服务器 参数规模支持百亿特征维度，千亿参数 模型版本多模型多版本：多组实验并行执行，提高实验迭代效率在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 稳定性优化模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参数服务的高可用，支持基于模型的异

7、构集群迁移，支持集群扩缩容 性能优化通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90%3 在线机器学习-参数服务器模型验证离线训练实时训练模型训练模型部署在线服务离线验证在线发布在线验证在线一致性/模型稳定性/一键打包端口探测蓝绿部署/灰度发布AUC/准确率/召

8、回率/流量切换版本更新全量发布 verson1verson2kubenetes/olsubmit模型库3 在线机器学习-模型服务部署 模型评估模型上线部署前指标评估周期使用验证样本进行点击率预估待部署模型与线上模型进行指标对比，评估是否满足上线条件 一键部署基于K8S的deployment模式，一键端口分配与模型服务部署基于ZK的服务发现，一键进行流量灰度与发布 性能优化通信优化：特征请求与模型计算单元化，在线样本格式压缩计算优化：基于SSEAVX 指令优化3 在线机器学习-模型服务部署 模型更新频次效果对比FM：数据越新，效果越好相同数据规模，时间越新，效果越好，且时间差距越大，差异越明显月

9、级规模数据，时间相差一周，效果相差约3+%（随数据规模增大，差距缩小）数据规模越大，效果越好月级数据规模相比周级数据模型，效果相差5+%在线和离线模型效果对比在线FM相比于离线FM，相关指标提升5+%完全在线初始化模型参数增量在线FM相比于离线FM，相关指标提升8+%增量在线FM：即依托于离线模型初始化在线FM模型参数3 在线机器学习-效果 深度化特征深度化：特征embedding模型深度化：深度学习模型，Wide&Deep；DeepFM4 深度学习物料粗排特征向量化基于Item2vec的博主召回和微博召回物料精排向量索引DSSM/FM/FFM生成博主与物料向量，采用向量进行召回特征向量化：I

10、tem2vec向量索引：FM/FFM/DSSM模型召回：DIN/DIEN/TDM模型召回融入用户近期互动行为的深度模型召回单目标：LR-W&D-FM-DeepFM多目标：点击FM+互动FM排序损失：DeepFM+Pair-Wise Rank Loss多目标融合点击模型和互动模型单目标LR、W&D、FM和DeepFM等模型排序排序损失针对信息流业务场景，从点击损失升级到排序损失，基础模型为DeepFM，排序损失为BPR召回排序 深度学习模型训练：WeiLearn样本库WeiLearn-深度学习模型训练CTR样本自然语言样本视频与图像样本样本处理CTRNLP图片视频VGGYoloinception

11、resnetGRU LSTMWide&DeepDeepFMDeep Cross NetworkSpark超参数资源算法BERT配置Tensorflow4 深度学习-深度学习模型训练 通信优化PS：BSP/SSP/ASP多种通信模式支持MPI&RingAllreduce：Horovod，使用 MPI替换grpc，同步通信模式；带宽优化，增加延时；PS&MPI：DistributionStrategy API，统一分布式语义，解耦分布式架构与模型训练框架使用FP16通信，使用FP32做计算，带宽压力降低一倍 IO优化多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap

12、4 深度学习-深度学习模型训练 分布式模型推理框架：WeiServing异构CPU集群kubernetes/ol-submitRPC服务框架LR/GBDTDNN/DeepFM/W&D负载均衡/统一版本管理/动态加载/批量化机制特征映射Embedding数据处理异构GPU集群CNN业务应用模型服务框架排序模型服务多媒体分析服务自然语言分析服务集群调度层核心架构层算法模型层4 深度学习-分布式模型推理 推理性能优化 减少计算量：operator fusion/XLA/TVM/prune/float16/quantization 加快计算速度：batching/TensorRT/MPS/SSE/AV

13、X/Neon operator fusion 针对特定场景重写耗时算子 重构tensorflow计算引擎 batching批量调度请求到GPU，增大并发和吞吐量4 深度学习-分布式模型推理 深度特征效果对比文本Embedding特征，相比于文本标签，相关指标提升约3+%基于word2vec、bert等生成embedding向量，提高了语义编码的准确性，降低了训练成本指标提升主要来源于Embedding特征保留了更多原始信息，避免了标签带来的信息损失User/Item Embedding 协同召回Item2vec相比于传统协同过滤MF等，稀疏样本下表现极好同时该特征可用于排序部分特征输入 深度模

14、型效果对比DeepFM相比于FM模型，相关指标提升4+%Wide&Deep相比于LR模型，相关指标提升5+%效果提升主要来源于Deep部分高阶特征组合但同时对模型服务的性能要求更高4 深度学习-效果平台篇PLATFORM平台背景、平台架构和平台效果1 2 平台背景-平台化成本效率效果实时机器人力时间开发运行迭代规模深度1 平台背景算法/模型计算数据/特征存储基础/IDE业务调度集群2 平台架构计算机器学习平台Feed排序推荐流文本分类/检测Hadoop/Spark集群数据仓库集群高性能GPU集群Hdfs/OdpsTensorFlow/Caffe图像/视频分类阿里云计算集群实时计算集群业务Sto

15、rm/FlinkYarn/K8s调度Docker存储PS/WeiPS基础/IDE（WeiIDE）开发套件控制台控制中心算法/模型（WeiFlow）模型训练/评估样本库模型库模型服务/推荐引擎数据/特征（WeiData）数据/特征生成数据/特征存储数据/特征服务2 平台架构用户微博曝光/阅读点击/互动Feed流排序数据样本正样本：曝光有互动负样本：曝光无互动样本数据推荐引擎业务引擎用户特征女性，19-22岁，北京爱好娱乐，明星，高活跃特征数据数据样本模型参数求解：损失函数误差最小：梯度下降等迭代求解模型训练WeiFlow控制台实时计算实时统计，特征计算微博特征9点发布，带视频，北京，奥运，时事新

16、闻，高热度批量计算静态特征，批量统计，控制中心WeiIDE数据计算模型Y=f(x1,x2,xn)模型服务特征服务微博机器学习平台灰度系统3 平台效果 成本/效率建设平台（业务A）业务开发模型开发特征工程建设平台接入平台（业务B）接入平台业务开发模型开发特征工程3 平台效果总结篇SUMMARY微博技术里程碑和业务生态1 32008年Hadoop2009年微博Feed2011年开放平台2013年大数据2015年机器学习2016年机器学习平台2017年大规模机器学习深度学习平台2018年在线机器学习2019年在线深度学习1 微博技术里程碑关注/兴趣分发/推荐生产/传播优质内容普通用户优质用户潜力挖掘关系拓展内容理解兴趣挖掘内容生产内容组织AI2 微博业务生态以微博之力，让世界更美谢谢！