1、目录1.微博篇2.平台篇3.应用篇1目录微博用户和内容规模业务生态和技术里程碑平台背景平台架构平台效果推荐应用推荐应用架构内容理解应用内容理解架构微博篇WEIBO微博、用户和内容规模、业务生态和技术里程碑1 11 微博微博中国最大的社交媒体平台微博是一个基于社交关系和社交媒体的信息分享、传播以及获取的平台微博建立一个以内容为纽带，连接人和人、人和组织、人和物、人和兴趣的社交媒体网络名人媒体政府视频游戏影视企业LBS话题2 用户和内容规模日活跃用户 1.95亿月活跃用户 4.46亿移动端占比 93%以上数据基于2018Q3财报用户规模内容规模#世界杯#短视频播放总量170亿相关话题阅读量1000

2、亿用户总互动量超过10亿以上数据基于2018Q2财报3 业务生态和技术里程碑业务生态关注/兴趣优质内容普通用户优质用户理解3 业务生态和技术里程碑技术里程碑2008年Hadoop2009年微博Feed2010年开放平台2013年大数据2015年机器学习2016年机器学习平台2017年大规模机器学习深度学习平台2018年大规模在线机器学习平台篇PLATFORM平台背景、平台架构和平台效果1 21 平台背景 平台背景-深度学习 数据规模越来越大，特征工程人力成本高，机器学习表征能力瓶颈 非结构化数据指数增长1 平台背景 平台背景-平台化成本效率效果实时机器人力时间开发运行迭代规模深度2 平台架构计

3、算深度学习平台用户向量内容向量文本分类Hadoop/Spark集群高性能GPU集群Hdfs/OdpsTensorFlow/Caffe图像/视频分类CPU计算集群业务Yarn/K8s调度Docker存储PS/WeiPS模型推理WeiServing模型库模型训练WeiLearn模型评估模型训练模型推理样本库样本库样本标注多媒体流多媒体特征库多媒体流端推理端推理端优化2 平台架构-深度学习工作流模型部署模型预测业务数据特征处理模型预测样本生成模型训练特征处理模型训练数据传输模型评估业务评估2 平台架构-深度学习工作流 深度学习工作流框架：WeiFlow 统一数据计算框架 双层DAG，兼容异构环境no

4、denodenodenodehivetensorflowsparkinputprocessoutputTextCsvLibsvmParquetOrcJson数据统计数据清洗特征组合样本采样模型训练模型评估模型部署2 平台架构-深度学习工作流-深度学习模型训练 深度学习模型训练：WeiLearn 配置化开发：语言化开发、图形化开发 自定义扩展2 平台架构-深度学习工作流-深度学习模型训练 深度学习模型训练：WeiLearn样本库WeiLearn-深度学习模型训练CTR样本自然语言样本视频与图像样本样本处理CTRNLP图片视频VGGYoloinceptionresnetGRULSTMWide&De

5、epDeepFMDeep Cross NetworkSpark超参数资源算法BERT配置Tensorflow2 平台架构-大规模深度学习 大规模机器学习 实践证明：机器学习规模越大，效果越好几百特征，千万样本CTR：+4.3%人均刷新：+0.1%几万特征，几十亿样本CTR：+11.2%人均刷新：+2.1%几百万特征，几百亿样本CTR：+12.2%人均刷新：+4.2%规模：几千亿样本、几十亿特征2 平台架构-大规模深度学习-通信优化clusterSpecTF_CONFIGParamaterServer2 平台架构-大规模深度学习-通信优化Horovod(Uber)MPI&RingAllreduc

6、eRingAllreduce：每个 N 节点与其他节点进行 2*(N-1)次通信，网络最优化（百度）2 平台架构-大规模深度学习-通信优化单机多卡 allreduce&in-graph=MirroredStrategy多机多卡 allreduce&between-graph=CollectiveAllReduceStrategy多机多卡 ringallreduce=horovodDistributionStrategy APIPS&MPI2 平台架构-大规模深度学习-文件IOBuffer0Buffer1Buffer2Buffer3HDFSMultiprocessing readingQueue

7、ProducerTrainingConsumer 文件读取和解析 多线程读取 多缓存队列2 平台架构-分布式模型推理 分布式模型推理框架：WeiServing异构CPU集群kubernetes/ol-submitRPC服务框架LR/GBDTDNN/DeepFM/W&D负载均衡/统一版本管理/动态加载/批量化机制特征映射Embedding数据处理异构GPU集群CNN业务应用业务应用模型服务模型服务框架框架排序模型服务排序模型服务多媒体分析服务多媒体分析服务自然语言分析服务自然语言分析服务集群调度层集群调度层核心架构层核心架构层算法模型层算法模型层2 平台架构-分布式模型推理-推理性能优化 推理性

8、能优化计算优化：减少计算量、加快计算速度通信优化：减少通信量、加快通信速度Batching将请求批量聚合后，传递到GPU计算运行重写算子优化Eigen实现，减少内存拷贝重写one hot算子，改变lazy evaluation策略3 平台效果 模型训练76h76h接入平台后standalone=distribute(4 woker 2 ps)raw pic=tfrecordkeras=weilearn/weislim4h10W sampleincpetionV364 batchsize30 epochstandalone接入平台前3 平台效果 模型推理在线服务数30+100+模型类型数峰值QP

9、S50W+10ms平均响应时间应用篇APPLICATION推荐应用、推荐应用架构、内容理解应用以及内容理解应用架构1 31 推荐应用 推荐应用背景关注流关注流热门流热门流推荐流推荐流视频流视频流1 推荐应用 推荐应用需求 业务需求：CTR、特征向量 数据规模：样本量级：百亿万亿；特征维度：亿百亿 推理时间需求：CTR10ms 算法：Wide&Deep、DeepFM、xDeepFM、1 推荐应用架构物料排序曝光/阅读点击/互动推荐业务CTR服务LR、FM、W&D、DeepFM、模型服务推荐引擎引擎平台用户特征女性，19-22岁，北京爱好娱乐，明星，高活跃特征服务样本模型参数求解：损失函数误差最小

10、：梯度下降等迭代求解模型训练物料/样本实时计算实时统计，数据计算微博特征9点发布，带视频，北京，奥运，时事新闻，高热度批量计算静态特征，批量统计，模型Y=f(x1,x2,xn)WeiClient控制台微博深度学习平台微博深度学习平台实验系统召回重排用户样本数据正样本：曝光有互动负样本：曝光无互动物料数据基础物料、用户物料、协同物料、分类服务文本分类、图片分类、2 内容理解应用 内容理解应用背景智能裁剪视频盗链检测音频分类明星识别视频Logo图片OCR2 内容理解应用 内容理解应用需求 业务需求：图片：物体识别打标签、OCR、人脸、明星、颜值、智能裁剪；视频：版权检测、logo识别、直播盗链检测

11、；音频：标签、语音、文本 数据规模：文本亿级/天，图片几千万/天 推理时间需求：文本10ms，图片100ms 算法：算法算法内容理解内容理解CNN(RCNN、mtcnn）SVM图片OCR、视频logo、智能裁剪、音频分类EAST+、CTC图像、语音提取文本Yolo、RESNET物体检测、图片分类Facenet、VGG人脸检测、明星识别、人脸打分2 内容理解应用架构样本深度理解召回内容理解业务DL服务下载、分发抽帧模型服务数据分发实时流计算图片特征图片特征特征服务样本模型参数求解：损失函数误差最小：梯度下降等迭代求解模型训练样本标注工具优质物料人工运营视频特征视频三级标签光流光流特征物料精选有三级标签审核效率高时序分段标注模型Y=f(x1,x2,xn)每天训练持续优化微博深度学习平台微博深度学习平台模型调用训练物料推荐样本数据人工标注样本有限标签和文本标注再校正物料数据视频丰富度视频实时性分类服务人，物体，场景，属性，动作，关系，文字，logo，语音以微博之力，让世界更美谢谢！