1、阿里巴巴人工智能驱动大数据资深算法专家 杨红霞阿里巴巴 数据技术及产品部复杂的大数据全域实体识别自动化标签生产系统总结12345数据清洗复 杂 的 大 数 据阿 里 巴 巴 数 据 生 态Online and Mobile Commerce Platform$BUYERSSELLERSMarketingFinancing & Payment SolutionProfessionalService ProvidersDigitalEntertainmentLogisticsMobile BrowserLocation-BasedSocial MediaOPERATING SYSTEMCLOUD

2、COMPUTINGDATATECHNOLOGYTEAM技术数据数据计算开发平台数据采集管理平台数据资产管理平台智能解决方案算法平台算法数 据 新 能 源碎片化标准不一质量不一海量数据 EB级数据 总表数百万级 计算能力 稳定性 支付作弊 流量作弊 脏数据 业务类型复杂 底层系统差异 多终端：PC、无线、OTT、IOT 结构化 vs 非结构化 业务规范差异：金融实人 vs 浏览器海 量 数 据 的 挑 战算法模型产品反作弊自动化预测三位一体解决方案因果分析知识&行为图谱用户分层社区发现传播路径分析ID Mapping关联分析聚类分析数据管理数据地图OneIDGProfileI+IDE，架构可视化

3、模型探索可视化分析可视化数据资产可视化产品可视化Link AnalysisModular AnalysisEmbedding AnalysisInference数据来源阿里生态内:阿里集团阿里全资子公司阿里控股子公司政府&企业阿里生态外:FLASH语言分布式计算引擎ODPSSpark其他反作弊UniIDGProfileOneGraphOnePrediction算法主要方向人 工 智 能 解 决 方 案 算 法 平 台数 据 清 洗算法层应用层模型层特征层电商行为特征设备行为特征LBS特征账号/设备静态特征信用等级行为质量规则引擎&业务系统异常检测监督&无监督学习特征联合校验评估层召回量&准确率

4、监控作弊账号/设备行为监控基于Graph的算法第三方业务评测业务指标监测APP渠道反作弊流量反作弊用户/设备质量&价值评估账户/设备/订单风险预测作弊动机&原因推断实时反作弊作弊设备识别数 据 清 洗 架 构全域识别与自动化标签生产系统回流优化全域识别：链接行为中心：标准标签工厂：自动全域数据接入数据应用全域实体识别全域输入电商视频音乐旅行O2O特征Word2VecNode2VecLSHSimHashMetapath2VecCRFOneHotLSTM归一化TFIDF上下文关系特征图片特征位置特征时间特征渠道特征设备特征主题特征行为特征其他特征识别输出网络关系特征实体标注实体消歧关系识别多模态关

5、系推断规则系统协同训练多模型迭代匹配协同映射映射强召回弱召回特征迭代补充强匹配筛选模型融合离线识别服务在线识别服务回流全域实体识别架构全域实体识别-特征模块实体特征Node2VecLocality - Sensitive HashingMetapath2Vec归一化图片特征位置特征时间特征渠道特征设备特征主题特征特征流输出特征流输出关系特征视频特征文本特征文本特征网络关系特征关注特征购买关系特征社交特征相等关系特征其他特征从属特征基础处理补全OneHotTFIDF反作弊图特征非结构化LINEStruct2Vec设备反作弊账号反作弊模拟器识别设备工厂Word2Vec多模态CNNLSTM全域实体识

6、别-识别模块实体标注大规模异构图多模型迭代匹配协同强召回弱召回特征迭代补充强匹配筛选模型融合特征流输入特征流输入规则引擎实体识别关系识别深度学习关系标注多视角交叉实体链接实体消歧多模态关系推断社区发现实体对齐自动化标签生产系统旅游出行物流用餐音乐视频线上购物线下消费支付健康资讯理财体育数据访问：服务化操作算子：比较算子逻辑算子匹配算子数据加工：行为规范明细层汇总层服务层标 签 丰 富 性标签生产数据源要求需求响应速度标签生产的复合能力异构数据源的融合与多渠道获取数据采集与加工处理过程繁琐行业经验和算法能力需要配合业务规则制定与适配沟通成本高数据预处理和特征工程很费时模型训练迭代过程不断重复标

7、签 生 产 的 要 求标 签 工 厂公共层消费者GBehaviorGProfile公共层商家数据商家能力矩阵商家价值发现公共层商品数据商品图像特征商品文本特征基础数据层噪声处理归一化降维特征工程分层化特征池消费者特征池商家特征池商品特征池Single-LabelEmbeddingMulti-LabelsEmbeddingTransfer LearningEmbedding公用部分任务独占部分多任务损失函数权重配置Multi-taskLearning训练网络结构损失函数优化方法Single-TaskLearning训练Fine-Tuning质量评估覆盖量评估稳定性评估精准性评估算法层无监督学习半监督学习有监督学习Tree-BasedMethodsAdaptiveLearningAudience ExpansionDeep LearningGraph Mining模型配置模型配置公用部分任务独占部分迁移任务损失函数权重配置模型配置自动化标签工厂架构降低标签生产重复性投入成本数据与业务双视角助力质量提升流程与系统保障数据安全自动化标签生产的保障人群透视人货匹配个性化导购精准营销基本属性社交关系地理属性互动行为消费行为偏好习惯多 样 化 标 签 及 应 用 场 景计算平台人工智能大数据大数据，人工智能赋能商业，创造价值