1、用户画像和精准化平台系统实践自我介绍 一书作者， 1 号店精准化部门架构团队负责人，长期从事搜索、推荐、大数据平台相关工作，目前主要关注实时计算框架、推荐系统、大数据营销、技术架构。大纲目录平台总体介绍平台总体介绍用户标签画像和标签体系用户标签画像和标签体系基于画像的相关系统和投放基于画像的相关系统和投放实时画像实时画像画像系统的优化和改造画像系统的优化和改造数据 = 算法 = 业务blank.potx推荐广告投放个性化搜索选品BI 报表供应链优化智能定价精准化营销优化购物路径结合其他数据：竞争对手数据 ( 爬虫 ) 、商品信息、用户注册信息机器学习、NLP 等算法推荐产品架构全面深挖用户购物

2、兴趣短期兴趣 转化率长期累积兴趣潜在兴趣高转化率精准定位用户短期兴趣用于上海品茶栏位、站外广告EDM 及 APP 营销投放用户意图引擎情境推荐引擎反向推荐引擎定位特定类目购物情境公历农历的季度、月和周、中西节日、当地气温变化、当地天气、外出、旅游定位复购时间点定位复购时间点覆盖 74 个高复购率类目将用户划分成新客、成长期、衰退期、流失期多个阶段，投放不同的类目及负毛利营销品用户画像引擎长期累积的兴趣图谱1 亿 userID, 5 亿 GUID每个用户的类目、品牌、导购属性兴趣偏好千人千面引擎用户群体兴趣覆盖 8 千万左右用户购买力 level 、同学 (985,文科 )男 / 女、地域、同事、邻

3、居、同行、好友群、辣妈、孕妇、新 / 老客转化率交叉销售精准定位购物兴趣发生的时机CF 推荐引擎拉升销量和用户转化率 拉升交叉销售 GMV交叉销售相似用户兴趣协同过滤算法挖掘相似用户兴趣交叉销售转化率推什么？什么时间推？个性化推荐提升精准化营销效率主题推荐用户行为兴趣根据评论、标题给商品和用户打标签形成场景词形成主题场景聚合 SKU合适的场景 交叉销售购物周期转换率最近热点交叉销售用户场景业务意图算法短期意图 长期画像 协同过滤 关联规则 周期购刚需爆款冲动性爆款主题推荐上海品茶弱目的性闲逛trade cross强目的寻找相关促销或爆款trade in类目 /搜索寻找更适合自己的商品trade i

4、n了解同类人群的购买选择trade in详情页挑选、比较的需求trade in了解同类人群的购买选择trade in经济节约的诉求trade in对相关商品的潜在购买提醒trade cross继续逛页对相关商品的潜在购买提醒trade cross购物车凑单免邮的需求trade up对相关商品的潜在购买提醒trade cross占便宜trade up订单完成页一次购物周期结束，顺便看看有没有其他购物心动点trade cross消息触达对于关注的商品、品牌，了解其有利的动态trade in各种栏位场景适用推荐算法后台系统生成 H5 猜你喜欢天气维度换季、气温、雨雪、雾霾【覆盖全国 2954 个市、

5、县、区】节日维度农历节日：春节、端午、中秋、节气等西历节日：元旦、国庆、父亲节、母亲节大促：双 11 ，双 12 ， 12.21 ，店庆【覆盖全年共 50 种各类节日】地域维度大区：东北、华中、华东、华南等旅游地、城市级别、小区，公司，小区档次，学校类型，公司类型【覆盖全国 378 个地级市或区】时间维度月份、季节、星期画像和产品维度性别，促销敏感，校园、公司、一贵就赔等推荐数据相似相关产品，类目等周期购推荐Right Time 消费周期9洗发水： 70 天大米： 35 天进口牛奶： 28 天花生油： 58 天不同的家庭有不同的消费周期，对每一个家庭的每一个品类的消费周期进行预测，进而指导投放

6、维度分类数据商品维度商品信息表、商家信息表等相似、相关库排行榜、热销等选品中心：比价、 BI 、订单、广告、搜索数据用户维度标签画像：校园、白领、社区用户、性别、丽人 / 辣妈、购买力、宝宝年龄等偏好画像 : 类目、品牌、属性的偏好用户基本信息表、积分表等guid/userid 映射表站外画像意图 :类目用户行为历史：订单，浏览，加车等上下文节日日期维度： 日期、促销活动、月份 .天气日期维度： 日期、城市、季节、换季、舒适度、天气地域维度：城市、省份、行政级别、城市级别、人口规模、用户画像在通用精准化数据中的位置 相关应用数据层产品维度用户维度节日，天气等上下文维度 推荐栏位选品中心促销排期

7、DMP 投放选人中心EDM 投放CMS 生成及投放试用品投放广告投放产品和用户的索引推荐基础数据索引层商品索引 (1 千万数据 )团购自营类目新品D50一贵.促销品春节中秋严冬上海日均销量日均销售额男女品牌滞销品A 级城市好评率学生DXX用户索引（ 1.4 亿数据）收入男女学生地域类目偏好购买力品牌偏好新品偏好商城敏感天气好评敏感公司 服务层用户意图引擎用户画像相似相关推荐公司小区群体推荐周期购千人千面推荐用户生命周期推荐用户情景推荐混合推荐配置模块A/B Test实体店附近人群分析线上线下积分促销选品模板管理（ H5 、邮件、CMS 、 SMS 等）精准化架构精准化通用架构数据流关联规则（如

8、下进化）通用架构选品索引选品中心推荐通用架构情景推荐等栏位EDM 投放相似、相关等推荐数据内存中的 FPG(mahout0.7 ，三元 )分布式的 PFP(mahout0.8 ，多元 )分布式的 PFP(spark ，多元 )订单、浏览数据天气、节日等上下文用户画像促销排期等产品选人中心基于情景的促销排期系统用户标签画像用户群体数量公司覆盖 3558 家公司， 591 个行业 小区覆盖 293 个城市的 4.26 万个小区校园覆盖全国 1334 所高校422484224942250422514225200.050.10.150.080.070.10.080.080.050.050.050.04

9、0.05人群细分推荐转化效果分析人群细分推荐普通推荐公司、小区、校园标签：校园、小区千人千面引擎优化上线完整的地址处理系统包含三部分：地址结构化命名实体识别公司名识别模型的 F1 值（提高到80.6% ）地址匹配1. 从百度地图 POI 库中抓取城市的所有公司名和学校名，对其分词，人工编写规则对分词结果进行处理，转化为一个角色标注序列2. 收集所有的词语和角色，得到一个角色词典，并对角色去除后缀训练对应的 NGram 模型3. 收集所有的角色标注序列中的角色序列，制定为一个规则集4. 对于输入的一个订单地址，先使用角色词典标注，然后使用相应后缀的 NGram 进行召回，得到一个角色标注序列。对

10、一个角色标注序列，满足上述规则集的就是一个命名实体。命名实体识别之角色标注输入小区地址库和结构化订单地址，输出这些地址与小区的对应关系匹配小区的地址库形成画像标签选人中心基于用户画像的选人中心Right Time 天气、气温（内测中）18天气温度感受紫外线强度0-23-45-67-910+根据用户所在的天气、温度感受、紫外线强度等条件，进行实时投放目前正在内部投放测试中DMP19选人的投放渠道20精准人群21精准人群 1.0 ：用户统计学画像精准人群 2.0 ：用户行为精准人群 3.0 ：消费态度例如：“一线城市、家庭消费能力中上、白领、男性、 26-40 岁”例如：“在 1 号店购买过男性高

11、端洗发水的人群”例如：“在 1 号店购买过男性高端洗发水的人群，并且他们乐于尝试某几个品牌下的新产品”Right People ： 1.0 VS 2.022精准人群 1.0 ：用户统计学画像VS精准人群 2.0 ：基于用户行为测试活动 1 ： ROI 后者为前者的 57 倍测试活动 3 ： ROI 后者为前者的 90 倍测试活动 2 ： ROI 后者为前者的 75 倍 用户统计学画像基于用户行为优势覆盖量大适合转化品类新客精准劣势准确度有待提高可以捕获到的量有限结论：基于用户行为定向（ Behavior Targeting ）的精准度远远超越基于用户画像实时用户意图： Storm Topolo

12、gyTrackerKafkaSpoutTrackAnalysisBoltOrderSpoutJumper(自主研发)ActionBuildBoltIntentComputeBoltRecommenderBoltUserIDfieldsGrouping综合各个意图推荐商品列表 ;实际中得排除相关类目(Jumper)综合各个意图推荐商品列表 ;实际中得排除相关类目(Jumper)订单浏览、搜索、收藏等思考：为什么订单不用 Kafka?意图计算过程加入购物车完成了一半的意图购物车删除未完成的意图支付完成的意图浏览、搜索、导航、收藏判断意图是否完成，如果是，直接返回；获取完成了一半和未完成状态的意图，

13、如果空，设置当前意图到未完成意图；更新所有未完成意图 ，更新得分（遗忘因子衰减，如下）；更新所有半完成意图 ，更新得分（遗忘因子衰减，如下） ；设置当前意图到最近意图列表中。数据传递形式描述最少一次（ At-least-once）消息可能会再次发送（没有丢失的情况，但是会产生冗余）。最多一次（ At-most-once）忍受消息丢失的情况发生恰好一次（ Exactly-once）每条消息都被发送过一次且仅仅一次（没有丢失，没有冗余）。实现代价比较高消息消费可靠性回顾实时相关的框架消息传递形式StormAt Least Once;Exactly-Once with TridentSparkExa

14、ctly OnceKafka默认保证 At least once，允许通过设置 producer 异步提交来实现 At most onceSamza （基于Kafka ）At Least OnceJumper （ 1 号店自主研发）At Least Once （自行实现消息的幂等性）， broker自动应答；At-most-once ，客户端应答实时框架比较KafkaJumper完全手动，靠各个客户端控制， zookeeper 中记录客户端状态自主决策，服务端保存状态，统一处理和控制producer使用 push 模式；consumer 使用 pull模式；consumer 使用 push 模

15、型，及consumer server 拉取后推送给 consumer client依赖文件系统去存储和cache 消息用 mongodb 做消息堆积，方便查询历史；可维护性水平达不到可维护性强消息在某些条件下存在丢失的可能保证消息不丢，但是不保证消息的全局生成和消费顺序自主研发 Jumper推拉模式的适应场景不同，其中 jumper 的推模式实时性高，订单对意图变化最明显，用 jumper ；加车，浏览相对没那么实时，用 Kafka ；并且通过Jumper 把实时推荐的商品列表推送到前端用户画像数据流MR1: 抽取 user action 、产品基因关联信息MR2: 合并用户、产品信息Data

16、 Processor PipeLineMR3: 规则运算USER EXPLICIT PROFILE RULE匹配规则开始数据流处理HBASE运算结果写入 hbase34HIVE:Data BusUser actionUser statUser_id, gu_id mergeMerged user info规则计算方式规则计算方式：sigmod 是 logistic 的特殊形式 ，利用线性加权、衰减函数、 logisitic函数统计出用户对标签的兴趣值，在此基础上利用信息增益率评估用户对标签的关注程度利用线性加权、衰减函数、 logisitic 函数统计出用户对标签的兴趣值，在此基础上利用信息增

17、益率评估用户对标签的关注程度怎么做到的1. 用户偏好画像权重算法的不断迭代优化2. 引入 Storm 等实时技术3. 主题推荐标签、用户命名实体等新增标签补充进画像4.HBase 的离线和在线分离、 Hbase 的 KV 读和 Solr 的批量读分离5. 性能不断优化6. 数据存储改进画像系统的优化和改造画像系统的流程用户偏好类目的分布：画像模型优化 3覆盖用户数量28573189user_id13271190gu_id15301999主题推荐标签主题类目标签关键词数码极客手机通讯高端高端 有档次 上档次 大气 高贵 贵族 金属质感 金属机身 做工精细 奢华 拉风数码极客手机通讯性价比高低调

18、价廉物美 物有所值 价格合理 价格公道 强烈推荐主题和标签的映射关系：使用标签表中的关键词列表，结合商品的评论、标题数据给商品打标签。商品打标签公式为：用户打标签公式为： 黄牛小号判别得分注册异常用户判别得分积分获取异常用户得分跨区域购买用户日用品周期购买顾客价值得分促销敏感辣妈、丽人 注册用户转新客 PC 转移动 类目半新客转化 流失得分果粉吃货高品质生活家庭日用品手机数码达人礼物礼券 家庭用户 学生 公司白领 中老人 顾客职业的行业性别母婴年龄预测顾客消费层级顾客年龄地域气候饼干 / 糕点三高人群瘦身减脂独爱花香香甜鲜咸茶叶清热解暑补血益气清肝明目呵护女性健胃消食用户画像标签流行首饰恋恋深

19、情卡通图案平安乔迁金饰女装甜美文艺职业通勤个性街头妩媚性感气质名媛身体护理抗敏感滋润型中草药清香型防晒隔离公共儿时回忆懒人必备便携旅游送礼必备宴会待客基本特征社会身份顾客用户生命周期风险控制购物属性类目偏好类目标签（主题推荐）标签系统，连接所有数据Why Tag is the best choice?为什么标签系统是最好选择Tag 是信息与信息间的相关性的体现。一件事物，它有不同的属性，一个属性，它能被标注在不同事物上。这让我们有能力把不同的事物联系起来。而这，单凭原来的单一的“标题”模式是很难做到的。Tags may be a bottom-up type of classification

20、, compared to hierarchies, which are top-down. In a traditional hierarchical system (taxonomy), the designer sets out a limited number of terms to use for classification, and there is one correct way to classify each item. In a tagging system, there are an unlimited number of ways to classify an ite

21、m, and there is no wrong choice. Instead of belonging to one category, an item may have several different tags.The advantage of tag system 1 号店使用 tag 系统的优势 Flexible Cross object type AccessibleA flat information index system Provide super flexibility of key tag edit ,reorganize and reuse A index met

22、hod can represent every kind of information , especiallyFor item that lack of information Both can use by user and site operator,easy to adapt with search engine and Recommend system灵活 跨对象类型 易应用高度灵活的系统，非常便利的编辑重组和复用能力可以跨内容形式的表达不同内容并连接内容，特别是对于非文字类内容的信息表述用户和网站管理人员都可以使用，对搜索引擎和推荐系统都非常容易接入标签体系构建品牌 类目 属性 关

23、键词 评论 商品特征商品基础标签词场景标签用户标签高级聚合标签场景货架 导购文章 主题选品 主题营销 社会化聚类 热点聚类 活动聚类 季节性聚类人群聚类 爱好 消费行为 特定偏好主题推荐架构用户命名实体识别的标签用户群体数量公司覆盖 3558 家公司， 591 个行业 小区覆盖 293 个城市的 4.26 万个小区校园覆盖全国 1334 所高校422484224942250422514225200.050.10.150.080.070.10.080.084.96%4.59%4.52%4.43%4.59%人群细分推荐转化效果分析人群细分推荐普通推荐公司、小区、校园标签：校园、小区千人千面引擎优化

24、上线完整的地址处理系统包含三部分：地址结构化命名实体识别公司名识别模型的 F1 值（提高到 80.6% ）地址匹配应用应用索引索引画像基础数据 （ HBase ）画像基础数据 （ HBase ）Key 查询批量查询Solr 解决批处理选人调优相关表，提高读写性能根据画像表每一台机器的热点，迁移或者切分调优相关表，提高读写性能监控数据表 compaction老集群1离线集群老集群2离线表离线表在线集群在线表在线表离线服务在线服务离线在线生成 Hfile源文件HfileHBase 的离线和在线分离HBase 的离线和在线分离And曾经还尝试过什么但失败了 / 放弃了 ?实时画像和离线画像融合，实时

25、的权重融合进离线画像，最后权重算法过重，最终选择实时和离线画像分开。中间过程全部采用 HBase 存储未来想做：使用 HBase 镜像双集群Apache Ignite+ HBASE ：提高在线服务集群的稳定性和速度案例 ROI 分析画像系统使得公司广告投放 ROI 提升 3% ；实时画像（意图）对猜你喜欢栏位的贡献占比 60% 多上海品茶大轮播的 GMV 提升千分之三；应用到上海品茶猜你喜欢、团购、闪购、搜索、推荐、营销等栏位或者产品；了解受众群体的变迁，适时推出适合的产品；降低自营商品的采购数量，指导了厂商优化产品结构；栏位覆盖率统计（ 11.0211.08 ）：用户画像在大数据营销中的应用捕捉到用户画像标签属性的变迁调整新品无硅油去屑用户偏好画像的标签是通过用户的搜索、浏览、购买等所有的站内行为计算而来，针对标签的监控，可以体现用户的喜好和关注度的迁移变化。根据画像的校园和偏好标签做营销：男生买女性用品销量 = 暖男排行零食销量 = 吃货排行化妆品销量 = 颜值排行单反等销量 = 潮人排行安全套销量 = 性福排行；等等。46洗发水“ 无硅油”关键词洞察感谢您参加本届 MPD400-812-8020