《京东多模态商品营销文案自动生成实践-李浩然AICon2021-lhr.pdf》由会员分享,可在线阅读,更多相关《京东多模态商品营销文案自动生成实践-李浩然AICon2021-lhr.pdf(41页珍藏版)》请在三个皮匠报告上搜索。
1、京东多模态商品营销文案自动生成实践 李浩然 京东算法工程师自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望自然语言生成技术演变基于规则基于规则Penman(USC/ISI78)FOG(IEEE Expert94)1990s之前之前1990s2000s2015年年2017年年2019年年注意力机制注意力机制RNNsearch(ICLR15)AttNMT(EMNLP15)复制机制复制机制Pointer-Net(NIPS15)基于统计基于统计IBM models(COLING88)神经网络语言模型神经网络语言模型NNLM(N
2、IPS01)RNNLM(Interspeech10)预训练语言模型预训练语言模型MASS(ICML19)UniLM(NIPS19)噪声信道TS自注意力机制自注意力机制Transformer(NIPS17)可控文本生成可控文本生成输入增删输入文本调整文本结构/顺序词表禁用鼓励模型解码器/编码器初始化增加辅助任务模型框架优化可控商品文案生成商商品品信信息息商商品品文文案案大容量的设计不仅可以收纳碗筷,又能放下炒锅,为厨房节省空间。全包围的款式避免水和气的外漏,使用更省心。单臂7孔的喷淋能够强力冲刷残留污渍,让餐具达到无死角的清洁效果。可控商品文案生成品牌美的频率变频类型壁挂式商品知识图谱商品知识图
3、谱商详页文本商详页文本商品标题商品标题商品图片商品图片特性一级能效压缩机,节能省电颜色唯美绚丽白,点缀你的房间频率采用变频技术,快速制冷制热类型壁挂式空调,节省空间卖点卖点属性属性电机静音温度能效清洁送风操纵环保节能省电高效低耗要素要素要素词要素词商品营销短文商品营销短文这款美的壁挂式空调,唯美绚丽白,点缀你的房间。搭载一级能效压缩机,节能省电。智能温控系统让你享受舒适环境。输输出出模模型型卖卖点点与与要要素素输输入入编码器编码器文本编码器图片编码器解码器解码器受限解码复制机制集束搜索重集束搜索重排序模型排序模型预训练语预训练语言模型言模型抽取式自动抽取式自动摘要模型摘要模型可控商品文案生成京
4、东发现好货频道京东智能客服可控商品文案生成京东搭配购社交电商虚拟主播可控商品文案生成辅助创作平台1.输入商品ID2.生成营销短文3.卖点提取与分类5.卖点一键复制与编辑4.同类卖点短句展示自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望商品文案生成的技术挑战基本要求:看起来像人写的描述重要的内容流畅的表达尽量避免冗余信息进阶要求:多维度可控多样化的表达忠实于原商品近乎苛刻的流畅度要求自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望多样性控制多样
5、v.s.单调多样性控制多模态+商品要素多模态:理性的人注重功能感性的人注重外观商品要素:描述重要的要素流畅的要素表达避免冗余的要素信息空调电机静音温度外观清洁能效送风操纵质量环保节能省电高效低耗省钱要素类别要素词多样性控制多模态+商品要素多模态Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products.Haoran Li,Peng Yuan,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.多样性控制多模态+商品要素多模态Aspect-Aware Multim
6、odal Summarization for Chinese E-Commerce Products.Haoran Li,Peng Yuan,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.纯文本纯文本模型输出模型输出:时尚的两件套设计,省去搭配的烦恼,穿出不同种类的风格,选用优质的针织面料,手感细腻,具有良好的亲肤效果,穿着舒适不紧绷。多模态多模态模型输出模型输出:一款来自欧芮儿很时尚的套装,以橙色为主色调的条纹设计,靓丽吸睛,让你穿出不一样的时髦造型。针织的搭配,丰富视觉效果,凸显层次美感,木耳边的喇叭袖,增添潮流看点。结论结论:加
7、入图片后,外观描述增加多样性控制多模态+商品要素Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products.Haoran Li,Peng Yuan,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.商品要素:描述重要的要素-奖励能效一级产品类型 波轮能效三级产品类型 子母双筒多样性控制多模态+商品要素Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products.Haoran Li,P
8、eng Yuan,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.商品要素:避免冗余的要素信息,=tanh?1+,?,=?=11,=?=1?=1min?,?基于词的覆盖度机制基于要素的覆盖度机制,=?,=?=11,输入文本:输入文本:这款洗衣机变频直驱,低噪音,享受无杂音生活生成文案:生成文案:这款洗衣机的噪音非常小,无杂音要素覆盖词覆盖多样性控制多模态+商品要素Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products.Haoran Li,Peng Yua
9、n,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.商品要素:流畅的要素表达这款洗衣机10KG大容量,无线操控系统方便远程操作,可容纳大量衣物要素回跳要素:容量要素:操控要素:容量多样性控制商品卖点增强输入中有丰富的卖点多样性控制商品卖点增强复制输入中的卖点Get To The Point:Summarization with Pointer-Generator Networks.Abigail See,Peter J.Liu,Christopher D.Manning.ACL 2017.多样性控制商品卖点增强先识别输入中的卖点,再生成
10、文案Keywords-Guided Abstractive Sentence Summarization.Haoran Li,Junnan Zhu,Jiajun Zhang,Chengqing Zong,Xiaodong He.AAAI 2020.4.双重复制模块2.卖点选择性编码模块1.卖点识别模块3.双重注意力模块多样性控制商品卖点增强改进Transformer模型中的复制机制Transformer的全连接图TextRank的全连接图?=1?+2?+3?+Self-attention:隐层向量加权叠加不变的是,Self-attention的过程类似于Random Walk利用Self-at
11、tention的计算重要性分数,指导Copy概率11=112+221+322+Random Walk:重要性得分加权叠加多样性控制商品卖点增强改进Transformer模型中的复制机制Self-Attention Guided Copy Mechanism for Abstractive Summarization.Song Xu*,Haoran Li*,Peng Yuan,Youzheng Wu,Xiaodong He and Bowen Zhou.ACL 2020.多样性控制商品卖点增强改进Transformer模型中的复制机制Self-Attention Guided Copy Mech
12、anism for Abstractive Summarization.Song Xu*,Haoran Li*,Peng Yuan,Youzheng Wu,Xiaodong He and Bowen Zhou.ACL 2020.=1?log?,=softmax?+?,=softmax?=1?log?+KL?1?,?重要性指导局部复制概率重要性约束全局复制概率多样性控制商品卖点增强改进Transformer模型中的复制机制Self-Attention Guided Copy Mechanism for Abstractive Summarization.Song Xu*,Haoran Li*,P
13、eng Yuan,Youzheng Wu,Xiaodong He and Bowen Zhou.ACL 2020.自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望忠实性控制商品知识图谱增强商品知识图谱+商品详细介绍-商品摘要On the Faithfulness for E-commerce Product Summarization.Peng Yuan,Haoran Li,Song Xu,Youzheng Wu,Xiaodong He and Bowen Zhou.COLING 2020.忠实性控制商品知识图谱增强商
14、品知识图谱补齐Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product.Tiangang Zhu,Yue Wang,Haoran Li,Youzheng Wu,Xiaodong He and Bowen Zhou.EMNLP 2020.忠实性控制商品知识图谱增强商品知识图谱补齐Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product.Tiangang Zhu,Yue Wang,Haor
15、an Li,Youzheng Wu,Xiaodong He and Bowen Zhou.EMNLP 2020.模型模型属性类别识别属性类别识别属性值抽取属性值抽取对比模型LSTM85.76%82.92%BERT86.34%83.12%我们的模型JAVE(LSTM based)87.88%84.09%JAVE(BERT based)87.98%84.78%M-JAVE(LSTM based)90.19%86.41%M-JAVE(BERT based)90.69%87.17%忠实性控制商品属性复制Aspect-Aware Multimodal Summarization for Chinese
16、E-Commerce Products.Haoran Li,Peng Yuan,Song Xu,Youzheng Wu,Xiaodong He,Bowen Zhou.AAAI 2020.商品属性仅允许复制原始的复制机制改进的复制机制?定频?=?定频 输入?+?1?定频 词典?=0 0?定频?=?定频 输入?0?变频?=?变频 输入?0忠实性控制商品属性复制商品知识图谱+商品属性词复制On the Faithfulness for E-commerce Product Summarization.Peng Yuan,Haoran Li,Song Xu,Youzheng Wu,Xiaodong H
17、e and Bowen Zhou.COLING 2020.模型模型忠实度忠实度可读性可读性CopyNet64.33%4.39CopyNet+商品知识图谱72.00%4.43CopyNet+商品属性词复制80.33%4.37CopyNet+商品知识图谱+商品属性词复制83.33%4.40自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望流畅性控制领域预训练语言模型电商领域知识+电商领域预训练目标电商领域知识:商品品类、商品知识图谱、商品要素、商品卖点预训练目标:掩码语言模型、商品分类、要素边界检测、卖点摘要生成K-PLUG
18、:Knowledge-injected Pre-trained Language Model for Natural Language Understanding and Generation in E-Commerce.Song Xu*,Haoran Li*,Peng Yuan,Yujia Wang,Youzheng Wu,Xiaodong He,Ying Liu,Bowen Zhou.Findings of EMNLP 2021.流畅性控制集束搜索重排序神经网络语言模型+n-gram语言模型人工审核通过率由80%提升到超过95%触感柔软舒适,具有较好的耐磨。性解码候选触感柔软舒适,具有较好的耐磨。性性能触感柔软舒适,具有较好的耐磨性n-gram语言模型重排序传统的集束搜索结果改进的集束搜索结果自然语言生成技术与应用商品文案生成的技术挑战 文本多样性问题解决方案 文本忠实性问题解决方案文本流畅性问题解决方案总结和展望总结和展望自然语言生成技术越来越成为研究热点自然语言生成技术的应用场景广泛自然语言生成技术的应用存在挑战生成多模态内容个性化文本生成如何挖掘用户偏好如何解决数据稀疏