1、基于对比学习的文本生成方法姓名 安晨鑫公司 复旦大学职位 硕士研究生|01动机为什么要引入对比学习02方法我们如何解决这些问题的03实验5个生成任务，10个数据集04讨论我们如何才能做的更好目录CONTENT|01为什么要引入对比学习对比学习在文本生成中到底可以扮演一个什么样的角色？为什么在文本生成上应用对比学习|1Contrastive Learning with Adversarial Perturbations for Conditional Text Generation ICLR 2021引入对比学习可以带来 1）从表示学习学习中获益，有价值的样本可以帮助模型学到更有意义的特征和表示

2、 2）最近的研究1 表明对比学习可能是一个新的思路有助于缓解曝光偏差问题。曝光偏差(exposure bias)问题：指的是当前基于最大似然估计（MLE）训练的生成模型存在着测试和训练的不一致以至于损害模型的泛化性能。所谓曝光就是模型在训练阶段解码器只曝光给了正确的输入，而在测试阶段模型不得不基于他自己生成的字符来预测由此形成了测试和训练的偏差。应用对比学习可以缓解自回归模型的曝光偏差问题|如何从对比学习的角度来尝试解决这一问题？背景：对比学习的核心概念是要将正例拉近，负例推远。正负样本的选择标准：以将质量高的人类写的目标为正例，那么另外一些包含错误的序列就作为负例。缓解曝光偏差=将错误的样本

3、和正确的样本同时在训练阶段曝光给解码器并利用对比学习的损失函数进行训练让模型去区别真实标签那些包含错误的序列。一个简单的方法Nave-CL|1.正负例构建：一个简单的方法是选择 SimCLR的方式，锚点-编码器输入(source sequence),正样本-一般是人类写的标准目标语句（ground truth）,负样本-同一个batch中随机选择其他的目标语句2.对比学习损失函数:!#3.训练目标!$+!#4.解码策略:普通的Beam search算法其他构造正负样本的方法|Nave-CL 方法的一个明显的缺点是从同一个batch中随机选择的目标序列 非常容易区别 的前人已经对做出了一些改进，

4、这些改进主要涉及到扰动标准目标序列1.SSMBA（离散空间）:在离散空间添加扰动，如随机mask一些词让一个用masked language model 将那些词预测回去生成新的正样本2.Dropout:使用dropout机制类似于SimCSE，将groundtruth输入进带有dropout机制的decoder两次所得到的不同表示为一对正样本3.CLAPS(目前效果最好的方法):在embedding空间对ground truth加扰动通过和原来的序列语义变化的大小作为划分正负样本的依据Batch size 与选出ground truth准确率之间关系目前基于对比学习的文本生成方法仍然存在瓶颈

5、|1)正负例构建:尽管之前的方法已经做出了一定的改进，但是对目标序列进行扰动并不能反映模型当前可能会出现的错误2)对比学习损失函数:对比学习损失函数的选择也存在问题。InfoNCELoss 只区分正负但是会忽略掉负样本之间的差异性3)解码目标:仅仅是简单的使用普通的beam search算法意味着这里存在着训练目标和解码目标的不一致|02如何解决问题针对目前基于对比学习的框架存在的问题我们能做些什么改进？我们的改进 CoNT:Contrastive Neural Text Generation|我们做了 3 件事1.来自模型预测的来自模型预测的对比学习对比学习样例样例2.三元组的对比三元组的对

6、比损失函数损失函数3.为对比学习的目标所设计为对比学习的目标所设计的解码目标的解码目标我们的改进 CoNT:Contrastive Neural Text GenerationIWSLT14 De-En 翻译任务中的一个真实的例子Nave 方法中的解码器输入我们的方法中的模型输入我们的改进 CoNT:Contrastive Neural Text Generation|2.三元组的对比学习损失函数 是包含 个对比学习%,&,样本的pair集合 大小为 k(k-1)/2对于每个(,),+和-是由他们各自的bleu score决定的 分数高的在这个piar中就为中另外一个就为负3.解码目标：语言模

7、型打分(NLL建模)+序列相似度(CL建模)1.对比学习样例直接来自模型预测的结果：!,#$(|)我们的总体设计|03实验经过我们加强过的对比学习框架是否足够强大了？机器翻译 IWSLT14 De-En,WMT16 Ro-En,WMT14 En-De|使用建模差异性的loss所带来的收益使用不同正负样本构造方法所带来的差异文本摘要XSum,Multi-News|CoNT 大幅领先其他对比学习方法Earlier SOTA 只在pegasus large 之前最好的结果代码注释生成Python Java 和 数据到本文生成WikiBio|代码注释生成任务 给定一个函数输出它的作用给定一个结构化的输

8、入（infobox，table，xml等）输出其自然语言描述数据到文本的生成-TOTTO|和3B model取得on-par performance仅仅使用220M的base model 常识生成-CommonGen|所有的leaderboard 我们均只提交了一次常识生成 给定一些关键词 生成一个符合逻辑且通顺的句子|04讨论可能存在什么问题？可视化表示 模型学到了什么样的表示|蓝色的点 代表 同一个batch中的样例，橘色代表是从模型分布中采样出来的 绿色表示ground truth的 颜色越深代表和ground truth越相似序列相似度的权重 对模型最终性能的影响|图1实验的设置：正负

9、样本相同，使用不同的loss图2实验的设置：CoNT和nave CL使用损失函数相同均为三元组对比。但是正负样本相同分别来自模型预测和batch。MLE 为不做对比学习的baseline如何在你的代码中使用对比学习|在训练阶段你需要在一个额外的loss在预测阶段你需要略微修改一下之前的推理代码CoNT的优缺点|在实际推理中，引入Contrastive learning几乎不会带来明显的浮点数运算操作（FLOPs）因此不会造成更多能量的消耗（不费电），并且我们和MLE框架下训练的模型推理时长几乎是一模一样的（不影响速度）因此在实际部署中基于Contrastive learning训练的模型可以容

10、易地替换现有的使用MLE 训练的模型但是CoNT 的一个明显的缺点是：牺牲了训练的速度 CoNT的训练速度慢主要有三个方面训练代码分析|训练代码分析|训练代码分析|一些trade-off的方法|1.减小样本中来自模型分布的样本数量增大batch中的样本数量2.在验证集中对比学习的下降曲线在前1w步比较陡 可以考虑early stop利用序列的相似度进行协助解码|Ground truth:leave that up to us Hypothesis1：leave that quiet to us Hypothesis2：lets take that quietly leaveletsthatitIf beam size=2takegoquietupthatthis仅仅在beam search结束后再引入序列相似度作为额外的打分和postgeneration reranking有点相似序列相似度其实并没有特别影响search的过程这可能不是最优的。一个简单的方法考虑每生成K 步就计算和source的similarity 来决定beam的取舍非常感谢您的观看|