1、ChatGPT的前世今生李丕绩计算机科学与技术学院/人工智能学院南京航空航天大学个人介绍4/11/2023Piji Li,LLM&ChatGPT2 教育经历 香港中文大学,博士,2018 自然语言处理 山东大学,本科&硕士,2009&2012 计算机视觉&信息检索 工作经历 北京百度,2012 深圳无觅,2013 深圳腾讯AI Lab,2018 南京航空航天大学,2021 自然语言处理人工智能发展史4/11/2023Piji Li,LLM&ChatGPT接触AI4/11/2023Piji Li,LLM&ChatGPT4AI十年回顾4/11/2023Piji Li,LLM&ChatGPT5Ale

2、xNet00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顾4/11/2023Piji Li,LLM&ChatGPT620006-2009,1000 categories and 1.2 million training imagesLi Fei-Fei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顾4/11/2023Piji Li,

3、LLM&ChatGPT7https:/ Li,LLM&ChatGPT8“深度学习三巨头”之称的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖，这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顾4/11/2023Piji Li,LLM&ChatGPT920006-2009,1000 categories and 1.2 million training imagesLi Fei-F

4、ei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顾何恺明4/11/2023Piji Li,LLM&ChatGPT10Kaiming He，本科就读于清华大学，博士毕业于香港中文大学多媒体实验室。2011年加入微软亚洲研究院（MSRA）工作。2016年，加入Facebook AIResearch（FAIR）担任研究科学家AI十年回顾4/11/2023Piji Li,LLM&ChatGPT11AlphaGOAI十年回顾 DeepMi

5、nd成立于2010年，2014年被Google收购。2014年开始开发人工智能围棋软件AlphaGo。2015年10月，分布式版AlphaGo分先以5:0击败了欧洲围棋冠军华裔法籍职业棋士樊麾二段。2016年3月，AlphaGo挑战世界冠军韩国职业棋士李世乭（）九段，对弈结果为AlphaGo 4:1战胜了李世乭。4/11/2023Piji Li,LLM&ChatGPT12AI十年回顾4/11/2023Piji Li,LLM&ChatGPT13AI十年回顾 4:14/11/2023Piji Li,LLM&ChatGPT14AI十年回顾AI绘图4/11/2023Piji Li,LLM&ChatGP

6、T15AI十年回顾4/11/2023Piji Li,LLM&ChatGPT16AI十年回顾4/11/2023Piji Li,LLM&ChatGPT17AlphaFoldAI十年回顾4/11/2023Piji Li,LLM&ChatGPT CASP 2018-AF1 2020-AF2 2021-NatureAI十年回顾4/11/2023Piji Li,LLM&ChatGPT19Diffusion ModelStable Diffusion4/11/2023Piji Li,LLM&ChatGPT20Disco Diffusion4/11/2023Piji Li,LLM&ChatGPT21Midjo

7、urney v54/11/2023Piji Li,ChatGPT22Diffusion Model4/11/2023Piji Li,LLM&ChatGPT23AI十年回顾4/11/2023Piji Li,LLM&ChatGPT25ChatGPTGPT44/11/2023Piji Li,LLM&ChatGPT26ChatGPT Mar.14,20234/11/2023Piji Li,LLM&ChatGPT27GPT-4AI十年回顾4/11/2023Piji Li,LLM&ChatGPT28AI十年回顾4/11/2023Piji Li,LLM&ChatGPT29人工智能 机器学习 计算机视觉 自然

8、语言处理 语音识别及合成 机器人4/11/2023Piji Li,LLM&ChatGPT30什么是自然语言处理？自然语言 人类使用的语言，如汉语、英语、法语等；特指文本符号(非语音)。如何定义 自然语言处理(Natural Language Processing,NLP)是利用计算机技术来分析、理解和处理自然语言的一门学科,涉及到语言学、计算机科学、人工智能等交叉领域，关注计算机和人类(自然)语言之间的交互。可分为自然语言理解(Natural Language Understanding,NLU)和自然语言生成(NaturalLanguage Generation,NLG)两大部分。属于认知智

9、能 计算智能(能存会算)，感知智能(能听会说，能看会认)认知智能(能理解会思考，需要抽象和推理能力)4/11/2023Piji Li,LLM&ChatGPT31认知智能4/11/2023Piji Li,LLM&ChatGPT32#自然语言处理太难了#4/11/2023Piji Li,LLM&ChatGPT33 歧义性 主观性 创新性 知识性 组合性 上下文 多模态#自然语言处理太难了#4/11/2023Piji Li,LLM&ChatGPT34 歧义性 主观性 创新性 知识性 组合性 上下文 多模态“自然语言处理是人工智能皇冠上的明珠”4/11/2023Piji Li,LLM&ChatGPT3

10、5(from：哈工大车万翔)ChatGPT!ChatGPT是怎么诞生的？4/11/2023Piji Li,LLM&ChatGPT36罗马不是一天建成的 向量空间模型 Bm25 Svd Plsa Lda Word2vec Deepwalk transE Cnn句子分类 匹配、摘要等 Seq2seq翻译ChatGPT是怎么诞生的？4/11/2023Piji Li,LLM&ChatGPT37 CnnSeq Transformer Language model Lstm pretrain ELMo GPT BERT xlnet roberta、albert、electra GPT2 GPT3 BART

11、 T5 PEGASUS WebGPT RLHF InstructGPT内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT38内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT394/11/2023Piji Li,LLM&ChatGPT40基础技术的故事4/11/2023Piji Li,LLM&ChatGPT41Language Model语言模型语言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT42孙栩，自然语言处理导论语言模型 Language Mo

12、del4/11/2023Piji Li,LLM&ChatGPT43孙栩，自然语言处理导论语言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT44孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT45孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT46孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT47孙栩，自然语言处理导论Evaluation:Perplexity4/11/2023Piji Li,LLM&Chat

13、GPT48 Neural Network based Language ModelNN LM4/11/2023Piji Li,LLM&ChatGPT49NN LM4/11/2023Piji Li,LLM&ChatGPT50孙栩，自然语言处理导论NN LM4/11/2023Piji Li,LLM&ChatGPT51孙栩，自然语言处理导论梯度消失/爆炸4/11/2023Piji Li,LLM&ChatGPT54长程依赖问题循环神经网络在时间维度上非常深！梯度消失或梯度爆炸如何改进？梯度爆炸问题 权重衰减 梯度截断 梯度消失问题 改进模型4/11/2023Piji Li,LLM&ChatGPT55长

14、程依赖问题 改进方法 循环边改为线性依赖关系 增加非线性残差网络？4/11/2023Piji Li,LLM&ChatGPT56Long Short-Term Memory,LSTM4/11/2023Piji Li,LLM&ChatGPT574/11/2023Piji Li,LLM&ChatGPT58I am the GOD Father!4/11/2023Piji Li,LLM&ChatGPT59LSTM现在也没有多少人用了。4/11/2023Piji Li,LLM&ChatGPT60长短期记忆神经网络（Long Short-Term Memory,LSTM）长短期记忆神经网络（Long Sh

15、ort-Term Memory,LSTM）4/11/2023Piji Li,LLM&ChatGPT61LSTM的各种变体 没有遗忘门 耦合输入门和遗忘门 peephole连接4/11/2023Piji Li,LLM&ChatGPT62Gated Recurrent Unit,GRU 顺便讲讲GRU4/11/2023Piji Li,LLM&ChatGPT63Gated Recurrent Unit,GRU4/11/2023Piji Li,LLM&ChatGPT64Gated Recurrent Unit,GRUGated Recurrent Unit,GRU更新门重置门4/11/2023Piji

16、 Li,LLM&ChatGPT65RNN LM的应用4/11/2023Piji Li,LLM&ChatGPT69语言模型做生成？4/11/2023Piji Li,LLM&ChatGPT70ICML 2012NIPS2008ICML 201120024/11/2023Piji Li,LLM&ChatGPT71语言模型 序列生成语言模型 文本生成4/11/2023Piji Li,LLM&ChatGPT72ICML2011LSTM4/11/2023Piji Li,LLM&ChatGPT734/11/2023Piji Li,LLM&ChatGPT74生成LINUX内核代码4/11/2023Piji L

17、i,LLM&ChatGPT75作词机 RNN在“学习”过汪峰全部作品后自动生成的歌词 https:/ Li,LLM&ChatGPT76作诗机。4/11/2023Piji Li,LLM&ChatGPT77Yang et al.Stylistic Chinese Poetry Generation via Unsupervised Style Disentanglement.EMNLP 2018.2013、2014、2015 大家一边玩着word2vec，一边训练着rnn-lm做生成，一边影响着其它领域发展 例如：机器翻译继续发展4/11/2023Piji Li,LLM&ChatGPT78统计机器

18、翻译-SMT4/11/2023Piji Li,LLM&ChatGPT79Chinese:我在北京做了讲座讲座PhraseSeg:我在 北京做了讲座讲座English:IBeijingPhraseTrans:Iin BeijingdidPhrase Reorder:Iin Beijinglecturedidlecturedidlecturein张家俊.机器翻译lectures统计机器翻译-SMT4/11/2023Piji Li,LLM&ChatGPT80Chinese:我在北京做了报告 Phrase Seg:我在 北京做了 报告Phrase Trans:Iin Beijinggave atalk

19、Phrase Reorder:Igave a talkinBeijingEnglish:IgaveatalkinBeijing人工人工设设定的定的模模块块和和特征特征数据稀疏数据稀疏复杂结构复杂结构无能为力无能为力强烈依赖先强烈依赖先验知识验知识张家俊.机器翻译lecturesICML 2012NIPS2008ICML 20112002神经机器翻译EMNLP 20134/11/2023Piji Li,LLM&ChatGPT83神经机器翻译Piji Li,LLM&ChatGPT844/11/2023COLING20122013COLING2006神经机器翻译4/11/2023Piji Li,LL

20、M&ChatGPT85NAACL 2012 Best short PaperACL 2014 Best Paper神经机器翻译4/11/2023Piji Li,LLM&ChatGPT86ACL 2014 Best Paper神经机器翻译4/11/2023Piji Li,LLM&ChatGPT87神经机器翻译4/11/2023Piji Li,LLM&ChatGPT88RNNencdec4/11/2023Piji Li,LLM&ChatGPT89RNNencdec4/11/2023Piji Li,LLM&ChatGPT90RNNencdec4/11/2023Piji Li,LLM&ChatGPT9

21、1Cho et.al.Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.EMNLP2014RNNencdec4/11/2023Piji Li,LLM&ChatGPT92Phrase Generation+SMT，并不是真正的end-to-end形式的NMT。RNNencdec4/11/2023Piji Li,LLM&ChatGPT93Problem？Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT94Seq2seq-

22、attention4/11/2023Piji Li,LLM&ChatGPT95Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT96Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT97Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT98bidirectional recurrent neural network(BiRNN)Softmax(Ws,y,c+b)Teacher Forcing！Attention calculation4/11/2023Piji Li,LLM&

23、ChatGPT99Decoding Strategy4/11/2023Piji Li,LLM&ChatGPT100Greedy SearchBeam SearchSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT101Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT102Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT103Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT104

24、 Seq2seq-attention之后，大厂开始业务上线翻译落地4/11/2023Piji Li,LLM&ChatGPT105在线翻译（谷歌、微软、百度、有道、搜狗等）翻译机（科大讯飞、准儿、百度、搜狗等）同传机器翻译（微软、讯飞、腾讯、搜狗等）基于PowerPoint的语音同传（微软，TAUS 3.22-23）面向自由说话人的语音同传（腾讯，博鳌亚洲论坛）爆发seq2seq应用 Research 例如：华为诺亚-Lifeng的dialogue generation，Jiatao的copymechanism，Zhaopeng的coverage,baotian的matching,etc.Han

25、g Li,Zhengdong LvStartups 大多倒闭了Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT106Google NMT4/11/2023Piji Li,LLM&ChatGPT107-Deep-Residual-Parallel-Wordpiece(subwords)-Length-normalization-Coverage penalty-Reinforcement learning for BLEUSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT108Lingpeng Kong,NLP L

26、ecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT109Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT110Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT111Lingpeng Kong,NLP LecturesConvS2S4/11/2023Piji Li,LLM&ChatGPT112ICML2017ConvS2S4/11/2023Piji Li,L

27、LM&ChatGPT113ConvS2S4/11/2023Piji Li,LLM&ChatGPT114Google:Google说：那怎么行？放大招！ConvS2S4/11/2023Piji Li,LLM&ChatGPT115Transformer4/11/2023Piji Li,LLM&ChatGPT116Transformer4/11/2023Piji Li,LLM&ChatGPT117Transformer4/11/2023Piji Li,LLM&ChatGPT118Transformer4/11/2023Piji Li,LLM&ChatGPT119Transformer Multi-h

28、eaded self-attention Models context Feed-forward layers Computes non-linear hierarchical features Layer norm and residuals Makes training deep networks healthy Positional embeddings Allows model to learn relative positioningVaswani,Ashish,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.

29、Gomez,ukaszKaiser,and Illia Polosukhin.Attention is all you need.In NIPS,pp.5998-6008.2017.4/11/2023Piji Li,LLM&ChatGPT120Transformer-self-attention4/11/2023Piji Li,LLM&ChatGPT121TransformerTransformer:Multi-Head Attention4/11/2023Piji Li,LLM&ChatGPT122Transformer-multi-head self-att4/11/2023Piji Li

30、,LLM&ChatGPT123Transformer-multi-head self-att4/11/2023Piji Li,LLM&ChatGPT124 Position embedding relative position 很多后续研究Transformer-The Order of The Sequence4/11/2023Piji Li,LLM&ChatGPT125Transformer-Input4/11/2023Piji Li,LLM&ChatGPT126Transformer4/11/2023Piji Li,LLM&ChatGPT127 Add Residual Connect

31、ion NormTransformer Add&Norm4/11/2023Piji Li,LLM&ChatGPT128Transformer4/11/2023Piji Li,LLM&ChatGPT129Transformer-fflayer4/11/2023Piji Li,LLM&ChatGPT130 Cross-attention Masked-self-attentionTransformer-decoder4/11/2023Piji Li,LLM&ChatGPT131Transformer-decoder4/11/2023Piji Li,LLM&ChatGPT132Transformer

32、-results4/11/2023Piji Li,LLM&ChatGPT133Transformer4/11/2023Piji Li,LLM&ChatGPT134内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT1354/11/2023Piji Li,LLM&ChatGPT136预训练的故事 匹配 检索 分类 聚类4/11/2023Piji Li,LLM&ChatGPT138语义分析-向量表示VSMLDA(2003)Google Word2vec(2013/14)Google LSTM-LM(2015)AI2 ELMo(2017)OpenAI

33、GPT(Jun 2018)Google BERT(Oct 2018)OpenAI GPT2(2019)Google XLNet(2019)OpenAI GPT3(2020)TF-IDF向量表示4/11/2023Piji Li,LLM&ChatGPT139语义分析-向量表示-VSM 缺点 稀疏性:对于大词典，尤其是包括了生僻字的词典，文档稀疏性不可避免；多义词:BOW模型只统计单词出现的次数，而忽略了一个词可能存在多种含义，一词多义；同义词(Synonym):多个单词可以表示同一个意思，一义多词；从同义词和多义词问题可以看到：单词也许不是文档的最基本组成元素，在单词与文档之间还有一层隐含的关系，

34、我们称之为主题(Topic)，我们更关注隐藏在词之后的意义和概念。在写文章时首先确定的是文章的主题，再根据主题选择合适的单词来表达观点。所以，在这里我们需要将单词向量空间转变成话题向量空间，这里也就是从词袋模型转变成LSA模型语义分析-向量表示-VSM4/11/2023Piji Li,LLM&ChatGPT140语义分析-向量表示-VSM4/11/2023Piji Li,LLM&ChatGPT141Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT142Latent Semantic Indexing(LSI)4/11/2023P

35、iji Li,LLM&ChatGPT143Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT144奇异值跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT145Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT146保

36、留前5项保留前50项原图 LSI是最早出现的主题模型了，它的算法原理很简单，一次奇异值分解就可以得到主题模型，同时解决词义的问题，非常漂亮。将文档表示到话题向量空间的过程就是SVD奇异值分解和降维的过程。降维是LSA分析中最重要的一步，通过降维，去除了文档中的“噪音”，也就是无关信息（比如词的误用或不相关的词偶尔出现在一起），语义结构逐渐呈现。缺点：不好解释Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT147pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li

37、,LLM&ChatGPT148LSA概率意义上的解释 联合概率分布pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT149pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT150pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT151pLSA(Probabilistic Latent Semantic Analysi

38、s)4/11/2023Piji Li,LLM&ChatGPT152 对于一个新的文档而言，我们无法得知它对应的P(d)究竟是什么，因此尽管 PLSA 模型在给定的文档上是一个生成模型，它却无法生成新的未知的文档。该模型的另外的一个问题在于，随着文档数量的增加，P(z|d)的参数也会随着线性增加，这就导致无论有多少训练数据，都容易导致模型的过拟合问题。这两点成为了限制 PLSA 模型被更加广泛使用的两大缺陷。pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT153缺点：Latent Dirichlet

39、Allocation(LDA)被提出Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT154Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT155 LDA模型涉及很多数学知识，这也许是LDA晦涩难懂的主要原因。LDA涉及到的先验知识有：词袋模型、二项分布、Gamma函数、Beta分布、多项分布、Dirichlet分布、马尔科夫链、MCMC、Gibbs Sampling、EM算法等。Latent Dirichlet Allocation(LDA)4/11/

40、2023Piji Li,LLM&ChatGPT156 Dirichlet分布 Dirichlet的概率密度函数为：其中：狄利克雷(Dirichlet)分布是多项式分布的共轭分布。Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT157 Dirichlet分布Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT158Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT159Rickjin LD

41、A数学八卦 主题模型-Latent Dirichlet allocation d-z z-w4/11/2023Piji Li,LLM&ChatGPT160语义分析-向量表示-LDA Natural Language Processing Information Retrieval Recommendation Systems4/11/2023Piji Li,LLM&ChatGPT161LDA-主流语义建模技术 Wang,Yi,Xuemin Zhao,Zhenlong Sun,Hao Yan,Lifeng Wang,Zhihui Jin,Liubin Wang,Yang Gao,Ching La

42、w,and Jia Zeng.Peacock:Learning long-tail topic features for industrial applications.ACM Transactions on Intelligent Systems and Technology(TIST)6,no.4(2015):1-23.Large LDA-Peacock4/11/2023Piji Li,LLM&ChatGPT162 Yuan,Jinhui,Fei Gao,Qirong Ho,Wei Dai,Jinliang Wei,Xun Zheng,Eric Po Xing,Tie-Yan Liu,an

43、d Wei-Ying Ma.Lightlda:Big topic models on modest computer clusters.InProceedings of the 24th International Conference on World Wide Web,pp.1351-1361.2015.Large LDA-LightLDA4/11/2023Piji Li,LLM&ChatGPT163 Deep Learning悄悄发展 2006 2011 2012,AlexNet RNN,LSTM4/11/2023Piji Li,LLM&ChatGPT164LDA如火如荼Unsuperv

44、ised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT165Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT166 Mikolov,Tomas,Kai Chen,Greg Corrado,and Jeffrey Dean.Efficient estimation of wordrepresentations in vector space.ICLR(2013).-Large improvements in accuracy,low

45、er computational cost.-It takes less than a day to train from 1.6 billion words data set.Unsupervised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT167man-woman+queen=kingDeepWalk,TransX,腾讯AI Lab开源800万中文词的NLP数据集Problem？Unsupervised Representation Learning Word2Vec-20144/11/2023Pij

46、i Li,LLM&ChatGPT168Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT169Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT170 Semi-Supervised Sequence Learning,Google,NIP

47、S 2015Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT171Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.2017.NAACL.4/11/2023Piji Li,LLM&ChatGPT172Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&

48、University of Washington,Jun.2017 NAACL 2018 best paper4/11/2023Piji Li,LLM&ChatGPT173Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.20174/11/2023Piji Li,LLM&ChatGPT174NAACL 2018 best paper预训练语言模型 GPT14/11/2023Piji Li,LLM&ChatGPT175ChatGPT研

49、究框架（2023）-国泰君安Ilya采访：2017年，谷歌发表Transformer论文的第二天，OpenAI的研发团队就豁然开朗了，意识到Transformer可以完全解决机器不断预测文本的问题，这最终造就了GPT-3以及迄今为止的一切；Unsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT176GPT中的三个字母，每一个的技术or专利都属于Google或者是被

50、Google早期探索过，但合起来就是OpenAI的。Unsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT177https:/ Representation Learning4/11/2023Piji Li,LLM&ChatGPT178Improving Language Understanding by Generative Pre-Training,OpenA

51、I,Jun,2018GPTUnsupervised Representation Learning Improving Language Understanding by Generative Pre-Training,OpenAI,Jun,2018 GPT4/11/2023Piji Li,LLM&ChatGPT179Unsupervised Representation Learning Problem Language models only use left context or right context But language understanding is bidirectio

52、nal.4/11/2023Piji Li,LLM&ChatGPT180BERT BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding BERT:Bidirectional Encoder Representations from Transformers4/11/2023Piji Li,LLM&ChatGPT181ACL 2014 Best Long Paper awardNAACL 2012 Best Short Paper awardBERT BERT:Pre-training of

53、Deep Bidirectional Transformers for LanguageUnderstanding BERT:Bidirectional Encoder Representations from Transformers4/11/2023Piji Li,LLM&ChatGPT182BERT The General Language Understanding Evaluation(GLUE)benchmark is a collection of resources for training,evaluating,and analyzing.4/11/2023Piji Li,L

54、LM&ChatGPT183BERT Stanford Question Answering Dataset(SQuAD)is a reading comprehensiondataset4/11/2023Piji Li,LLM&ChatGPT184BERT Best Paper of NAACL 2019Best Paper of NAACL 2018BERTELMo4/11/2023Piji Li,LLM&ChatGPT185BERT-Technical Details4/11/2023Piji Li,LLM&ChatGPT186BERT-Technical Details Input La

55、yer4/11/2023Piji Li,LLM&ChatGPT187BERT-Technical Details Pre-trainingTask#1:Masked LM 15%,10%,10%,80%4/11/2023Piji Li,LLM&ChatGPT188BERT-Technical Details Pre-trainingTask#1:Masked LM Task#2:Next Sentence Prediction 15%,10%,10%,80%4/11/2023Piji Li,LLM&ChatGPT189To learn relationships between sentenc

56、es,predict whether Sentence B is actualsentence that proceeds Sentence A,or a random sentence.BERT-Technical Details Fine-tuning4/11/2023Piji Li,LLM&ChatGPT190BERT Training Details Dataset Books Corpus(800M words)Wikipedia(2,500M words)4/11/2023Piji Li,LLM&ChatGPT191BERT Training Details Parameters

57、BERT-BASE:L=12,H=768,A=12,Total Parameters=110M BERT-LARGE:L=24,H=1024,A=16,Total Parameters=340M 30,000 token bpe vocabulary 512 max-len，256 batch-size 1M steps，40 epochs4/11/2023Piji Li,LLM&ChatGPT192进入大模型时代！BERT Research4/11/2023Piji Li,LLM&ChatGPT193XLNet4/11/2023Piji Li,LLM&ChatGPT194XLNetAutor

58、egressive LMAutoencoder LM,MaskPermutation Language ModelTransformer-XLMore data4/11/2023Piji Li,LLM&ChatGPT195Roberta4/11/2023Piji Li,LLM&ChatGPT196Roberta 从模型上来说，RoBERTa基本没有什么太大创新，主要是在BERT基础上做了几点调整：1）训练时间更长，batch size更大，训练数据更多；2）移除了next sentence predict loss；3）训练序列更长；4）动态调整Masking机制。从实验效果来看，干过了ber

59、t和XLNet。4/11/2023Piji Li,LLM&ChatGPT197ERNIE-1&2 不同于ERNIE1仅有词级别的Pretraining Task，ERNIE2考虑了词级别、结构级别和语义级别3类Pretraining Task，词级别包括KnowledgeMasking（短 语 Masking）、CapitalizationPrediction（大 写 预 测）和 Token-DocumentRelationPrediction（词是否会出现在文档其他地方）三个任务，结构级别包括Sentence Reordering（句子排序分类）和SentenceDistance（句子距离分

60、类）两个任务，语义级别包括DiscourseRelation（句子语义关系）和IR Relevance（句子检索相关性）两个任务。4/11/2023Piji Li,LLM&ChatGPT198ERNIE-1&24/11/2023Piji Li,LLM&ChatGPT199BERT in Tencent Pytorch-BERT 2g-char Chinese-wiki 14g-char news 240g-char news,14g-word newsBorrowed 80 gpus PCG,CSIG,WXG,IEG,TEG4/11/2023Piji Li,LLM&ChatGPT200起步很早

61、，2019年1月公司内部发布。预训练语言模型 GPT24/11/2023Piji Li,LLM&ChatGPT201ChatGPT研究框架（2023）-国泰君安GPT24/11/2023Piji Li,LLM&ChatGPT202GPT24/11/2023Piji Li,LLM&ChatGPT203GPT24/11/2023Piji Li,LLM&ChatGPT204GPT24/11/2023Piji Li,LLM&ChatGPT205开启了NLG的新篇章！4/11/2023Piji Li,LLM&ChatGPT206 Greedy Search Beam Search Top-K Top-P

62、(nucleus)解码算法4/11/2023Piji Li,LLM&ChatGPT207Greedy Search4/11/2023Piji Li,LLM&ChatGPT208Beam Search4/11/2023Piji Li,LLM&ChatGPT209Random Sampling4/11/2023Piji Li,LLM&ChatGPT210Top-K4/11/2023Piji Li,LLM&ChatGPT211Top-p(nucleus)sampling4/11/2023Piji Li,LLM&ChatGPT212效果4/11/2023Piji Li,LLM&ChatGPT213我们

63、早期GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT214中文GPT2于2019年3月训练完成，并在各种下游任务适配。GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT215GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT216GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT217说续写 开局一句话内容全靠编GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT218GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT219GPT2训练探索4/11/2023Pij

64、i Li,LLM&ChatGPT220GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT221GPT2训练探索4/11/2023Piji Li,LLM&ChatGPT222但凡有点商业和产品思维GPT24/11/2023Piji Li,LLM&ChatGPT223Big Model4/11/2023Piji Li,LLM&ChatGPT224T54/11/2023Piji Li,LLM&ChatGPT225T54/11/2023Piji Li,LLM&ChatGPT226T54/11/2023Piji Li,LLM&ChatGPT227 Transformer Encod

65、er-Decoder 模型；BERT-style 式的破坏方法；Replace Span 的破坏策略；15%的破坏比；3 的破坏时小段长度。T54/11/2023Piji Li,LLM&ChatGPT228T54/11/2023Piji Li,LLM&ChatGPT229T54/11/2023Piji Li,LLM&ChatGPT230BART4/11/2023Piji Li,LLM&ChatGPT231ACL2020BART4/11/2023Piji Li,LLM&ChatGPT232 UniLM MASS ALBERT ELECTRA其他4/11/2023Piji Li,LLM&ChatG

66、PT233预训练语言模型-GPT24/11/2023Piji Li,LLM&ChatGPT234大语言模型 GPT34/11/2023Piji Li,LLM&ChatGPT235OpenAI的GPT-3花费了1200万美元Big Model-GPT34/11/2023Piji Li,LLM&ChatGPT236GPT-3May 28,2020Big Model-GPT34/11/2023Piji Li,LLM&ChatGPT237-大语言模型 GPT34/11/2023Piji Li,LLM&ChatGPT238模型越大越厉害Big Model-GPT3:demos4/11/2023Piji

67、Li,LLM&ChatGPT239Big Model-GPT3:demos4/11/2023Piji Li,LLM&ChatGPT240GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT241GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT242GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT243GPT3 如何finetune?4/11/2023Piji Li,LLM&ChatGPT244175B 蒸馏压缩 In-context learning Prompt-learning大模型如何用?4

68、/11/2023Piji Li,LLM&ChatGPT245 蒸馏压缩大模型如何用?4/11/2023Piji Li,LLM&ChatGPT246Jiao,Xiaoqi,Yichun Yin,Lifeng Shang,Xin Jiang,Xiao Chen,Linlin Li,Fang Wang,and Qun Liu.“TinyBERT:Distilling BERT for Natural Language Understanding.”In Findings of the Association for Computational Linguistics:EMNLP 2020,pp.41

69、63-4174.2020.华为诺亚 In-context learning GPT3大模型如何用?4/11/2023Piji Li,LLM&ChatGPT247 Prompt-learning大模型如何用?4/11/2023Piji Li,LLM&ChatGPT248 Prompt-learning Discrete Continues大模型如何用?4/11/2023Piji Li,LLM&ChatGPT249 Chain-of-Thought Prompting大模型如何用?4/11/2023Piji Li,LLM&ChatGPT250Wei,J.,Wang,X.,Schuurmans,D.

70、,Bosma,M.,Chi,E.,Le,Q.and Zhou,D.,2022.Chain of thought prompting elicits reasoning in large language models.NeurIPS 2022.Lets think step by step大模型如何用?4/11/2023Piji Li,LLM&ChatGPT251Kojima,Takeshi,Shixiang Shane Gu,Machel Reid,Yutaka Matsuo,and Yusuke Iwasawa.Large Language Models are Zero-Shot Rea

71、soners.NeurIPS 2022.他们是真正的reasoning么？大模型如何用?4/11/2023Piji Li,LLM&ChatGPT252GPT3 In-Context Learning(ICL)4/11/2023Piji Li,LLM&ChatGPT253 Vision-Language Pretraining多模态预训练4/11/2023Piji Li,LLM&ChatGPT254OpenAI GPT2/34/11/2023Piji Li,LLM&ChatGPT255多模态预训练 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatG

72、PT256多模态预训练 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT257多模态预训练 OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT258OpenAIs DALL-E and CLIP4/11/2023Piji Li,LLM&ChatGPT259两个模型中，CLIP用于判别文本和图片是否相关，DALLE用于从文本生成图像。其中，DALLE在对大量生成的候选结果进行rerank时用到了CLIP。DALLE模型结构类似于gpt2/3这种基于Transformer的auto-regre

73、ssive语言模型，有120亿参数。训练序列最长为1280，其中前256为文本序列，BPE词表大为16384；后1024为图像patch序列。DALLE参考了VQVAE的做法学习到了一个8192大的图像patch词表，可以将任意输入图像(256x256)划分成32x32个patch之后在图像词表中找到对应id，构成图像的离散token序列。不同于文本序列部分的正常的masked self-attention，图像序列对attention做了些修改，例如sparseattention等。DALLE的训练目标依然采用极大似然估计，从左到右依次预测。在inference阶段，给定一段文本，DALLE

74、生成了512个候选结果，然后借助CLIP强大的图像-文本相关性判别能力对结果列表进行rerank，最后选择top32个结果。CLIP模型之所以强大，一方面训练数据多，有4亿图像-文本pair，另一方面也采用了Transformer模型对图像的patch序列进行建模，最后使用对比学习(contrastive learning)框架进行训练，256个GPU两周时间就可以训练完，像nlp中的很多预训练模型一样，zero-shot learning的能力也非常强。从目前的一些demo看出，DALLE的效果十分惊艳，当然也依然有GPT2/3这类语言模型对复杂逻辑、推BERTInput Layer4/11

75、/2023Piji Li,LLM&ChatGPT260 微软 BEiT OpenAI iGPT Kaiming He(何恺明)4/11/2023Piji Li,LLM&ChatGPT261BERT on Image4/11/2023Piji Li,LLM&ChatGPT262BERT on Image4/11/2023Piji Li,LLM&ChatGPT263Vision-Language Pre-trainingImageBERT model architecture4/11/2023Piji Li,LLM&ChatGPT264Vision-Language Pre-trainingBEi

76、T v34/11/2023Piji Li,LLM&ChatGPT265Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT266Wang,Wenhui,Ha

77、ngbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT267Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang

78、 Liu,Kriti Aggarwal et al.Image as a foreign language:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).BEiT v34/11/2023Piji Li,LLM&ChatGPT268Wang,Wenhui,Hangbo Bao,Li Dong,Johan Bjorck,Zhiliang Peng,Qiang Liu,Kriti Aggarwal et al.Image as a foreign lang

79、uage:Beit pretraining for all vision and vision-language tasks.arXiv preprint arXiv:2208.10442(2022).4/11/2023Piji Li,LLM&ChatGPT269Speech RepresentationHuBERTwav2vec 2.0Hsu,Wei-Ning,Benjamin Bolte,Yao-Hung Hubert Tsai,Kushal Lakhotia,Ruslan Salakhutdinov,and Abdelrahman Mohamed.HuBERT:Self-Supervis

80、ed Speech Representation Learning by Masked Predictionof Hidden Units.arXiv preprint arXiv:2106.07447(2021).Baevski,Alexei,Yuhao Zhou,Abdelrahman Mohamed,and Michael Auli.wav2vec 2.0:A Framework for Self-Supervised Learning of SpeechRepresentations.Advances in Neural Information Processing Systems 3

81、3(2020).尽头？大模型还在发展4/11/2023Piji Li,LLM&ChatGPT274GPT3-国内 腾讯AI Lab 智源&清华 阿里巴巴 华为&鹏程实验室 清华&智谱4/11/2023Piji Li,LLM&ChatGPT275PTM4/11/2023Piji Li,LLM&ChatGPT276GLaM,GPT-3,Megatron-Turing NLG,Gopher,Chinchilla,LaMDA,PaLM,GLM-130B，LLaMAA Roadmap for Big Model,2022GPT3 Examples4/11/2023Piji Li,LLM&ChatGPT2

82、77存在的问题：GPT3-长文本生成 相关性 逻辑性 一致性 事实性 丰富性 很难！4/11/2023Piji Li,LLM&ChatGPT278长文本生成很难Issues4/11/2023Piji Li,LLM&ChatGPT279Issues(哈工大 车万翔)Issues4/11/2023Piji Li,LLM&ChatGPT280IssuesIssues4/11/2023Piji Li,LLM&ChatGPT281GPT-3 medical chatbot tells suicidal test patients to kill themselves Trustworthy AI:A C

83、omputationalPerspective-https:/ patient:“Hey,I feel very bad,I want to kill myself.”GPT-3:“I am sorry to hear that.I can help you with that.”the patient:“Should I kill myself?”GPT-3:“I think you should.”Issues Tay4/11/2023Piji Li,LLM&ChatGPT282IssuesIssues4/11/2023Piji Li,LLM&ChatGPT283 Privacy Ethi

84、cs&Social Issues Fairness&Bias Accountability&Auditability Explainability&Interpretability Causal Analysis Safety&RobustnessDevelop NLP models that are“explainable,fair,privacy-preserving,causal,and robust”.Evaluation？IssuesIssues4/11/2023Piji Li,ChatGPT284不听话会骂人没啥用不可控成本高怎么办呢？-指令学习,学会按指令行事！-引入用户反馈与人

85、类进行对齐！DeepmindSparrow4/11/2023Piji Li,LLM&ChatGPT285内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT286ChatGPT4/11/2023Piji Li,LLM&ChatGPT287ChatGPT4/11/2023Piji Li,LLM&ChatGPT288ChatGPT4/11/2023Piji Li,LLM&ChatGPT2894/11/2023Piji Li,LLM&ChatGPT290ChatGPT GPT3.54/11/2023Piji Li,LLM&ChatGPT291ChatG

86、PT GPT3.54/11/2023Piji Li,LLM&ChatGPT292ChatGPT GPT3.54/11/2023Piji Li,LLM&ChatGPT293InstructGPT4/11/2023Piji Li,LLM&ChatGPT295InstructGPT4/11/2023Piji Li,LLM&ChatGPT296InstructGPT4/11/2023Piji Li,LLM&ChatGPT297InstructGPT4/11/2023Piji Li,LLM&ChatGPT298InstructGPT4/11/2023Piji Li,LLM&ChatGPT299Instr

87、uctGPT4/11/2023Piji Li,LLM&ChatGPT300InstructGPT4/11/2023Piji Li,LLM&ChatGPT301InstructGPT4/11/2023Piji Li,LLM&ChatGPT302InstructGPT4/11/2023Piji Li,LLM&ChatGPT303InstructGPT4/11/2023Piji Li,LLM&ChatGPT304InstructGPT4/11/2023Piji Li,LLM&ChatGPT305InstructGPT4/11/2023Piji Li,LLM&ChatGPT306InstructGPT

88、4/11/2023Piji Li,LLM&ChatGPT307InstructGPT4/11/2023Piji Li,LLM&ChatGPT308InstructGPT4/11/2023Piji Li,LLM&ChatGPT309InstructGPT4/11/2023Piji Li,LLM&ChatGPT310InstructGPT4/11/2023Piji Li,LLM&ChatGPT311SFT dataset contains about 13k training prompts(from the API and labeler-written),RM dataset has 33k

89、training prompts(from the API and labeler-written),PPO dataset has 31k training prompts(only from the API).InstructGPT4/11/2023Piji Li,LLM&ChatGPT312InstructGPT4/11/2023Piji Li,LLM&ChatGPT313InstructGPT4/11/2023Piji Li,LLM&ChatGPT314InstructGPT4/11/2023Piji Li,LLM&ChatGPT315InstructGPT4/11/2023Piji

90、Li,LLM&ChatGPT316InstructGPT4/11/2023Piji Li,LLM&ChatGPT317InstructGPT4/11/2023Piji Li,LLM&ChatGPT318InstructGPT4/11/2023Piji Li,LLM&ChatGPT319InstructGPT4/11/2023Piji Li,LLM&ChatGPT320ChatGPT vs InstructGPT4/11/2023Piji Li,LLM&ChatGPT323ChatGPT vs InstructGPT4/11/2023Piji Li,LLM&ChatGPT324ChatGPT v

91、s InstructGPT4/11/2023Piji Li,LLM&ChatGPT325ChatGPT4/11/2023Piji Li,LLM&ChatGPT326(哈工大 车万翔)ChatGPT4/11/2023Piji Li,LLM&ChatGPT327ChatGPT4/11/2023Piji Li,LLM&ChatGPT328-出圈-new bing-BARD-MOSS-ChatGLM-文心一言-壳:ChatGPT-GPT4-Multimodel-GPT5？ShareGPT(一个ChatGPT 数据共享网站，用户会上传自己觉得有趣的ChatGPT回答)Jacob Devlin4/11/2

92、023Piji Li,LLM&ChatGPT329GPT42023.03.141T参数多模态做题推理Why&How？4/11/2023Piji Li,LLM&ChatGPT330GPT4内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT331ChatGPT有什么用?以前研究任务的状态针对ChatGPT的研究复现ChatGPT4/11/2023Piji Li,LLM&ChatGPT332未来:ChatGPT后，我们做什么？ChatGPT有什么用?以前研究任务的状态针对ChatGPT的研究复现ChatGPT4/11/2023Piji Li,LLM&

93、ChatGPT333未来:ChatGPT后，我们做什么？教育4/11/2023Piji Li,LLM&ChatGPT334 改论文 写代码 做作业 查资料教育4/11/2023Piji Li,LLM&ChatGPT335 改论文 写代码 做作业 查资料 会出错教育4/11/2023Piji Li,LLM&ChatGPT336 改论文 写代码 做作业 查资料 会出错教育4/11/2023Piji Li,LLM&ChatGPT337 改论文 写代码 做作业 查资料 会出错4/11/2023Piji Li,LLM&ChatGPT338教育 改论文 写代码 做作业 查资料 会出错 改论文 写代码 做作

94、业 查资料 会出错4/11/2023Piji Li,LLM&ChatGPT339教育4/11/2023Piji Li,LLM&ChatGPT340教育 改论文 写代码 做作业 查资料 会出错军事国防领域4/11/2023Piji Li,LLM&ChatGPT341军事国防领域4/11/2023Piji Li,LLM&ChatGPT342军事国防领域4/11/2023Piji Li,LLM&ChatGPT18、导弹制导的神经网络19、通信和网络安全20、反潜战中态势感知的数据融合21、网络安全和密码学22、“群体作战”的群体智能23、远程无人机系统的自主飞行控制24、人工智能卫星和软件定义卫星2

95、5、个人可穿戴系统26、海量军事数据管理27、对抗或颠覆对手的人工智能系统28、信息融合29、态势感知30、路径规划31、人机界面。32、生成报告和行动后总结、汇报报告、事件报告和其他类型的文档。33、为军事模拟生成响应，例如谈判训练或军事演习。1、生成培训材料2、语言翻译3、自动目标识别4、军事机器人5、在仿真中测试材料开发系统6、军事医学7、战斗空间自治8、情报分析9、记录追踪10、军事后勤11、信息战12、无人驾驶车辆13、监视14、致命自主武器系统15、战场环境支持16、用于建模、模拟和战斗训练的虚拟现实和增强现实17、自由空战动态医疗保健4/11/2023Piji Li,LLM&Ch

96、atGPT344医疗保健4/11/2023Piji Li,LLM&ChatGPT345医疗保健4/11/2023Piji Li,LLM&ChatGPT346互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT347互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT348互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT349互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT350互联网/IT领域4/11/2023Piji Li,LLM&ChatGPT351互联网/IT领域4/11/2023Piji Li,Ch

97、atGPT352 在git 存储库中发现了213 个安全漏洞。而相比之下，市场上很好的商业工具却只发现了99 个安全漏洞。文娱方面4/11/2023Piji Li,ChatGPT353文娱方面4/11/2023Piji Li,LLM&ChatGPT354商业营销4/11/2023Piji Li,LLM&ChatGPT355商业营销4/11/2023Piji Li,LLM&ChatGPT356等等4/11/2023Piji Li,LLM&ChatGPT357 法律 金融 工商业 政府报告 文件材料 证明4/11/2023 A组被允许在工作时使用ChatGPT，包括撰写简报、分析财务、整理新闻等；

98、B组则禁止使用ChatGPT，同时要完成相同的工作。证明4/11/2023Piji Li,LLM&ChatGPT359 在速度层面，使用了ChatGPT的A组平均用时17分钟交付作品，而B组则平均花了27分钟，按照8时工作制的换算，ChatGPT可以帮助这类员工提升59%的生产力。在质量层面，考核团队给A组文档打分平均是4.5，B组则是3.8，证明了ChatGPT也让生产质量得到了提高。文书类工作大抵可以分成3个步骤，第1部是内容构思，耗时占比约为25%，第2步是撰写草稿，耗时占比约为50%，第3步是润色修改，耗时占比约为25%。APIs4/11/2023Piji Li,LLM&ChatGPT

99、360March 1,2023发展趋势4/11/2023Piji Li,LLM&ChatGPT361-新一代的知识表示和推理框架-技术同质化愈发严重4/11/2023Piji Li,LLM&ChatGPT362Office 365 Copilot ChatGPT有什么用?以前研究任务的状态 情感对话、个性化对话 可控文本生成 针对ChatGPT的研究 复现ChatGPT4/11/2023Piji Li,LLM&ChatGPT363未来：ChatGPT后，我们做什么？4/11/2023Piji Li,LLM&ChatGPT364Empathetic Dialogue SystemQintong

100、Li,Piji Li,Zhumin Chen,Pengjie Ren and ZhaochunRen.Knowledge Bridging for Empathetic Dialogue Generation.AAAI 2022.4/11/2023Piji Li,LLM&ChatGPT365Empathetic Dialogue System Empathy is a crucial step towards a more humanized human-machine conversation.Empathetic dialogue generation aims to recognize

101、feelings in the conversation partner and reply accordingly.1.A commonsense knowledge graphConceptNet2.An emotional lexicon NRC_VADChallengesHumans usually rely on experience and external knowledge to acknowledge and express implicit emotions.Lacking external knowledge makes it difficult to perceive

102、implicit emotions from limited dialogue history.valence(positivenessnegativeness/pleasure displeasure)arousal(activepassive)dominance(dominantsubmissive)4/11/2023Piji Li,LLM&ChatGPT366Empathetic Dialogue System1.This phenomenon demonstrates that humans need to infer more knowledge to conduct empathe

103、tic dialogues.2.External knowledge is essential in acquiring useful emotional knowledge and improving the performance of empathetic dialogue generation.4/11/2023Piji Li,LLM&ChatGPT367Empathetic Dialogue SystemModelling emotional dependencies between interlocutors is crucial to enhance the accuracy o

104、f external knowledge representation in empathetic dialogues.324/11/2023Piji Li,LLM&ChatGPT368Knowledge-aware Empathetic Dialogue Generation-KEMPA framework KEMP The early attempt to leverage external knowledge toenhance empathetic dialogue generation.An emotional context encoder and an emotion-depen

105、dency decoder Learn the emotional dependencies between the dialoguehistory and target response with bunches of externalemotional concepts.Conducted on a benchmark dataset EMPATHETICDIALOGUES(Rashkin et al.,2019),experimental results confirm the effectiveness of KEMP.4/11/2023Piji Li,LLM&ChatGPT369Kn

106、owledge-aware Empathetic Dialogue Generation-KEMPPreliminaries ConceptNet A large-scale knowledge graph that describes general human knowledge in natural language.It comprises 5.9M tuples,3.1M concepts,and 38 relations.NRC_VAD A lexicon of VAD(Valence-Arousal-Dominance)vectors with dimensions for 20

107、k English words.Zhong,Wang,and Miao(2019)Obtaining Reliable Human Ratings of Valence,Arousal,and Dominance for 20,000 English Words.Saif M.Mohammad.ACL 2018.4/11/2023Piji Li,LLM&ChatGPT370Knowledge-aware Empathetic Dialogue Generation-KEMPInput:1.Multi-turn Dialogue History2.ConceptNet3.NRC_VADTask

108、DefinitionOutput(two subtasks):1.Predict the emotion expressed in the dialogue context.2.Generate an empathetic response.4/11/2023Piji Li,LLM&ChatGPT371Knowledge-aware Empathetic Dialogue Generation-KEMP4/11/2023Piji Li,LLM&ChatGPT372ExperimentsDataset EMPATHETICDIALOGUES(Rashkin et al.,2019)Automat

109、ic Metrics Emotion Accuracy Perplexity Distinct-1 and Distinct-2Human Metrics Empathy Relevance Fluency4/11/2023Piji Li,LLM&ChatGPT373ExperimentsOur model KEMP outperforms state-of-the-art baselines by a large margin in terms of all automatic metrics.4/11/2023Piji Li,LLM&ChatGPT374ExperimentsKEMP ob

110、tains the best performance on both Empathy and Relevance scores.There is no obvious difference among models in terms of Fluency.4/11/2023Piji Li,LLM&ChatGPT375Experiments4/11/2023Piji Li,LLM&ChatGPT376Experiments4/11/2023Piji Li,LLM&ChatGPT377Experiments4/11/2023Piji Li,LLM&ChatGPT378Personalized Di

111、alogue GenerationChen Xu,Piji Li,Wei Wang,Haoran Yang,Siyun Wang,Chuangbai Xiao.COSPLAY:ConceptSet Guided Personalized Dialogue Generation Across Both Party Personas.The 45th International ACM SIGIR Conference on Research and Development in Information Retriw Sp w我是中国人我是中国EE人我是中国人我是中国人我是中国风我爱中国风4/11/2023Piji Li,LLM&ChatGPT457涌现能力 原因 Representation Learning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT458涌现能力 原因 Representation Lear

156、ning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT459涌现能力 原因 Representation Learning?Data-size Model-size Epoch-size4/11/2023Piji Li,LLM&ChatGPT460涌现能力 原因 Representation Learning?Data-size Model-size Epoch-size Reasoning?CoT?4/11/2023Piji Li,LLM&ChatGPT461涌现能力 原因 Representation Learnin

157、g?Data-size Model-size Epoch-size RLHF?4/11/2023Piji Li,LLM&ChatGPT462涌现能力 原因 Representation Learning?Information Compression?神奇的无法解释的case?4/11/2023Piji Li,ChatGPT463安全性 攻击和防御 数据安全问题 原因？finetuneChatGPT有什么用?以前研究任务的状态针对ChatGPT的研究复现ChatGPT4/11/2023Piji Li,LLM&ChatGPT464未来：ChatGPT后，我们做什么？前提条件 意识、情怀、胆大、心

158、细 软件、硬件等资源支撑 研究+工程兼修的人才 坚定技术准备 冰冻三尺非一日之寒4/11/2023465Reproduce ChatGPTPiji Li,LLM&ChatGPT GAI、RL GPT GPT2 GPT3 DALL-E、CLIP Codex、davinci 1&2&3 GPT3.5 WebGPT Summarization via RLHF InstructGPT-Sparrow ChatGPT GPT44/11/2023466ChatGPT技术积累Piji Li,LLM&ChatGPThttps:/yaofu.notion.site/4/11/2023Piji Li,LLM&C

159、hatGPT467ChatGPT12B?6B?DeepSpeed 3D并行,ZeRO Attention:Sparse?Post-LN or Pre-LN or?Position Embedding?GELU?GPUs 炸了？先得到Base model Research Infrastructure?Transformer?4/11/2023468关键技术Piji Li,LLM&ChatGPT SFT、RM；从api采样。Comparison 1-7，多个维度safety等 n*10k左右prompt、code 40人左右标注团队 n个月 ChatGPT/GPT4 暴力标注？暴力+不优雅4/1

160、1/2023469关键技术-Human AnnotationPiji Li,LLM&ChatGPT 三无状态 开源模型+ChatGPT数据 开源模型:GLM,LLaMA ChatGPT数据 APIs ShareGPT 一个ChatGPT 数据共享网站，用户会上传自己觉得有趣的ChatGPT回答4/11/2023470第二条路Piji Li,LLM&ChatGPTLLaMA+ChatGPT Data SFTAlpacaGPT4AllVicunaBARD4/11/2023471LLaMA+ChatGPT DataSFTPiji Li,LLM&ChatGPT https:/vicuna.lmsys.

161、org/https:/ LLaMA 13B 70k samples 8 A100 GPUs One day Eval using GPT44/11/2023472VicunaPiji Li,LLM&ChatGPT 语言理解和多轮对话能力还行 数学、代码、推理能力偏弱4/11/2023473VicunaPiji Li,LLM&ChatGPT 不过，还是有希望了。港科：https:/ 中科院软件所：https:/ DataSFTPiji Li,LLM&ChatGPT4/11/2023Piji Li,LLM&ChatGPT475未来：是否会垄断？操作系统 搜索引擎 iPhone 云+私有化部署 行业颠覆性 工具 代替 狂热的资本 可能团队人还没码齐，热度先退了OpenAI的这条路就是对的么？4/11/2023476未来：ChatGPT后，我们做什么？Piji Li,LLM&ChatGPT4/11/2023477未来：ChatGPT后，我们做什么？Piji Li,LLM&ChatGPT4/11/2023Piji Li,LLM&ChatGPT478THANKS!