《元语AI:ChatGPT技术、国产化尝试和开源模型(2023)(20页).pdf》由会员分享,可在线阅读,更多相关《元语AI:ChatGPT技术、国产化尝试和开源模型(2023)(20页).pdf(20页珍藏版)》请在三个皮匠报告上搜索。
1、ChatGPT技术、国产化尝试和开源模型元语AI 徐亮自然语言大模型Model-as-a-Service服务商 概览背景1.ChatGPT技术1)技术演进:GPT-InstructGPT-ChatGPT2)存在什么样的问题?3)学习三阶段4)数据组织和效果评估2.国产化1)背景与问题 2)解决思路3)效果与实践3.开源模型1)中文开源模型2)基于自有数据训练出本地模型3)可能的问题、差距和如何进一步提升效果fZvWaVkXaQ8QaQoMpPnPtQkPrRnRlOnMxObRmOnMxNnNqOvPmQxP背景 ChatGPT:通用功能型助手 2022年12月5日,OpenAI首席执行官Sa
2、m Altman在社交媒体上发文称,ChatGPT推出五天,已突破100万用户 AI聊天机器人ChatGPT爆火出圈!微软正洽谈100亿美元增持股份背景为什么这么受欢迎:1)更好的理解用户意图与生成能力-更好的效果;2)便利的使用形式(对话机器人)-人人都能使用ChatGPT技术:模型演进ChatGPT技术:之前的模型存在什么样的问题?对齐对齐问题:大模型生成的响应不符合用户意图用户意图 原因:语言模型训练的训练目标是预测下一个词,而不是按照用户意图来生成 怎么解决:加入基于人类反馈的强化学习(RLHF)ChatGPT技术:三步走1.真实用户输入的监督学习2.奖励函数,评价模型的生成效果3.基
3、于人类反馈的强化学习,生成更符合人类需要的内容参考:InstructGPT,Training language models to follow instructions with human feedbackChatGPT技术:数据组织数据组织和效果评估 冷启动:冷启动:1)现有系统用户prompt;2)标注相似的prompt;3)标注人员自己想的prompt 三部分数据(三部分数据(77K77K真实数据):真实数据):1.基于真实用户prompt的监督学习数据(用户prompt,模型response,13k)2.用于奖励模型训练的数据(一个prompt多个response的排序,33k)3
4、.基于奖励模型使用强化学习进行训练(用户的prompt,31k)ChatGPT技术:数据组织和效果评估效果评估ChatGPT国产化:背景与问题 背景与问题:1、ChatGPT效果虽好,但本身不对中国大陆服务2、本地化问题:可能不能满足国内企业级客户的需求,包括无法提供本地化技术支持与服务3、价格问题:以欧美为主要市场的美元计价国内多数用户可能承受不了。ChatGPT国产化:解决思路 分步走:1)百亿参数的中文模型的预训练;2)亿级别任务数据上的监督学习(Prompt多任务学习);3)对话化-再,引入奖励模型和RLHF用户反馈的强化学习ChatGPT国产化:Prompt多任务学习全中文任务支持零
5、样本学习模型(PromptCLUE)1.三大统一:统一模型、统一数据形式、统一使用方式;2.1000亿中文字词级别token无监督学习,亿级下游任务数据,累积学习1.5万亿中文字词级别token3.支持20多种任务上的零样本使用(文本理解类、抽取类、生成累任务)相关工作:google flan-t5,meta opt-imlChatGPT国产化:对话化 移除了文本理解类和抽取类任务 加强了问答、对话和生成类问答、对话和生成类任务的学习 上下文上下文能力加强:针对多轮对话容易受到上下文的干扰,加入了抗干扰数据使得模型可以在必要时忽略无关的上下文;更好理解用户意图用户意图:加入了用户反馈数据的学习
6、ChatGPT国产化:实践与效果与ChatGPT相比,我们还需要1-2年时间开源模型:功能型对话中文大模型(ChatYuan)1.ChatYuanChatYuan:元语功能型对话大模型(开源版,7.7亿参数):项目地址:https:/ 2.ChatYuanChatYuan:通用功能型对话中文大模型(百亿参数,线上版)ModelSHuggingfaceGithub开源模型:本地使用开源模型:基于自有数据训练出本地模型数据组织将数据组织成统一的格式,由两部分构成:输入(Input)和输出(Output)。针对单轮问答单轮问答或生成:输入(Input):任务描述+输入文本(如:“用户:你好n小元:”
7、)输出(Output):系统需要预测的文本,如下图中小元后的内容。(如:“您好!我是元语AI.”)针对多轮对话多轮对话:输入(Input):任务描述+上文+输入文本输出(Output):系统需要预测的文本,如下图中小元后的内容。开源模型:基于自有数据训练出本地模型微调模型(colab,见chatguan的github项目)。pcluepclue数据示例:数据示例:input:参考下面的段落,回答下列问题:段落:因吊钟的花朵通常在农历新年前后开花,故英文又名为Chinese New Year Flower,意即中国新年花。土壤肥沃含腐殖质及排水良好的土壤。可以使用播种、扦插法及压条法繁殖。问题:
8、吊钟花如何进行繁殖?答案:,target:播种、扦插法及压条法,type:mrc开源模型:差距、可能的问题和进一步提升效果 差距:差距:与ChatGPT差距还挺大,包括模型大小、学习到的数据量、基于真实用户反馈的强化学习 可能的问题:可能的问题:开源模型,生成的效果和长短(输入格式是否正确、采样与否sample、输出长度的控制max_length)进一步提升效果:进一步提升效果:1)结合行业数据进行进一步训练(无监督预训练;有监督学习-大量高质量的数据);2)真实用户反馈数据的学习(弥补分布差异)3)强化学习的引入(对齐用户意图)4)更大的模型(更强能力)结尾ChatGPT带来的新的技术和使用,让人们看到的AI的巨大潜力,具有广阔的发展空间元语智能大模型Model-as-a-Service服务商