报告预览

山海医疗大模型的构建及其应用实践-刘升平.pdf

编号：164000

PDF 46页 21.73MB 下载积分：VIP专享

下载报告请您先登录！

山海医疗大模型的构建及其应用实践-刘升平.pdf

1、山海医疗大模型的构建及其应用实践刘升平云知声AI Labs 研发VP2302.10724 ChatGPT:Jack of all trades,master of none56.53%vs.73.71%行业大模型行业大模型面向行业基于行业知识和任务优化成为行业专家企业级大模型企业级大模型面向企业需求接入企业私有数据，文档和服务企业私有化部署应用级大模型应用级大模型面向应用或场景基于所需特定能力优化通用大模型通用大模型通用能力，探索AGI的边界六边形战士类型发布者模型名称模型大小/基座模型训练方式下游任务与特点通用智谱AIChatGLM开源6B，商用达130B预训练-指令微调-RLHF多行业，

2、多场景云知声山海商用13B，70B预训练-指令微调-RLHF多行业，多场景百度文心一言260B训练数据补充了图谱多行业，多场景医学文本港中（深）、深圳大数据研究院华佗GPT-13B/7BZiya-LLaMA-13B-Pretrain-v1/Baichuan-7B基于医患对话与ChatGPT薅羊毛,进行指令微调医疗问答哈工大本草BenTsaoLLaMA-7B/Bloom-7B/活字1.0/Alpaca-Chinese-7B5通过医学知识图谱与薅羊毛，进行指令微调医疗领域问答医联MedGPTLLaMA/BLOOMZ/Baichuan/Qwen/ChatGLM/XVERSE/InternLM二次预训

3、练指令微调RLHF DPO与医联的已有各种下游任务融合上海AI Lab、华东理工，上海交通等OpenMedLab/PULSE开源采用bloomz-7b1-mt医书，考题等指令微调健康教育、医师考试问题、报告解读、医疗记录结构化以及模拟诊断和治疗临床多模态澳门理工大学XrayGLMVisualGLM-6B指令微调影像诊断、多轮问答上海AI LabOpenMEDLab/Xrayplus Pulse使用MIMIC-CXR/OpenI数据报告生成，多模态会话生物药物华为盘古药物分子大模型Ecoder-Decoder架构从2维到SMILE序列的转换成药性预测清华大学智能产业研究院Bio-medGPTLL

4、aMA2以及各种模态的编码器，大约10B在文本模型上融合生信多模态的编码器分子、基因以及蛋白的各种知识问答四类医疗大模型：通用模型数据来源有医学知识，能做医学问答。医学文本模型在通用开源模型上，补充医学文本做二次预训练或指令微调。临床多模态模型融合医学文本模型与影像数据。生物医药模型编码分子、基因与蛋白，再与文本模型融合。PromptCBLUE的目标是评估LLM在不同医疗任务的总体表现，其中包括医疗文本信息抽取、医疗术语归一化、医学文本分类、医疗对话理解与生成4大类问题共计16个子任务。排名参与者组织scoreCMeEE-V2-Micro-F1CMeIE-Micro-F1CHIP-CDN-Mi

5、cro-F1CHIP-CDEE-Micro-F1IMCS-V2-NER-Micro-F1CHIP-MDCFNPC-Micro-F1IMCS-V2-SR-Micro-F1IMCS-V2-DAC-Macro-F1CHIP-CTC-Macro-F1CHIP-STS-Micro-F1KUAKE-IR-Micro-F1KUAKE-QIC-Macro-F1KUAKE-QQR-Micro-F1KUAKE-QTR-Micro-F1MedDG-RougeLIMCS-V2-MRG-RougeL1UNIGPT-MED云知声73.9171.8564.6792.9966.6789.5881.9872.98100.007

6、2.3184.8589.7994.2777.6863.119.5550.252UPSIDE-DOWN国网信产福建亿榕72.5470.3451.7992.3367.8890.2182.7171.41100.0078.1285.5287.2684.9877.7661.928.7649.623hhhhhh惠每科技 72.2868.2554.9687.6967.0589.7882.6070.50100.0076.9584.1786.7390.5676.5160.7711.8748.13 12个开源数据集包含了六种生物医学数据模式（文本、放射学（CT、MRI和X光）、病理学、皮肤病学、乳房X光检查和基因

7、组学），14个任务涵盖五种类型（问题回答、报告生成和摘要、视觉问题回答、医学图像分类和基因组变体调用）。2307.14334 Towards Generalist Biomedical AI(arxiv.org)按能力划分大模型能力大模型能力应用场景应用场景核心难点核心难点文本生成能力病历文书生成系统检查检验报告单生成系统医学文献写作系统减少文书生成的幻觉长文本写作的规划能力文本理解能力临床数据中心和专病库的数据自动化抽取,不良事件自动发现、单病种上报病历文本后结构化的精准性（实体、关系、事件抽取）医疗专业知识能力患者教育、医患沟通建议、医学知识助手（医疗知识咨询、检查检验报告解读，用药指南）

8、知识回答的有用性、精准性可解释性临床推理决策能力面向患者的虚拟医生（导诊和问诊）、临床辅助决策（诊断和治疗方案推荐）、病历质控（包括病案上海品茶、医保结算清单）决策的鲁棒性，可解释性，低幻觉医患对话门诊病历对话文本角色分离+语音识别生成摘要生成病历山海医疗大模型实时更新个性化推荐教育与培训大语言模型可以帮助医学生和医生了解最新的医学研究成果和治疗方法，提高医疗水平。症状分析大语言模型可以根据患者的病情和药物信息，帮助患者正确用药。药物匹配副作用提示用药提醒1.阅读理解病历病历后结构化术语归一化2.结合医疗知识和病历书写规范医疗知识图谱病历书写规则3.发现病历中的内涵错误不完整不一致不正确不合理内置

9、25类审核点，80000+审核规则，可根据不同地市进行审核规则选择与配置数据分析与理解大语言模型结合患者的基因信息、病史和症状，可以为患者制定个性化的治疗方案。个性化治疗方案推荐副作用提示辅助决策预训练微调对齐推理（解码）检索增强提示工程数据工程算力工程模型训练阶段模型应用阶段6 6种武器种武器1 1种秘方种秘方黑盒黑盒（调用大模型（调用大模型APIAPI）1.1.提示工程提示工程2.2.检索增强检索增强可修改模型参数可修改模型参数3.3.指令微调指令微调4.4.对齐（反馈学习）对齐（反馈学习）5.5.增量预训练增量预训练可修改解码器可修改解码器6.6.解码策略解码策略数据生产、选择与配比先让

10、大模型“深吸一口气，再一步一步思考”，会更聪明2309.03409 Large Language Models as Optimizers给大模型来点情感激励（PUA），它也会更聪明2307.11760 Large Language Models Understand and Can be Enhanced by Emotional Stimuli 给大模型来点情感激励（PUA），它也会更聪明2307.11760 Large Language Models Understand and Can be Enhanced by Emotional Stimuli 2201.11903 Chain-

11、of-Thought Prompting Elicits Reasoning in Large Language Models(arxiv.org)2306.06427 Boosting Language Models Reasoning with Chain-of-Knowledge Prompting(arxiv.org)2301.00234 A Survey on In-context Learning(arxiv.org)王昊奋：知识增强大模型：垂域落地的最后一公里2312.10997 Retrieval-Augmented Generation for Large Language

12、Models:A Survey(arxiv.org)NLP任务训练数据对话数据机器合成数据生成方式生成方式特点特点缺点缺点方法方法直接使用大模型适用模型本身的知识直接生成丰富的数据，方法简单生成多轮对话数据存在信息少的问题；幻觉问题Self-Instruct，Self-Align，Evol-Instruct利用外部知识通过具体的外部知识（如科普文章、法律案件）生成更准确的数据、减少幻觉需要构建外部知识库和检索系统；外部知识不一定有用Self-QAChatDoctor，ChatLaw对话迭代通过多模型模拟用户迭代进行对话，提升对话内容的信息量方法较为复杂，需要构造或生成开场白来启动对话Role-

13、PlayingSelf-Chat，UltraChat2312.01700 Data Management For Large Language Models:A Survey(arxiv.org)2310.00492 From Language Modeling to Instruction Following:Understanding the Behavior Shift in LLMs after Instruction Tuning(arxiv.org)指令微调对底座模型的影响是什么？有什么作用？从能力的角度激发能力，理解指令（替代 few-shot ICL）弥补预测下一个Token

14、和任务表示的差异新任务泛化能力从知识的角度不适合给模型添加新知识。超出大模型知识边界的微调指令，会导致严重幻觉。LLM中的知识是在大规模的预训练运行期间植入的，很难在有限的模型微调中添加新知识与BERT微调的区别BERT微调是让模型学会X到Y的映射训练数据越多越好大模型（类GPT）指令微调的目的是激发能力指令数据重在X到Y映射之间的表达多样性，和预训练语料中的说法要对应指令数据不在于增加 X到Y的映射数据 OpenAI 如何优化 LLM 的效果|B从RLHF、RLAIF到DPORLHF：偏好数据根据人类反馈（标注），使用强化学习成本高，不稳定RLAIF：偏好数据可以自动生成，使用强化学习

15、DPO：直接通过偏好对比数进行微调训练2308.03188 Automatically Correcting Large Language Models:Surveying the landscape of diverse self-correction基础设施层拖拽式运行交互数据管理中心任务运行与监控多用户管理模型仓库服务发布AI 任务调度器GPU 集群（NvLink）CPU集群海量分布式存储集群高速 IB 网络互联集群自动安装与配置镜像仓库监控日志采集控制中心调度层底座模型训练底层算子优化自适应混合精度3D混合并行技术通信策略优化显存优化技术自动托管调度2312.01700 Data Ma

16、nagement For Large Language Models:A Survey(arxiv.org)Sample Search 按照概率分布进行采样，生成多样化结果采样到长尾词，可能导致语句不通顺 Top-P、Top-K Sample 仅采样高频词汇其它解码微调策略其它解码微调策略 repetition penatity：重复惩罚，避免生成重复内容 length penality：长度惩罚 temperature scale：温度缩放，调整概率密度基于采样概率适用场景：创意内容生成、行程安排等场景基于最大概率 Greedy Search 每个时间步都取条件概率最大的输出=(|1,2

17、,.,1,)Beam Search 每个时间步保留topN个最优路径接近全局最优适用场景：选择、推理等答案相对确定的场景引入辅助模型，借鉴AlphaGo 对比解码（Contrastive Decoding）较小的语言模型（LMs）比较大的语言模型更容易产生不良的模式（例如，重复、主题漂移和自相矛盾）。奖励大型专家LMs所偏爱的文本模式，并惩罚小型业余LMs所偏爱的模式。Contrastive Decoding outperforms nucleus sampling for long-form generation and greedy decoding for reasoning task

18、s 猜测解码（Speculative Decoding）可以在不损失生成效果前提下，获得3x以上的加速比。GPT-4泄密报告也提到OpenAI线上模型推理使用了它。一个是原始目标模型，另一个是比原始模型小得多的近似模型。近似模型用于进行自回归串行采样，而大型模型则用于评估采样结果。解码过程中，某些token的解码相对容易，某些token的解码则很困难。因此，简单的token生成可以交给小型模型处理，而困难的token则交给大型模型处理。树搜索解码受到AlphaGo树搜索机制的启发，结合思维树ToT，构建了TS-LLM树搜索框架。采用一个训练获得的价值函数在训练和推理阶段引导LLM进行解码和决

19、策。2309.09117 Contrastive Decoding Improves Reasoning in Large Language Models(arxiv.org)2211.17192 Fast Inference from Transformers via Speculative Decoding(arxiv.org)2309.17179 Alphazero-like Tree-Search can Guide Large Language Model Decoding and Training(arxiv.org)只能调用大模型API，算力几乎没有提示工程检索增强（RAG）+知识增强（KG-Enhanced）微调：部分大模型API提供微调接口基于开源底座模型，算力不多（120台服务器）指令微调：全量或 LoRA 解码策略优化对齐优化（反馈学习）算力尚可（20台服务器）在开源底座模型上做增量预训练从零开始预训练自己的底座模型能解决一部分落地问题可以对大部分任务优化到极致可以从根本上提升模型效果医疗大模型是什么经过医疗知识增强和医疗任务优化，面向医疗应用的大模型医疗大模型怎么用根据大模型的生成、理解、知识和推理决策能力成熟度，对幻觉的容忍度，选择合适的场景医疗大模型怎么做面向应用场景对通用大模型做定制优化：六种武器，一个秘方

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（山海医疗大模型的构建及其应用实践-刘升平.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。