1、基于大语言模型智能核价的探索与研究2023演讲人：李培圣时间：2023年11月单位：北京软件造价技术创新联盟CONTENTS研究背景PART ONE01典型实践PART TWO02行业应用案例PART THREE03提问&讨论PART FOUR0401研究背景Industry Application Cases行业问题目前随着数字化建设内容的增加，预算核价已经逐步成为信息化工作的重要内容，如何合理评估软件价格，避免廉政风险，成为管理者关注的问题，传统以人工评估为主的评估方式，主要痛点在如下三个方面：费用评估标准不统一，核价标准推广困难：软件项目核价以专家评估为主，对相关标准的遵从依靠评估人员的

2、专业素质，缺乏统一审核、管理流程；12043项目数据资产利用率不高：历史数据包含了大量的需求与造价相关信息，但缺乏统一的整理与利用，未充分挖掘数据价值，发挥数据资产效能。专家经验复制困难，核价效能有待提升：专家核价时，需逐个识别功能点数据，尤其是大型项目模块较多，需识别数据较多，时间成本和误差率较高；标准的作用标准功能点方法标准功能点方法：确定合理的需求粒度需求规格化-方便确认合理工作量软件研发成本软件研发成本=工作量工作量*单价单价工具：通过工具：通过功能点规模功能点规模评估软件费用评估软件费用工作量工作量=规模规模*生产率生产率方法导入的三个阶段深入推广建立方法导入、建立相关管理机制相关人

3、员培训及能力保障基础数据质量保障第一阶段：建立流程66引入智能工具，便于方法推广特殊场景模型构建功能点字典建立第二阶段：推广应用定期历史数据分析并挖掘最佳实践方法有效性评价及机制智能模型优化与评估第三阶段：深入分析方法导入执行策略从感知到量化从局部到全局从人工到智能工具概述系统评估依据 软件工程 软件开发成本度量规范（GB/T 36964-2018）国家标准，内置最新行业基准数据；基于大语言模型等相关技术建立功能点识别/审核模型，帮助企业合理评估软件成本、提高预算审核审核效率；通过后台模型管理功能，既满足用户数据分析、建立模型要求，又为知识转移提供载体，为后续持续优化提供基础。02典型实践In

4、dustry Application CasesGPTGPT模型概述GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的自然语言处理模型，属于预训练模型，采用了无监督的学习方式，能够对大规模文本进行学习和抽象概括，并通过微调的方式用于特定的自然语言处理任务，例如文本生成、语言翻译和问答系统。GPT模型的主要特点是它可以根据输入的上下文来生成下一个词，因此可以用于文本生成等自然语言处理任务。GPTGPT模型概述特征/方法传统机器学习深度学习GPT模型模型结构简单模型，如决策树、SVM层级结构，如CNN、RNN基于注意力的复杂结构处理

5、能力针对特定任务或简单模式强于传统方法，特别是在图像和序列数据上强于传统深度学习，特别在处理长序列文本优化算法梯度下降、线性回归等梯度下降和反向传播同深度学习，但有更高效的并行处理能力预训练与微调通常不存在预训练每个任务通常独立训练大规模预训练后在特定任务上微调数据依赖性依赖于质量良好的特征工程对大量数据的需求增加极大地依赖大数据集预训练长距离依赖处理有限有限，尤其是RNN和LSTM强大，注意力机制有效处理长距离依赖通用性和灵活性较低中等高，同一模型可用于多种任务训练和推理效率通常较高取决于模型和任务训练需要高算力，但推理效率高数据源结构化数据，小规模数据集需要大规模数据集，包括结构化和非结构

6、化数据需要非常大规模的数据集，主要非结构化文本数据质量要求对数据质量和清洗有较高要求对数据多样性和代表性要求更高对数据的广泛性和多样性有极高要求，容错性更好 计算资源密集 数据偏见和不准确性 解释性和透明度不足劣势数据安全问题推理可靠性问题公众信任和接受度威胁 高度通用性 强大的上下文理解能力 持续学习和适应能力优势 技术创新和突破 新应用领域 个性化和定制化服务机会GPTGPT模型的SWOTSWOT分析优化自然语言抽取模型传统模型大语言模型例如：平台用户的管理功能，包括用户查询、新增，修改，删除功能，并管理不同用户所处角色，进行权限分配LLM模型：可以理解句子语义，根据句子含义识别传统模型：

7、只能按分词结果进行识别，识别率不高根据语义理解：用户角色管理优化自然语言抽取模型作为系统管理员，我希望能够添加新的客户信息到系统中，以便于管理客户信息。客户基本信息除备注外均为必填项，联系方式信息应至少包含一种有效联系方式。添加过程中会验证身份证号是否重复，如果重复会提示。添加客户信息结合大语言模型（GLM6B-2 模型）进行优化，借助持续积累数据，不断迭代优化抽取模型，提高模型识别准确率；功能分类：EI 智能核价：提高评估一致性原始文档符合特定格式的需求规格文档。功能清单建立功能项清单，初步确认规模评估结果快速分析项目关键要素（成本、工期，资源投入）智能审核：提高审核效率1.清单检测：自定义

8、问题规则对功能项清单进行检测，显示清单中的问题2.检测报告：问题检测报告的导出，列出问题功能项详情数据管理：建立数据管理闭环数据统计分析箱体图分析：对所选择维度进行审减率的分布分析，展示了分位数（P25,P50,P75）值，最大值、最小值。从而可以看出审减率的分布情况柱状图对比分析：通过将维度下所有项进行对比展示，可以分析出彼此之间审减率的差异度大小。比如，可以通过维度对比得出哪些开发商的审减率较大，在后期审核中可以更加注意增加偏差率统计分析功能，从多个维度进行分析：1.项目维度2.开发商维度3.经办人维度4.所属专业维度03行业应用案例Industry Application Cases改进

9、效果 历史数据标注及相关数据治理 审核规则建立 建立人工智能辅助编审模型 应用效果评价解决方案面临问题 1、信息化审核缺乏配套辅助工具，用以提高工作效率和可持续改进。2、为保持信息化审核工作客观、科学、高效地度量信息化建设项目的预算，亟需配套管理工具、费用自动化计算工具和算量模型以使信息化报审和审核工作更为顺利的开展。010203行业实践介绍 XX保险公司依据规范借助工具优化预算管理体系借助大数据，机器学习相关领域技术知识，借助信息化管理工具，从制度、流程等对IT支撑系统费用测算评估方法体系进行了创新性研究提升审核效率与质量提升数据资产利用率缩小个体评估差异人工评估完全依赖个人经验，常见不同评

10、估人员之间评估差异较大的情况。基于国家标准并结合软件规模度量专家经验构建的智能估算模型，为人工评估提供功能点计数项在颗粒度、分类、修改类型等维度的建议，可有效缩小不同评估人员之间的个体评估差异。审核人员手工切换多份文档、逐条比对，耗时较长、效率较低且容易出错。智能审核模型，支持快速提供智能审核结果、自动筛选和突显存在较大差异的条目，可大幅提高审核质量和效率、便于就软件规模快速达成共识并减少沟通成本。既往软件规模度量工作平台缺少对过程数据的记录，不利于估算能力提升和专业知识沉淀及积累。通过实现软件规模度量评估数据全生命周期的平台化管理，既能便于对数据进一步统计分析，又能利用评估结果对智能模型进行

11、持续训练以进一步提升模型能力。工具创新效果改进效果 历史数据标注及相关数据治理 审核规则建立 建立人工智能辅助编审模型 应用效果评价解决方案面临问题 管理人员不足，无法对需求进行实质检查 人工审核效率低，标准不统一 不能有效检查功能重复建设 数据不能有效积累010203行业实践介绍 XX市大数据局 标准需求模板导入 机器初步审核、人工复核 历史功能清单库建立 智能模型建立个性化设置针对不同的使用人员，可以设置不同的模型参数，得到更好的评估结果，初步规划，工具主要有两类用户：普通人员：不用设置相关参数，使用默认值可以直接上传可研文档进行评估，获取评估结果。专业人员：针对不同的评估场景，可以结合项

12、目特点进行参数调整，获取更好的评估结果，主要调整内容：评估指标-召回率（找全率）优先可以获取更多潜在功能项内容，准确率优先可以增加复用度调整，获取准确的评估结果；项目特征参数：可以调整人月费率，评估时机，应用类型的相关参数，通过参数的调整获取更准确的结果需求规范要求业务需求是原始的用户诉求或业务和产品的初始想法，承载业务价值，一般由业务人员负责收集、创建和维护。技术任务分解于产品需求，承载具体的实现工作，如前端、后端、算法等具体开发工作，通常由技术团队完成。产品需求拆分自业务需求，直接服务于实际业务，承载产品的具体功能，通常由产品经理和技术团队创建和维护。阿里巴巴DevOps实践指南（2021）-从 DevOps 到 BizDevOps谢 谢 观 看2023演讲人：李培圣时间：2023年10月