《中国联通:研发效能度量实践报告(23页).pdf》由会员分享,可在线阅读,更多相关《中国联通:研发效能度量实践报告(23页).pdf(23页珍藏版)》请在三个皮匠报告上搜索。
1、 前 言当前,我们正处在以数字化、信息化、网络化、智能化为特征的科技变革浪潮中,新一代信息技术与其他产业加速融合,推动新生态、新技术、新业务不断涌现。中国联通以习近平新时代中国特色社会主义思想为指导,抢抓数字经济新机遇,顺应数字化转型潮流,落实国资委国有企业数字化转型行动计划,以“数字信息基础设施运营服务国家队、网络强国数字中国智慧社会建设主力军、数字技术融合创新排头兵”定位为引领,全面落实“强基固本、守正创新、融合开放”战略,以建设新型数字央企,实现“三大转型”和“四提一控一强”为目标,以业务运营数字化、网络运营智慧化、运营管理数字化、数据赋能场景化为主线,以“做强集约化IT、融通数字化能力
2、、做强智慧化运营、做优精细化管理”为路径,统筹推进技术融合、业务融合、数据融合,提升跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务水平,全面提升核心竞争力和可持续发展能力,打造“一个联通、一体化能力聚合、一体化运营服务”的核心优势,助力公司实现高质量发展。通过贯彻集团“1+9+3”战略体系要求,深入推进数字化转型行动计划,摸清研发体系与自主研发情况,加强企业提升自我研发效能、赋能业务价值提升,建立研发效能度量体系,助力企业提升整体研发效能以灵活快速响应市场变化。本报告从研发效能度量体系发展现状出发,总结归纳国内电信运营商建设研发效能度量体系面临的四大挑战,梳理国内电信运营商研发效能度量
3、体系建设的关键路径与典型应用场景,为全行业建设研发效能度量体系提供参考依据和联通方案,提出面向新时代助力网络强国建设的研发效能度量体系发展趋势,共同促进全行业研发效能度量体系建设发展,推动我国数字中国建设持续高质量发展。目 录第一章 研发效能度量体系建设发展现状.11.1 政策环境不断完善.11.2 市场需求增长强劲.21.3 技术赋能场景多元.31.4 应用成效愈发显著.3第二章 国内电信运营商研发效能度量体系建设面临四大挑战.52.1 超大规模团队协同低效.52.2 系统平台建设摸索前进.52.3 度量评价体系亟待破局.62.4 度量管理范式有待健全.7第三章 电信运营商建设研发效能度量体
4、系的实施路径.83.1 组织团队协同管理方面.83.2 效能度量平台建设方面.93.3 度量评价方法探索方面.113.4 工程与管理实施方面.12第四章 中国联通研发效能度量典型应用场景.144.1 核心自主掌控场景.144.2 研发过程规范场景.154.3 研发效能度量场景.16第五章 研发效能度量体系发展趋势及展望.185.1 研发效能度量体系方法论赋能企业智慧研运.185.2 组织级研发能力实现效能度量平台自主可靠.185.3 标准化效能度量夯实全行业高质量发展底座.19第一章 研发效能度量体系建设发展现状随着数字化技术发展蓬勃兴起,软件研发逐步成为企业数字化转型的重要抓手,研发效能的提
5、升对企业而言尤为重要。中央网络安全和信息化委员会印发的“十四五”国家信息化规划中,明确提出要建立健全规范有序的数字化发展治理体系,而组织建设数字化治理体系离不开对组织效率提升的高效精准度量,科学的软件研发效能度量体系可帮助企业精准有效度量DevOps成效,并提供效能分析及决策支持,满足企业在研发效能整体绩效上的考核度量需求,从而实现企业多快好省交付更多业务价值的重要发展目标。在数字经济时代下,企业业务的实现高度依赖IT研发、运维以及运营效能,提升研运效能加快交付更多业务价值,已成为众多企业的核心目标,企业研运效能水平的高低也深刻影响着企业交付的产品质量和获得的收益。具体而言,研发效能度量体系的
6、发展现状主要包括以下四个方面:在世界各国纷纷布局软件产业战略性、针对性政策。美国巩固软件优势地位,为软件快速交付、技术迭代优化、团队高效协同提供政策指引,2021 年 3 月,美国防部发布国防部企业 DevSecOps 战略指南及DevSecOps 基础、DevSecOps 参考设计等相关支撑文件,重塑软件开发体系,提升软件现代化水平,同时,发布多项政策以提升工业软件资金力度,支持完善知识产权保护制度和人才培养体系,保护和支持国内软件产品市场。欧洲各国采用金融支持、税收优惠、人才培养等多种方式,为企业研发能力培育提供强有力的政策保障,英国政府发布研发路线图,加大对软件等行业的资金支持,提升人才
7、激励水平,打造高效研发体系;德国联邦教研部以技术主权塑造未来指出要加快软件专业人才培育,提升软件系统和软件生产自主性;爱尔兰成立“科学基金会”(SFI),为基础软件和 IT 相关研究提供 4 亿美元的基金扶持。全球性组织高度重视研发能力系统化、规范化度量。世界知识产权组织(WIPO)连续多年发布全球创新指数报告,度量经济体研发能力,欧盟委员会“欧洲创新记分牌”,为创新绩效评估提供有效参考,彭博社连续九年发布“彭博创新指数”,从研发支出、制造能力、高科技上市公司集中度等维度评估国家研发创新能力。稳舵奋楫,国家加码软件产业顶层设计。习近平总书记在中共中央政治局第三十四次集体学习时强调要全面推进产业
8、化、规模化应用,重点突破关键软件,推动软件产业做大做强,提升关键软件技术创新和供给能力。中国特色社会主义进入新时代以来,国家陆续出台信息产业发展指南软件和信息技术服务业发展规划“十四五”软件和信息技术服务业发中国联通研发效能度量实践报告|11.1 政策环境不断完善展规划等一系列文件,顶层设计持续加强,细分领域不断完善,产业扶持优化调整,政策体系逐步健全。工信部数据统计,截止 2021 年,全国软件和信息技术服务业主营业务年收入 500 万元以上的企业超 4 万家,2022 年前 10 个月,我国软件业务收入 74763 亿元,同比增长 9.8%,软件产业规模效益持续增长。而软件研发效能直接影响
9、着软件的质量与交付效率,因此,提升研发效能、建立度量体系是助力实现软件技术攻关和交付提质增效的重要手段。企业亟需对研发效能进行度量,实现交付效率与经营效益同步提升。在数字经济浪潮下,许多公司为了抢占市场高地、赢得市场空间,投入大量人力和资金提升产品交付速度,组织内研发投入海量增长,急需建立有效度量体系对效能改进提供建议与指导。以某大型运营商为例,面对集团内复杂的研发协作模式与业务需求,在项目管理维度建立起度量与考核机制,优化调整度量体系覆盖范围和度量单元统计口径。以头部互联网公司为例,腾讯连续两年发布研发大数据报告对研发大数据进行分析;阿里提出“211愿景”实现两周内交付85%以上的业务需求;
10、百度通过挖掘效能数据,系统性提升工程效能,大型企业对效能的关注度显著提升。此外,某大型金融企业梳理自身指标集,打通全流程数据孤岛,建立度量考核机制,初步实现效能分析与决策改进。另外,智能汽车行业也积极探索效能度量体系,某领跑企业以“车云两端”为导向,建设覆盖研发、测试及运维的度量指标体系,推动组织高效运转。高水平的专业化度量平台备受企业关注。优质的研运度量体系与平台能够大大降低研发人员业务压力,提升工作效率,帮助企业在扩大软件规模的同时能够持续交付业务价值。云计算开源产业联盟发布的中国 DevOps 现状调查报告(2022)中指出有超八成企业已开展效能度量工作,企业在构建专职团队、建设专业化技
11、术平台等方面不断加大投入力度,研发效能度量平台在超四成企业内已得到应用。可见,随着企业对高质量交付的需求愈来愈强烈,研发效能的提升与优化将逐渐成为企业的必答题。市场上也涌现出一批汇聚企业优秀实践的研发效能度量平台产品,例如百度的研发效能平台能够提供 AI 成本分析及组织人才画像服务;阿里云效研发效能度量平台可提供代码级、项目级等多维度量服务;某通信解决方案提供商的研发效能度量平台,覆盖了产品与项目管理的核心流程,可兼容多种数据分析方法,提升端到端研发交付能力,优化场景化服务,协助业务单位实现高效决策;某运营商也通过自主研发建设效能度量平台,驱动内部的效能改进与提升。高水平度量平台在提升了2|中
12、国联通研发效能度量实践报告1.2 市场需求增长强劲产品质量和技术水平的同时,也受到了越来越多企业的青睐和瞩目,效能度量产品市场前景持续向好。结构升级催生多元化度量需求。随着企业规模变大,角色分工越来越细,组织也亟待针对各种角色的个性化效能度量需求进行综合分析与展现。某电信运营商在经历研发转型后,其事业部、项目团队、个人等不同场景均产生了差异化多元化度量需求,该公司结合生产质量红线,从交付效率、质量和安全等维度构建评价体系,响应组织内各层级对度量的需求。另外,一些大型金融公司按照行业管理要求,结合各研发项目组的实际度量困局,建立起覆盖质量、吞吐、速率等维度的度量模型,为管理者和各层级研发人员提供
13、了可视化的效能分析途径。前沿新兴技术持续提升度量能力。随着新技术的不断发展与进步,部分企业尝试将研发数据湖技术应用至效能度量中,赋能研发组织挖掘更多联动度量场景,串联数据,实现全流程度量。例如,某电信运营商通过引入“湖仓一体”技术,夯实数据底座,融合数据湖的灵活性与数据仓库的高效率优势,提升了资源利用率和数据分析效率,满足不同业务线的个性化多维度的研发数据度量统计需求。此外,部分企业将人工智能技术融入效能度量方案,例如,某通信解决方案提供商的效能度量团队,将人工智能技术引入度量数据智能化校验和度量改进方案智能推荐等关键功能,极大地提升了产品质量与服务能力。效能度量赋能企业洞见研发产出。效能的本
14、质是对价值流动速度和质量的评价与改进。通过研发运营效能度量让效能可量化、可分析、可提升,而数据驱动的方式则可以更加客观评估和改善效能。以某电信运营商为例,该企业通过度量仪表盘建设及对度量报告的定制化开发,实现了产品研发迭代场景下的研发效能洞察以及为不同领导层级提供效能分析报告的能力。某大型金融集团则通过对项目 OKR、团队视图、个人视图仪表盘的定制及订阅,能够全局了解团队重点项目的进度、风险以及人员投入情况,构建面向研发团队管理场景的效能全景图,充分掌握团队各成员的投入及产出情况。效能度量加速价值流动,助力实现更多业务价值的交付。通过研发效能度量,可以将中国联通研发效能度量实践报告|31.4
15、应用成效愈发显著1.3 技术赋能场景多元潜在风险显性化,实现更高效、更高质、更可靠的可持续性业务价值交付。流动是精益思想的五大原则之一,企业通过效能度量加速全局价值流动,聚焦 IT 系统的整体价值流,进行全局优化,保障价值从上游到下游的快速流动。例如,某通信解决方案提供商打造基于DevOps 的企业级产品与项目管理平台,该产品的效能度量模块覆盖生产系统、数据中台、业务中台、前台四层系统架构,实现了对研发项目的有效管理和研发过程的效率提升。此外,某大型银行信用卡科技团队在接入效能度量模块后,与上年同期相比,该团队的整体交付产能提升 30%,交付时效提升 18%,业务系统可用率保持在 99.99%
16、以上。由此可见,企业从度量结果着手对研发过程进行局部的价值流动优化,实现了对流动堵塞点的精准捕捉,从局部着手带动全局优化,最终实现对业务价值的快速交付。4|中国联通研发效能度量实践报告第二章 国内电信运营商研发效能度量体系建设面临四大挑战当前,效能度量工作与体系建设备受企业关注,各行各业加大投入力度,加快确立组织级度量目标与度量范式,并建立与之匹配的效能度量平台与工具。根据云计算开源产业联盟发布的 中国 DevOps 现状调查报告(2022),研发效能度量平台在超四成企业内得到应用,模型建设及智能分析能力仍需提升。以国内三大电信运营商为例,随着研发转型进入加速期,数字化研发工具链路已积累了大量
17、数据,各家巨头加速完善指标模型,打造与组织内云资源互通的效能度量体系与专业化度量工具,并将其运用在 IT 资源规划、效能分析评估及资源可视化等维度。但在打造精准、高效、自动化水平高的度量体系与度量平台的过程中,电信运营商也面临着自身复杂的业务场景、超大规模的研发组织难协同、度量基础数据难管理、度量目标与评价体系难统筹等问题。具体而言,目前国内电信运营商在建设研发效能度量体系与度量平台过程中主要面临的挑战包括超大规模团队协同低效、系统平台建设摸索前进、度量评价体系亟待破局和度量管理范式有待健全四个方面。“自研+第三方”的复杂研发作业模式。基于历史原因和行业现状,电信运营商往往与第三方组建超大规模
18、协同研发团队,且异地办公较为普遍。此外,电信行业业务场景复杂,跨系统需求多,一个业务场景的需求研发、版本发布经常涉及多系统和多中心,致使人员协作效率低下,时间浪费现象频发。以某运营商低代码平台建设为例,团队需求、研发、测试人员分布位于北京、西安、南京和哈尔滨等多地,涉及多个自研和第三方团队,人员管理困难多、异地协作难度大,研发质量难管控。第三方人员管理难度高。第三方供给人员水平参差不齐,与企业现有的研发规范融合难度大,存在管理半径大、人员流动快、生产效率低等问题,导致项目成本升高、需求满足度低、质量不达标、延期交付等现象频发。在中国联通与某第三方的合作项目中,第三方人员的半年流失率高达 30%
19、,管理团队责任意识不强造成延期 3 个月交付,管理成本大幅增长。研发数据获取的准确性和关联性存在难点。首先,受制于当前研发工具链的建设基础,DevOps 相关工具的应用不全面,部分领域工具尚不健全。其次,数字化研发工具种类繁多,中国联通研发效能度量实践报告|52.1 超大规模团队协同低效2.2 系统平台建设摸索前进在方便研发人员日常工作的同时,也为度量工作带来了较多困难,工具链上各阶段工具与系统规范定义各不相同,难以打通端到端的效能度量数据。在某运营商的数字化研发度量平台建设中,研发过程数据来源于自研平台,代码基础数据来源于 GitLab,代码质量数据需要采集和汇总 SonarQube 等工具
20、,各个平台的数据定义和规范不同、对源数据的关联和处理给数据准确性带来很多问题和挑战。度量指标颗粒度难以统一。企业中业务发展有先有后,各团队研发管理水平参差不齐,对度量指标、度量数据颗粒度的诉求各异。以某运营商向省分公司推广度量指标的过程为例,原有的度量指标完全无法满足各省的差异化诉求,通用的指标模板无法为一线生产角色提供有效指导,度量数据难以切实提升一线工作效率,各团队间管理要求和过程规范不一、管理和操作层级的视角存在差异,引发了度量指标颗粒度难以统一等问题。度量平台系统建设初期数据管理理念欠缺。由于效能度量平台缺乏数据管理的全面梳理,在数据层面未提供统一的定义和标准化数据流通规范,导致基础数
21、据不一致。例如,国内某电信运营商自上而下开展度量平台建设,因为提前梳理基础数据的定义和规范化管理,在组织内建成指标体系和度量平台后,发现仅能满足如项目经理、度量工程师等少部分角色的使用需求,无法形成全局性、全方位的度量产品化能力。研发工具和度量工具独立建设,数据交互壁垒亟待破除。电信运营商行业生产优先的特点使其在大部分研发场景下的研发工具建设比较迅速,而度量工具的建设则较为缓慢。且两方为独立的项目团队,研发工具与度量工具各自独立建设,这使得研发工具和效能度量工具在数据交互上存在较大阻碍。某运营商在推广度量平台时,需对部门级、公司级、集团级的度量平台进行统一建设和拉通,业务工具与度量工具数据采集
22、适配难度大,度量目标数据的采集难以实现。组织内度量评价算法模型难以统筹。组织中各研发项目的团队组成、业务流程、业务架构、工程类型及研发规范等均不统一,需针对各类型研发场景进行分析,满足共性和个性化度量需求。以某运营商在建设研发效能度量体系为例,由于公众线、数据线、客服线、架构线、政企线等事业部业务内容、流程不一致,导致无法用统一的标准、模型进行相应度量。2.3 度量评价体系亟待破局6|中国联通研发效能度量实践报告度量统计维度与各层级对象适配存在困难。如“交付时间”在电信运营商中,对于不同角色或层级的用户,统计单元完全不同。在用户视角,交付时间是提出需求到需求可用的时间,对应“原始需求”;在单个
23、项目组视角,交付时间是接到需求到需求交付的时间,对应“系统需求”;在迭代开发团队视角,交付时间是迭代周期,对应“用户故事”。因此,当度量对象不同时,使用的数据颗粒度也不同。全面效能优化与局部改进存在矛盾。对全部度量指标的直接罗列展示,容易让度量失去“焦点”,难以识别出真正问题所在,无法有效改进;片面的追求局部指标的数据,容易造成团队短期突击,甚至形成度量等同于考核的误区,不能持续健康发展。结合某运营商度量体系建设现状来看,度量体系建设完成前期,部分项目聚焦对度量指标的计算逻辑进行相应调整,而非聚焦度量反映问题进行效能改善,导致部分项目将度量等价于考核,偏离了度量初衷。组织级度量管理范式的确立与
24、贯彻缺乏统筹。确立全面而统一的组织级度量目标对企业来说尤为重要。但目前,在电信运营商体系内,缺乏对整体组织级研发效能度量目标的建立以及与各项目团队目标的对齐。以某电信运营商为例,企业的战略目标是成为数字技术融合创新排头兵,但在企业战略目标与组织具体细化的度量目标之间,尚未有具体的流程或机制,帮助其梳理研发效能度量目标、度量评价方法及与企业战略目标的一致性。这使得研发效能度量向上为高层管理决策服务,向下服务一线项目团队的核心任务目标难以推进。各项目团队度量目标的制定缺乏协同,渐行渐远。每个项目在具体开展效能提升与改进工作时,均需要确立度量目标以指引工程效能的提升。但当前,在国内电信运营商开展对各
25、项目的度量工作时,各项目团队各行其是,建立自有的项目级、部门级度量指标,缺乏沟通协作机制,导致在建设研发效能度量体系时,难以建设统一的、规范的、各项目团队均能够接受的指标集。例如,某些团队仅从交付速率、交付效率维度建立指标体系,尚未从交付质量指标维度进行考虑,但受限于组织管理模式、度量工作开展形态等因素,打造统筹兼顾各项目的度量目标与指标体系仍道阻且长。2.4 度量管理范式有待健全中国联通研发效能度量实践报告|7第三章 电信运营商建设研发效能度量体系的实施路径当下,随着电信运营商数字化转型的持续推进和数字化业务、业务数字化的急切需求,提升研发效能,建立健全研发效能度量体系已然成为电信运营商的核
26、心目标之一,而科学、合理、规范的研发效能度量体系能够避免资源浪费,多快好省地建成自主掌控的数字化研发效能度量支柱。本章节以中国联通打造其效能度量体系为例,聚焦中国联通研发效能提升的四大关键核心要素:道、法、术、器的锻造经验,梳理符合我国电信运营商特点的研发效能度量体系优秀建设实施路径。具体来看,其实践经验主要包含团队协同管理、平台建设、评价方法、工程实践等四大关键要素。打造具备电信行业特色的研发交付体系。基于研发运营一体化(DevOps)能力成熟度模型系列标准和 CMMI 等行业标准,并结合联通 IT 建设现状,制定统一的软件研发管理流程规范。从需求、开发、持续与构建集成、部署与发布、测试、反
27、馈与改进等维度出发,形成了企业级标准化研发规范,作为中国联通研发管理及质效提升体系的标准指引,快速指导团队采用优秀的软件工程实践和研发工具,使其在研发效率和产品质量上获得提升,实现敏捷开发、持续交付的无缝集成,助力实现快速交付高质量的软件及服务的能力。建设自主可控高效敏捷的一站式数字化研发平台。目前,中国联通已构建企业级一站式DevOps解决方案,提供从“需求-设计-开发-测试-发布”端到端的协同服务和研发工具,以需求为价值单元,拉通端到端的研发交付过程,以流动效率为核心,组织跨团队、跨职能的高效协同,支撑企业级精益敏捷研发、持续交付、快速迭代。数字化研发平台架构图,如图1所示。3.1 组织团
28、队协同管理方面8|中国联通研发效能度量实践报告第三方团队研效管理机制方面。目前,中国联通已建立从项目、人员、团队等视角出发的多维度的考核体系。在项目维度,以代码库为粒度考核工程能力,强化编码规范、单测、准入标准,提升代码资产质量,规范化流水线,建立统一上线渠道,提高变更成功率。在人员维度,通过获取第三方人员效能数据进行综合分析与评价,促进供应商提高人员供给质量。在团队维度,已建立个人维度考核,聚拢团队人员数据,可实现对整个团队在人员维度的度量;已建立项目维度考核,聚拢团队项目数据,结合团队人员稳定性、团队人力成本、团队参与项目质量,在团队维度进行综合考核与度量,优化团队工作效率,提升项目交付质
29、量。中国联通的效能度量平台,基于业务要求和管理实践,面向企业管理层和一线人员输出场景驱动的业务度量模型。中国联通的数字化研发平台效能度量模块总体架构设计,如图 2所示。平台整体基于微服务架构,实现灵活、松耦合的架构设计,由业务数据采集服务、数据标签计算分析服务、计算任务处理机及分布式调度中心、Web 端用户交互平台以及低代码可配置化图表视图组成。3.2 效能度量平台建设方面中国联通研发效能度量实践报告|9打造度量元向各项目团队提供平台级别指标。通过 RBAC(Role-Based Access Control,基于角色的访问控制)对角色权限的控制,各应用用户可以自己定义项目级别的指标。对接专业
30、 BI(Business Intelligence,商务智能)工具或高、低、零代码前端快开平台,提供更优的图表展示和报表能力。数据处理引用“标签类目体系”中的中台模式,即将数据进行标签化的数据层级处理,封装后供给不同的业务端,不同场景排列组合复用,从而达到一次建设、反复复用的目标。构建更加灵活、准确的数据采集工具。目前,已实现通过可视化界面修改任务画法的方式更新数据采集策略。在实时采集方面,当前通过分布式任务调度中心,在调度执行机中实现对各节点的数据溯源,同时,帮助后续运营快速定位问题。未来,将通过度量与被采集数据各模块的共同治理,驱动对度量数据的高效运营。效能度量平台实现基于业务需求的灵活采
31、集。整体采集流程将分为实时数据采集和定时数据采集,全部数据的实时处理对数据处理层的数据吞吐压力过大,全部定时采集无法满足业务需求,例如,对于大屏上展示当前系统登录人数应具备实时性。从业务数据至业务裁剪数据层,ETL(Extract-Transform-Load,抽取-转换-加载)工具绘制的任务支持通过Kafka 进行实时数据同步并触发运行任务。从业务裁剪数据层至度量元层,通过开发并部署任务调度服务,在从下至上的数据处理过程每一层留下回调触的 API 接口。调度中心将根据10|中国联通研发效能度量实践报告管理员注册的任务触发规则同步或异步的逐层分发任务至对应的执行器,执行器将调用对应的数据处理
32、API 接口,直至将最上层的度量元信息按照更新频次要求更新为最新数据。从度量元层至数据展示层,数据展示层通过直接访问度量元层或通过度量元层数据库视图的方式保证每次读取的数据为最新数据。度量评价方法、算法和模型建设,是构建研发效能度量体系的思想和灵魂。研发效能度量评价方法、算法和模型是从效能角度对研发活动过程及结果进行度量定义、数据收集、量化分析的数学算法和评价体系,可实现对研发活动的描述、评估、改进和预测。构建规范化、标准化的度量指标体系。中国联通在充分参考行业标准的基础上,同时结合电信行业特色,从全面性、准确性、科学性、有效性四方面构建效能度量指标体系。在全面性方面,在软件生命周期维度,覆盖
33、需求到交付端到端全过程,在组织管理维度,覆盖系统级、部门级、企业级;在准确性方面,模型中指标均使用定量方式,避免使用定性评估;在科学性方面,主要采取纵向比较,避免横向比较可能导致的内耗,另外,评价体系不单从数量进行度量,而是采用方差、正态分布、斜率趋势预测、聚类分析等多种方法进行评估;评估使用的数据基线,采用真实历史数据进行测算的方式,避免简单引用行业标准造成与自有度量目标适配度低、一线团队配合度差等问题;在有效性方面,模型中度量指标的选取采用从目标出发,自上而下逐层分解的方式推导出度量指标,避免从现有数据中选取指标的偏差和失真。满足各层次度量需求,建设科学的效能度量评价体系。从组织内效能度量
34、的不同视角出发,对公司视角、项目视角和个人视角进行度量分析,形成相对全面的研发效能度量模式。在企业层面,使用需求价值流模型、分析端到端需求交付的价值流,一是需求价值评估,识别高价值的需求或特性,小批量交付,二是通过流动效率指标快速、准确地识别瓶颈,压缩等待时长;在团队层面,结合中国信通院牵头发起制定的业内首个研发运营一体化(DevOps)能力成熟度模型标准和业内经验,结合当前工程实践的实际情况,总结出工程能力实践集;在个人层面,分析各岗位员工日常工作的行为活动,识别对应研发环节的度量指标,形成工程师画像,可辅助规划技能提升路线、掌握成员技能体系等。3.3 度量评价方法探索方面中国联通研发效能度
35、量实践报告|11中国联通基于目前 IT 现状,结合参考行业标准,将度量管理范式同管理目标相匹配,完成度量管理范式、管理方法和工程实践的总纲领建设。以度量管理范式为指导,将度量同研发过程、管理规范相结合,促进研发效能度量实践开展,完成研发效能度量体系建立,实现研发效能综合全面提升。深入开展研发效能提升实践,驱动规模化研发效能提升。将平台工具、量化管理及数据反馈作为研发效能提升的三个关键因素。在平台工具方面,通过平台建设将规范、流程、规则、最佳实践等进行固化,为组织级能力提升提供保障;将高效、优秀的实践转化为标准化、可复用的平台能力,内建到每个团队的工作中,形成规模化的保障;在量化管理方面,通过持
36、续的效能提升优秀实践推广活动,加强组织内效能提升优秀成果共享,从而产生规模化效应;在数据反馈方面,通过分析及时的、精准的数据,获取相应反馈认知,从而客观衡量研发效能整体水平,明确效能提升效果。构建自主的软件工程能力成熟度模型帮助研发团队持续提升工程能力。中国联通从大量开发经验中总结优秀工程实践,结合行业标准,并经过长期、海量的研发数据分析,总结了一套符合中国联通 IT 研发管理现状的工程能力成熟度标准中国联通软件工程能力成熟度模型(The Chinaunicom Capability Maturity Model of DevOps,CCMD)。中国联通软件工程能力成熟度模型从流程是否畅通、实
37、践是否完备、实践是否有效三方面出发,构建体系化的评估标准并针对研发流程提出改进建议,工程标准将应用的需求、开发、测试、部署统一起来,成熟度水平分为基础级、初始级、良好级、优秀级四个级别。有效的衡量团队工程能力水平,了解自身工程能力现状及短板,进而设定工程能力提升目标,使工程能力走向卓越。建立专业化的、精细化的效能度量管理机制与层级。目前,中国联通已建立由效能度量专家委员会、效能度量运营团队、各项目度量工程师组成的效能度量管理团队,统筹研发效能工作推进方向与策略调整。目前的运作机制分为三个层级,首先,由专家委员会聚焦管理重点,以业务指标为牵引,构建效能度量指标体系,建立量化基线和评价模型。其次,
38、由效能度量运营团队,具体进行度量改进工作的宣贯和推进开展,定期对研发数据进行分析反馈,完成根因分析,明确改进措施,形成度量分析报告,面向各部门、团队开展研发效能改进专3.4 工程与管理实践方面12|中国联通研发效能度量实践报告项沟通,定点分析项目效能瓶颈,有针对性的提供解决方案,驱动项目研发效能改进工作持续进行。最后,由各项目、各团队效能度量工程师将具体改进措施执行落地、跟进改进效果。此外,针对效能度量实施过程中存在的问题,将按照效能度量工程师-运营委员会-专家委员会机制逐层反馈,由效能度量专家委员会进行问题分析并提出优化方案,持续改进优化研发效能度量体系。中国联通研发效能度量实践报告|13第
39、四章 中国联通研发效能度量典型应用场景中国联通紧跟行业发展新动态、新趋势,铆足干劲、奋发有为,面对复杂多元的研发效能度量场景,建立起“1+3+N”的工作模式与方法,向研发效能度量工作纵深推进,如图 3 所示。“1”即夯实 1 个数字化研发平台,精准厘定数字化研发全流程和关键环节,在建立效能度量体系的同时,不断健全数字化研发平台的全流程打通和价值快速交付能力;“3”即 3 大典型效能度量应用场景,用好效能度量的精准洞察,全面统筹推动核心自主掌控、研发过程规范和研发效能度量整体能力的优化与提升;“N”即 N 个评估模型“多手联弹,多元联动”,助力研发效能度量的数据驱动及效能改进,建立多维度、全流程
40、的科学评价体系。聚焦对投资经营管理及研发资产纳管等核心自主掌控场景的全面管理。中国联通坚持“自主研发,自强卓越”的建设理念,聚焦企业自主研发能力提升,持续整合、沉淀企业各类组织、资产数据,构建投资经营视图与研发资产画像,赋能全集团多层级数字化经营决策,2022年较2021年,中国联通自研占比同比提升10个百分点。核心自主掌控场景,如图4所示。4.1 核心自主掌控场景14|中国联通研发效能度量实践报告建立面向管理投资经营的总览视图,全面提升自主研发能力。中国联通贯彻集团管理要求,对历年投资趋势进行数字化分析和呈现,辅助管理层,全面优化资源配置,保障核心系统自研投入的有效性;同时,聚焦专业线的特点
41、,着力提升自主研发能力,牢牢掌控核心业务、核心架构、核心流程及核心数据。在优化资源结构方面,持续加大对集团重大战略目标的支撑及 IT 系统的资源投入保障。在提升核心系统自研占比方面,对核心系统自研占比进行监控分析,并对年度自研占比考核目标值完成情况进行比对。按照专业线维度,对前端应用、业务中台、云平台自研、第三方投资趋势进行分析,实现投资的科学性、合理性,助力集团重要战略目标实现。优化研发资产的可视化管理,助力核心资产自主掌控。研发核心资产实现统一纳管,分别从需求设计、开发编码、编译构建、测试交付等环节盘点企业的研发资产,构建形成文档仓库、源码仓库、知识库和制品仓库等,进一步沉淀形成企业内部的
42、核心研发资产。研发资产可视化是对研发核心资产进行数字化展现,驱动企业全面研发上云,提升核心资产掌控能力,同时为下一步研发效能管理打下坚实基础。目前中国联通的数字化研发平台已经支撑集团总部、31 省及各分子公司等企业内部各级组织应用研发,从使用指数来看,活跃用户数同比提升 32%,代码上云量同步提升 400%,流水线日均构建频率提升 1.1 倍。关注组织研发过程关键节点和研发过程域的指标体系建设。中国联通面向软件研发全生4.2 研发过程规范场景中国联通研发效能度量实践报告|15命周期,基于研发过程的关键节点,构建覆盖需求、开发、测试、发布四大研发过程域的“研发过程规范性指标体系”,旨在监控研发过
43、程组织实施的有效性,规范统一研发过程,实现研发过程真实数据的有效归集,为研发效能精准分析打下坚实基础。研发过程规范场景,如图 5 所示。监控体系覆盖全流程研发活动,助力研发过程规范化、统一化。中国联通通过构建研发过程规范性画像,从组织、部门、团队维度,监控研发过程活动的合规性,以项目团队为核心,按月度统计各项指标量化表现,辅助团队快速直观的识别到当前研发过程管理存在的问题。目前,通过全面深化工程师研发过程规范化的意识,异常数据占比下降明显,改进效果显著。如指标“需求管理异常”,其主要用于监管项目需求记录是否规范、工时填报是否合理,通过对明细数据分析发现,需求管理异常的主要由于项目需求补录、需求
44、分析不完全导致。且针对该现象,重点部门与项目组,进行了需求管理的规范流程落地梳理以及开展专项检查,持续性跟踪,最终整体规范性过程规范性提升 72%,需求管理异常下降 4.3%,开发代码健康度提升 29%,测试健康度提升 9.7%。以提升工程能力、交付周期、交付数量及组织产能等为核心目标。中国联通从管理视角出发,通过企业、组织、部门、项目管理办公室、项目组等多维度视角构建研发效能评价模型,并与北极星指标相融合,明确改进方向,通过规范研发过程与建设效能度量体系,辅助提升管理能力,探索研发效能评价动态基线,摒弃度量结果与绩效直接挂钩的观念,结合项目个性化效能度量需求,持续迭代组织级度量指标库和效能度
45、量体系。同时,积极对标行业4.3 研发效能度量场景16|中国联通研发效能度量实践报告先进标准,在2022年12月通过了由中国信息通信院组织的研发运营一体化(DevOps)通用效能度量模型评估,并取得“创新引领级”的优异结果。此外,在该研发效能度量场景下中国联通还持续开展研发效能洞察能力构建,持续打造智能分析和风险预警能力,如图6所示。加强多层级全面洞察能力驱动交付效率与速率提升。交付效率与交付速率的目标是促进端到端、及早的交付,用最短的时间顺畅地交付用户价值。中国联通从需求交付管理、吞吐量管理、停留时长、团队速率、交付管理等方面洞察交付效率,搭建指标框架,构建量化评价模型,并对研发效能度量结果
46、进行数字化展示,提供历史趋势和组织内基线参考,科学合理评价项目效率水平,为团队持续优化提供依据。构建多维质量分析指标体系,全面提升软件工程质量。交付质量关注端到端的高质量交付,避免不必要的错误和返工。中国联通推行质量内建与测试左移,从需求评审管理、需求变更管理、代码管理、缺陷管理、测试覆盖率管理、发布质量管理等方面对交付质量进行度量评估,通过多维度的指标度量软件工程质量,建立研发规范,对质量薄弱环节针对性投入资源、持续改进,保证业务成功。实现研发效能度量可视可见,研发效能表现持续向好。中国联通经过持续的度量体系应用及改进,年度代码阻断缺陷及代码严重缺陷同比下降 90%,需求开发周期同比缩短50
47、.25%,需求交付及时率提升 65.85%,流水线执行成功率提升 16%,组织投产需求呈稳步上升趋势,较 2022 年年初增加 36%。中国联通研发效能度量实践报告|17第五章 研发效能度量体系发展趋势及展望软件研发效能度量助力企业数字化转型。围绕企业的经营目标和战略,平衡投入产出分析,增加研发战略经营产出、加大研发战略投入、加快研发效能提升,研发效能成为评价 IT产出的坚实抓手。在内部业务驱动方面,由于组织发展规模化、技术驱动商业差异化、IT 交付工厂化等因素的驱动下,企业难以有效应对用户市场需求的快速变化。研发效能度量可为企业提供精准的数据支撑,使企业对 IT 投资 ROI(投入产出比)价
48、值最大化。在内部技术驱动方面,当前,谷仓效应对企业影响越发突出,我们需要持续优化协作流程,打破流程中的谷仓,去除不必要等待,驱动企业价值快速流转,助力研发效能实践的加速落地。在外部市场驱动方面,市场需求已趋于饱和,市场竞争日益激烈,消费者对差异化产品的需求日益高涨,因此,企业需要在相同的时间、相同的资源下获得更多的成果。在外部生态驱动方面,多数企业已具备研发效能的土壤和环境,对软件研发运营的各个环节已经实现全面数字化,这为研发效能的数据收集和度量也做好了充分的准备。研发效能度量与新技术加速融合,推动企业实现智慧运营。机器学习和深度学习算法的应用可实现对研发效能度量模型的持续训练优化,逐步提升算
49、法的准确度,提升模型的适应度。在组织实践时,还可结合人工智能等新技术建立问题自动化诊断和分析能力,结合趋势、下钻、关联分析等多种手段帮助识别系统性效能瓶颈,精准改进和识别风险。构建一体化的研发运营体系,持续提升组织级企业研发能力。围绕中国联通数字化转型要求,加大数字技术创新应用,全面提升关键核心技术掌控能力。构建统一研发运营体系,强化 IT 系统架构端到端全栈自主掌控,强化研发管理体系自主掌控,强化能力汇聚共享开放,强化大型软件工程实施自主掌控。运营商提升自主研发核心能力已成为大势所趋。党的二十大报告要求坚持创新在我国现代化建设全局中的核心地位,把科技自立自强作为重要的国家发展战略的支撑。为适
50、应国内外行业形势变化,应对以核心科技为控制点的市场打压,国内运营商行业积极开展自主创新,5.1 研发效能度量体系方法论赋能企业智慧研运5.2 组织级研发能力实现效能度量平台自主可靠18|中国联通研发效能度量实践报告抢占核心科技能力高地。国内三大运营商根据自身发展情况和优势,通过整合人力、物力资源投入等方式,持续加大自主创新和研发能力。中国联通组建成立联通软件研究院、不断发展扩大自有研发人员,聚焦于自主研发与创新能力的持续提升。研发能力从“共生”向“内生”的转变,逐步实现自主可靠。作为全面数字化转型的驱动者、数据技术要素价值的赋能者,联通软件研究院逐步从与生态伙伴“共生”模式逐步转向自主研发创新
51、的“内生”模式,掌握核心业务、核心架构、核心流程、核心数据,实现IT自主研发自强卓越、生产运营高质高效、支撑响应快速闭环的能力,并逐步发展成为行业内一流的软件研发机构。战略规划引领、坚持结果导向,以项目为中心、强化大型软件工程实施自主掌控。围绕组织保障、制度办法、流程保障和系统支撑,对项目进度、质量实施精细化管理,提升全流程端到端各环节的掌控能力,确保建设目标高质量的达成。建立“科技委+办公室+专家”组织保障体系,对项目、技术和产品进行集中式、一体化管理与服务,实行项目经理负责制。聚焦项目管理过程,科学分类,差异化管理。生命周期过程管理,实现“前评估、后评价、全过程管控”的管理框架。推进项目全
52、系统管理,通过数据在各系统的贯通,实现项目管理全过程的数据化、可视化、显性化,并通过项目效能分析进行持续改进。通过效能度量平台建设反哺研发运营转型,结合低代码实现能力共建共享。依托自主构建的统一技术栈,推进效能度量平台与低代码开发模式转型,协同共享组件生态建设,实现度量结果可视化图表的快速搭建,同时进一步丰富低代码的应用能力。通过低代码为开发者提供可视化的应用开发环境,降低或去除软件开发过程对原生代码编写的工作量,可有效提升研发效率、减少业务人员作业流程耗时,助力数字化生产力提升。效能平台建设推动与低代码能力的联合创新、以自主研发推动平台建设自主可靠。助力完善标准化研制工作,促进研发效能度量标
53、准在业内的推广实施。未来,将继续助力标准体系和内容的丰富完善,为全行业企业提供度量指标体系的建设输出联通方案。具体将做好以下两个方面的工作:一是,将提出涵盖以下四个度量场景的指标体系:面向研发效能度量场景,丰富生产研发效能、项目工程能力、生产过程及过程规范性等指标体系,覆盖需求交付全流程;面向运营效能评价场景,从技术运营监控度量、事件与变更度量、运营容5.3 标准化效能度量夯实全行业高质量发展底座中国联通研发效能度量实践报告|19量与成本度量、运营用户体验度量等维度出发,健全 IT 运维运营度量评价体系;面向组织绩效管理场景,为企业管理者和部门管理者,梳理构建横纵并举的度量体系;面向成本收益估算场景,将着力完善科学化、精细化的成本度量标准,规范预算、投资等关键环节资金投入和审批管理,实现项目可视、可管与可控。二是,将积极参与研发效能领域的标准化评估工作。以评促建、以评促改,精准对标研发效能度量行业标准,参与评估工作,并结合专家建议,明确后续改进方向与目标,持续优化企业整体研发效能提升,为企业数字化转型提供重要质量保障。20|中国联通研发效能度量实践报告