《李威-助力研发效能提升:下一代制品库的演进与优化.pdf》由会员分享,可在线阅读,更多相关《李威-助力研发效能提升:下一代制品库的演进与优化.pdf(38页珍藏版)》请在三个皮匠报告上搜索。
1、2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站助力研发效能提升下一代制品库的演进与优化李威 高级解决方案架构师李威 JFrog中国高级解决方案架构师,DevOps教练,GDevOps、TGO鲲鹏会金牌讲师。软件研发效能权威指南联合作者曾就职于京东、烽火等互联网企业及传统企业,十余年一线开发及运维经验,带领团队从零到一实践DevOps转型。01当前制品库的挑战与限制,对软件研发效能的影响02下一代制品库的演进趋势03下一代制品库在面对未来交付场景的架构设计及性能优化目录Content04成功案例与最佳实践01当前制品库的挑战与限制,对软件研发效能的影响2023 Dev
2、Ops 国际峰会 暨 BizDevOps 企业峰会 北京站软件研发效能的定义软件研发效能是指在软件开发过程中,团队或组织能够高效地完成项目目标的能力。它衡量了团队在给定时间、资源和需求下,交付高质量软件的能力。2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站制品信息黑盒的问题goc+javajsiosProductA_v1.3.2.warProductA_v1.3.3.warProductA_v1.3.4.warProductA_v1.3.5.warProductA_v1.4.2.warProductA_v1.4.3.warProductA_v1.4.4.warPro
3、ductA_v1.4.5.warProductB_v1.3.2.warProductB_v1.3.3.warProductB_v1.3.4.warProductB_v1.3.5.warProductB_v1.4.2.warProductB_v1.4.3.warProductB_v1.4.4.warProductB_v1.4.5.warProductC_v1.3.2.warProductC_v1.3.3.warProductC_v1.3.4.warProductC_v1.3.5.warProductC_v1.4.2.warProductC_v1.4.3.warProductC_v1.4.4.wa
4、rProductC_v1.4.5.war运维取包发布测试测试ProductA_v1.3.2 版本这个版本单元测试通过了么95%通过了需要100%通过才能提测哦那测试ProductA_v1.3.3 版本这个版本sonarqube扫出多少问题?你去jenkins上看看。发布ProductA_v1.3.3 版本测试全部通过了么全部通过了安全扫描过么你去问安全同事测试报告在什么地方我发给你邮件。开发每人每天花费10分钟通过邮件等方式沟通制品版本信息,一年将会浪费42个工时分布式团队及跨国团队此数据会成指数级上升经常会因为获取到错误制品,导致发布事故,迭代延误,软件质量低下2023 DevOps 国际峰
5、会 暨 BizDevOps 企业峰会 北京站软件供应链安全对交付的影响Security ScanTestingCodingMondayThursdayFridayReleaseDelayDeveloperTestingCodingTestingCodingTestingCodingLog4j.jar 有一个高危风险,所有团队需要清查花费大量时间查找Log4J的影响范围,浪费人力,干扰迭代进度DelayFastjson.jar 有个高危风险,需要在上线前修复Friday-NextSundayTuesday-WednesdaySecurity administratorDeveloper2023
6、DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站软件供应链安全对组织绩效的影响81%的受访者同意“我们正在努力监测来自公共来源的 关于我们使用的软件及其第三方组件中可能存在的漏洞的信息”。56%的受访者同意:我公司现有的软件安全流程拖累了我所从事的应用程序的开发过程。Google2022年DevOps加速状态报告表明:开发者普遍接受需要防范软件供应链的问题,但是近半数用户认为现有的安全流程及工具拖累了开发过程2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站现代软件交付的趋势apps/services by2024520MSources:IDC,Prep
7、aring for the Digital-First Economy:The Hyperscale,Hyperspeed,and Hyperconnected Enterprise,#DR2020_GS2_FG,March 2020 and IDC FutureScape:Worldwide Datacenter 2020 Predictions,#US44747919 企业每天进行版本发布,甚至更快202560%新的基础设施将被部署在边缘节点/数据中心50%边缘节点/数据中心将运行k8s80%XXX02下一代制品库的演进趋势2023 DevOps 国际峰会 暨 BizDevOps 企业峰会
8、 北京站建设下一代可信制品库的原则质量可信指开发过程中的代码质量、测试通过率、审批结果、合规性、所属人等。质量安全可信指开发过程中的代码安全风险、外部依赖安全风险、开源许可证合规性风险安全2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站建设单一可信源没有统一管理,就无法治理。单一可信源是企业内部单一的,合规地存放所有软件的仓库包括 war 包,Docker 镜像,zip 包等,以及第三方开源组件或者商业软件的授权版本和软件物料清单(SBOM)生产区公有云服务器私有云服务器制品库管理统一管理漏洞扫描晋级开发版本库制品库管理统一管理2023 DevOps 国际峰会 暨 B
9、izDevOps 企业峰会 北京站制品元数据收集与展示通过元数据数据收集及展示保障软件质量可信、可靠统一展示 DevOps 工具链所有数据质量度量数据作为质量门禁,服务于CICD作为提供制品晋级依据流式软件交付模式的基础2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站元数据,制品的质量门禁需求ID测试结果漏洞扫描1.沟通成本2.质量门禁3.自动化部署4.清理2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站软件制品晋级,分成熟度管理制品15制品晋级CI Serveralpha-docker-dev-localalpha-docker-test-
10、localalpha-docker-stage-localalpha-docker-prod-local集成测试通过QA/QC 审批通过性能测试与可靠性验证通过待发布2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站基于元数据的自动软件交付开发测试阶段发布阶段项目开发流水线系统测试流水线系统投产流水线Dev 流水线系统ATeamA/A-1.0jar|-二方库|-三方库项目测试环境Test 流水线系统A发布流水线系统ADEV 制品库项目测试环境基于元数据自动拉取最新待测试版本TeamC/C-1.0jar|-二方库|-三方库unitTest=passedjiraID=101
11、TeamA/A-1.0jar|-二方库|-三方库unitTest=passedjiraID=101SIT测试制品库TeamC/C-1.0jar|-二方库|-三方库unitTest=passedjiraID=101SIT=passedTeamA/A-1.0jar|-二方库|-三方库unitTest=passedjiraID=101SIT=passed投产制品库开发区生产环境TeamC/C-1.0jar|-二方库|-三方库unitTest=passedjiraID=101SIT=passeddeploy=trueTeamA/A-1.0jar|-二方库|-三方库unitTest=passedjira
12、ID=101SIT=passeddeployed=true投产制品库生产区基于元数据智能拉取定时晋级晋级2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站发布制品自动筛选2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站持续安全准入准入审批构建安全门襟,制品晋级制品扫描IDE 插件代码依赖扫描流水线/仓库扫描开发依赖解析-仓库策略与解析顺序SBOMPublic Repos git commitGit RepoARTIFACTORYPIPELINESXRAY PLUGINXRAYDISTRIBUTIONCONNECTpackage.json发布单元
13、扫描发布包扫描安全访问流水线签名投产SBOM公有云混合云/私有云云区域Edge边缘IoT 设备2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站安全左移l IDE 左移l 修复建议l 风险通知IntelliJ IdeaVSCodeEclipseVisual Studio2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站正反向依赖收集l 正反向依赖l 单一可信源2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站风险阻断l 组件防火墙l 阻断策略2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站上下文分
14、析o它有什么作用?发现应用程序漏洞的可利用性 根据安全专家的建议进行补救 识别可访问的路径、适用的配置 支持容器制品中进行扫描o它为什么如此重要?帮助开发人员专注于修复可利用的漏洞 提高修复效率,消除无用功超高危漏洞被证实是对应用程序无影响的50%03下一代制品库在面对未来交付场景的架构设计及性能优化2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站下一代制品库部署架构PG集群Nas/S3SsdcacheSsdcacheSsdcache异步写,数据未写入NFS之前就可以在集群间共享全技术栈统一制品仓库热文件缓存解决NFS读写速度慢的问题原生高可用集群部署方案支持横向扩容
15、,轻易应对万人规模E+支持S3协议下载重定向基于checksum的去重存储,节省存储空间40%全技术栈统一UI2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站现代软件交付的趋势25逻辑聚合多种文件为一个发布单元2.逻辑打包多种文件分发增量分发大文件分片传输多线程分发1.多地之间同步实时、定时推送、拉取不重复同步3.P2P下载任何二进制文件Docker镜像K8S worker node 集群2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站高并发场景下,支持p2p下载加速2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站混
16、合云/多云制品库部署架构MysqlData CenterS3Prod-mvn-localdev-mvn-localAWS SaaSProd-mvn-localFederated RepositoriesDeveloperPipelineSoftware downloadData Center 2Prod-mvn-localData Center 3Prod-mvn-localdeployon AwsPublicPrivateDeployon AwsDeploy2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站IOT OTA制品分发04成功案例与最佳实践2023 DevO
17、ps 国际峰会 暨 BizDevOps 企业峰会 北京站记录制品流转元数据,实现质量可信2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站制品晋级案例ProdPre生产环境制品库开发测试环境制品库ProdPreU6U8Sitreplicationreplication单元测试代码扫描安全扫描冒烟测试接口测试冒烟测试冒烟测试回归测试安全测试冒烟测试系统回归(接口测试)上线评审2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站基于审批的制品晋级案例持续集成平台1,构建过程包、定版包,自动上传制品库3.1,投产制品自动晋级3.2,投产制品自动晋级2,提
18、交变更申请4,研发中心审批通过,申请创建DC变更单3,投产单审批通过,触发制品晋级,同步至数据中心制品库研发管理平台运维管理平台运维管理平台5,根据变更单可调度发起自动化部署Dev制品库Prod制品库DC制品库2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站金融用户制品跨环境制品同步Mysql北京机房S3DeveloperPipelineMysql上海机房S3Mysql数据中心主机房S3分行备机房分行Mysql北京机房S3分行备机房分行拉取拉取推送开发DMZ生产2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站金融企业软件制品管理架构2023
19、DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站制品准入审批流开源治理平台预拉取扫描项目组引入申请引入申请POM/GAVC依赖解析预拉取third-mvn-tmp-remoteJFrogXraythird-mvn-whitelist-localJFrogXraythird-mvn-project1-localJFrogXray安全团队审批组件清单扫描结果项目组使用申请使用申请POM/GAVC复制复制安全团队项目组漏洞/不合规退出流程清理使用2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站车企软件端到端交付北京BlobRDS北京研发中心上海研发中心德国研
20、发中心NASMysql欧洲上海BlobRDSProd-dockerProd-genericSdk-mvnProd-dockerBJ-dev-mvn-localProd-genericBJ-dev-docker-localSdk-mvnSH-dev-mvn-localSH-dev-docker-local多地联邦多地联邦Prod-dockerEu-dev-mvn-localProd-genericEu-dev-docker-localSdk-mvnVendor ARDSS3Vendor BRDSS3Vendor CRDSdistributionS32023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站端到端的软件交付2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站ThanksDevOpsDevOps 时代社区时代社区荣誉出品了解更多关于 JFrog,欢迎来JFrog展位咨询