1、高效能制品库系统的设计JFrog2023 深圳站王青十五年敏捷研发管理与软件工程实践经验，目前任 JFrog 中国技术团队负责人QCon明星讲师,GOPS金牌讲师JFrog(中国)技术总监2023 深圳站目录CONTENTS管理上亿的制品，会遇到什么问题?海量文件存储占用磁盘大，如何优化？1 如何设计存储系统能支持高并发的文件上传？2 并发下载遇到瓶颈，如何水平扩容？3 利用制品元数据实现自动化4 2023 深圳站JFrog 软件产品形态1.唯一可信源三方库二方库版本库2.7000+企业用户3.全球财富100强企业近90%已使用2023 深圳站现有的制品库正在阻碍您的快速发布研发测试区生产区F

2、TP/SVNMaven库NexusNPM库NPMDocker库Docker RegistryC#,.Net库Nuget公有云私有云开发团队开发团队开发团队开发团队开发团队开发团队统一代码库统一持续集成使用多种私服账号构建速度慢版本信息不透明1.研发团队版本缺乏质量信息缺乏版本流转信息2.测试团队无高可用性大包传输失败3.运维团队漏洞发现难影响定位难开发修复难4.安全团队2023 深圳站JFrog 软件唯一可信源2023 深圳站软件发布频率的增长趋势1.IDC 研究报告全球的App数量达到520M-202460%企业每天进行版本发布，甚至更快-202580%数据中心将运行 K8s-20252.案

3、例深圳某大型高科技企业月度构建次数达到 9000万次某股份制银行日均构建次数达到 10万次Sources:IDC,Preparing for the Digital-First Economy:The Hyperscale,Hyperspeed,and Hyperconnected Enterprise,#DR2020_GS2_FG,March 2020 and IDC FutureScape:Worldwide Datacenter 2020 Predictions,#US44747919 2023 深圳站应用架构2023 深圳站1.海量文件存储占用磁盘大，如何优化？去重的文件存储设计文件上

4、传是将文件以其 checksum 值重命名数据库里存放文件的路径和文件的 checksum2023 深圳站去重存储的优点任何文件在磁盘里只存储一份在海量文件检索时效率极大提升Actual FileDB RecordPath2023 深圳站如何设计存储系统能支持高并发的文件上传下载？文件上传：上传时间长，容易超时失败缺乏写缓存2023 深圳站增加文件读写缓存层Cache-fs：读取缓冲区，用于优化 Artifactory 和远程存储（例如 NAS 或云存储）之间的流量。这个“最近使用”（LRU）缓存将托管最近上传和下载的工件。启用它可以减少对网络存储的请求数量，从而减少响应时间。Eventual

5、：一个写缓冲区，用于在使用慢速和/或远程存储时优化上传过程中的减速。默认情况下，所有依赖对象存储（例如 AWS S3、Azure Blob 存储等）的 Artifactory 存储模板都启用此缓冲区。这允许实现异步上传，不用等工件上传到远程存储即可立即使用。一旦工件上传到存储并在 Artifactory 中可用，它将从最终缓存中删除。2023 深圳站链式存储设计2023 深圳站高并发下载遇到瓶颈，如何水平扩容？JVM 监控Tomcat HTTP Connections/ThreadsDatabase 数据库瓶颈-PT-toolsFilestore Configurations2023 深圳站水

6、平扩容2023 深圳站按业务区分制品库集群2023 深圳站记录制品流转元数据，实现质量可信2023 深圳站通用部署包的数据模型2023 深圳站根据版本的质量信息进行版本自动拉取/Find items that have been approved by QA:getLatestReleasedJar.aqlitems.find(repo:libs-release-local,name:$match:guestbook-service-*.jar,apiTest.summary.pass_rate:$eq:100,qa.approve:$eq:true).sort($desc:created).

7、limit(1)jf dl-file-spec getLatestReleasedJar.aql2023 深圳站根据版本的质量信息进行版本自动化流转2023 深圳站用户自定义清理/Find all the builds that have were created after 2012-07-01builds.find(created:$gt:2012-07-01)/Find items that have been approved by QAitems.find(qa_approved:$eq:true)/Find builds that were run on a linux machinebuilds.find(os:$match:linux*)/查询包含GPL的包，但不包含LGPL-2.1*items.find($and:license:$match:*GPL*,license:$nmatch:LGPL-2.1*)jf cli del-file-spec cleanup.json2023 深圳站总结系统改进：1.去重存储2.增加文件缓存层3.支持系统水平扩容4.利用制品元数据实现自动化2023 深圳站JFrog 微信公众号JFrog 小助手微信DevOps 技术交流群感谢聆听