《张鹏-AISecOps 软件供应链管理实践.pdf》由会员分享,可在线阅读,更多相关《张鹏-AISecOps 软件供应链管理实践.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、AISecOps 软件供应链管理实践张鹏 JFrog 解决方案架构师张鹏JFrog 解决方案架构师专注于 DevSecOps 解决方案设计与实施,具有丰富研发和云服务经验,负责JFrog中国南区及港澳台区域业务,具 有 丰 富 的 银 行、证 劵、科 技 等 行 业 的DevSecOps 建设实践经验。目录contents01AI 时代的 DevSecOps 变革02制品库的“多类型”&“大模型”管理实践03制品库的“软件供应链安全”管理实践04Demo&案例PART 01AI 时代的DevSecOps 变革GOPS 全球运维大会 2024 深圳站JFrog 软件供应链管理平台Artifact
2、ory(30+制品管理,Huggingface)Xray(18+制品扫描)Curation(OSS 引入管理)JFrog Advanced Security(SAST)Runtime Security(保持关注)关于 JFrogGOPS 全球运维大会 2024 深圳站二进制文件开发打包晋级分发部署运行引入变革:世界仍在 OSS 上运行?代码GOPS 全球运维大会 2024 深圳站观点&思考“我们正处于 AI 的起跑线上,每个行业都将被革命”“苹果或因 AI 取消了电动汽车计划”“DevSecOps 实践将为 AI/ML 开发和安全提供宝贵经验”PART 02制品库的“多类型”&“大模型”管理实
3、践GOPS 全球运维大会 2024 深圳站上一代软件管理方式FTP/SVNMaven 库NexusNPM 库NPMDocker 库HarborC#,.Net 库Nuget公有云私有云容器云开发团队开发团队开发团队开发团队开发团队开发团队统一代码库统一持续集成1.研发团队使用多种私服账号构建速度慢3.测试团队版本信息不透明版本缺乏质量信息4.运维团队高可用性维护难从研发到生产传包慢2.安全团队漏洞发现难影响定位难“最早的问题是 FTP/SVN,最新的问题也是”GOPS 全球运维大会 2024 深圳站为什么需要 Private Huggingface Hubhttps:/huggingface.c
4、o/blog/introducing-private-hub通过与 ML/Data Sci 团队的数千次对话,有了对构建 ML 面临的最常见问题和挑战的独特视角:重复的工作、不良的反馈循环、跨团队协作的高摩擦、非标准流程和工具以及生产模型优化困难。我们不再提供 Private Hub 本地部署。“类似于 Private Github、Private Dockerhub,也需要 Private Huggingface Hub”GOPS 全球运维大会 2024 深圳站AI/ML 与传统软件研发的异同https:/ ML 效率问题GOPS 全球运维大会 2024 深圳站如今 AI/ML 模型版本管理
5、的问题使用 S3 存储桶这会让数据科学家自行命名每个上传,这通常会导致命名不一致、File_Name_Final_Final_Final 难题,甚至丢失文件。使用 Git数据科学家和工程师只需在 Main 分支上堆叠 Commit,利益相关者可以看到以前的提交,但没有简单的方法可以知道他们每次提交会得到什么,因为名称只是一组随机字符。“基于 FTP/SVN 的手工作坊又回来了”GOPS 全球运维大会 2024 深圳站1.研发依赖管理(多地同步)多种语言包的管理能力,Maven、Docker、Python、Conda、Huggingface 模型上传下载2.大文件管理(本地上传下载)对比 FTP
6、 具有去重存储和上传,降低存储和传输成本,高可用,灵活权限管理和 API 集成单机制品库上传速度上限为 1000MB/s单机制品库下载速度为 880MB/s(客户端数量不足,理论能打满带宽)横向扩展制品库节点,可以倍数提高上传和下载速度3.E+制品分发(边缘就近下载)通过 Release Bundle 分片分发,GPG 签名保护下载权限分发制品传输速度为 100MB/s(两地互联网带宽限制)Artifactory“多类型”和“大模型”使用场景GOPS 全球运维大会 2024 深圳站对比 FTP/S3-并发下载可打满 80-100%带宽GOPS 全球运维大会 2024 深圳站JFrog AI/M
7、L 模型版本管理方式1.更好的存储和性能,替换 FTP/S32.模型管理版本化3.元数据可视化4.存储空间可清理5.易于分享模型6.晋级模型,而无额外存储成本7.同步模型到生产环境,而无额外网络成本8.模型安全扫描https:/ 全球运维大会 2024 深圳站JFrog AISecOps 集成架构例如 JFrog 与 Qwak 集成的完整AISecOps 解决方案,可实现团队之间的无缝交叉协作。1.将所有模型、制品集中在唯一可信源中2.减少外部服务中断或消除公共存储库中模型或包版本的潜在风险3.管理和限制对外部私有或公共存储库的访问,确保用户只能使用经过批准的源4.为利益相关者提供有关公司内部
8、使用的内容的全面透明度JFrog+Qwak-https:/ SageMaker-https:/ 03制品库的“软件供应链安全”管理实践GOPS 全球运维大会 2024 深圳站利用 ChatGPT 的新型攻击ChatGPT包存储库攻击者3、发布恶意包1.问题2.回复不存在的包5.回答带有恶意包名称4.问题开发者6.npm install7.恶意代码执行https:/ 全球运维大会 2024 深圳站使用 Huggingface 的数据科学家成为攻击目标JFrog 安全研究团队开发了扫描环境,每天多次严格检查上传到 Huggingface 的每个新模型https:/ 04Demo&案例GOPS 全球运维大会 2024 深圳站THANKS!JFrog 公众号讲师微信