1、揭秘码云：全球第二大代码托管平台的核心架构简介架构运维总结简介 架构 运维 总结 码云是开源中国社区在2013年推出的基于 Git 的代码托管服务，为开发者提供稳定、高效、安全的云端软件开发协作平台；无论是个人、团队、或是企业，都能够用码云实现代码托管、项目管理、协作开发。产品特点个人用户免费个人开发者可免费创建 1000 个项目（不限公有、私有），提供最多 5G 的免费代码存储空间代码托管支持 Git/SVN 管理，提供代码审核、Bug 跟踪以及 Webhook 钩子回调等功能团队协作轻量级敏捷项目管理工具，提供需求、任务、问题跟踪功能，提供任务看板工具质量分析一键分析项目源码，直观了解项目

2、代码质量，提供代码安全扫描功能功能特点支持通过微信服务号接收账号登录、任务分配、Pull Requests Java/PHP 代码 API 文档自动生成和浏览强大的 Jenkins 插件助力自动化流程Pages 页面功能，支持引擎 Jekyll、Hugo、Hexo禁止强制推送功能代码与任务强关联、支持配置不同的访问方式、完善的日志记录，方便追溯客户案例公有云客户私有云客户高校版用户当前数据项目数500W+用户300W+企业5W+高校500+数据增长项目日均 8K+日均 Push 50W+用户日均 4K+简介 架构 运维 总结 码云基于 Gitlab 5.1.0 版本进行改造应用架构STEP1:

3、单机架构ClientAppDBApp8核 32G内存 一块 2T 存储盘DB4核 16G内存 一块 1T 存储盘存储空间的压力 计算资源的压力Ceph 是一个 Linux PB 级分布式文件系统。可轻松扩展到数 PB 容量 高性能（每秒输入/输出操作IOPS和带宽）高可靠性STEP2:分布式文件系统DNS 分发App1App2AppNNFSMON/OSDMON/OSDMON/OSDCeph使用 Ceph 进行仓库的存储架构遭遇IO瓶颈 RBD块设备被无故卸载STEP3:NFS架构Gitlab 官方的集群方案NFS缓冲文件导致删除不彻底 NFS性能问题 占用内网带宽的问题 无法方便的横向扩展存储

4、 毫无维护性gitgitee-app1:$df-h Filesystem Size Used Avail Use%Mounted on/dev/sda1 184G 15G 160G 9%/dev/sda2 307G 47G 245G 16%/home 172.16.3.66:/data 10T 50G 9.9T 1%/data 172.16.30.1:/disk1 10T 50G 9.9T 1%/disk1 172.16.30.2:/disk2 10T 50G 9.9T 1%/disk2 172.16.30.3:/disk3 10T 50G 9.9T 1%/disk3 172.16.30.4:

5、/disk4 10T 50G 9.9T 1%/disk4 172.16.30.5:/disk5 10T 50G 9.9T 1%/disk5 172.16.30.6:/disk6 10T 50G 9.9T 1%/disk6 172.16.30.7:/disk7 10T 50G 9.9T 1%/disk7 凌乱的磁盘挂载STEP4:分布式架构DNS 分发Frontend 分发集群Backend1Backend2BackendNReposReposReposMysqlRedis集群ES集群Router分布式架构组成模块Backend1Backend2BackendNReposReposReposRo

6、uterNginx ProxySSH ProxyServer ProxyLFS ProxyFrontend 集群MysqlRedis集群ES集群按用户进行分片 与仓库无关的请求随机分发 仓库非同一台机器的逻辑处理如何分发应用KeepAlived DRBD服务Mysql Cluster Redis Cluster ES Cluster Backend1ReposBackend1bakReposFrontend1Frontend1bakKeepAlivedKeepAlivedDRBD稳定性用户分配策略 迁移策略 扩展Frontend以及Backend可维护性深圳北京杭州企业专线带宽质量不理想 内部

7、网络管制异地多中心深圳节点杭州节点Backend1ReposBackend1ReposBackend1ReposBackend1ReposBackend1ReposBackend1ReposBackend1ReposBackend1ReposRouterNginx ProxySSH ProxyServer ProxyRouterNginx ProxySSH ProxyServer ProxySync异地多中心架构同步仓库队列，一定要保证可靠性 多个中心之间的仓库定时校验正在改造按项目进行分片 将Gitee主程通过RPC调用方式与仓库剥开 读写分离架构提升Backend1Backend2Back

8、endNReposReposReposBackend1Backend2BackendNReposReposReposReposReposRepos主程与仓库分离Backend1ReposBackend1-1ReposBackend1-2ReposRouterWrite写主仓SyncSyncRead！读写分离写操作读操作简介 架构 运维 总结 发布Ansible HostplaybookWeb ServicesNginxSidekiq Workergit-srvbrzoSServerHostSystem updateServer init发布GrafanaElasticsearchLogstashKibana监控DDoS攻击历史峰值:365.80G DDoS攻击次数:417DDoS攻击历史峰值:487.75G DDoS攻击次数:171DDoS攻击历史峰值:47.66G DDoS攻击次数:19DDOS软件漏洞CC攻击安全防护容器化（Sonar、Pages等服务已完成）运维自动化未来简介 架构 运维 总结 码云一直以为程序员服务为目标 架构之路很难但迎接挑战 多多分享多多汲取意见总结