1、T02T02技术发言n 技术发言n 存储世界，不止如此-0-级存储引擎背后的技术 T02T02技术发言n 技术发言n 摘要 e要分mq2006开始，腾讯内部q无存储平台到存储量达0-级别的T1S2.0存储平台这一过程b所经历的技术问题。在社l图片和视频盛行的时s，存储系统的设计和运营如何进行适配，揭秘微信c2c图片和视频如何提升体验、降低成本，t及在云时s，腾讯是如何开放内部的存储技术的。T02T02技术发言n 技术发言n 内容%.0-级存储系统的发展过程 2.图片时s存储设计t及在运营上的思考 3.视频时s的存储设计t及在运营上的思考 (.云时s的开放g路 T02T02技术发言n 技术发言n

2、 存储数据增长趋势及内容分布 文v,%图片,)+%视频,32%文v类型分布 文v类型分布 0050060070080090010002006.052007.122009.042012.062017.010P1P10P100P1000P存储量增长趋势存储量增长趋势 T02T02技术发言n 技术发言n 混h时s a务z多，各自存储 方案多样，运营复杂 性能低，成本高 容灾不完善 6?js?Apache?CGI1?CGI2?memcache?mysql?h6?T02T02技术发言n 技术发言n 存储的第一s需求 U2.a务爆发，37扛不住 频繁扩容，运维伤不起 存储成本高 T0

3、2T02技术发言n 技术发言n T1S第一sg4V存储系统 经典三层架构 接口简单，快速接入 一致性哈希分布 易扩展，高性能 半自动化运营 HANDTDB Library?SetGetDel?MasterCELLHANDHANDCELLCELLCELLCELLCELL?T02T02技术发言n 技术发言n 通用协议 20TVS0TV/050T0 接口通用 bFdVPFdVGBT（OPrFnDY 40Y通用 ValuB（OPrFnDY 返回通用 4V系统，异构升级的基础 T02T02技术发言n 技术发言n 扩展性设计V自动分裂 0-99?tablet?100-199?tablet?999900-9

4、99999?tablet?0-99?59-99?0-49?T02T02技术发言n 技术发言n 高性能保证?OLag?4?I?2?h?1?V?2?OL?OL?V?T?8?%?%?2?2?0?-?He?OL?H?H?a?a?T02T02技术发言n 技术发言n T1S第一sV文v系统 Id)cEG Id)IaOPBr FdSIaOPBr uOBrFdS CFlBFdS cESIaOPBr/U cESd/U cESd/U cESd/U cESd TrSd 6TOMl/T/-LrBuLlKad EPPLOvr T02T02技术发言n 技术发言n 37调度 masterchxd1chxd2ChxdNChx

5、dN+1?chxd?chxd77Master?chxd?T02T02技术发言n 技术发言n 空间管理 2123?21?3?213?213?4T02T02技术发言n 技术发言n T1S上线解决ipf问题 UIN?Album1 Pic1_1 Pic1_2?AlbumN PicN_1 PicN_2?.?.?10ms.?Picdata1_1?Picdata1_3?Picdata1_2?Picdata1_4?Picdata1_N?2RMB.?TB?4?G.?(?5?,set?)Set1Set2SetNT02T02技术发言n 技术发言n 图片时s的来c 05000?(G)?(G)数百

6、数百8-8-存储存储、T T级下载带宽级下载带宽。日上传数十o次日上传数十o次、日下载数千o次日下载数千o次。T02T02技术发言n 技术发言n 图片时s存储系统遇到的挑战 文v小，)0%删除 吞吐极大 T02T02技术发言n 技术发言n 图片定制存储系统?server?4?4?server?cache?TFS?/?server?4?4?(?)?SDK?hNp?SDK?IDC?4?T,?,?webp/jpeg?s?0?0?99%?s?4?CDN?Cache?Webp/Jpeg?4?T02T02技术发言n 技术发言n 高速回收 T02T02技术发言n 技术发言n.acEB设计?OC?OC?OC?

7、OC?OC?OCDCT02T02技术发言n 技术发言n 视频时s的来c 随着电影38的兴起，各大视频应用呈现k喷式发展 r费V38用户+广告收入增长迅速，t腾讯视频d例，%6年流水达到百o级别 T02T02技术发言n 技术发言n 视频时s的存储挑战 超大文v（)0TY 极冷文v的合理安置 T02T02技术发言n 技术发言n 50T?1?50T?5G?5G?5G?1?2?10000?1M1M?1M?1?2?n?1M1M?1M?1?2?n?1M1M?1M?1?2?n?超大视频 T02T02技术发言n 技术发言n 极冷视频 T02T02技术发言n 技术发言n 云存储时s T02T02技术发言n 技术

8、发言n 我u准备开放pf 腾讯公司的存储技术 对数据深度理解的定制能力 对场景深度理解的a务能力 T02T02技术发言n 技术发言n 手机备x需求 多3/.（间隔,0公里Y 一地3/.灾难，数据保证完整可恢复 T02T02技术发言n 技术发言n 三地多b心解决方案 T02T02技术发言n 技术发言n 归档需求 我u只需要价格低 一年只需要读写入数据的万分g一 可t延迟读 T02T02技术发言n 技术发言n 类DlacFBr方案 通过牺牲可用性牺牲可用性（允许存在恢复时间Yt及利用a务特性a务特性（批量导入，大文vY，将成本成本发挥到极致的空间管理方法。T02T02技术发言n 技术发言n 整机柜技术 JBOD.JBOD.JBOD2?JBOD?48?.?NGB?chunk?N?chunk?stripe.?1?2T02T02技术发言n 技术发言n 磁盘y眠?N?N?0?N?N?N?plan?task?task?(?)?(?)?T02T02技术发言n 技术发言n 谢谢