《封神:HBase产品体系架构及特性解析(30页).pdf》由会员分享,可在线阅读,更多相关《封神:HBase产品体系架构及特性解析(30页).pdf(30页珍藏版)》请在三个皮匠报告上搜索。
1、阿里云HBase产品体系架构及特性解析阿里云高级技术专家封神HBase在大数据中的价值应用场景产品特性产品架构后续计划2 3 4 51目录HBase在大数据中的价值HBase在大数据中的价值关系型数据库MySQL解决中小数据库存储需求!分库分表解决一定容量需求,实现复杂,业务需感知!分布式存储HBase分布式存储,支持海量存储,高百万级并发!不支持事物等数据库传统需求!HBase支持实时更新、增量导入、多维删除、随机查询、范围查询、高伸缩、高可用、高可靠、高性能、高适应在线分布式NOSQL数据库。分库分表数据量GBPB数据库技术发展成本一般需要特殊硬件成本较高!QPS无法满足较高的并发要求,性
2、能不能横向扩展!分析计算资源有限,不能满足分析类需求!容量QPS成本分析容量无法满足TB、PB级别的数据存储需求!传统关系型数据库面对的问题写吞吐高不受SSD随机写入放大干扰离线导入效率巨高高性能、高可靠性自动分区Spark on HbasePhoenix、KylinHadoop生态存储无限满足TB、PB级存储需求LSM-Tree增加QPS可以满足分析需求HDFS共建存储空间无限分区自动分裂分区在线Merge新型数据库面对的办法阿里云HBase架构产品架构基于VM的架构共享存储VMos_diskVMos_diskdata_diskdata_disk模式模式优势优势劣势劣势客户推荐客户推荐HBa
3、se基于共享存储HBase on OSS存储计算分离延迟稍微高一些稳定性一般历史归档HBase基于HDFSHDFS基于共享存储存储计算分离副本数为1、可用性一般副本数为2、单位成本高小客户首选HBase基于HDFSHDFS基于本地磁盘稳定性高延迟低单位成本低起步高,灵活性差不可存储计算分离大客户首选SATA高于20TSSD高于4T基本架构存储成本下降7 700%00%本地盘架构云盘基于共享存储产品层网络层中间件HBase存储层运维服务运维能力SQL 二级索引多语言支持接入层数据上云 CDP 物联网CloudDBADMS控制台云监控Ali-HDFS共享存储OSS运维部署全链路监控资源调度Robo
4、t自动运维devops平台物理机/ECS供应链管理容灾切换容器编排帐号售卖计费支付全量/增量备份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟白名单隔离Classic|VPCDNSAKUser基本架构产品层网络层SQL 二级索引多语言支持接入层数据上云 CDP 物联网CloudDBADMS控制台云监控Ali-HDFS共享存储OSS运维部署全链路监控资源调度Robot自动运维devops平台物理机/ECS供应链管理容灾切换容器编
5、排帐号售卖计费支付全量/增量备份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟白名单隔离Classic|VPCDNSAKUser提供上云方案、安全服务、公网访问、监控指标报警、方案支持等一站的DBaas服务基本架构数据上云 CDP 物联网CloudDBADMS控制台云监控Ali-HDFS共享存储OSS运维部署全链路监控资源调度Robot自动运维devops平台物理机/ECS供应链管理容灾切换容器编排帐号售卖计费支付全量/增量备
6、份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离白名单隔离Classic|VPCDNSAKUserApsaraDBApsaraDB-HBaseHBase 内核是基于社区HBase1.1版本打造,目前在阿里集团内部有数千业务使用,万台机器的规模,在性能、稳定性、功能方案均有提升及改进,在历年双十一均有考验。中间件HBaseSQL 二级索引多语言支持稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟基本架构数据上云 CDP 物联网CloudDBADMS控制台云监控运维部署全链路监
7、控资源调度Robot自动运维devops平台物理机/ECS供应链管理容灾切换容器编排帐号售卖计费支付全量/增量备份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离白名单隔离Classic|VPCDNSAKUserSQL 二级索引多语言支持稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟存储层Ali-HDFS共享存储OSSHBaseHBase基于基于HDFSHDFS及及OSSOSS,小容量直接采取盘古云盘降低成本,高容,小容量直接采取盘古云盘降低成本,高容量直接采取本地磁盘,提
8、高性能及容量。量直接采取本地磁盘,提高性能及容量。基本架构数据上云 CDP 物联网CloudDBADMS控制台云监控Ali-HDFS共享存储OSS白名单隔离Classic|VPCDNSAKUserSQL 二级索引多语言支持稀疏宽表、实时更新、增量导入、随机,范围查询、多维删除多版本动态列数据TTL强一致Ali-HBase高可用自动分区水平扩展一键迁移阿瑟运维服务运维能力运维部署全链路监控资源调度Robot自动运维devops平台物理机/ECS供应链管理容灾切换容器编排帐号售卖计费支付全量/增量备份防闪断热升级异地灾备&多活实例克隆链路安全秒级监控机房下线弹性伸缩库存管理资源隔离 运维自动化 1
9、5分钟全自动部署集群 自动守护进程 可用性检测及报警 修改配置 扩容节点 扩容磁盘 链路监控报警 指标可视化 自动升级内核 基本架构产品特性产品特性HBaseZKHDFSHBaseClientHASzk1,zk2,zk3User/password网络:VPC、白名单数据链路:账号密码共享环境访问 ApsaraDB HBase,产品打通ODPSBlinkLogService物联网套件CDP企业级安全ApsaraDB HBaseVPC网络HBase ClientHBase Client经典网络HBase Client公网访问满足测试及迁移VPC等需求公网访问02000040000600008000
10、0000随机写1行 sync_WAL随机写2行 sync_WAL随机写100行 sync_WAL无cache命中随机1条无cache命中随机100条cache命中随机读cache命中随机读HBase1.1.2云HBase社区版本:1.1.12 VS 阿里云云HBase版本2 slave 8cpu32g 启动单个RegionServer 单条写 1KB性能HBase on OSS本地磁盘存储(10月支持),单位存储成本最低,性价比最高ZSTD 压缩算法(10月支持)热点检测迁移(10月支持)分段Compaction(10月支持)大
11、请求的资源保护HDFS多副本并发写,降低写的抖动一键集群迁移(已经支持)表的分级存储(11月支持)表的冷热分离存储(12月支持)经典网络/公网可访问(9月支持)企业级安全 User/Password验证(10月支持)双集群(12月支持)读写分离其它特性应用场景报表类时序类日志类消息类轨迹类分控类ApsaraDB-HBase 高存储量、高并发量电子商务物联网车联网聊天软件金融广告商新闻电信推荐类存储互联网、物联网存储互联网物联网ApsaraDB-HBasePhoenix 二级索引/交互式分析内置多维分析Kylin图数据库JanusGraph时序数据库HiTSDB通用分析能力SparkHBase发
12、展起来的组件气象监测温度计导航定位GPS车联网车环境检测测量仪器工业设备机床智能家居空调、冰箱智能电网电量检测智慧城市传感器ApsaraDB-HBase 高存储量、高并发量轨迹路径监控报警预测未来统计分析清洗压缩物联网高并发、高性能、高容量满足物联网的需求,如预警、分析等基于LSM写吞吐量较高查询效率高相邻数据存储一起、批量查询(scan)数据效率高搭配使用ECS、LogService、物联网套件、Spark、Hadoop物联网日志行为消息报表清洗转换实时交互式分析满足千亿数据即时分析,实时返回结果访问速度倒排索引,加快速度相邻数据存储一起、scan数据效率高算子下沉到RegionServer
13、过滤数据查询效率高相邻数据存储一起、批量查询(scan)数据效率高搭配使用ECSApsaraDB HBase Phoenix模块事实表索引表1索引表2ApsaraDB HBase交互式实时分析安全风控结果数据搜索网页等信息大屏报表结果数据大容量、低成本、稀疏表Hadoop、Spark、Flink、Storm快速入库高并发高容量的大数据应用满足高并发访问,数据快速入库出库,满足大屏、风控、搜索的存储的需求大数据量支持TB-PB的存储空间表特征稀疏表、动态列、TTL历史数据快速过期搭配使用Hadoop、Spark、Flink、StormApsaraDB HBase高并发高容量的大数据应用广告商网页
14、、微博等数据系统行为大数据 实时大屏数据收藏交易高速同步TimeTunnelHBase集群实时计算BlinkHBase集群每秒流量GB级每秒请求百万级HBase集群实时数据服务毫秒级查询大数据 实时风控事件人物环境时间方式行为每秒写入百万级HBase集群离线计算低价清理过期淘汰过载淘汰明细增量导出日账结果回流十TB级导入在线风控平台明细日账实时查询每秒查询百万级日志数据交易数据订单数据大容量大容量低成本低成本批量入库批量入库实时批量查询实时批量查询一般为:人的行为快速入库海量历史数据查询低成本大容量满足海量数据的存储、支持高吞吐量实时入库及数据实时查询大数据量支持TB-PB的存储空间低成本支持云盘、OSS、本地盘不同形态的实例,最大程度降低用户成本搭配使用ECSApsaraDB HBase海量数据存储-大量历史数据消息数据低频随机实时查询数据链路未来计划HBase2.0上线丰富HBase生态组件高可用性 双集群建设HBase on OSS支持云HBase数据推送未来规划