1、PostgreSQL物联网六脉神剑 阿里云-飞天八部-数据库技术组 digoal 高级技术专家2016 PostgreSQL 中国用户大会注册码OAMup61议题 物联网应用场景特性分析 PostgreSQL 物联网六脉神剑 ApsaraDB for RDS(PG)介绍身边的物联网物联网体系结构数据产生采集数据传输数据处理存储物联网应用特性分析数据有时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、

2、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 数据归类、索引功力数据归类、索引功力终端多、数据产生量大终端多、数据产生量大 数据压缩、高并发导入、处理能力数据压缩、高并发导入、处理能力BRIN索引-时序数据高效查询时序数据高效查询btree(全记录索引)value1,ctidvalue2,ctid.bigfullbrin(块粒度索引)blockid_left,blockid_ri

3、ght,value_min,value_max,allnull?,hasnull?.smalllossyB-tree大而全BRIN小而美000400060008000000万数据创建索引(ms)brinbtree2020003000400050006000插入1000万数据(ms)brinbtree20范围查询(ms)超过单个BLOCKbrinbtree50200250索引大小(MB)brinbtree350.9010203040精确查询(ms)brinbtree

4、btree记录值和每行行号BRIN记录每(连续)块元数据PostGIS-全球使用范围最广的GIS系统(覆盖民用、军用、科研)地图、导航、O2O应用、国际空间站、欧洲宇航局基于地理位置的调度，车辆运动轨迹管理、最短驾驶路径计算公车行驶轨迹监控，在电子围栏外时告警距离搜索，范围检索数据类型点 二维、三维（经纬度、海拔）、多维、地址类型线 闭合线段、开放线段、多点线段面 圆、椭圆、矩形、长方形、正方形、规则多边形、不规则多边形、曲面raster GIS图数据,jpegs,tiffs,pngs,digital elevation models测绘、航天、天文应用拓扑操作符点面判断、距离、面积、体积、叠

5、加、相减、长度、弧度、夹角、pixel相关运算、raster相关运算索引距离运算、距离排序、包含判断、相交判断函数区域内线段长度（城市道路长度）、路径成本(坡度、长度、权重)计算、最佳路径计算、区域面积（城市面积）GIS业务-最佳路径计算支持线段双向权重设定支持线段双向权重设定上坡：上坡：+weight下坡：下坡：-weight3D数据处理(raster,pgpointcloud)位置、位置、RGB、密度、材质、。位点多元属性、密度、材质、。位点多元属性性能指标KNN近邻查询16 Core,100亿数据,64并发,KNN查询平均响应时间0.848毫秒,qps 74151.物联网应用特性分析数据

6、有时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 数据归类、索引功力数据归类、索引功力终端多、数据产生量大终端多、数据产生量大 数据压缩

7、、高并发导入、处理能力数据压缩、高并发导入、处理能力JSONB JSONB 全面支持 IO、OP、AM、func 任意KEY或VALUE的索引索引支持 VALUE支持numeric,string,time,array,嵌套json等GIS数据处理图数据处理流式计算3D数据处理基因处理分词FDW数据泵对接ESKafka.优化器数据走势预测LBS应用多副本GPU并行计算CPU并行计算8种索引方法,20种大类bt,hash,gin,brin,rumbloom,gist,sp-gist文本挖掘机器学习读写分离水平分库音频处理空间数据处理多主同步SQL-2013JSON支持数十种流行编程语言编写服务端函

8、数块级增量备份&PITR估值计算递归查询HASH JOIN窗口查询平面几何立体几何类型扩展(IO,OP,AM,FUNC)多维分析正则走索引异步消息旋转门压缩时序数据处理ECPGMVCCREDO流式复制language handlerFDW handlerscan handlerHOOKAGGWINDOW秒杀历经历经43年进化年进化-相当成熟的底盘技术相当成熟的底盘技术SQL兼容性可靠性扩展性开放式接口HINTMR一切皆可扩展一切皆可扩展-取自最终用户开源项目取自最终用户开源项目(pgxn,github,pgfoundry,sourceforge,社区社区.)成熟稳定的插件整合进PG内核图像数据

9、处理Wavelet算法下沉至PG内核基因数据处理物联网应用特性分析数据有时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 数据归类、索引功

10、力数据归类、索引功力终端多、数据产生量大终端多、数据产生量大 数据压缩、高并发导入、处理能力数据压缩、高并发导入、处理能力一条SQL搞定流式实时处理传统流式计算开发门槛高PostgreSQL 一条SQL搞定流式实时处理实时计算某WEB站点的请求延迟(SLA实时监测实时监测)，90%RT低于多少毫秒，95%RT低于多少毫秒，99%RT低于多少毫秒。实时营销实时营销效果反馈（实时检测某营销活动周边1公里的人流、车流）实时趋势预测预测（如股价，温度，湿度。）非流式处理的话，响应时间在十分钟级十分钟级（假设十亿级十亿级数据量）持续持续插入插入数据数据一条一条SQL创建流视图查询流式处理结果毫秒毫秒 级

11、级响应时间PipelineDB base on PostgreSQLRDS/nosqlFiles过滤、聚合、转换、老化、触发物联网应用特性分析数据有时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分

12、析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 数据归类、索引功力数据归类、索引功力终端多、数据产生量大终端多、数据产生量大 数据压缩、高并发导入、处理能力数据压缩、高并发导入、处理能力复杂查询、统计分析能力 支持JOIN顺序优化、子查询提升、固化JOIN顺序、固化子查询、CBO JOIN优化、GEQO JOIN优化 支持HASH、MERGE、NESTLOOP JOIN方法 支持CPU并行HASH AGG 多维分析语法(GROUPING SETS,CUBE,ROLLUP)支持估值数据类型 支持丰富的聚合、窗口、数学函数库 MADLib机器学习库GIS数据结合窗口、多维分析解决了哪几

13、个问题1.避免冗余扫描和计算1.每个大范围的数据只需要扫一次2.解决灵活多变的多维透视需求多个字段任意组合，指定组合的聚合查询结果快速查询Grouping SetsCubeRollup分析库基于方差的分析MADLib库物联网应用特性分析数据有时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流

14、式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 文本数据分析与处理、数据归类、文本索引文本数据分析与处理、数据归类、文本索引终端多、数据产生量大终端多、数据产生量大 数据压缩、高并发导入、处理能力数据压缩、高并发导入、处理能力文本处理能力支持ts_vector 分词数据类型,ts_query 分词搜索类型分词扩展能力，支持中文分词，支持自定义分词GIN、GIST、SP-GIST索引支持trgm插件，支持文本相似度查询、模糊检索rum索引，支持文本相似度打分和快速检索es-fdw，ES搜索引

15、擎的整合性能指标模糊查询、正则匹配8Host,16Core,1008亿数据,前后模糊、正则匹配,秒级响应分词英语分词性能：900万 words每秒(Intel(R)Xeon(R)CPU X7460 2.66GHz)中文分词性能：400万 字每秒(Intel(R)Xeon(R)CPU X7460 2.66GHz)英文分词+插入性能：666万 字每秒(Intel(R)Xeon(R)CPU X7460 2.66GHz)中文分词+插入性能：290万 字每秒(Intel(R)Xeon(R)CPU X7460 2.66GHz)前后遮挡的才是高手但是也逃不过PostgreSQL的法眼物联网应用特性分析数据有

16、时序、时间空间、等属性数据有时序、时间空间、等属性 时序、地理位置、数据处理能力时序、地理位置、数据处理能力某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据某些数据难以结构化、甚至有非常规数据如图像、语音、视频数据 自定义能力、扩展能力、非结构化数据处理能力自定义能力、扩展能力、非结构化数据处理能力数据处理实时性高数据处理实时性高 流式处理能力流式处理能力数据维度多，相关性复杂数据维度多，相关性复杂 复杂查询、统计分析能力复杂查询、统计分析能力有文本模糊、相似度查询需求有文本模糊、相似度查询需求 数据归类、索引功力数据归类、索引功力终端多、数据产生量大终端多、数据产生量大 数据压缩、

17、高并发导入、处理能力数据压缩、高并发导入、处理能力数据装载、并行处理能力数据装载能力32Core,512G,2*Aliflash SSD连续24小时多轮数据批量导入测试(37个字段，平均每条记录长度360字节,时间字段建立索引)每轮测试插入12TB数据unlogged 装载506万行/s，1.78 GB/s，全天插入4372亿，154TB数据logged 装载 106万行/s (为什么这么快?)(BRIN,HEAP,动态扩展数据文件动态扩展数据文件,prealloc XLOG,reuse XLOG)支持CPU并行计算画像分析CPU并行 32Core,16亿(90GB),count(*)7秒,b

18、it(and,xor)16秒,非并行(141秒,488秒).多表JOINGPU并行(1张 1亿 table join 9张 10万 table)21秒,非并行520秒.高并发、数据压缩能力TPC-B(1 Select:3 Update:1 Insert)32Core,512G,2*Aliflash SSD 10亿数据量,11万tps,77万qps Select-Only 100万tps (即使应用缓存失效，也无大碍)TPC-C(新建订单45,支付43,订单查询4,发货4,库存查询4)4000个仓库,400GB数据,平均每笔事务10几条SQL12Core,256GB,intel SSD,61万T

19、PmC(IO瓶颈严重,理论上可以达到200万)LinkBench(Facebook 社交关系应用)1亿个node，4亿条关系，(32Core，2 SSD,512G)(添加NODE，更新NODE，删除NODE，获取NODE信息，添加关系，删除关系，更新关系，关系总数查询，获取多个关系，获取关系列表)12万 ops (默认测试用例)压缩行级压缩列存储，块级压缩读写分离、水平分库透明的冷热数据分离RDS PGOSS 对象存储对象存储冷数据冷数据APPoss_ext随时提取数据共享数据共享分析师实例分析师实例Big Table(冷数据冷数据,历史数据历史数据)列存储、行存储、压缩列存储、行存储、压缩活

20、跃数据、热数据活跃数据、热数据完全透明、完全透明、犹如访问本地表犹如访问本地表阿里云 ApsaraDB for RDS(PG)Feature丰富的插件plan hint(自定义执行计划)，PostGIS(地理信息)，pgrouting，rdkit(化学插件)，PLV8，各种FDW（支持redis,mongo,mysql,sqlserver,oracle,pg），中文分词（支持自定义词典）oss_fdw（并行导入），dbsync（全量、增量同步 mysql PostgreSQL Greenplum）平滑扩容和缩容、高度兼容Oracle(PPAS)性能深度内核优化、平滑检查点、DaaS优化、全SSD安全SQL审计、敏感信息加密、invoker权限漏洞FIX稳定性对应用完全透明的连接池、对应用完全透明的HA（真正零闪断零闪断）自动全量和增量备份、临时实例(支持任意时间点恢复任意时间点恢复)MPP 数仓数仓产品(百TB级数据仓库)云DBA服务、7*24小时 顶级 专家服务专家服务（紧急救援、培训、定制服务）（紧急救援、培训、定制服务）一键诊断，自动生成巡检报告，自动推荐索引平滑上云服务混合云数据同步服务