1、Paimon+StarRocks 构建湖仓一体数据分析方案曾庆栋/阿里云高级开发工程师Streaming lakehouse meetup传统数据仓库分析实现方案简介0101CONTENT目录 0202Paimon+StarRocks构建湖仓一体数据分析实现方案0303StarRocks与Paimon结合的使用方式与实现原理0404StarRocks社区湖仓分析未来规划01传统数据仓库分析实现方案简介传统数据仓库分析实现案简介Reference:https:/ Table StoreFlink Table StoreFlink SQLStreaming&BatchFlink SQLStream

2、ing&BatchbinlogData ServingSystemsFlink SQLQueriesFlink Table StoreODSDWDDWSADSFlink SQLStreaming&BatchPaimonPaimonPaimonPaimon+StarRocks构建湖仓体数据分析案-加速查询LogsRDBMSFlink Table StoreFlink Table StoreFlink SQLStreaming&BatchFlink SQLStreaming&BatchbinlogData ServingSystemsFlink SQLQueriesFlink Table Stor

3、eODSDWDDWSADSFlink SQLStreaming&BatchPaimon物化视图物化视图BatchBatchBatch!#$%&()*+,-./0123456789:;=Paimon+StarRocks构建湖仓体数据分析案!#$通过 SQL 定义，上手简单预计算，降低查询延时，减少重复计算开销自动查询路由，无需改写 SQL，透明加速123支持异步自动刷新数据4支持多表构建，基表可来自内表，外表，已有的物化视图5CREATE MATERIALIZED VIEW lo_mv2PARTITION BY lo_orderdateDISTRIBUTED BY HASH(lo_orderke

4、y)REFRESH ASYNC START(2023-07-01 10:00:00)EVERY(interval 1 day)ASselectlo_orderkey,lo_orderdate,lo_custkey,sum(lo_quantity)as total_quantity,sum(lo_revenue)as total_revenue,count(lo_shipmode)as shipmode_countfrom lineordergroup by lo_orderkey,lo_orderdate,lo_custkeyorder by lo_orderkey;Paimon+StarRo

5、cks构建湖仓体数据分析案-冷热分离例如，只在StarRocks 的物化视图保存最近个的数据，当查询paimon数据湖上的数据时，StarRocks 会帮你动改写查询SQL，最新的数据从物化视图查询，历史数据依旧从paimon数据湖查询，然后动进 Union 操作，将两部分数据合并并返回。03StarRocks与Paimon结合的使用方式与实现原理Paimon 外表使CREATE EXTERNAL CATALOG paimon_catalogproperties(type=paimon,paimon.catalog.type=filesystem,paimon.catalog.warehous

6、e=hdfs:/192.168.7.239:9000/user/hive/warehouse);set catalog paimon_catalog;show databases from paimon_catalog;use paimon_catalog.;show tables;select*from;创建 Paimon catalog查询 Paimon 表JNI ConnectorJNI Connector源码地址：https:/ ScanBE ScanC+MemoryJava MemoryJava Data Sourceopen()getNext()close()实现类名称必要的信息J

7、NI ConnectorJNI Connector快速接入各类Java数据源，无需考虑数据转换提供简单易用的Java接口已支持Hudi MOR Table，Paimon Table123支持Struct,Map,Array复杂类型4BE代码零侵入，不需要考虑C+具体实现5JNI ConnectorJNI Connector定长字段存储：Null indicator:|1-byte boolean|1-byte boolean|1-byte boolean|.|数据：|4-bytes INT|4-bytes INT|4-bytes INT|.|变长字段存储：Null indicator:|1-b

8、yte boolean|1-byte boolean|1-byte boolean|.|起始地址：|offset of row 0|offset of row 1|offset of row 2|.|数据：|(length of row 0)-bytes|(length of row 1)-bytes|.|实现例子：Paimon读取持：https:/ MOR读取持：https:/ StarRocks 数据湖分析未来规划完善完善 Paimon Paimon 表分析特性表分析特性持分析复杂类型持分析复杂类型持列统计信息持列统计信息持元数据缓存持元数据缓存持持 timetime traveltravel持基于持基于paimonpaimon外表的增量物化视图外表的增量物化视图ThanksStreaming lakehouse meetup