数据湖分析之Upsert详解.pdf

编号：29759

PDF 22页 1.41MB 下载积分：VIP专享

下载报告请您先登录！

数据湖分析之Upsert详解.pdf

1、协办方直播支持腾讯大数据技术系列沙龙第 3 期新一代数据湖技术陈俊杰腾讯TEG 数据湖研发组高级工程师数据湖分析之Upsert 功能详解传统数仓入库痛点新一代数据湖技术下一步展望目录传统数仓数据入库痛点典型场景：业务数据(SQL/NoSQL)全量入库典型T+1方案，数据延迟大全量扫瞄源库，给源库造成压力，同时浪费计算和存储资源。例如使用Sqoop 限制：源库信息变更不能同步到数仓，例如：Schema变换传统数仓数据入库痛点改进的场景：CDC导入到Kafka再导入到HBase, Kudu HBase, Kudu无法存储全量数据，需要再次导入到

2、Hive库分析整个流程需要多个组件联动，部署复杂限制：仍然无法解决数据Schema变动情况腾讯大数据TDW入库腾讯大数据场景：TDBANK入库消息分拣层分拣消息落地成HDFS文件，定时启动Hive任务进行入库操作数据延迟依赖于定时任务，以及Hive入库Job运行情况无法处理延迟到达数据，延迟到达数据重新入库导致数据丢失新一代数据湖技术全新的数据入湖方式 CDC 新一代数据湖Upsert技术优势 ACID & Snapshot 读写分离，数据落地即可用历史信息可追溯 Row-level update CDC增量更新延迟数据修正 Table Evolution 文件组织方式

3、更灵活，不再依赖目录分区支持列增删改 Upsert操作简介 Upsert是根据一张源表数据，对目标表的数据进行插入、删除和更新。它的典型SQL语法入下所示： MERGE INTO db_name.target_table AS target_alias USING db_name.source_table AS source_alias ON WHEN MATCHED AND THEN WHEN MATCHED AND THEN WHEN NOT MATCHED AND THEN 其中 = DELETE | UPDATE SET * | UPDATE SET column1 = value1 , column2 = value2 . = INSERT * | INSERT (column1 , column2 .) VALUES (value1 , value2 .) Upsert

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（数据湖分析之Upsert详解.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。