杨涵冰-Flink 在实时标签系统中的实践-已美化TY-y已定稿_compressed.pdf

编号：29312

PDF 16页 620.57KB 下载积分：VIP专享

下载报告请您先登录！

杨涵冰-Flink 在实时标签系统中的实践-已美化TY-y已定稿_compressed.pdf

1、Flink 在实时标签系统中的实践杨涵冰上海数信息科技有限公司数据部架构介绍 #1 经营类 #2 控类 #3 架构简介 #1 架构简图 RDS Flink HBase EMRHive切表 API DTS Sqoop BDS差值修正四标签类型同步线上数据实时写，离线修正原 API调时运算线下批量计算，逻辑致即时计算传统实时链路实现复杂逻辑实时传统离线链路实现复杂逻辑离线原标签 RDS Flink HBase EMR DTS Sqoop 实时数据同步离线差值修正即时计算标签 HBase Hive PhoenixAPI Hive切表即时计算批量计算实时标签

2、与离线标签 RDSFlinkHBase DTS RDSHBaseEMR Sqoop 实时标签离线标签经营类 #2 逻辑相对简单多数为单维度的简单加迭代速度较快量探索类需求经营类 #2#1#3 经营类案例需求在决策流引擎中获取户的各类信息，根据户信息进相应营销。决策流所需信息中，部分为分散在各个业务系统中的户信息。如分散在各系统的机号：注册机号、审核机号、绑定机号等。通过配置原标签，可以简单的将各业务系统的户信息同步到标签系统中。还有部分为需要进简单运算的数据。如，资授信额度维护在各个资对接系统中，此时将他们分别配置为原标签，然后配置个即时计算标签将这些数据进即时合并运算，

3、便可得到最授信额度等衍标签。户经营案例控类 #3 逻辑常复杂达数甚全量数据的聚合处理、排重聚合处理迭代较稳定需求般经过验证控类 #2#1#3 常问题根据某个维度对段时间事件进排重统计运算。 1、单维度数据量较少。将明细数据存储在 HBase 中，直接进统计。 2、单维度数据量虽然多，但单新增数据量较少。每运算离线统计值和明细值，实时存储当明细，进差值统计。 3、数据量计数排重。需要使有损统计。排重统计根据数据的图关系进计算。 1、阶图关系可以将边数据存储在 HBase 中，直接进统计。 2、阶、三阶等低阶图关系通过多次 HBase 查询统计。需要注意的是随着阶数升，查询量级会迅速增。图关系统计由于整条实时流链路较，可能会有时效性发波动的情况。如果下游系统需要根据标签时效性精确控制为，需要通过些额外属性来解决。 1、标签更新时间。判断当前标签值的更

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（杨涵冰-Flink 在实时标签系统中的实践-已美化TY-y已定稿_compressed.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。