《2018年小微金融业务跨平台数据共享与处理.pdf》由会员分享,可在线阅读,更多相关《2018年小微金融业务跨平台数据共享与处理.pdf(39页珍藏版)》请在三个皮匠报告上搜索。
1、小微金融业务跨平台数据共享与处理Clouder Lab云存储专场第三方支付业务的风控场景ServerlessFunctionCompute计算引擎互通LOG+OSS异构数据处理FunctionCompute风控存储与访问FunctionCompute+TableStore金融机构合作单位网络渠道对象存储函数计算表格存储对象存储数据湖存储大数据处理日志采集分析风控业务查询风控查询交易风控数据的海量存储与多种离线计算处理吴华剑 阿里云存储服务产品专家Clouder Lab云存储专场基于OSS的交易风控数据存储与处理推荐原因 文件数目、容量无限制 EB级的存储服务 11个9的可靠性设计 同城3AZ容
2、灾 跨区域复制、异地容灾 容量、性能横向扩展 Select支持查询条件下推交易记录日志记录 阿里云日志服务无缝集成 标准/低频/归档多种类型 生命周期管理自动转换 数据规模无缝扩展 稳定,高可用 同城、异地容灾能力 11个9的可靠性设计 计算存储分离,架构灵活 Hadoop原生支持OSS TCO成本更低 阿里云计算产品深度融合 弹性扩展,按量付费 容灾能力、强安全、高可靠 Select条件下推提升性能对象存储OSS阿里云分布式对象存储服务易用海量高可靠强安全低成本简单易用,REST API无缝与计算服务集成单个文件最大48.8TB文件数量无限制容量和处理能力弹性扩展多重冗余备份11个9的可靠性
3、设计RAM、加密等多层次安全防护跨区域复制、异地容灾机制总体TCO更低多种存储类型,优化存储生命周期成本在线服务LogHub数据通道移动设备数据源OSS无缝对接多种计算处理引擎OSS归档型OSS标准型Hadoop官方支持OSS海量非结构化半结构化数据对象存储OSSSparkSQLM-RHivePrestoDataLakeAnalyticsImpalaEMR函数计算MaxComputePig课程示例数据处理链路企业伙伴金融机构文件上传文件上传用户数据存储池交换、处理、归档中心存储池计算引擎管理员用户交易详情监管查询日志记录事件触发实时转换函数计算风控引擎对象存储OSS标准型归档型生命周期管理交互
4、式查询分析DataLakeAnalytics表格存储明细数据库风控数据库Spark SQLSpark大数据分析引擎MaxCompute日志服务交易文件交易明细表:trade_final*c_userid STRING COMMENT 用户ID,主键*d_dealdate STRING COMMENT 申请时间,主键c_businflag STRING COMMENT 业务代码,d_cdate STRING COMMENT 确认日期,d_date STRING COMMENT 申请日期,l_serialno STRING COMMENT 申请序号,c_agencyno STRING COMMEN
5、T 销售商编号,c_netno STRING COMMENT 网点编号,c_fundacco STRING COMMENT 基金账号,c_tradeacco STRING COMMENT 交易账号,c_fundcode STRING COMMENT 基金代码,c_sharetype STRING COMMENT 份额类别,f_confirmbalance DOUBLE COMMENT 确认金额,f_tradefare DOUBLE COMMENT 交易费,f_backfare DOUBLE COMMENT 后收手续费,f_otherfare1 DOUBLE COMMENT 其他费用1,c_re
6、mark STRING COMMENT 备注开户信息:userinfou_userid STRING COMMENT 用户ID,u_accountdate STRING COMMENT 开户时间,u_gender STRING COMMENT 性别,u_age INT COMMENT 年龄,u_risk_tolerance INT COMMENT 风险承受能力,1-10,10为最高级,u_city STRING COMMENT所在城市,u_job STRING COMMENT工作类别,A-K,u_income DOUBLE COMMENT年收入(万)MaxCompute处理OSS数据SQL查询
7、1.创建OSS外部表(https:/ 赖锡盛Clouder Lab云存储专场日志服务介绍日志数据接入分析与数仓对接功能体验日志数据需求1*异异构构日日志志内内容容*存存储储方方式式多多样样*分分布布各各种种设设备备环环境境23*统统一一存存储储读读取取*实实时时查查询询分分析析*分分析析结结果果可可视视化化*对对接接其其它它存存储储*对对接接计计算算引引擎擎*支支持持开开源源生生态态日志服务数据生态能力视图Log Search/Analytics:查询与实时分析LogHub:数据实时采集LogShipper:数据仓库投递-数据清洗-监控与报警-机器学习与迭代计算-数据仓库+数据分析-审计-推荐
8、系统-DevOps/线上运维-日志实时数据分析-安全诊断与分析-运营与客服系统-Storm/SparkBlink/Flink-Function Compute-自定义处理 Java/Python/C+LogHub:对接流计算 与 自定义处理离线分析:EMR/Hadoop/Presto/Hive/Spark/MaxCompute流计算:Storm/Spark/Flink/BlinkARMS/CloudMonitor/FC可视化:Tableau/JDBC/GrafanaDataV/Zipkin转储:OSS/TableStore/Histore/Hbase/RDS/PG/ETL日志服务Hub:实时数
9、据采集与消费Shipper:数据仓库投递对接Search/Analytics:实时日志查询分析日志采集方式安恒、Splunk、ELK等Third partyUser CodeAli CloudOpen SourceLogtail各语言SDKLog4J/LogBackC ProducerAndroid/IOSSLB/OSS/RDS等云产品日志通过IOT、智能设备、ECS、容器、移动端以及各类云产品等接入实时数据(例如Trace、Metric、TextLog、Click、OSS访问日志、SLB访问日志等)进行查询分析与可视化,并支持对接数据仓库查询分析与可视化实时、大规模查询索引服务,支持PB/天
10、索引处理能力,秒级实时查询,并能支持无限存储时长,同时提供数值、区间、文本、模糊、上下文和SQL语法统计功能。除此之外,提供各类地图、三维图、动态图等结果可视化方式。1.访访问问日日志志=2.应应用用日日志志=3.上上下下文文123数仓对接数据流计算流OSSMaxComputeE-MapReduceHybridDBDataLakeAnalytics开开源源计计算算工工具具稳定、高吞吐托管化服务,将日志中枢(LogHub)中数据投递至各类存储服务,支持压缩、自定义Partition、以及行列等各种存储方式演示架构访问日志对象存储数据湖存储大数据处理日志服务Logtail查询分析仪表盘可视化金融异
11、构报文处理和分发傅海雯 函数计算产品专家Clouder Lab云存储专场312金融异构数据特点函数计算解决方案示例代码讲解金融业务异构数据和风控流向图金融机构证券交易企业报表对象存储表格存储对象存储数据湖存储大数据处理交易报文函数计算交易报文函数计算风控信息查询表格存储金融行业异构数据特点报文数据特点数据链路长文件格式多样传输有明显波峰文件大小不一金融行业异构数据特点1、来源机构较多,报文格式不一2、无法预计传输文件大小3、传输文件峰值和低谷明显4、系统架构链路较长,从传输、存储、计算、分析对象存储表格存储对象存储数据存储函数计算金融机构报文上传/数据查询 对象存储的PUT/POST接口上传报
12、文数据到对象存储对象存储触发 设置触发器的条件函数计算处理 CSV文本格式处理函数 数据存储到表格和对象存储数据查询 数据汇总和存储 调用大数据分析返回结果并透传给函数计算函数计算处理异构报文解决方案文文件件上上传传事事件件触触发发数数据据存存储储表格存储函数计算数据查询 企业单位访问风控系统 风控系统通过HTTP请求HTTP触发器配置 设置HTTP触发器函数计算处理 请求表格存储,获取风控信息数据查询 返回查询结果企业单位风控查询函数计算查询风控信息方案HTTP触发器请求数据风控查询系统动手实验步骤第一步:开通服务开通函数计算开通表格存储开通对象存储第二步:设置服务设置函数计算设置表格存储设
13、置对象存储第三步:编写代码异构数据处理风控信息查询演示效果演示上传代码演示查询风控信息查询函数计算产品特点无服务器架构(Serverless架构)事件触发(事件源丰富)超弹性(毫秒环境扩容)粘合剂(打通多款产品)百毫秒计费(节省30%费用)一一句句话话概概括括:函函数数计计算算是是提提供供了了一一个个无无服服务务器器的的执执行行环环境境,用用户户只只需需要要上上传传代代码码就就可可以以运运行行代代码码,过过程程中中用用户户不不需需要要关关心心执执行行环环境境。函数计算近期功能发布提提供供VPC功功能能:通过函数计算可以访问用户自定义的VPC环境,能安全高效的访问RDS、ECS应用等推推出出代代
14、码码多多版版本本功功能能:能让开发者设置多种版本,解决发布和预发布以及灰度上线问题推推出出HTTP触触发发器器:能让用户通过HTTP请求轻松调用函数执行推推出出环环境境变变量量功功能能:方便开发者存储公共敏感信息推推出出CDN触触发发器器:能让用户可以定制CDN数据刷新、CDN访问日志下载、CDN数据预热等消息交易风控数据的海量存储于实时访问李海龙 阿里云存储服务产品专家Clouder Lab云存储专场需求与挑战表格存储介绍课程实例需求与挑战12数据规模全民参与,日交易记录达到传统关系型数据库的单表上限主库压力&运维代价均需降低访问并发促销、新产品发售等活动会让数据库访问并发暴增弹性资源,自动
15、伸缩,避免资源浪费34性能稳定无论是PB级数据规模,亦或百万级访问并发,读写请求延时稳定可预期风控查询需要小于10ms可用可靠数据高可靠,数据高可用部分故障不能导致业务中断,不丢失数据表格存储阿里云自研分布式NoSQL数据库服务规模无缝扩展高性能数据模型灵活完全托管服务高性价比 表大小无限制 自动sharding 分裂合并秒级完成 单行写入毫秒级延迟 单机可支撑5万以上TPS 单行列数和大小无限制 多版本 数据过期 零系统运维 监控集成 完全支持RAM安全体系 预留+按量,费用低 多种实例规格场景优势推荐运营 单表10PB数据 万亿记录 稳定的读写性能 交易高峰访问并发大 数据多版本 双集群、
16、双活灾备方案交易记录风控数据 毫秒级读延时 百万级并发读写能力 数据生命周期管理 数据规模无缝扩展 稳定,高可用 大数据引擎直读直写 Schema Free结构 毫秒级读延时 数据规模无缝扩展 热点秒级迁移 弹性资源,按量付费 大数据引擎直读直写表C表A表D表格存储在线服务LogHub数据通道移动设备数据源MaxComputeSparkSQLHive直读直写表B表格存储的离线计算DataLakeAnalytics表C表A表D表格存储在线服务LogHub数据通道移动设备数据源表B表格存储的实时计算流计算sparkstorm开放搜索函数计算 自定义应用EMR实时数据聚合计算全文索引实时构建增量数据
17、实时获取异常报警用户画像实时聚合舆情分析全文检索多维查询跨区域复制数据备份自定义分析可视化展示课程示例实时转换企业伙伴金融机构文件存储文件上传文件上传函数计算表格存储用户OSS数据交换中心Serverless计算引擎管理员用户交易详情交易文件事件触发大数据分析引擎MaxCompute明细数据库风控数据库风控引擎数据处理链路DataLakeAnalytics交易明细表:trade_final*c_userid STRING COMMENT 用户ID,主键*d_dealdate STRING COMMENT 申请时间,主键c_businflag STRING COMMENT 业务代码,d_cdat
18、e STRING COMMENT 确认日期,d_date STRING COMMENT 申请日期,l_serialno STRING COMMENT 申请序号,c_agencyno STRING COMMENT 销售商编号,c_netno STRING COMMENT 网点编号,c_fundacco STRING COMMENT 基金账号,c_tradeacco STRING COMMENT 交易账号,c_fundcode STRING COMMENT 基金代码,c_sharetype STRING COMMENT 份额类别,f_confirmbalance DOUBLE COMMENT 确认
19、金额,f_tradefare DOUBLE COMMENT 交易费,f_backfare DOUBLE COMMENT 后收手续费,f_otherfare1 DOUBLE COMMENT 其他费用1,c_remark STRING COMMENT 备注示例数据:00502090|2018-06-04 21:59:41|保本基金F|2018-06-04|2018-06-04|2018-06-04-009990|SXS_0080|STORE-0851|00502090-0000|00502090-0000|保本基金F-1|保本基金F|323122.0|100.0|30.0|10.0|Null风控数据:user_risk*c_userid STRING COMMENT 用户ID,表格存储主键d_dealdate STRING COMMENT 最近交易时间c_fundacco STRING COMMENT 基金账号sharetype_num INTEGER COMMENT 购买基金种类数confirmbalance DOUBLE COMMENT 购买金额总数trade_num INTEGER COMMENT 历史交易次数示例数据:00501686|2018-05-24 21:50:33|00501686-0000|5|850893.0|11Clouder Lab云存储专场