1、To create a happy lifestyle enjoyed by all people through technology 用科技创造人人乐享的生活方式 联动大数据处理架构的选择和演进 联动大数据处理架构的选择和演进 20172017年年1111月 月 公司介绍 公司介绍 2003 2003 联动优势科技公司联动优势科技公司 2003年8月联动优势科技公司成立，主营运营商增值业务 2011 2011 联动优势电子商务公司联动优势电子商务公司 电商公司成立，主营支付业务 2014 2014 保理公司保理公司 主营业务供应链金融 2015 2015 安派国际安派国际 主营跨境电商支付

2、 2016 2016 海立美达重组上市海立美达重组上市 成为上市公司 业务介绍 业务介绍 聚合支付?运营商服务?惠商营销?风控建模?跨境支付?行业解决方案 行业解决方案 互联网 互联网 电商 电商 航旅 航旅 银行 银行 证券 证券 保险 保险 集贸 集贸 物流 物流 数据中心1.0 数据中心1.0 企业内部数据仓库，支持内部运营 数据怎么存、结果怎么查做好选型，先用起来，后续优化定位问题关键Hdfs Hdfs HBaseHBase Hive Hive IBM IBM Netezza Netezza 数据中心1.0技术架构 数据中心1.0技术架构 Logs DB2?Query?Interfac

3、e?Web Show?Diagram?Mail?Operation Analysis?内部数据中心服务平台2.0 内部数据中心服务平台2.0 问题改进1.维护多个数据平台 2.无法满足实时分析需求 3.缺乏统一的查询入口Presto,ES,Storm,Redis,Kafka,Neo4j 内部数据中心服务平台2.0架构 内部数据中心服务平台2.0架构 Logs DB2?Doc?.Kafka 数据源Storm 实时处理系统离线处理系统数据清洗标准化 数据清洗标准化 离线报表统计展示 离线报表统计展示 实时运营分析 实时运营分析 Redis,ES,Neo4j Redis,ES,Neo4j 实时风控系

4、统 实时风控系统 Hadoop,Hive,Hbase Hadoop,Hive,Hbase 数据消费查询解析器?数据出口集集群群监监控控内部数据中心服务平台2.0-数据查询分析 内部数据中心服务平台2.0-数据查询分析 Query 查询解析器Hive Hive Presto Presto HBase HBase Neo4j Neo4j ES ES Redis Redis HDFS HDFS Data?任任务务调调度度系系统统内部数据中心服务平台2.0-实时计算处理 内部数据中心服务平台2.0-实时计算处理 实 实 时 时 数 数 据 据 采 采 集集 Kafka Storm 执行业务逻辑数据清洗

5、入库HDFS HDFS Neo4j Neo4j ES ES Redis Redis HBase HBase 触发设定规则 触发设定规则 业务情况提醒 业务情况提醒 大数据服务平台3.0 大数据服务平台3.0 定位挑战主要满足对外部商户服务PB，TPS，ms，99.9%场景信用评估，反欺诈，风控管理解决 数据分层，高可用，机器学习，缓存预处理大数据服务平台3.0数据分级 大数据服务平台3.0数据分级 ApplicationSummaryBaseHBase、ES 应用层应用层 Hive 汇总层汇总层、分析层分析层、临时提取层 临时提取层 Hdfs、Hive 近源层近源层、明细层明细层、历史层 历史

6、层 大数据服务平台3.0机器学习 大数据服务平台3.0机器学习 信用评估 贷后管理 风险管控 资产定价 反欺诈 HDFS HDFS Yarn Yarn Spark Spark Mr Mr Zookeeper Zookeeper HBase HBase Streaming Streaming Graphx Graphx Sql Sql MLlib MLlib Mahout Mahout Pig Pig Hive Hive Kafka Kafka Sqoop Sqoop Redis Redis Mysql Mysql ElasticSearch ElasticSearch Presto Prest

7、o Flume Flume 大数据服务平台3.0应用组件 大数据服务平台3.0应用组件 大数据服务平台3.0高可用框架 大数据服务平台3.0高可用框架 Master Master Keepalived Keepalived Nginx Nginx Nginx Nginx Front Front Front Front Cache Cache Count Count Keepalived Keepalived Nginx Nginx Nginx Nginx Service Service Service Service Keepalived Keepalived Nginx Nginx Nginx Nginx Access Access Access Access backup backup Db2 Db2 联动优势愿景 联动优势愿景 专业服务专业服务+多年经验多年经验 金融科技金融科技+行业应用行业应用 谢谢谢谢！