1、金融大数据的应用路线邵宗有计算决定未来2 大数据：用新的数据处理手段对海量新型数据进行分析处理，为新业务提供数据服务。大数据时代信息领域新的变革2“信息日益成为一种商业原材料：一种与资本和劳动力并存的新经济元素 ”-2010，经济学人“信息将成为21世纪的石油”-2010，Gartner计算决定未来3适用大数据解决方案的行业计算决定未来4面临的挑战和问题人才缺失4V的挑战标准不统一需求不明确应用落地困难数据共享壁垒计算决定未来5大数据生态系统计算决定未来7曙光大数据技术框架大数据安全体系大数据安全体系大数据管理平台大数据管理平台云运维安全云运维安全运维支撑运维支撑运营支撑运营支撑应用支撑应用支

2、撑云防护安全云防护安全数据安全数据安全主机安全主机安全应用安全应用安全基础设施统一处理引擎模型工具SOA总线数据整理数据源实时处理实时处理离线分析处理离线分析处理事务处理事务处理文本检索文本检索挖掘算法库挖掘算法库图像匹配图像匹配音频检索音频检索并行查询引擎并行查询引擎数据采集管理数据采集管理数据标准化接入接口数据标准化接入接口企业服务总线企业服务总线业务服务总线业务服务总线大数据可视化大数据可视化交互服务交互服务经营分析经营分析情报分析情报分析知识网络知识网络海量音频识别海量音频识别行为分析行为分析决策推荐决策推荐信息统计信息统计海量图像检索海量图像检索设备管理设备管理服务管理服务管理调优诊

3、断调优诊断统计报表统计报表数据查询数据查询作业管理作业管理作业调度作业调度任务流管理任务流管理文件管理文件管理物理安全物理安全网络安全网络安全实时数据实时数据非实时数据非实时数据告警管理告警管理数据转换数据转换门户门户XData安全体系XData安全体系XData管理平台XData管理平台XData服务门户XData服务门户大数据处理核心支撑产品大数据处理核心支撑产品DS900统一存储ParaStor云存储TC4600I640I950I840XData一体机一体机XData-Hadoop发行版发行版大数据业务定制开发大数据业务定制开发政府政府互联网互联网科研科研金融金融通讯通讯军工军工媒体媒体

4、计算决定未来8开放的XDATA大数据平台加载导入海量数据处理数据抽取与集成支撑业务信息交易数据行为记录数据融合数据结构化数据非结构化数据半结构化数据数据处理分析形成决策移动互联网物联网互联网通信网来源来源存储存储应用应用数据采集数据加工分析分析开放的大数据平台开放的大数据平台计算决定未来9数据形成广州广州哈尔滨哈尔滨深圳深圳成都成都乌鲁木齐乌鲁木齐福州福州重庆重庆长沙长沙西安西安昆明昆明杭州杭州济南济南天津天津南宁南宁南昌南昌郑州郑州合肥合肥上海上海太原太原沈阳沈阳武汉武汉南京南京长春长春北京北京青岛青岛石家庄石家庄呼和浩特呼和浩特贵阳贵阳兰州兰州非结构化数据结构化数据非结构化数据非结构化数据

5、现有生产环境现有生产环境11年历史数据12年历史数据持续50亿条记录/每天持续35TB非结构化数据写入/每天多渠道的数据采集计算决定未来10数据整理数据模块数据模块数据模块数据模块数据模块数据模块数据模块数据模块数据模块数据模块在线数据区(NewSql/NoSql/HBase/MPP/Storage）离线数据区归档数据区计算模块计算模块计算模块计算模块计算模块并行查询并行查询并行查询并行查询并行查询个性化查询索引/标签计算决定未来11数据分析管理系统系统监控系统监控日志管理日志管理帐户管理帐户管理配置管理配置管理作业调度作业调度高可用管理高可用管理存储管理存储管理与应用相结合的分析交易分析交易

6、分析语义分析语义分析经营分析经营分析信息统计信息统计互联网互联网科研科研金融金融通讯通讯军工军工政府政府能源能源制造制造教育教育媒体媒体舆情分析舆情分析情报分析情报分析全文检索全文检索模式识别模式识别数学建模数学建模人工智能人工智能聚类分析聚类分析复杂关联复杂关联分类预测分类预测局外分析局外分析演变分析演变分析并行计算并行计算断点续算断点续算HadoopHadoop数据清理数据清理数据变换数据变换OLTPOLTPOLAPOLAP知识网络知识网络数据选择数据选择数据集成数据集成计算决定未来12电信信令经营分析，CDR系统建设社会关系挖掘金融交易历史统计，异常行为检测商业决策支持医疗区域卫生医疗临

7、床决策支持疾病模式分析全民健康档案交通流量分析道路规划交轨分析车联网国防军工情报分析网络安全舆情分析流量统计图像，音视频分析智慧城市电子政务、智能电网平安城市、食品安全互/物联网社会关系推荐兴趣挖掘流式数据分析挖掘实时统计基础研究理化模拟，生命科学电力调度，能源勘探气象气候，地球模拟大数据生态平台应用健康发展计算决定未来13曙光自主代码开源实现在开源基础上改进商业产品曙光Hadoop管理平台分布式存储系统(HDFS-2.0/P200)非结构化数据库(Hbase-0.94)数据仓库(Hive-0.10)数据挖掘工具(Mahout-0.7)数据传导器(Sqoop-1.4)海量日志收集器(Flume

8、-1.3)协同工作服务(Zookeeper-3.4)类SQL编译器(Pig-0.10)任务调度器(Mesos-0.13)开源关系数据库(PostgreSQL-0.92)商业关系数据库(Oracle-8i/9i/10g/11g)统一编程接口(XJDBC/JDBC/ODBC)类SQL编译器(SQL+)图形化任务流(UDF-1.0/Oozie-3.3)全文检索器(Katta/Lucene)并行处理框架(Map/Reduce)并行执行引擎XData大数据处理基础平台-v1.0多数据转换器(SETL)曙光Hadoop发行版大数据专用数据服务器计算决定未来14 业务需求 现有关系型数据库存储能力有限，只能

9、保存三个月的数据 大量历史数据堆积，造成数据管理困难 刷卡交易量激增，导致对大规模交易信息监管困难 新业务需求： 商户评分，持卡用户兴趣分析 方案规模 可容纳300TB原始数据 存放一年的所有刷卡交易信息 平均每天新增导入数据约700GB 方案架构 构建50台双路x86服务器规模的XData大数据一体机 提供350TB原始刷卡信息存储容量 系统提供50万每秒的记录稳定导入速度 随机单条记录毫秒级返回，万级别的范围查询5秒内返回典型案例-中国银联离线数据分析系统计算决定未来15KeyvalueLegalSearch ConditiondatebankID.1. .01曙光助力银联建立大规模交易数

10、据分析平台曙光助力银联建立大规模交易数据分析平台银联大规模交易数据分析平台千亿条交易数据导入数据存储和挖掘风险管控，决策支持利用分布式文件系统（HDFS）作为提供其高可靠性的底层存储数据从DB2中导入支持1000亿级别的记录的查询和分析采用支持海量数据高并发访问的Hbase计算决定未来16典型案例-中国银联离线数据分析系统XDATA大数据一体机计算决定未来17 生产数据库系统容量最多能支撑6个月交易信息存储 超期数据通过磁带库进行归档， 非关键信息或者日志，不予保存 面临的蕴含价值的海量数据无法进行有效处理 面对移动支付领域的新挑战， 银联急需数据支撑新业务发展典型案例-中国银联历史交易数据处

11、理? 信用卡欺诈情况，通过对数据分析处理，预防降低交易欺诈发生率? 金融监管要求完整的交易信息作为审计支持? 加强风险管理，从源头上找漏洞， 需要对交易数据进行挖掘和分析计算决定未来18中国银联历史数据意义安全风险控制安全风险控制安全风险控制创新金融业务创新金融业务创新金融业务? 交易合规性分析系统? 反洗钱稽核系统? 交易欺诈分析系统? 持卡用户行为偏好分析? 商户满意度分析? 精准自主推荐系统曙光大数据平台满足银联关键需求曙光大数据平台满足银联关键需求曙光大数据平台满足银联关键需求通讯地址：北京市海淀区东北旺西路8号中关村软件园36号邮政编码：100094 联系电话： 微博：http:/ EMAIL:MARKETSUGON.COM 网站(web)：Http:/