《2017年新零售互联网金融分布式架构实践.pdf》由会员分享,可在线阅读,更多相关《2017年新零售互联网金融分布式架构实践.pdf(18页珍藏版)》请在三个皮匠报告上搜索。
1、新零售 互联网金融分布式架构实践银监会批准持牌金融机构11/21/2017目录马上消费金融的科技能力整体介绍新零售消费金融需要五大技术能力介绍基础架构和应用架构介绍场景消费金融IT分布式架构如何设计遵循原则消费金融IT分布式架构整体设计模型消费金融IT分布式架构整体设计-审批/账务系统实践金融科技开放平台的挑战与未来马上消费金融科技能力整理介绍IT科技人才微众银行700+3000+300+700+2000+300+马上消费金融系统规模(服务器数量)整体应用系统数量马上消费金融的核心研发人员以蚂蚁金服,京东,百度,平安的架构师为主,自主研发了300+核心业务系统,管理2000+服务器;新型互联网
2、零售银行40%的人员 以IT技术人员和大数据模型人员为主,通过AI和大数据大幅降低后台服务人员,随着业务规模增长,变动的边际成本接近为零.新零售金融需要的五大能力新零售金融的核心竞争力资产证券化能力高效价值传递能力数据驱动能力消费场景适配能力服务大众的普惠金融能力服务被传统金融忽视的80%普通大众的能力资产证券化回流资金能力审批,贷后管理,客服能力 ABS云平台 智能客服 智能催收 区块连去中心化能力 用户画像 风险定价 个性化体验 基于场景风控适配能力 互联网架构弹性能力 大数据,多维风控模型 征信白户的授信和风控能力快速与线上和线下消费场景的融合和适配能力基于数据决策能力围绕新零售金融,消
3、费金融构建5个领域的业务能力和技术能力,核心是人工智能+大数据+互联网平台技术。央行征信,公安部,公积金社保,芝麻信用,社交网络数据多种大数据 强风险相关的金融数据和弱风险相关的社交数据相结合的互联网大数据征信模型 基于不同客群,多维度风险画像,多模型,应对不同客户的征信数据深度学习+评分卡大数据个性化+自动化流程1.服务大众的普惠金融能力 风控能力是普惠关键多维度模型和风险画像不同客群不同模型不同场景不同模型客户拥有征信数据维度不同,采用不同模型双轮驱动的风控引擎强风险和弱风险,规则和模型灵活调整双轮驱动的风控引擎强风险和弱风险,规则和模型灵活调整1.服务大众的普惠金融能力-案例 风险定价M
4、ike芝麻780分公积金和社保有信用卡,央行征信John芝麻650分公积金和社保,央行征信Jane芝麻600分无央行征信淘宝数据,京东数据用户风险定价产品额度产品额度5000元利率10%快捷流程额度产品额度 4000元利率18%普通流程额度产品额度2000元利率25%淘宝数据+京东数据的爬虫大数据(央行征信,芝麻,公积金,社保,公安,运营商)客户画像和细分风险定价平台流程和规则引擎风险定价引擎根据客户画像,动态构建差异化授信流程不同利率不同额度流程能力IT系统现金贷贷款系统风险定价引擎芝麻联合信用分1.服务大众的普惠金融能力-反欺诈系统案例 套现,身份异常,地址评分,线上高危,恶意操作等11种
5、反欺诈模型,覆盖线上线下的多场景,多类型欺诈 秒级计算能力,100TPS,实时大数据模型的计算能力平台,反欺诈模型反欺诈 大数据计算平台2.消费场景适配能力-和场景端匹配的系统弹性能力 挑战:与支付宝,电商等平台,具备同样的弹性能力。同时,需要开放性的数据交互能力。解决方案:基于开放平台技术和开源技术,完全自主搭建互联网的分布式架构,分布式存储。整体架构具备高弹性和高可用性 亿级账户的处理能力和扩展能力线上站点应用系统服务日志点击流其他移动APP数据源日志收集工具数据库高速传输队数据采集云平台+分布式架构分布式计算框架数据仓库数据流处理数据挖掘分布式数据库分布式协作服务计算与存储框架客户风险画
6、像智能营销智能客服反欺诈实时风控数据应用 领先的云平台能力 行业领先的实时计算能力 毫秒级变量计算平台 100+TPS/S 海量数据处理能力 支持亿级记录存储 语音,图片非结构化数据 线上实物商品图片识别率97%智能客服正确回复率在75%支持深度学习,神经网路等多种算法 支持CNN,RNN,递归神经网路等深度学习神经网路随机森林逻辑回归其他算法模型3.数据驱动能力-多种非结构化数据的处理能力和人工智能是数据驱动能力基础1、流程引擎:全面对接公司各条业务线及后台数据,实现精准应答2、用户画像:通过各维度用户数据对用户进行识别,提供问题预测和个性化服务3、知识图谱:提供直观高效的知识管理技术4、核
7、心AI:通过分词纠错、实体识别、深度学习、主动学习、强化学习、迁移学习、对抗学习,对话管理等技术精准理解用户意图5、语音识别与生产:提供语音和问题互转能力,延伸NLP的使用范围6、主动关怀:智能分流,问题预判,转人工预判,情感探测等技术提前预知用于行为,给用户额外惊喜,提升用户体验每天回答10万个客户问题4.高效价值传递和运营能力-智能客服解决方案:基于电商的智能客服技术+人工智能+零售金融线上消费场景,自主开发了金融智能客服XMA系统挑战:服务2000万+客群,应对客户的金融产品咨询,贷后的各种问题5.基础架构能力-结构化部署架构,自动化运维,持续部署 结构化应用部署架构(300+应用))持
8、续集成,持续部署,自动化运维 基础架构的主要特点:微服务架构+配置中心+注册中心 统一监控平台+统一日志平台 自动化部署 自动化环境构建 自动化发布数据,9月1289次设计原则1.可靠性:所有应用都是双机+多实例运行,高度解耦,保证任何机器宕机去不中断业务、链路冗余等。2.可用性:除可靠性特性外,要注意设计备份、恢复、业务连续性计划、减少恢复时间。3.可扩展性:考虑大并发量、接入层、业务逻辑层、数据存储层能不能快速的水平扩容、支持全链路监控。4.安全性:考虑自动化安全测试平台、安全是否已经嵌入到开发环节、漏洞有没有方便的SRC平台。5.可维护性:是否可以任意时间发布、自动化发布、是否只需要少量
9、运维人员或不用运维人员就可以发布,研发人员是系统发布过程中的用户、是否支持测试。五大原则场景消费金融IT分布式架构如何设计遵循原则解决方案:基于互联网的技术+零售金融线上消费场景,自主设计的分布式架构。挑战:服务2000万+客群,金融系统如何更稳定,如何更高效的发布?如让用户体验更好?让不安的心能放松下来。可靠性可用性扩展性安全性可维护性消费金融IT分布式架构整体设计模型CDNA10/BGPNginxHaproxytomcatnodejsSpringClouddockertomcatSpringSpringClouddockerELBAPI/APP业务逻辑RabbitMQRedisELKKaf
10、ka基础服务Zookeeper/Nginx+luaNginx/HAAPM/OpenFalcon业务路由高可用负载性能监控MongoDBHDFSMySQLHbaseHadoopCephFastDFS/Gluster业务监控资源监控容量监控硬件监控性能监控(APM)网络监控WEB监控数据库监控自动部署集群管理文件分发运维管理漏洞发现权限监控入侵监控威胁分析源码安全研发检查工具扫描内部渗透外部渗透内部SRC安全体系FireWall/Nginx+Lua+Modsecurity集成测试UAT测试单项功能测试场景测试性能测试全链路测试安全测试预发布测试灰度测试自动化测试测试体系消费金融IT分布式架构整体设
11、计-审批/账务系统实践CamDb1CamDb2CamDb3L1L2L3L4L5L6L-routernginxif uri in:/xxxx/LGW/APPL_STAT_UPDATE/xxxx/LGW/if uri not in:/xxxx/LGW/APPL_STAT_UPDATE/xxxx/LGW/数据平台申请单系统分期前端L审批系统productCd=othersproductCd startWith 4productCd startWith 5nginxnginxnginxbatch01CCSDB01CCSDB08CCSDB16batch08batch16Sharding-JDBCRabb
12、itMQRabbitMQLB-Nginxcluster联机交易ACS-WEB/程序控制类调用PCS-WEB/产品参数读取调用金融科技开放金融科技开放平台的挑战平台的挑战与未来与未来 金融科技的架构 和 消费互联网的技术架构区别:。交易链条长,金融业务耦合度高消费互联网反之T并发数消费互联网挑战是大并发金融科技有大并发的要求同时面临解耦问题金融科技开放金融科技开放平台的挑战与未来平台的挑战与未来 金融科技的架构 和 消费互联网的技术架构区别:场景金融带来不确定性非线性能力业务逻辑复杂数据库性能难预测3C租房美容分期商场金融科技开放金融科技开放平台的挑战平台的挑战与未来与未来 金融科技的架构 和
13、消费互联网的技术架构区别:整体架构高可用性的设计复杂金融的架构是底层能力平台化+业务能力大中台(风控,审批,账户,客服)化+面向市场的服务和产品 小前台(各个小的产品,面向市场)化。这个架构特点是,底层各个能力和中台能力的可用性要求非常高 数据挑战数据完整性一致性准群性要求高可见,分布式互联网架构,在金融领域的挑战也比较大。金融科技开放金融科技开放平台的挑战平台的挑战与未来与未来 如何迎接挑战 分布式架构不仅要自动化、数据化、而且要可对话、会动态调整资源、智能调度、扩容、限流、降级 运维管理也要伴随架构走向智能化运维,最终走向机器自我学习运维。新零售互联网金融的发展面临的挑战:移动化+云计算+更复杂场景+人工智能+快速决策+风控场景多变 基于数据的信用体系产生真正的普惠金融、金融产品快速转换、苛刻的用户体验、非凡的试错能力 上千应用、高速迭代、时间短、随时随地发布部署、任意监控、IT面向金融业务 目标:机器管理机器、平台化IT向业务转型、让决策者更快的决策