《卢万龙-企业上云的思考与实践.pdf》由会员分享,可在线阅读,更多相关《卢万龙-企业上云的思考与实践.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、企业上云的思考与实践主讲人:卢万龙演讲嘉宾介绍卢万龙 支付公司运维总监 NextArch Foundation国际基金会TOC 曾先后在易宝、华为和联想等公司任职云计算架构师,近十年一直专注于信息技术的革新与布道,包括容器、虚拟化、软件定义和自动化运维等基础设施架构方面 一个发明专利(一种基于分布式存储的数据备份归档方法和系统,进行中,专利号201911120266.9)开源负载均衡-合页项目(Parasaus),github地址:https:/ 出版过书,写过文章。openstack从零开始学图书,确定性不在,混沌永生,企业云存储建设之路等2023K+01要不要上云?怎么上云?云与自建的能力
2、异同0203挑战与应对04CONTENT目录Part 01要不要上云?要不要上云?论点:必须上云论据:云在稳定性、弹性和快速性方面比自建技术能力强,可更好支持业务论点:不需要上云论据:云服务比自建成本高,陷入厂商锁定,傲慢服务差VS结论:1.生产环境应该上云。利用云的稳定性和弹性抗住突发洪峰流量,支持好业务2.测试环境可以不上,以云服务技术栈为依据,建设基础。同时沉淀技术的基础原理和逻辑,为用好云技术做积累和指导3.非实时和稳定业务可不上,充分兼顾成本和稳定性,达到最高的性价比Part 02怎么上云?建组织 理思路 定架构 强执行建组织组长副组长职责:负责项目整体设计、实施、进度把控和人员调配
3、组员1职责:负责应用上线、测试和联系商户联调。辅助完成项目整体设计组员2职责:负责组件和发布工具上线、测试。辅助完成项目整体设计组员3职责:负责项目整体协调、信息拉通和组织会议关键点:1.上云一定是”一把手工程”。组长必须可以协调和调动”公司”整体资源,无论是业务的配合,还是技术侧的推进2.做足”仪式感”,让项目做到人尽皆知。召开启动会、总结会、里程碑会等,”裹进”足够多的干系人,使参加的每个人都”使命在身”3.副组长是关键,真正的执行人。既要懂技术,又要懂业务,还要懂协调4.组员要全面,涵盖上云的点点面面。例如,项目管理、组件、中间件、业务研发等领域均需有专人加入负责理思路关键点:1.上云带
4、来的是组织阵型、内部运转流程和技术架构的全面升级,而不仅仅是搬一次机房2.把复杂的事情做简单,把简单的事情做高级。使组织有”质”的提高定架构(一)云原生应用按照12因子指导,构建标准的云原生应用中间件服务以云服务为标准,减少自建,降低技术选型成本和偏门风险。构建CICD流水线,提升效率系统稳定性通过上云获得更加坚固的底盘服务,建设DevSecOps团队持久有效的运营好备注:业务不断发展,需要快速迭代不断试错,因此企业必须具备持续交付(CICD)的能力。”巨无霸”的应用显然是做不到的,需要用微服务架构建立许多独立个体交付,以12因子为指导的云原生应用恰好满足此要求。如此多的微服务应用开发和维护需
5、要借助DevSecOps模式进行运转,DevSecOps的有效实践则需要依赖敏捷的基础设施,即云计算满足整体要求。定架构(二)定义:业务连续性=7*24不间断对外提供无差别服务违规变更外部故障引起内部系统错误踩坑定架构(三)关键点:1.通过自研流量网关(TGW),锁定流量,实现单元化治理。网关容器化,具备横向扩容能力2.交易数据冷热分开,实现分级治理。高级别热数据为实时交易数据,量小且操作延时低。低级别冷数据为历史数据,全量存储,主要供查询使用3.故障爆炸范围可以隔离在一个AZ内,符合混沌工程中最小半径原则4.网络架构通过三层路由互通,而不是二层互通,容量扩容不受限制。符合极简架构原则5.“站
6、在巨人肩膀上做事”。充分利用开源技术,拒绝从零做起6.RTO 180s,RPO 17000,tp999延时2ms1.根据取出的商编和订单编号进行一致性hash,锁定流量处理单元2.支持单商编或商编组进行限流定架构(五)单元化治理后库表数量翻倍如何管理?通过我们自研数据库变更自动化平台,实现权限管理、数据库资产管理、变更自动化。支持定时和手动执行,支持sql语句审核,变更回滚,日志查看等。捋顺流程,提高正确性和稳定性。定架构(六)实时交易数据库向历史库数据同步问题及分布式数据库选型问题?通过自研的数据库同步工具,可将实时交易库数据同步到历史库,满足查询和灾难后切换做交易库使用历史库的技术选型为T
7、iDB,大容量、分布式、多副本,满足历史库的海量数据存储,延时不敏感要求定架构(七)各种技术组件能力、接口如何与云对齐?例如容器、存储、数据库和负载均衡等目前我们所用容器是标准的开源生态k8s+docker,存储使用开源分布式存储ceph,遵从s3标准接口,数据库使用开源mysql与线上RDS看齐。唯一自研的是负载均衡-Parasaus,利用开源的lvs实现。目前已经开源,欢迎大家使用。强执行一、执行力是企业最大的战略二、执行没有借口,再好的战略不能执行都是白费三、自下而上,绝对执行Part 03云与自建的能力异同 相同点 差异点相同点原理/逻辑效率成本稳定性关键点:云和自建在相通的原理/逻辑
8、基础之上,依然具备稳定性、效率和成本三者的”CAP理论”,即只能同时满足其中两个,基本不可能同时满足三个要素。”CAP理论”差异点一、成本计入方式云成本属于经营型支出,成本随着业务的变化而变化,且变化幅度可能较大。自建属于资本型投入,属于一次性支出,成本在稳定的业务需求下没有大变化。对于成本的关注和管理产生巨大变化二、资源获取的便捷性在云计算平台强大技术能力的加持下,技术资源的获取变得简单便捷,获取方式质的变化。举例,建设一个智能AI的网站-,从域名-公网ip-证书-准备机器-准备应用环境(django、nginx、apisix)-配置-应用部署-安装数据库-初始库表-上线-调试-对外,只用1
9、小时三、专业门槛降低,模糊界限传统模式下每个域因软硬件技术差异而形成彼此门槛比较高,云模式下对每个技术域的极端抽象(软件定义)迅速模糊掉技术域门槛,具备基础知识即可驾驭操作四、人才需求模型以往需招聘大量的的基础岗位和中间岗位人才,因为需完成大量的操作类型工作。但在上云之后,招聘需以高级人才和全栈人才招聘为主,更多是整体思考和架构工作五、技术栈的选择当企业自建基础能力时,需要经过大量的技术选型和测试,以确认新技术栈与业务和已有能力的适配性。但在云上,基本每个域的能力都已封装好,阅读手册,简单测试后基本可以确认是否适配。可见,选择会产生惰性和变简单。Part 04挑战与应对挑战与应对资源获取便捷性
10、和技术域门槛降低极易造成系统安全性的下降,从而被攻击或入侵。例如敏感端口22、3306的对外。通过处罚、培训、制定流程、主动防护和红蓝对抗演习多方位发现和补救多云、多region和多服务必然带来多资源类型,提升效率必须管好多资源。通过建立完善的CMDB实现资源的效率管理,实现云用户-region-设备ip-监控中心-应用owner-应用-发布平台-代码仓库-制品仓库-配置中心-数据库全链条管理云所属的经营性支出成本特点,叠加资源采购的便捷和流程盲点等,极易造成成本失控。通过内部建流程(资源增删改)和资源波动报警(资源变化即时得知),实现事前和事后的强运营管控,达到成本有效控制云厂商服务的彼此差异性和应用耦合性极易造成用户锁定,很难脱离,继而形成用户对云厂商没有约束性和谈判空间。通过技术架构设计有效甄别云服务与自开发的优缺点,既避免重复造轮子又避免被锁定云依赖性系统安全资源管理成本管控THANKS!