《2017年跨云电商devops平台研发.pdf》由会员分享,可在线阅读,更多相关《2017年跨云电商devops平台研发.pdf(48页珍藏版)》请在三个皮匠报告上搜索。
1、跨云电商DEVOPS平台研发让天下专注于商务,不再为电子而烦恼欧 电 云欧 电 云目录1欧电云及其产品概要欧电云于2015年5月与天使客户签单,同年7月即荣获2015年上海浦东新区电子商务创新试点企业殊荣。欧电云秉承“让天下专注于商务,不再为电子而烦恼”的理念,以“创造社会价值”为目标,以“共享,极致,执行”为精髓,非常注重产品和服务,坚持“用户第一”的精神。上海欧电云信息科技有限公司国内顶尖的跨平台新零售全渠道云服务及解决方案提供商欧电云介绍公司员工200人,80%为技术人员,近百位Java高级开发工程师及测试工程师。欧电云欧电云致力于为企业量身打造专业的流通解决方案,提供全品类的新零售管理
2、系统、全渠道的流通管理、全终端的用户触点。在SRP理念的指引下,以欧电云强大的技术实力为驱动,帮助传统企业转型,实现“互联网”时代的腾飞。欧电云产品概要B2B网站B2C商城B2B2C商城全渠道云中台WMSERPO+O到家服务TMS其他外部系统云POS云平台中间件平台雨燕平台用户中心组织中心门店中心商品中心会员中心财务中心库存中心营销中心订单中心支付中心供应链中心客服中心欧 电 云目录2雨燕平台及其产品概要平台介绍雨燕智能运维平台是一款跨云Devops解决方案平台,涵盖跨多云平台资源管理、发布、监控、配置、SOA治理及策略管理等全方位功能的智能运维平台。欧 电 云产品介绍欧 电 云雨燕平台跨云智
3、能运维平台产品功能简介统一资源管理池集成多云的混合云架构Aero配置中心Collo发布系统Chae监控系统Apus软硬件资源管理系统Hirun策略系统Pany用户中心金山云阿里云腾讯云AWS海航云Ucloud欧电云(私有云)Docker云(容器云)CypseSOA治理平台Http+Json+Secret key统一用户管理中心SSO单点登录,权限统一配置管理中心多项目,多环境,安全传输跨云一体化发布串并行发布,灰度发布跨云自动化监控软硬件环境全方位监控跨云自动化策略管理故障自愈,自动扩缩容跨云SOA治理API检索、测试、分组和链路欧 电 云目录3雨燕平台资源系统功能介绍欧 电 云资源系统雨燕平
4、台:资源系统多云架构资源系统简称Apus,基于多云架构的云资源管理平台。私有云混合云公有云公有云容器云多云架构基于私有云+多公有(容器)云混合模式的架构欧 电 云资源系统雨燕平台:资源池概念资源系统有资源池的概念,来统一管理混合云场景的软硬件资源。私有云1公有云1公有云2公有云3WEB服务器文件服务器基础组件服务器CMS服务器邮件服务器数据库服务器资源池实例化欧 电 云资源系统雨燕平台:资源系统架构资源系统整体架构,依托混合云架构,分为三层:底层是基础资源管理中间层是主机资源管理上层是Pool资源管理同时与各子系统采用API串联,实现一些联合功能其中基础资源主要包含镜像资源、公共资源管理等主机
5、资源管理主要是虚机的管理Pool资源管理主要是项目+环境及应用程序管理Public Cloud基础资源Pool Host主机资源Pool资源Open APINginx HostOpen APIPoolBPoolCPoolDPoolA监控系统Healthcheckosoa/omq/zk/ocache/odalCPU/RAM/DISK/NET/JVM配置中心PropertiesServer.xmlNginx.confMemcached.xmlRedis.conf发布系统发布项目管理发布作业管理发布记录管理静态资源管理Middleware HostPublicImagePool Image(cent
6、os+jvm+tomcat)Nginx Image(CentOS+Nginx+Failban)Other Image(Ocache,Omq,DB,.)EIPLBFirewallAPIAPI+NAMESPACEENVAPICloud 1Cloud 2.Database Host欧 电 云通过一键搭环境可以像安装软件一样通过多个下一步操作创建一个新的环境,复制环境可以把已有环境再拷贝到一个新环境中。一键搭建环境和复制环境资源系统选基础组件/Poo/static提供svn url,安装主机数量.申请环境搭建提供命名空间+环境信息构建&上传发布系统文件导入发布系统:Pool/static发布发布系统:
7、主机资源绑定资源交付是否已有jenkins job自动创建jenkins jobNY自动化测试(暂无)是否需要创建主机实例自动创建主机实例YN克隆现有项目NY选择克隆项目资源系统:自动安装基础组件配置中心模板欧 电 云资源系统雨燕平台:资源绑定及自动上下架将资源与应用(基础组件)进行关联,实现批量应用绑定及解绑。虚机1云平台PoolAPoolB虚机2虚机3资源绑定及自动上下架平台-项目-环境-bind|unbind.xxx10.10.11.xx=PoolA10.11.11.xx=PoolB.在资源池中未发现资源时自动上架在解绑资源时对闲置资源自动回收欧 电 云资源系统雨燕平台:资源系统WEB界
8、面资源系统简称Apus,基于多云架构的云资源管理平台。欧 电 云目录4雨燕平台发布系统功能介绍欧 电 云解决方案跨云发布,随心所欲灰度发布,上线无忧静态资源,个性发布异常日志,实时告警简单高效发布欧 电 云发布系统雨燕平台:发布系统部署拓扑图发布系统简称Collo,一款支持跨云发布、灰度发布及WEB实时控制台的云发布系统。用户路由服务发布系统proxy1发布系统proxy2云平台1目标机群(agent)目标机群(agent)备份服务器1备份服务器2云平台1上传服务器云平台2上传服务器发布系统步骤3:发布WAR包和静态文件步骤3:发布WAR包和静态文件步骤5:远程备份步骤5:远程备份云平台2步骤
9、1:提交发布步骤2:校验MD5步骤2:校验MD5步骤4:agent执行发布/回滚/重启操作步骤4:agent执行发布/回滚/重启操作准备:编译打包上传(来源于jenkins或stg)准备:编译打包上传(来源于jenkins或stg)支持【云存储】【FTP】欧 电 云发布系统灰度发布支持按Cookie来实现AB发布,支持按Session、IP等实现灰度发布。正常用户灰度试点用户正常集群分批发布部分用户(基于Lua根据IP地址段来分发请求)所有剩余用户无用户投诉异常,分批更新OpenResty代理服务器欧 电 云发布系统雨燕平台:发布系统发布界面发布系统简称Collo,一款支持跨云发布、灰度发布及
10、WEB实时控制台的云发布系统。欧 电 云发布系统雨燕平台:发布系统实时控制台发布系统结合Agent探针程序,实时抓取应用启动日志,通过WEB控制台显示应用发布的详细步骤及日志。欧 电 云目录5雨燕平台配置中心功能介绍欧 电 云解决方案统一配置中心可视化界面配置审核新旧对比高效安全传输自动更新配置欧 电 云配置中心雨燕平台:配置中心架构配置中心简称Aero,是一款基于文本文件管理为核心功能的高性能分布式配置管理平台,支持多项目、多环境、多用户。欧 电 云配置中心配置中心简称Aero,是一款基于文本文件管理为核心功能的高性能分布式配置管理平台,支持多项目、多环境、多用户。雨燕平台:配置中心介绍跨云
11、部署解决方案配置文件自动加载离线部署安全签名校验restful+json轻量级多项目多环境通用项目配置回滚与灰度发布快速切换DB等关键配置一键替换变量分布式配置文件管理平台支持多项目多环境配置文件管理,支持大文件管理,推荐不大于5MB。支持通用项目配置。引入轻量级客户端,采用restful+json轻量级接口通信,签名校验。客户端无法连接服务器自动切换离线模式。支持配置回滚与配置灰度发布,支持快速切换DB/Cache等重要组件配置切换需求。欧 电 云配置中心雨燕平台:配置中心功能亮点严格的文件审核流程草稿箱和正式库文件审核项目(文件)比对版本管理高效实用功能可引用的全局变量一键变量替换丰富的文
12、件复制方式同项目同环境文件继承分而治之:开发管文件,运维管变量配置中心将文件分为草稿和正式文件,开发人员可以反复编写草稿,在定稿后提交至正式库,提交的过程,有专门的开发主管针对自己管理的Pool进行文件审核,审核时能像SVN一样看到文件比对详情,从而作出是否通过的决定。我们提供了多种手段编写草稿,如全局变量、文件继承、复制文件;同时我们将变量与文件管理分开,做到分而治之:开发管文件、运维管变量欧 电 云配置中心雨燕平台:配置中心文件比对功能文件比对功能能够比较文件多个版本之间或任意两个文件之间的差异,差异包含新增行、删除行、修改行中数据等差异,如下图所示欧 电 云目录6雨燕平台监控系统功能介绍
13、欧 电 云解决方案日志监控监控URL请求量、请求大小、请求耗时、应用系统异常堆栈日志等基础组件监控监控缓存、MQ、SOA运行状况及SOA链路负载其他监控配置篡改、订单掉零、发布异常和服务到期等业务监控可定制SQL的业务监控,涵盖订单、用户注册登录、支付、促销等各种定制化业务。系统监控对应用系统和基础组件进行心跳检测、CPU、内存、磁盘、网络、TOMCAT连接数、JSTACK、GCLOG等监控数据库监控监控慢SQL执行状况,监控IOPS,扫描自增字段全链路功能监控欧 电 云监控系统雨燕平台:监控系统跨云监控监控系统简称Chae,一款支持跨云、多项目多环境同时监控的云监控系统。Data SyncD
14、ata SyncServer 2Server 3Server 1Main SpiderMonitor CenterUser_Alarm CenterEmailWeChatSMSMonitoring ScreenData SyncData SyncMongoDBReal Time AlarmReal Time AlarmReal Time AlarmReal Time AlarmReal Time AlarmReal Time AlarmServer.Server NMain CloudSub Cloud 1Sub Spider 1Server 3Server 2Server 1Server.S
15、erver NSub Spider 2Server 2Server 3Server 1Server.Server NSub Cloud 2监控系统CHAE跨云部署拓扑图欧 电 云监控系统雨燕平台:监控采集程序Chae-Spider架构监控系统简称Chae,一款支持跨云、多项目多环境同时监控的云监控系统。监控系统云平台开放API监控瘦客户端交互数据各Pool虚机群业务数据库交互数据采集数据采集数据云平台开放API各Pool虚机群业务数据库交互数据采集数据采集数据跨云监控默认部署的主云平台监控拓扑跟踪云采集PV/UV跟踪云采集PV/UVELK日志服务采集异常日志Zabbix API采集主机使用资源
16、状况 欧 电 云监控系统雨燕平台:监控告警中心Chae-Alarm架构监控系统简称Chae,一款支持跨云、多项目多环境同时监控的云监控系统。告警消息出口告警消息入口Restful APIDisruptor高速内存队列短信模板邮件告警模板微信企业号告警模板合并告警策略短信事件邮件事件微信事件短信全局告警人短信订阅者邮件全局告警人邮件订阅者UserEmailWeChatSMS全局开关短信开关邮件开关微信开关按项目+环境维度的开关设置监控告警中心监控告警中心ChaeChae-AlarmAlarm架构架构欧 电 云监控系统雨燕平台:监控系统链路监控实例链路监控涵盖从用户发起请求到数据库查询数据等整个链
17、路的监控,监控点包括各节点的CPU、内存、磁盘、网络,应用程序机器,还包括Tomcat连接数、Jstack实时日志下载、GCLog实时下载等功能。还包括SOA链路调用监控。欧 电 云监控系统雨燕平台:日志监控日志监控基于ELK设计,可以监控任意日志,目前我们已经实现对Pool异常日志,Nginx请求日志,数据库慢SQL日志的监控和告警。各POOL异常日志排名POOL异常排行监控慢SQL监控Nginx请求日志监控欧 电 云监控系统雨燕平台:监控系统电商业务监控订单监控支付渠道监控支付途径监控登录监控注册监控欧 电 云监控系统雨燕平台:监控大屏监控系统还能将各个监控项进行分屏展示,从而支持一屏监控
18、多项的大屏展示功能。欧 电 云目录7雨燕平台SOA治理平台欧 电 云SOA治理SOA治理平台SOA分组管理支持SOA灰度分组、服务降级、优雅下线API文档自动生成Api文档由治理平台客户端扫描源码生成,及时发现api变化,无需人工维护api文档API接口版本分析支持强大报表分析API变化规律(增加接口,删除接口,接口参数修改),技术leader可严格把关接口规范可视化SOA接口测试无需代码单元测试,针对自动生成的API文档界面点击测试跨云治理助力开发欧 电 云SOA治理带Token的URL访问POOL-CWEB端OSOA调用链路http:/ 电 云SOA治理雨燕平台:SOA治理平台界面SOA治
19、理平台可以实现API检索、API自动更新、版本分析、可视化测试、分组等实用功能。欧 电 云目录8雨燕平台用户中心及策略系统欧 电 云解决方案用户权限策略用户中心权限管控运维策略统一用户管理中心,用户注册审核,单点登录,对接第三方用户系统;严格控制系统权限,定制系统菜单,分配用户权限;按需定制运维策略,实现自动化运维。SSO统一单点登录所见即所得自动化运维欧 电 云用户中心雨燕平台:用户中心雨燕PANY发布系统配置中心用户中心3rd用户监控系统资源系统策略系统用户权限管理基础元数据信息License管理系统集成子系统集成单点登录角色菜单权限用户部门管理默认集成用户中心集成Jira流程控制系统集成
20、第三方用户系统命名空间管理环境管理Pool管理License授权管理License授权认证License授权延期License认证日志用户中心简称Pany,是一款集子系统集成、第三方系统集成等功能的元数据管理系统。11种Https证书申请Https证书订单管理Https证书管理欧 电 云策略系统雨燕平台:策略系统策略系统简称Hirun,是一款将各子系统任务串联成一定策略的自动化任务处理系统。通过策略系统可以定制自动化运维的需求。链路任务管理执行流程管理预警策略管理故障自愈管理调用具体任务接口发布系统配置中心监控系统资源系统中心系统各子系统欧 电 云目录8雨燕平台我们的优势欧 电 云基础中间件支
21、持OCACHEODFSOMAOSOAOMQ开发使用的管理平台,支持队列可视化管理(生产消费曲线,客户端消费者管理)。支持osoa链路查询,入参查询,异常查询。支持缓存分配,自动扩充缓存支持json,hessian,dubbo 的微服务框架。基于mongo存储引擎,zk协调的高可用集群队列,支持断点续传,竞争共享消费,重发补发。业务透明,支持自动扩容,异常监控的缓存中间件。支持多种云存储,自动压缩图片的文件上传中间件OSEQ高可用的唯一序列号生成中间件自研基础中间件支持欧 电 云雨燕平台跨云智能运维平台运维成果降低生产事故率50%提高上线效率70%我们的优势:欧电云实施成果横跨6个公有云1个私有
22、云保障1000+应用服务器和100+数据库服务器支撑20+大型电商应用平台和6个应用环境有效降低运维成本75%以上(原先需要12人运维团队完成的工作,现在3人即可)一键搭环境,WEB界面人性化操作,简单高效!原先需要半天完成的事情,现在半小时就能搞定!欧 电 云雨燕平台跨云智能运维平台优势介绍我们的优势:总结020103060504安全可靠可视化管理统一监控智能运维轻量级、可扩展大幅提高开发效率部署安全:软件+数据全盘交付合法授权:黑白名单,精准拦截信息加密:签名校验,加密传输统一配置管理中心,自动广播所有系统参数可配,一键生效跨云监控,统一展示主动侦测,实时告警全链路监控,实时大屏展示统一SOA治理平台,API文档自动生成自动感知API变动,可视化SOA接口测试结合统一监控,快速排查问题分布式微服务架构灵活部署基于Http+Json轻量级协议分布式会话、缓存及海量存储管理基于PAAS的服务运营运维管理一键搭环境故障自愈,自动扩缩容欧电云Thanks!未来你我同行!中国顶尖的跨平台电子商务系统云服务提供商