1、构建10亿级商品的电商平台架构（微店）微店是谁，技术挑战是什么为交易构筑安全可靠的防火墙低成本的架构建设之道大数据下的基础建设大数据面前，业务系统的演进之路业务模式 第一代架构 新的技术挑战日均经受560万次攻击 日均被爬6亿次私有云 全站分布式 性能优化 SRE，devops数据层治理 中间件搜索引擎手机开店 手机开店 000万店铺 000万店铺 月访客过亿 月访客过亿 10-300人 海豹突击队LAMP、F5、redis 技术特点100w 3000w 注册卖家数规模 7000W安全 6亿/天成本 数千万/年效率 600+7000万店铺，10亿商品；9P数据 支付、搜索、推荐、风控、IM、交

2、易、开放平台、广告、供应链 经受560万次攻击/天；CC、SQLInjection、XSS、CSRF 每天6亿+爬虫访问.IDC方面，2016/2017年整体支出数千万 600+研发一起协同 每天有60次上线，400+次发布（含测试/预发）微店是谁，技术挑战是什么为交易构筑安全可靠的防火墙低成本的架构建设之道大数据下的基础建设大数据面前，业务系统的演进之路业务模式 第一代架构 新的技术挑战日均经受560万次攻击 日均被爬6亿次私有云 全站分布式 性能优化 SRE，devops数据层治理 中间件搜索引擎为交易构筑安全可靠的防火墙A.主要的安全威胁B.微店安全产品框架C.WAF（防火墙）D.代码扫

3、描E.主机安全防护HIDSF.实时安全日志分析风险感知应用安全主机安全其他类型CCDDOS设备漏洞网络安全SQL InjectionXSSCSRF命令执行移动安全SSRF应用逻辑漏洞木马蠕虫Rootkit软件漏洞帐号被盗恶意数据抓取内部违规行为数据安全安全运营安全流程安全规范渗透测试安全评审安全培训应急响应WAF漏洞扫描代码缺陷扫描设备 指纹入侵检测DDOS防护主机安全agent数据库防火墙SOC漏洞管理实时安全 日志分析 风险感知 系统为交易构筑安全可靠的防火墙A.主要的安全威胁B.微店安全产品框架C.WAF（防火墙）D.代码扫描E.主机安全防护HIDSF.实时安全日志分析风险感知?redi

4、s?elk统一接入层（luaonnginx）运行。对业务无侵入，且100%全覆盖。实时规则防护，0day防护。虚拟补丁，规则动态实时更新WAF为交易构筑安全可靠的防火墙A.主要的安全威胁B.微店安全产品框架C.WAF（防火墙）D.代码扫描E.主机安全防护HIDSF.实时安全日志分析风险感知DSL支持java、php、node等语言扫描模式动态（语法分析）、静态（正则表达）以及集成第三方扫描引擎（rips、findsecbugs等）相结合的扫描模式发布系统强结合，强制安全扫描代码扫描为交易构筑安全可靠的防火墙A.主要的安全威胁B.微店安全产品框架C.WAF（防火墙）D.代码扫描E.主机安全防护H

5、IDSF.实时安全日志分析风险感知主机安全防护HIDS文件监控命令监控网络监控基线巡检为交易构筑安全可靠的防火墙A.主要的安全威胁B.微店安全产品框架C.WAF（防火墙）D.代码扫描E.主机安全防护HIDSF.实时安全日志分析风险感知建模：关键字、频率、webshell、hpheader等去噪菜刀请求特征基于统计的模型机器学习攻击检测（进行中）实时安全日志分析风险感知系统为交易构筑安全可靠的防火墙A.主要的安全威胁B.微店安全产品框架C.WAF（防火墙）D.代码扫描E.主机安全防护HIDSF.实时安全日志分析风险感知微店是谁，技术挑战是什么为交易构筑安全可靠的防火墙低成本的架构建设之道大数据下

6、的基础建设大数据面前，业务系统的演进之路业务模式 第一代架构 新的技术挑战日均经受560万次攻击 日均被爬6亿次私有云 全站分布式 性能优化 SRE，devops数据层治理 中间件搜索引擎低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G.以应用为中心的运维体系服务器利用率性能人效及成本每年净增400+服务器IDC成本70%的服务器利用率在15%以下全站大部分页面90%的访问首屏渲染完成时间在3s以上测试开发比1：2OP高峰时达到18人Vcloud1.0?Vcloud2.0?vdos1.0?VDOS2

7、.0?KVMIAAS化完成docker的IAAS化平台管理非线上环境全面推广docker资源快速交付；秒级PAAS化，容器or虚拟机创建即部署应用平滑上下线docker（通过镜像）KVM（通过开机脚本）性能监控容器服务编排功能；降低TCO自动化、平台化IDC级别的弹性服务自动上线。日志分析收集KVM，容器，物理机混合编排在线迁移在线离线混部超融合云混合云智能调度低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G.以应用为中心的运维体系OS?Centos7.2?KVMDocker?Golang Boot

8、strap?angularjs?Golang shell?Pipework libvirt?IP?LVM?OS+?/?Ceph?TCCPU?MEM?DISK-cgroup低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G.以应用为中心的运维体系?and?IDC?Vdos-agent?Vdos-agent?Vdos-agent?Vdos-agent?graphite?RPC?rabbitmq?websocket?logstash?dashboard?KVMIAAS?dockerIAAS?/?andLB?

9、API?APP?APP?APP?APP?APP?APP?APP?API?VLB(4?7?)?SOA?ES?/?Graphite?Ceph?低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G.以应用为中心的运维体系?dapper?traceID?tomcat?RPC?span?span?RPC?Hexstring?traceID seq+?+?IP+?tomcat/dubbo/http/vdianMQ/vdds/redisClient?低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私

10、有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G.以应用为中心的运维体系?数据评估参考：页面加载速度每提高1秒，转化率增加2%.反之，如果超过4秒，25%的用户会选择离开用户最满意的打开网页时间是2-5秒，如果等待超过10秒，99%的用户会关闭这个网页Google：网站访问速度每慢400ms就导致用户搜索请求下降0.59%Amazon：每增加100ms网站延迟将导致收入下降1%雅虎：如果有400ms延迟会导致流量下降5-9%低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G

11、.以应用为中心的运维体系?IDC?S 500MS 300MS 低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G.以应用为中心的运维体系低成本的架构建设之道A.成本和性能的挑战B.微店私有云发展历程C.私有云技术选型D.容器管理平台架构E.分布式治理：链路追踪F.性能优化：秒开G.以应用为中心的运维体系微店是谁，技术挑战是什么为交易构筑安全可靠的防火墙低成本的架构建设之道大数据下的基础建设大数据面前，业务系统的演进之路业务模式 第一代架构 新的技术挑战日均经受560万次攻击 日均被爬6亿次私有云 全站

12、分布式 性能优化 SRE，devops数据层治理 中间件搜索引擎建立数据库标准：单机多实例应用独享实例MS结构，主备分工HA分布式监控，DBAgent自动发现实例，自动采集实例数据，主机性能数据，磁盘数据，自动添加监控实时慢SQL每秒实时更新心跳（showslavestatus不可靠）DBTask数据库创建，配置VDDS,数据库迁移，拆库扩容，恢复大数据下的基础建设A.数据库治理B.数据层相关中间件C.分布式事务框架构建中间件，提供数据库治理相关的框架支持VDDS，分库分表中间件VDDS-Proxy，分库分表中间件（forPHP）VSS，全量数据同步VTS，增量数据同步vdianMQ，消息中间

13、件Tcc，分布式事务框架建立数据库自动化运维体系大数据下的基础建设A.数据库治理B.数据层相关中间件C.分布式事务框架VDDS分库分表读写分离 独立的账号体系配置自动变更灵活的hint机制VDDSPROXY（forphp）平滑下线配置自动生效支持mysqlpreparedStatement协议负载均衡大数据下的基础建设A.数据库治理B.数据层相关中间件C.分布式事务框架vts（全量数据同步）存储，mysql，消息，hdfs，redis，本地文件支持高可用动态加载过滤规则数据拉取和写入的速度可控负载均衡VSS（增量数据同步）mysql，消息，hdfs，kudu的支持高可用灵活的过滤规则动态加载目

14、标写入代码任务配置自动生成负载均衡大数据下的基础建设A.数据库治理B.数据层相关中间件C.分布式事务框架方式代码侵入性数据库侵入性两阶段提交同步；阻塞协议弱弱Ebay基于消息异步较强AlipayXTSTry同步；confirm/cancel异步强主事务分支事务记录TaobaoTXC同步弱Log表业务同库大数据下的基础建设A.数据库治理B.数据层相关中间件C.分布式事务框架大数据下的基础建设A.数据库治理B.数据层相关中间件C.分布式事务框架微店是谁，技术挑战是什么为交易构筑安全可靠的防火墙低成本的架构建设之道大数据下的基础建设大数据面前，业务系统的演进之路业务模式 第一代架构 新的技术挑战日均

15、经受560万次攻击 日均被爬6亿次私有云 全站分布式 性能优化 SRE，devops数据层治理 中间件搜索引擎搜索的业务场景商品搜索店铺搜索实时搜索10亿商品7000万店铺?TPS/QPS?1-2k?大数据面前，业务系统的演进之路A.大数据产品框架B.搜索引擎的挑战C.搜索引擎2.0D.搜索引擎2.0E.搜索引擎3.0?solr?N?mapreducejoin?solr?solr?1.0?大数据面前，业务系统的演进之路A.大数据产品框架B.搜索引擎的挑战C.搜索引擎2.0D.搜索引擎2.0E.搜索引擎3.0分布式架构引入merge层（叫 illusion），采用海选+精排架构引入统一接又层，实现QP构建独立的dump集群，全量+增量粗糙的后台算法：海选+精排，LTR，特征丰富大数据面前，业务系统的演进之路A.大数据产品框架B.搜索引擎的挑战C.搜索引擎2.0D.搜索引擎2.0E.搜索引擎3.0引擎支持个性化实时搜索上线，全链路时效性在500ms之内，引擎内在100ms之内索引管理引入调度器dump升级，hbase成为 dump的基础算法在线学习，模型更新更加实时大数据面前，业务系统的演进之路A.大数据产品框架B.搜索引擎的挑战C.搜索引擎2.0D.搜索引擎2.0E.搜索引擎3.0谢谢大家！