1、简志（weibo:阿里云-简志）兴趣：数据处理、日志分析Serverless日志处理挑战与方案市场节奏卖方市场买方市场云对技术影响运维转向运营上线周期缩短数据改变运营收集百万用户行为实时提升游戏（投放、运营、活动）2012 2013 2014 2015成熟时间（从发布到饱和，累计下载）200周160周120周80周40周0周研发销量时间轴增长成熟衰退生命周期投放市场模仿者研发与运营挑战计算与日志演变LOGLOG渠道：容器,移动端,网页端来源：应用打点,用户访问,程序日志技术挑战多渠道、多维度、多种处理方法5KB/用户,100W在线,5GB数据量更快发现问题并解决预留成本、快速准备规模挑战数据量

2、大/实时性强运营、运维报表快速响应需求业务挑战一份数据，多个产出Serverless日志处理挑战阿里云日志服务LogHub采集消费LogSearch索引查询LogShipper投递Project-Logstore 日志库-Config 配置-MachineGroup 机器Project:example-projectLogstore:user-metricsLogstore(48 Hours Storage)Shard 1 0B0000,0FFFFF8754LG3921Logstore:transaction-logShard with RangeLogstime,time,time,Meta

3、-IP-Source-TagsLogGroup日志采集原理新应用部署应用层日志处理+增加消费端Docker环境日志采集Server1Server2Server3执行环境+服务器扩容Config 日志路径机器组-应用部署Logstore-LogHub-LogSearch-LogShipperStdout日志1.开通日志服务2.配置stdout文件日志（Prefered）1.Logstore2.日志路径Docker环境日志采集无特殊配置(99.9%)321Shard 3Shard 4Clerk AClerk CClerk B弹性伸缩能力8765439Shard 28769Sh

4、ard 1Shard 0离线仓库OSSMaxComputeOTS日志在线、离线对接LogShipper4356789Data StorageOSS、TableStoreE-MapReduce MaxCompute-Spark Streaming-Storm/Jstorm-Consumer Library-SDK实时计算8 7 65 4 39LogHub实时收集LogStore大规模（PB级）稳定，可靠免费实时索引日志数据，大吞吐量便捷、海量查询能力日志索引与查询AccessType:2 CheckPermission_for_Request:Action:odps:Read,Principal

5、:22349,Resource:acs:odps:*:projects/apsara_profiling/instances/206826gauva5,acs:CurrentTime:2013-03-14T12:09:17Z,acs:SecureTransport:false,acs:SourceIp:10.242.68.20,acs:UserAgent:aliyun-sdk-java,odps:CurrentProject:apsara_profiling,odps:TaskType:DEFAULT Context_ID:71a959c0-2ddd

6、-4da7-be70-fd080b6b6900 ObjectCreator:22349 ProjectOwner:22349-03-14 20:25:22 10.242.89.70 Enter:HandleNewInstance InstanceId:202714gdgwa5Project:apsara_profiling RequestId:5141C1B22B1BF51D09000004 User:22349-03-14 20:25:4310.242.89.64AccessType:2 CheckPer

7、mission_for_Request:Action:odps:Read,Principal:22349,Resource:acs:odps:*:projects/apsara_profiling/instances/202714gdgwa5,acs:CurrentTime:2013-03-14T12:25:43Z,acs:SecureTransport:false,acs:SourceIp:10.242.68.20,acs:UserAgent:aliyun-sdk-java,odps:CurrentProject:apsara_profiling,

8、odps:TaskType:DEFAULT Context_ID:5aacd8eb-43ce-4c87-b85c-281818e73f7b ObjectCreator:22349 ProjectOwner:22349 Instance IDInstance IDInstance IDMy Project链路跟踪与上下文查询服务间 链路查询进程内 上下文查询(即将推出）采购服务器以3份Copy计算，2核2G 100GB硬盘机器3台部署Zookeeper与Kafka大约500元/月部署软件、配置参数软件工程师、运维工程师线上机器运维运维工程师线上扩容、收缩运维工程师线上日志新增减少配置运维工程师重新更新配置文件，灰度环境，线上所有Agent升级运维工程师-1.6 W/Year，一天50元使用阿里云日志服务0预留成本5分钟成完成所有配置弹性、免运维95%场景下是自建成本30%以下高扩展、专业大数据研发团队自建日志解决方案使用成本1模糊查询；支持上下文查看查询：action=pay*,id=100?345查看：某条日志上下文（+-N 行）2可伸缩存储调整日志保存时间，按需存储3对接更多处理方案报警、通知、可视化日志服务2.0预告