《AWA在线研讨会:Supercell如何利用大数据分析打造爆款手游(38页).pdf》由会员分享,可在线阅读,更多相关《AWA在线研讨会:Supercell如何利用大数据分析打造爆款手游(38页).pdf(38页珍藏版)》请在三个皮匠报告上搜索。
遇到的困难:集群上的尖峰负载,在ETL期间查询速度变慢,扩展或者收缩会很困难, 储存与计算不分离,即使是大型的列式存储也有局限性。目标:限制Vertica中的数据量,将计算与存储分开,将ETL处理与查询分,保持数据的单一事实来源,利用云的灵活性来优化资源使用。计划:Amazon S3作为单一事实来源,数据存储为Parquet,使用EMR进行ETL,Vertica仅用于结果(帐户,汇总和KPI)。当前方法的优势:计算和存储的分离,Amazon EMR可扩展到非常大,ETL工作负载使用专用的临时集群,对数据科学家友好的环境。扩展和故障恢复:随心缩放的架构,微服务架构和数据库分片,假设失败-并考虑到这一点。Supercell最成功的地方是保持每个团队的独立,对于Supercell来说,最困难的也是保持团队的独立性但是好处远大于坏处。Analytics cant make a hit game - but can improve it 分析不能创造一款爆款但可以改进他 Full transparency wrt data inside the company 完全透明的公司内部数据 Data scientist embedded in teams 数据科学家嵌入到每个团队当中