《腾讯:2018中国移动游戏质量白皮书(47页).pdf》由会员分享,可在线阅读,更多相关《腾讯:2018中国移动游戏质量白皮书(47页).pdf(47页珍藏版)》请在三个皮匠报告上搜索。
1、中国移动游戏质量白皮书 2018 CHINA MOBILE GAME QUALITY WHITE PAPER 2018 腾讯WeTest2018中国移动产品质量白皮书 掌门人致辞 2018年是中国游戏产业的一道坎。 版号收紧,国内游戏用户总量趋近饱和,市场增量放缓;玩家增长带来的人口红利 消耗殆尽,营收增速大幅下降。 与其同时,老玩家们对游戏品质的要求还在不断在提高。靠不断上新游圈用户的运 动彻底走到了尽头。未来游戏行业的方向必将从做增量转为深耕存量。 年底终于迎来了振奋人心的好消息,国内游戏版号开始解禁。严冬的一丝暖阳已 至,曙光初现。但是来之不易,务必珍惜。版号的资源是非常有限的,我们需要
2、更 加尊重用户,尊重市场,重视产品品质,才能打好未来这场仗。 创意是灵魂,质量是生命。创意决定了游戏可以飞多高,而质量则决定了它能够走 多远。那么,什么样的质量才能得到市场的认可呢? 此次腾讯WeTest带来的2018中国移动游戏质量白皮书,全面的梳理了2018年 中国移动游戏的质量现状,分别从兼容性、性能、游戏安全、小游戏测试、用户口 碑等多个层面汇总中国移动游戏产品质量数据和趋势,以期为来年产业的发展和研 发投入方向提供决策参考和依据。 超越品质,点亮游戏。 祝愿大家在2019年都取得成功,产品大卖。 腾讯WeTest总经理 02 腾讯WeTest2018中国移动产品质量白皮书 目录 2
3、5 6 11 14 17 18 19 21 23 24 26 掌门人致辞 概述 移动设备市场概况 兼容性报告 内存对兼容性的影响 异形屏常见兼容问题及优化办法 客户端性能报告 Top机型游戏综合性能表现 腾讯手游性能大数据 OpenGL版本分布 服务器性能报告 游戏的压测参考标准 27 28 30 32 33 35 36 37 38 39 44 47 游戏服务器性能的瓶颈点盘点 战术竞技游戏服务器的痛点盘点 手游安全性报告 手游安全漏洞问题分布 手游外挂安全问题占比及类型分布 小游戏测试报告 小游戏测试类型分布 小游戏适配、性能情况分析 小游戏测试的典型问题及优化建议 玩家舆情报告 2018年
4、的新风口战术竞技游戏 关于WeTest 03 01 概述 腾讯WeTest2018中国移动产品质量白皮书 概述 国内游戏用户总量趋近饱和,游戏品质的重要性空前突显,任何一次突发的质量问 题,都会导致大量玩家流失,游戏团队功亏一篑。开发者想要在竞争中取胜,就需 要切实加强行业现状洞察,更精准的把握玩家对游戏品质的痛点。 WeTest发布的2018中国移动游戏质量白皮书(以下简称“白皮书”),通过 腾讯大数据及其他第三方平台数据,着重从市场硬件、兼容、客户端性能、服务器 性能、安全、玩家口碑等对玩家体验最敏感的质量视角进行数据采集与深入分析, 并新增小游戏测试模块,总结出移动游戏质量的典型问题并提
5、出专家优化建议,力 求在真实的数据中展示真正对开发者决策有所助益的信息。 移动设备市场概况章节,通过腾讯大数据统计,展示了WeTest适配指数中占有率 最高的100款机型硬件设备情况。 兼容性测试、客户端性能测试、服务器性能测试、安全测试、小游戏测试等专项测 试数据均取自 WeTest平台的测试结果,对各种类型游戏的问题定义、问题分布、 重点问题及解决之道进行了说明。 用户口碑分析数据取自WeTest企鹅风讯平台,对玩家热议游戏类型、易吐槽的质 量问题等进行了剖析。 此次白皮书中,WeTest还首次公布了腾讯手游性能大数据,盘点iOS及Android不 同分档机型的性能表现,提供MMORPG、
6、战术竞技、休闲、体育竞技、ARPG类 游戏的多维度性能数据对比。 更多专业内容,可在下文中继续查看。 对于数据和分析结论上的任何问题,欢迎您通过我们微信公众号(腾讯WeTest) 进行探讨。 05 02 移动设备市场概况 腾讯WeTest2018中国移动产品质量白皮书 4G以上内存设备市场份额持续提升 07 为了保证测试过程中的移动设备能够代表市场用户的真实使用情况,腾讯基于自身大数据,每 月更新市场移动设备的用户覆盖情况,并予以排序;本章节基于2018年最新数据,揭示市场 最新移动设备的分布情况。 内存层面我们发现,4G以上内存设备的市场份额持续提升,高配手机设备用户人群逐渐扩 大。 目前安
7、卓TOP100的设备中1-2G内存的机型仅剩下一款;与之相对应的是,4G内存以上的设 备在TOP100中占比相比去年(50台)新增了7台。 注1: Top100机型名单取自WeTest适配指数 1-2G 1%2-3G 11% 3-4G 31% 4G及以上 57% 安卓TOP100设备内存占比分布 腾讯WeTest2018中国移动产品质量白皮书 2K屏幕手机占比提升明显 08 2018年,在安卓TOP100设备中,手机屏幕16:9的设备仍是主流; 较17年相比, 1920*1080分辨率主流分辨率的设备占比从39%升至47%; 2K屏幕(2K resolution:屏幕横向像素达到2000以上)
8、设备占比有显著的提升。最高分辨率 2960*1440的三星 Galaxy S8+(SM-G9550)已经跻身TOP100机型。 安卓TOP100设备分辨率占比 1920*1080 47% 1280*720 19% 2160*1080 15% 2280*1080 9% 2560*1440 4% 1440*720 3% 960*540 3% 腾讯WeTest2018中国移动产品质量白皮书 八核设备成为市场主流 09 双核处理器已经满足不了大多数人的需求,双核设备已经淘汰在安卓TOP100设备外; 目前市场发布的大部分安卓应用都支持多核处理,并且在进行高负载以及高并发的数据运算时具有 很大的优势,这
9、形成了当前核心市场类似“军备竞赛”般火热竞争的局面。 与17年相比,人们对八核设备的需求有明显的提升,TOP100占比情况从去年的40%大幅提升至 91%。十核占比相对去年有所降低。 安卓TOP100设备核心数分布占比 八核 91% 十核 2% 四核 7% 腾讯WeTest2018中国移动产品质量白皮书 2018年移动设备主流趋势异形屏 10 根据腾讯大数据统计,用户覆盖排名前TOP100的异形屏设备有:vivo X20A、vivo X21A、 vivo Y85A、小米 8、OPPO R11s、华为 P20 、华为 荣耀V10 、红米5 Plus 、 vivo Y75a、 三星Galaxy S
10、8+设备; 异形屏设备覆盖人群已经占比市场的7%左右; 异形屏中的多台设备均跻身用户覆盖率前20机型。 小米8 全面屏 VIVO X21A刘海屏 OPPO R11S全面屏华为 P20刘海屏 03 兼容性报告 腾讯WeTest2018中国移动产品质量白皮书 兼容性问题概述 根据在WeTest平台上测试的所有产品大数据来看:兼容性问题基本分完右侧7类 问题级别分为:严重、一般、提示 严重问题:指可能对游戏核心造成影响问题的兼容性问题 一般性问题:指游戏尚可维持一般运营水准,但损失一部分功能和体验,必须修复但可 以接受排队等待修复 提示问题:用户使用中无感知 12 问题归类问题定义问题级别 显示异常
11、 App界面出现黑白屏、花屏、遮挡现象、文字异常、布局 异常、模型异常等,与正常界面不符的画面 一般 Crash打开或使用应用程序时出现的突然退出中断的情况严重 功能问题因为兼容导致的功能无法正常使用严重 无响应程序运行长时间卡死,点击无反应严重 安装失败游戏进行了安装操作,但是没有安装成功严重 拉起失败App安装成功,但是无法正常启动严重 Exception测试过程中,有未捕获的异常,属于疑似异常提示 注1:如果测试中遇到影响面较大的具体问题,可能会被提升级别 腾讯WeTest2018中国移动产品质量白皮书 显示异常,Crash问题占比超七成 13 在腾讯WeTest平台测试的产品中,平均每
12、次测试能够发现10.1个问题; 出现最多的问题为:显示异常、Crash问题占比超过七成; 后面我们会针对出现最多的几个问题进行分析。 注1:WeTest兼容测试过程会对应用的部分功能进行检测,在 兼容报告中也记录了这些功能问题。 显示异常 52% Crash 19% 功能问题 14% 无响应 8% 安装失败 4% 拉起失败 1% 其他 2% 兼容性问题类型分布 腾讯WeTest2018中国移动产品质量白皮书 内存对兼容性的影响 14 内存维度,我们关注各类兼容性问题在不同内存机型上的不同的占比情况: 随着内存升高,APK crash、安装失败等致命问题显著降低;其中,从手机内存超过1G 开始,
13、手机的安装失败问题明显降低;相反,UI异常问题由于高配机型的屏幕等原因, 问题占比增加非常明显,值得关注。 国内市场层面,1G内存设备的终端数量占比不到1%,较2017年底,下降了19%。结合 市场份额占据情况,开发者可以选择是否对1G及以下内存的设备进行兼容性检验;国外 市场层面,在东南亚等国家1G内存设备还占据着一定的市场份额,如果产品需要推送给 东南亚地区,需要关注1G内存设备的兼容情况。 注:问题百分比=该内存类别出现该问题的次数/该内存类别的测试总次数*100% 0.00% 24.40% 32.70% 47.39% 64.57% 16.67% 42.94% 33.18% 22.12%
14、 11.86% 66.67% 9.58%8.54% 3.17% 1.50% 0.00% 20.00% 40.00% 60.00% 80.00% 100.00% 120.00% 1G以下 1-2G2G-3G3G-4G 4G以上 不同内存机型的兼容性问题分布情况 显示异常功能问题APK Crash无响应安装失败拉起失败 腾讯WeTest2018中国移动产品质量白皮书 Andriod系统版本兼容性的影响 15 从右图可以看出,安装失败问题从Android 7版本开始,出现几率基本为零; Crash层面问题,随着系统版本的升高,逐渐下降,Android 9的crash问题在 上线之初出现较多,随着AP
15、P开发者逐渐适应,Crash问题正在逐步减少; 显示异常层面,随着系统版本提升,显示异常的问题比重也在提升,其中 Android 8 的显示异常问题比重最高,需要开发者重点关注; 注:问题百分比=该内存类别出现该问题的次数/该内存类别的测试总次数*100% 24.11% 39.16% 43.07% 61.11% 78.85% 58.43%10.80% 18.71% 17.57% 16.83% 9.78% 2.25% 42.40% 27.00% 23.73% 11.54% 6.49% 26.97% 11.28% 4.19% 5.60% 1.65% 0.41% 0.00% 0% 20% 40% 6
16、0% 80% 100% 120% 4系列5系列6系列7系列8系列9系列 不同系统机型的兼容性问题分布情况 显示异常功能问题Crash无响应安装失败拉起失败 腾讯WeTest2018中国移动产品质量白皮书 iOS兼容性分析 16 在腾讯WeTest平台测试的游戏中,平均每次测试能够发现3.4个问题,相对于 Android系统来说较少; iOS兼容性随着系统版本提升,基本集中在显示异常问题,占比六至七成,值得开发 者重点关注;从iOS10开始,出现安装失败与无响应的问题基本为零; 显示异常 56% 功能问题 18% Crash 11% 安装失败 7% 无响应 3% 登陆失败 3% 拉起失败 2%
17、兼容性问题类型分布 39.20% 41.81% 49.21% 63.14% 67.02% 77.03% 24.00%20.62%17.46% 9.41% 6.35% 1.35% 15.20% 16.38% 22.22% 1.96% 0.53% 0.00% 0.00% 20.00% 40.00% 60.00% 80.00% 100.00% 120.00% 7系列8系列9系列10系列11系列12系列 iOS版本兼容性问题占比分布 显示异常功能问题Crash无响应安装失败拉起失败 腾讯WeTest2018中国移动产品质量白皮书 异形屏常见兼容问题及优化办法 17 1.手机导航栏未适配 常见机型:自带
18、手机导航栏系统的手机 常见表现: 手机导航栏未适配,产生UI遮挡类BUG 2.异形屏遮挡 常见机型:刘海屏或水滴屏 目前常见适配方案: 1.下移方案 表现:界面下移,避开刘海区域。 不足:出现黑边不美观/可能出现界面被截断/可能出现布局不合理/可能出现按钮 热区错位 2.绕开刘海区域 表现:非背景式UI绕开刘海或水滴区域 不足:实则与下移方案类似,但非整个界面下移,而是将带有如文字,按钮之类的 UI下移处理。比起整个界面下移体验更佳,但仍然无法到达最佳的刘海面屏体验 3. 未全屏显示适配 常见表现:应用未有全屏显示,留有左右或上下黑边 常见解决方案: 1.拉伸填充整个屏幕,可全屏显示,但易造成
19、比例失常。 2.等比例拉伸以保证比例正常,但无法在所有机型上全屏显示,会出现黑边现 象,可加入背景图片代替黑边。 3.图形UI比例不变,扩大底层背景,大屏幕显示更多背景内容,小屏幕显示较少 背景内容 4.文本长度异常 常见表现:名字未有对长度作处理,导致名字过长产生UI性BUG。 (例如:文本相互产生遮挡/超框等) 常见解决方案: 1.截断:对显示的字符数作限制,后面的字符以截断符显示(如:龙之杀手疯.) 2.限制字数:对取名的字符数量作限制,避免用户取字符数量过多的BUG 04 客户端性能报告 腾讯WeTest2018中国移动产品质量白皮书 0.00% 20.00% 40.00% 60.00
20、% 80.00% 100.00% 120.00% 战术竞技ARPG体育竞技MMORPG休闲 2018 Top100 Android机型游戏综合性能表现 19 针对Android机型,我们甄选了战术竞技、ARPG、体育竞技、MMO及休闲5类游戏性能数据综合生成性能评分,并展示综合表现前20的机型名单做展示。 综合表现前20的机型中主要被小米、OPPO、华为和VIVO四家占据,其中: 小米手机中,MI8和MIX 2S相较其他小米机型,性能表现突出;OPPO手机中R15的性能抢眼;华为机型中,P20机型的综合游戏性能较好;VIVO手机中,X21A的综合性能排名 较好;这几款机型可以在研发期项目做性能
21、调优阶段做参考机型。 Android 综合性能表现Top20机型 注1:Top100机型名单取自WeTest适配指数,机型性能数据来自APM大数据; 注2:部分中高端机型没有进入个别游戏类型的top100机型内,所以无法列入本次对比数据中; 腾讯WeTest2018中国移动产品质量白皮书 0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% iPhone 8 PlusiPhone XiPhone 8iPhone 7 PlusiPhone 7iPhone 6s Plus iPhone 6siPad Air 2iP
22、ad mini 4iPhone 6iPhone 6 PlusiPad AiriPhone 5siPad mini 2 战术竞技ARPG体育竞技 2018 Top iOS机型游戏综合性能表现 20 iOS Top机型游戏综合性能表现 针对iOS机型,我们甄选了战术竞技、ARPG、体育竞技这3类对性能要求较高的游戏性能数据生成的性能评分 在游戏类型上,战术竞技类游戏相比ARPG和体育竞技类游戏在不同机型上,性能表现差异最大; 在机型表现上, iPhone 8 Plus、iPhone 8、iPhone X位于性能第一梯队,其中,iPhone X由于屏幕分辨率较高,导致游戏渲染速度下降影响性能; iP
23、hone 7 Plus、iPhone 6s Plus、iPhone 6s、iPad Air 2、iPad mini 4位于性能第二梯队; 注1:Top100机型名单取自WeTest适配指数,机型性能数据来自APM大数据 注2:部分机型如: iPhone5C、iPhone 5由于不在部分游戏类型top100机型内,无法列入比较; 腾讯WeTest2018中国移动产品质量白皮书 腾讯手游性能大数据 Android机型 21 高画质 游戏类型平均FPS平均PSS峰值(MB)平均卡顿次数(次/小时)单帧时间100ms比例 战术竞技27.53 631.38 127.33 1.02% MMORPG23.4
24、0 663.27 664.326.74% ARPG27.60 550.04 264.51 1.26% 体育竞技33.42 598.32 140.97 0.50% 休闲类51.60 567.60 40.72 0.18% 中画质 游戏类型平均FPS平均PSS峰值(MB)平均卡顿次数(次/小时)单帧时间100ms比例 战术竞技24.36 613.70 388.23 3.08% MMORPG20.28597.991310.83 11.41% ARPG26.27 520.38 421.63 2.15% 体育竞技28.50 539.08 218.86 0.80% 休闲类30.91484.07 85.24
25、0.43% 低画质 游戏类型平均FPS平均PSS峰值(MB)平均卡顿次数(次/小时)单帧时间100ms比例 战术竞技22.42 607.28 861.21 6.41% MMORPG15.60 523.00 5642.39 29.87% ARPG24.71 490.41 718.16 3.74% 体育竞技25.53 497.70 333.16 1.44% 休闲类26.89 368.83 158.54 0.71% 注1:卡顿”判定=单帧帧时间100ms; 注2:平均卡顿次数(次/小时)= 平均每小时的卡顿次数; 注3:MMORPG数据包含挂机场景,导致帧率略低,卡顿判定受影响;休闲类游戏在高画质机
26、型中往往将限帧开到60,由此导致高画质手机帧率较高的情况; 为了助推手游行业的标准建立,协助行业性能优化提升,我们将第一次公开腾讯手游的真实数据; 在Android机型上,我们甄选了15款、覆盖五大热门品类,且性能优化较好的游戏,对其真实的用户性能大数据做糅合,并按机型类型共享。 腾讯WeTest2018中国移动产品质量白皮书 腾讯手游性能大数据 iOS机型 22 高画质 游戏类型平均FPS平均PSS峰值(MB)平均卡顿次数(次/小时)单帧时间100ms比例 ARPG29.35 607.80 136.49 0.55% 体育竞技37.41 642.87 48.93 0.18% 战术竞技31.70
27、 665.63 33.00 0.23% 中画质 游戏类型平均FPS平均PSS峰值(MB)平均卡顿次数(次/小时)单帧时间100ms比例 ARPG29.25 579.47 171.14 0.67% 体育竞技34.43 605.92 67.27 0.30% 战术竞技26.02 629.92 57.51 0.46% 低画质 游戏类型平均FPS平均PSS峰值(MB)平均卡顿次数(次/小时)单帧时间100ms比例 ARPG27.56 349.56 388.03 1.46% 体育竞技30.38 316.60 136.26 0.58% 战术竞技23.90 337.04 197.41 1.13% 注1:卡顿”
28、判定=单帧帧时间100ms; 注2: 平均卡顿次数(次/小时)= 平均每小时的卡顿次数; 为了助推手游行业的标准建立,协助行业性能优化提升,我们将第一次公开腾讯手游的真实数据; 在iOS机型上,我们甄选了9款、覆盖三大热门品类,且性能优化较好的游戏,对其真实的用户性能大数据做糅合,并按机型类型共享。 腾讯WeTest2018中国移动产品质量白皮书 OpenGL ES 3.2, 64% OpenGL ES 3.1, 26% OpenGL ES 3.0, 8% OpenGL ES 2.0, 2% 2018 OpenGL版本分布 23 近1年,我们陆续收到多个项目咨询OpenGL版本分布数据用于新游
29、研发,借白皮书的 机会一并共享给正在技术预研中的各项目,希望能提供各位一些参考。 OpenGL ES 3.2 版本的市场占有率较高,研发期项目可以选择针对性优化策略;而对 应的,OpenGL ES 2.0版本占有率持续下降,建议不必做专项优化。 此外,WeTest性能团队发现,少数项目正在少量机型上尝试用Vulkan渲染驱动,期待 今后的2-3年内,Vulkan能够有更好的市场表现。 注1:OpenGL数据来自APM大数据; OpenGL版本分布 05 服务器性能报告 腾讯WeTest2018中国移动产品质量白皮书 服务器的压测策略 服务器压测流程: 评估并发数制定压测场景编写脚本用例执行压测
30、定位问题优化回归 服务器常用压测方法: 接口测试:接口的性能评估,给整体做参考 场景测试:登入场景,战斗场景 容量测试:用于评估服务器可承载能力,给上线需要的硬件数量配备做参考 稳定性测试:用于验证服务器长期运行的状况 优化方法: 服务器性能问题的定位分析是一个比较复杂的过程。需要综合硬件、操作系统、应用程 序、用例场景等多方面来进行定位。还需要能够对于排查出来的问题进行解决,根据实 际业务情况进行合理的优化。 网络调优网络调优 应用程序调应用程序调 优优 (CPU, 内存,内存, IO,多线,多线 程,算法程,算法 类)类) 数据库调优数据库调优 应用组件调应用组件调 优(优(nginx,
31、redis) 系统配置调系统配置调 优优 25 腾讯WeTest2018中国移动产品质量白皮书 游戏的压测参考标准 压测标准: 1、针对服务器的技术规范要求,全部测试通过; 2、单服的综合场景测试下,必须满足性能基线(参考游戏容量建议表确定)要求,并且各 事务90%响应时间99.9%; 3、稳定性测试(服务进程无重启,无内存泄漏)运行10小时以上,各事务成功率 99.9%; 容量建议: 根据服务器端Game Server的计算量规模,将游戏承载容量划分为三个档次级别。一档要 求单服务器能够承载30000同时在线玩家,二档要求为20000同时在线玩家,三档要求为 10000同时在线玩家 26 档
32、位 数量 容量参考标准游戏分类 一档 2万3万 玩法主要为单人 服务器交互少 防作弊逻辑简单 逻辑在客户端执行 益智消除、飞机射击、酷跑 二档 1万2万 玩法既有单人也有多人 服务器交互多 需要上报较多防作弊信息 每次操作触发通信 音乐舞蹈、模拟经营、卡牌RPG、塔 防策略、竞速 三档 1万 玩法以多人为主 服务器交互多 比较重的防作弊逻辑 关键逻辑依赖于服务器的即使响应 和通知 战术竞技、MOBA、桌游棋牌、回合 制RPG、ARPG 腾讯WeTest2018中国移动产品质量白皮书 游戏的压测场景 测试场景可以优先考虑以下几个方面: 消耗内存:影响服务器内存占用,当内存被耗尽时,服务器就会停止
33、工作了 计算量大:影响cpu使用率,持续高负荷运转的机器很容易出问题 有数据库操作:可能会有大量的IO操作,或者慢查询影响响应时间 玩家频繁操作:可能会有大量的IO操作,或者内存申请,或者日志输出过多, 影响CPU 从各类型游戏的单场景分析: 压测主要核心不变的场景有登录、战斗(结算)、容量测试、稳定性测试 按照游戏的类型进行分类,其中MMORPG的场景最为复杂,协议繁多操作复杂。 27 混合场景测试 单场景 核心场景游戏类型其他场景 容量测试 稳定性测试 注册 登录 MMORPG 主城跑圈、技能升级、使用物品、上下坐骑、装 备附魔、拉好友列表、购买物品、世界boss战 ACG 请求玩家信息、
34、拉取好友、拉取任务、拉取排行 榜、匹配战斗 SLG 建筑物升级、收获、建造、集结、加速、获取世 界地图 战术竞技匹配、战斗 MOBA好友、匹配、战斗 腾讯WeTest2018中国移动产品质量白皮书 游戏服务器性能瓶颈点的盘点 1、IO问题导致耗时高:80%的代理游戏,都会碰到登录tps低,耗时偏高的性能问题。比较常见的原因是:IO 请求串行导致耗时高,优化方式有:增加db和redis请求并发度。 2、内存问题:性能相关的内存问题,c+开发中尽量使用预分配的方式,大量频繁的申请和释放内存消耗很 大;内存泄漏的问题,New delete未成对调用、没有正确清除嵌套的对象指针、释放对象数组时dele
35、te中没 有使用方括号,导致内存泄漏。 3、CPU问题:计算量大,优化算法,分批计算。多出现于多人同屏战斗、拉取好友界面数据、服务器异常处 理等。 4、网络问题:大量网络包的同步导致耗时问题,同逻辑帧的合并发送。不常用场景的实时拉取经常会出现这 类问题。 5、参数配置问题:mysql相关设置,系统文件描述符,缓冲区大小等相关的参数配置不当会导致性能上不 去。 28 服务器瓶颈的表现 开服一直登录不进去 服务器频频断连,不断报错 多人同屏释放技能卡死 副本里打了一半掉出游戏 排行榜数据一直显示不出来 组队队友瞬移,没有同步战斗数据 限时活动无法参加 匹配战斗一直在loading中 腾讯WeTes
36、t2018中国移动产品质量白皮书 盘点战术竞技游戏服务器的痛点 战术竞技类的游戏因为采用UE4引擎机制,战斗服会承担大量的同步、逻辑、物理等计算。对于需要大厅+ 战斗服的模式情况下,服务器的性能会有以下的挑战: 1、大厅架构部署上来看是个全区全服模式,涉及到的大量路由节点,各个节点的压力均衡性要求很高。 2、外网不停机扩容期间,全区全服的架构中是对整个游戏后台扩容,要考虑扩容操作对后台整体的影响。 3、全区全服的情况下进程之间的安全性和隔离性要重点关注。 4、UE4战斗进程在组局完成后拉起,到游戏结束后退出。释放大块的内存,容易产生较大的CPU和内存毛 刺,如何更有效的减少竞争和平滑毛刺是个挑
37、战。 5、UE4战斗的物理计算很耗CPU,会包含地图较大、物件较多,载具多种,枪械种类、人数较多的游戏场 景,发生的碰撞、载具行驶、弹道计算、炸弹和子弹的命中、人物跳跃等都伴随着大量的物理计算。 6、任务较为集中的场景下,由于同屏内的人数较多,需要引擎机制同步的数据过多、广播较大导致CPU消 耗过高。 29 战术竞技的痛点 路由节点负载不均衡 登录的压力较大 战斗服单进程资源消耗合理,多进程却偏高 战斗过程中CPU会出现较大的毛刺 提升载具、枪械等的使用活跃度,CPU会明显变高 人物大量聚集,CPU占用较高 lua 进程使用会导致内存暴增 06 手游安全性报告 腾讯WeTest2018中国移动
38、产品质量白皮书 强交互手游需要格外重视外挂漏洞 2018年度移动游戏的类型主要包括:卡牌、竞速、动作射击、角色扮演、多人在线竞技 场、策略战棋、动作游戏、大型多人在线、模拟经营、休闲益智、冒险、体育竞技、其 他等十四个大类。 本次白皮书我们增加了运营期的数据,对研发期和运营期的手游安全情况进行了比较, 我们发现: 1、强交互游戏依然是外挂漏洞的“温床”,需要加强安全问题的关注; 2、研发期游戏漏洞如果没有解决,会在运营期成为多个外挂变种,严重影响手游平衡 性; 3、动作射击类游戏是2018年大热,由于其“强交互”特质,成为了外网外挂的“宠 儿”。 注1:本章节游戏类型数据2018年1-10月W
39、eTest手游安全团队测试数据 31 31 30 25 17 16 14 1110 0 10 20 30 40 平均单款手游安全漏洞数量占比(研发期) 0 50 100 150 200 250 平均单款手游外挂数量占比(运营期) 腾讯WeTest2018中国移动产品质量白皮书 运营期致命安全问题占比提升明显 手游安全问题一般来自四个维度:客户端,游戏协议,服务器后端以及运营体系。这四个维 度下的主要安全问题包括外挂问题,游戏内的非法信息问题,打金工作室问题以及非法操作 问题。 而对于手游来说,外挂问题是最被开发商重视的,本章节也将从外挂角度,介绍手游行业存 在的安全问题。 对手游的外挂问题,腾
40、讯WeTest划分了三个层级:致命问题,严重问题以及一般问题。从研 发期到运营期,致命安全漏洞问题由于其高收益,会明显扩张,从研发期的占比34%,上升 到了运营期的50% 附手游安全问题分级标准: 致命问题:主要对应于可应用于PVP模式或核心玩法的外挂漏洞 严重问题:主要可应用于PVE模式或非核心玩法中的外挂漏洞 一般问题:有异于正常的游戏行为,但影响较小,或收益甚微的漏洞 严重 44% 一般 22% 致命 34% 2018年手游安全漏洞问题分布(研发期) 致命 50% 严重 41% 一般 9% 2018年手游外挂安全问题分布(运营期) 32 腾讯WeTest2018中国移动产品质量白皮书 “
41、刷道具”为手游研发期最多的安全漏洞 我们对2018年检测出的所有手游外挂问题类型进行了分析,“刷道具”成为了最为 频繁的手游安全漏洞问题。 注1:右图展现的外挂安全问题,并不一定是外网真实外挂问题的分布情况,由于 上线前的安全检测,问题修复难度较低的外挂问题都会被修复,而类似“无敌”等 涉及游戏架构的外挂问题,反而会在外网中占据更多的比重,因此游戏开发商需要 对每个外挂安全问题,都引起足够的重视。 9.1% 8.1% 7.1%7.1% 7.0% 4.8% 4.8% 4.5% 4.3% 3.7% 0.0% 1.0% 2.0% 3.0% 4.0% 5.0% 6.0% 7.0% 8.0% 9.0%
42、10.0% 手游外挂安全问题占比 33 腾讯WeTest2018中国移动产品质量白皮书 定制外挂与通用修改器是手游外网常见的作弊方式 运营期出现的手游外挂从实现方式上一般可以分为四类:通用修改器,定制外挂,破解版游戏 客户端,脚本辅助类工具。需要开发者加强关注,严厉打击。 附手游外挂实现方式分类介绍: 通用修改器:具备数据(内存)查找与修改能力的通用作弊工具,通常以修改教程的方式在玩 家间传播; 定制外挂:针对特定游戏逻辑或数据特征,通过直接修改客户端逻辑或读取敏感数据内容并展 示,以实现作弊功能,玩家通常需要购买作弊程序,作弊程序较难在玩家间自发传播; 破解版客户端:在特定游戏的客户端文件中
43、增加作弊代码(删改资源文件),后通过重新打包 形成具备某作弊功能的新客户端app,玩家通常需要购买作弊app,作弊app容易在玩家间自 发传播; 脚本辅助类工具:通过录制玩家操作反复重复,或通过取色找点识图等方式进行自动操作的辅 助程序,容易在玩家间自发传播。 定制外挂 50% 脚本辅助类工具 3% 破解版客户端 9% 通用修改器 38% 2018年手游外挂类型分布情况 34 07 小游戏测试报告 腾讯WeTest2018中国移动产品质量白皮书 小游戏的定义与分类 小游戏的定义: 小游戏是指玩法比较轻便,即点即玩,主要渠道在类浏览器、超级App环境下运行的游 戏。 小游戏的分类: H5游戏、微
44、信小游戏、QQ小游戏、APP内置小游戏及其他。 小游戏的类型: 从2018年上线产品的比例来看,角色扮演类占据26%,休闲益智类占据24%,小游戏目 前正在向精品化轻度化发展的趋势;而从2018年下半年开始,也有一些策略战棋类的重 度游戏类型开始出现在小游戏中,重度游戏在小游戏市场中,并非没有机会。 为了避免小游戏在上线后出现类似手游一样的质量问题,小游戏也需要在上线前进行一 系列的测试;本章节将详细展示腾讯游戏针对小游戏品类进行的一系列测试方法。 注1:小游戏类型分布数据来自微信、QQ、Facebook、Line、KakaoTalk等各渠道公开 数据 36 运行容器小游戏类型 微信微信小游戏
45、-微信小程序的一种,使用微信提供的接口和能力 QQ厘米秀轻游戏- 使用QQ提供的接口和能力 APP内置 大多使用Webview方式实现,具体可分为两类: 小游戏专用APP:例如QQ游戏,快手电丸,同桌游戏,聚吧,玩吧 - 以1v1或多人对战的 小游戏为主,需要玩家下载和安装独立的APP 社区类APP:小游戏为APP补充玩法,例如QQ炫舞助手,在app内提供小游戏玩法 浏览器引擎 以H5游戏链接形式打开,在浏览器引擎中运行。 不仅限于浏览器App中运行,在能打开游戏链接的App中也可运行,如微信、QQ等 26% 24% 9% 7% 6%6% 5% 4% 3%3% 2%2% 1% 0% 5% 10
46、% 15% 20% 25% 30% 2018年小游戏类型分布情况 腾讯WeTest2018中国移动产品质量白皮书 测试问题分布 小游戏的测试问题主要分为功能,性能,适配,服务器四类;其中,功能问题和适配问 题占据了小游戏测试问题的主流。 小游戏测试在这些问题分类中,有着相对手游独有的测试内容: 适配测试的独有内容包括:容器测试(针对微信或QQ等平台),兼容性(设备及浏览 器); 性能测试的独有内容包括:加载时间测试等; 功能测试的独有内容包括:数据互通测试(APP到小游戏)等; 注1:本章节数据来自2018年腾讯自研+代理的小游戏测试数据 37 功能问题 34% 性能问题 16% 适配问题 4
47、8% 服务器性能问题 2% 小游戏测试问题分布情况 腾讯WeTest2018中国移动产品质量白皮书 性能情况:7%左右用户因加载时间过长而流失 腾讯内部数据做过统计,小游戏用户流失情况与加载时长成正比;6-7%的用户因为小游戏加载时间过长而流失; 针对小游戏加载时间,腾讯游戏根据不同机型档次,设立了加载时间的上线标准。 38 流程7月25日7月26日7月27日7月28日7月29日7月30日7月31日8月1日8月2日 加载累计流失 6.58%9.14%4.52%6.99%9.49%6.30%5.48%4.90%7.24% 档次android测试机型性能测试场景平均加载时间(s) 1档 CPU-八
48、核 1.7GHZ以上,RAM-4G 例如:OPPO R9s;VIVO X9;华为MATE9;小米6 首次加载10次10 非首次加载10次8 2档 CPU-四核 1.5GHZ以上,RAM-3G 例如:OPPO A57;VIVO Y66;华为MATE8;小米4LTE(3GB RAM高配版),小米5 首次加载10次20 非首次加载10次18 3档 CPU-四核 1.2GHZ以上,RAM-2G 例如:OPPO A33;VIVO Y51;华为畅享5S;红米 Note1S 首次加载10次30 非首次加载10次99.9% 40 X用户同时在 线,90%响应时间 99.9% 1.5容量 测试 12小时容 量测
49、试 0.5容量 测试 小游戏服务器测试标准 单场景核心接口测试12小时稳定性测试 关注事务的TPS,成功率以及响应时间。 腾讯对小游戏核心接口的性能要求是: 事务成功率大于99.9%;核心接口的响 应时间小于1S。核心接口的TPS不能过 低 模拟现网玩家各类协议的收发比例和数 量,运行12小时持续加压,验证服务器 是否存在内存泄漏、进程重启等性能风 险。对稳定性测试的要求是,12小时测 试过程中,没有出现内存泄漏、没有服 务器进程重启,单核cpu的占用不超过 70%。 注:为了验证小游戏的压测有效性,要求小游戏在执行标准容量测 试之外,分别进行0.5倍容量和1.5倍容量的测试进行对比。 腾讯WeTest2018中国移动产品质量白皮书 典型问题及优化建议 41 分类描述修复建议 功能测试 1、结算胜负计数存在异常情况 2、wifi与4G切换,部分游戏会直接进入结算界面 1、结算胜负计数存在异常情况:一般是游戏上报逻辑问题,需要检查游戏上报逻辑 2、wifi与4G切换,部分游戏会直接进入结算界面:这个一般是大厅的问题,大厅触发了leave事件导致 适配测试 1、刘海屏问题较为普遍 2、游戏黑屏问题较多 3、ui错位重叠较普遍 1、刘海屏适配问题:H5小游戏一般