1、B B站车载端应用质量建设站车载端应用质量建设路娟路娟哔哩哔哩 资深测试开发工程师路娟路娟目前主要负责哔哩哔哩车载端业务测试，涵盖Android、Web应用，在车载测试领域具有丰富经验；同时对服务端架构体系熟悉、擅长服务端自动化、Android性能和稳定性专项测试。毕业后曾就职过美团，从事POI信息采集与处理系统的质量保障工作哔哩哔哩 资深测试开发工程师目录目录CONTENTS车载车载应用行业应用行业背景背景01 车载车载音视频应用发展现状音视频应用发展现状02 车载音视频车载音视频APP和常规和常规APP测试差异测试差异03 04 测试策略测试策略0101车载车载应用应用行业行业背景背景汽车

2、电动化丰富车内娱乐场景：行车+非行车汽车智能化解放司乘：自动辅助驾驶、控制系统智能化、语音交互汽车电动化汽车电动化+智能化智能化2012 Tesla Model S理想 L9 多屏比亚迪王朝系列中控屏娱乐化土壤提供汽车电动化汽车电动化+智能化智能化市场激发用户需求、培养用户习惯新能源车未来发展趋势3亿+的增量或置换空间我国现有汽车保有量：3.3亿0202车载车载音视频应音视频应用发展现状用发展现状常见车载音视频常见车载音视频应用应用音乐类酷我 在 2016年成立 车载事业部腾讯 2019年 打造爱趣听 涵括 Q音 腾讯新闻2020 增加电台、有声书2021 视频号、全民K歌字节系2019 抖音

3、 西瓜独立上车2020 打造火山车娱 聚合抖音、西瓜、头条内容视频类长视频中短视频爱奇艺 2018年成立 车联网团队20年布局 21年上车2022年布局2020年上车2022年上车2017年布局2020年上车B B站车载应用发展站车载应用发展MAU *DAU *MAU近一年增长趋势理想蔚来小鹏比亚迪埃安新能源大众雄狮科技website版本新能源汽车渗透率*0303车载车载APPAPP和常规和常规APPAPP测试测试差异差异差异总结差异总结02 宿主环境宿主环境 操作系统 设备参数 运行环境03 质量协议质量协议要求要求 客户端和服务端的质量要求01 功能功能架构架构 与常规APP的功能差异功能

4、架构功能架构差异差异 主app功能 通用车机交互 渠道特殊feature 杜比音效(小鹏)语音发送弹幕(小鹏)多屏互投(理想)可见即可说(路特斯).更强调内容消费场景与常规app主要功能差异功能架构功能架构差异差异行车限制 语音控制盘控widget状态栏+dock栏适配HMI适配黑白模式音量亮度调节音频焦点管理通用车机交互：如何测试这些功能？安全策略控制简化UI&UE适配音视频通用功能宿主环境宿主环境差异差异车载os车载芯片和内存参数AndroidLinux车载应用基于Android技术栈，但定制化的部分也相对黑盒，兼容性测试如何开展？820A 对标 小米5(2016年)8155 对标 小米9

5、（2019年）受限于硬件性能及特殊的车载应用场景（网络环境、并行应用多）对上架的app性能和稳定性要求高质量协议质量协议要求要求对服务稳定性具有约束性的要求协议中通常包含服务端和客户端两大部分车载APP的问题反馈链路长产品研发者常规APP：问题用户产品研发者问题用户车企车载APP：0404测试测试策略策略测试策略测试策略总结总结车机交互车机交互部分功能和兼容部分功能和兼容性测试性测试策略策略APP性能和稳定性专项性能和稳定性专项建设建设服务端稳定性专项服务端稳定性专项建设建设 线上业务逻辑线上业务逻辑巡检巡检 服务端故障服务端故障演练演练 落地落地app端性能测试端性能测试专项专项 建设适合车

6、载场景的稳定性测建设适合车载场景的稳定性测试试方法方法 研发代码层面支持研发代码层面支持mock测试测试 搭建完整的黑盒测试搭建完整的黑盒测试场景场景 和车企测试人员和车企测试人员合作合作 驻场驻场测试测试车载测试环境车载测试环境音视频通用功能行车限制 语音控制盘控widget状态栏+dock栏适配HMI适配黑白模式音量亮度调节音频焦点管理安全策略控制简化UI&UE适配 行车限制 盘控进一步确认模拟测试方法性能专项性能专项建设建设Cpu均值、峰值内存均值、峰值列表滑动fps冷启时间静息流量业务指标（1）音视频起播时间（2）不同分辨率播放卡顿和掉帧 性能指标 重点测试场景比亚迪车机开机后可用资源

7、小鹏车机开机后可用资源前台、后台音频、视频点播、直播竞品数据系统可用资源分析版本对比问题明确测试工具的选择：基于Python开发付费工具没办法随时使用自编码更利于性能测试自动化，提高性能修改后的回归测试效率为解决以下问题稳定性专项稳定性专项建设建设常规稳定性测试工具内存泄露专项检查LeakCanary+稳定性测试遍历发现具有生命周期的组件的内存泄露覆盖度在车载场景下存在的问题随机度进一步增加网络变化，弱网盘控、语音控制、行车限制随机化建设融合monkey原生Monkey+fastboot相关相关收益收益版本问题2.5 vs 2.4在音视频连播的场景，2.5版本的cpu使用量在均值和峰值上都高于

8、2.4两个版本的音频起播时间均大于视频起播时间，约30%2.6 vs 2.5在连续进出播放页的场景中 cpu和内存的使用均有明显的增加，需要进一步排查问题2.8 vs 2.7各场景性能劣化明显，cpu均值和峰值劣化明显，峰值cpu超过30%需要优化，内存使用增长明显，需要进一步优化性能问题稳定性问题内存泄露问题以2.8版本为例，总计发现内存泄露15+：极致内存问题举例通常是主app的一个演进版本，多数服务和主版本共用;在降本增项的前提下，服务端自测比例提高：服务稳定性建设专项服务稳定性建设专项网关层面监控容器级别的监控业务指标数据日志监控告警线上业务逻辑巡检线上业务逻辑巡检架构级别故障容器级别

9、的故障服务级别故障服务级别故障 Prod环境diffPre和Prod间diff基于pytest开发自动化框架及用例基于此开发DIFF流程可快速适配不同环境线上线上监控监控DIFFDIFF测试测试故障故障演练演练接口接口自动化自动化第三方依赖故障、缓存故障、存储故障等线上业务逻辑线上业务逻辑巡检巡检预发环境用例配置化迁移线至线上增加更多的业务逻辑语义问题原因及优化方案搜索接口频繁报code=-500 服务器错误调整搜索超时调用500ms-700ms；当前调用搜索服务为http方式，待优化为grpc调用，减少请求中转过程；我的收藏列表接口2周内频繁返回服务调用超时收藏服务redis底层超时，red

10、is集群迁移至服务同集群（常熟）问题解决关注的up中动态列表接口经常性返回错误待迁移来的动态服务到新go服务上合集列表接口第二页数据加载失败并发查询时，如果没有命中缓存会先加分布式锁，再从db加载数据到缓存；如果分布式锁没加成功，就抛错了小鹏渠道不展示杜比金刚位第三方服务变更web端无法收藏视频收藏线上接入风控，web端和app端传入的参数不一致，客户端用aid，web端用oid，web端取错参数-服务端修复上线jenkins 30分钟例行巡检企业微信触达：通知失败场景及日志链接根据事故现场定位&复现巡检发现巡检发现的典型问题的典型问题故障故障演练演练依赖梳理实验预期明确故障注入 app不崩溃

11、，用户可重试 接口返回错误符合规范 弱依赖不影响主流程 强依赖触发兜底逻辑（若有）故障恢复后 无脏数据-系统功能正常恢复告警触发日志打印清晰可读架构上架构上可容灾、限流、或提供有损体验业务上业务上b站自研的故障注入平台强弱依赖可以自强弱依赖可以自动采集，但依然动采集，但依然依赖自动化增加依赖自动化增加覆盖度！覆盖度！Trace链路跟踪Billions日志平台故障演练典型故障演练典型问题问题问题原因及优化方案弱依赖超时会导致http code返回504，预期返回业务code-500网关侧设置超时间过端，需增加接口超时时间接口超时/x/car/isLogin会返回未登录语义，预期返回业务code-500大仓中间件未提供mid解析出错场景返回值缓存故障时，推荐列表返回业务code为-500，data不为空服务端对错误处理出错强依赖故障时，追剧列表提示“没有追剧”预期返回业务code-500服务端对错误处理出错弱依赖故障时，用户空间页完全不可见服务端对错误处理出错服务出错时，用户空间页面客户端展示异常客户端业务逻辑处理出错感谢聆听感谢聆听关注QECon公众号