1、 智能智能汽车汽车车载通讯软件测评报告车载通讯软件测评报告 目录目录 1.项目概况. 1 1.1 背景 . 1 1.2 目的及意义 . 2 2.测试策略. 3 2.1 测试说明 . 4 2.2 功能测试 . 6 2.3 用户界面测试 . 8 2.4 性能测试 . 9 2.5 强度测试 . 9 2.6 容量测试 . 10 2.7 安全性和私密性测试 . 11 2.8 故障测试 . 11 2.9 配置测试 . 12 2.10 安装测试 . 13 2.11 驾驶安全性 . 13 3.输出标准. 15 4.测试结果. 16 4.1 测试说明 . 16 4.2 测试结果及问题 . 17 5.总结分析.

2、19 附件 1 测试评估标准表 . 20 附件 2 测试用例执行情况 . 28 附件 3 性能测试评估表 . 29 附件 4 系统响应时间测量记录表 . 34 附件 5 驾驶安全性测试统计 . 35 电话交互 . 35 信息交互 . 36 单个被试者统计 . 37 1 1.项目概况项目概况 1.1 背景背景 随着汽车产业转型升级的不断深入，电动化、智能化、网联化和共享化呈现出了新的发展趋势。智能手机、平板电脑、汽车电子设备等之间的界限也逐渐模糊，应用的智能性、多媒体的娱乐性、 多设备的互联性等已成为车载通信产品研究的主要内容， 消费者对汽车的安全性、操作的便捷性、信息的私密性等方面提出了越来越

3、高的要求，尤其是新生代用户习惯实时互联的生活方式，在驾驶过程中因短暂失联而产生“离线焦虑” ，这些因素都引发了车载设备智能化市场需求的增加。 众所周知，驾驶员在行车过程中，主要依靠感官及时地获取周围道路的交通信息，外界各种动态因素都会影响驾驶员的正常驾驶，严重的会导致交通事故的发生。据公安部统计1，截至 2018 年底，中国机动车保有量已达 3.27 亿辆，其中汽车保有量达 2.4 亿辆，如图 1-1所示。随着汽车保有量的增加，驾驶员人数也随之激增，一定程度上导致交通事故数量呈现增长态势，2017 年全国共计报道路交通事故 841.9 万起。其中，涉及人员伤亡的道路交通事故 203049 起，

4、直接财产损失 12.1 亿元，如图 1-2 所示。如此大的伤亡数据给家庭和社会带来巨大痛苦和损失，据统计，25%50%的道路交通事故是因驾驶员注意力分散引发2。 图 1-1 20142018 年中国车辆保有量 图 1-2 20132017 年中国交通事故发生起数 随着通信与电子技术的高速发展， 汽车已不再仅仅是用来驾驶的交通工具。 除移动电话外，微信、导航、音乐播放器和视频播放器等车载通信软件也不断地嵌入驾驶室内，这些软件的安装为驾驶员带来娱乐的同时也成为了注意力潜在的分散源。 而驾驶员驾驶的可靠性取 1 公安部交通管理局。中华人民共和国道路交通事故统计年报（2017 年度） 。 2 咸化彩。

5、次任务驾驶安全性评价指标及评价模型研究D.吉林大学，2014。 2 决于驾驶员的技术熟练程度、 感受交通信息的特性以及在动态交通环境中的应变能力。 根据统计分析， 各种感官给驾驶员提供交通信息数量的比例分布如下： 视觉占 80%、 听觉占 14%、触觉占 2%、味觉占 2%、嗅觉占 2%3。由此可见，视觉系统是驾驶员获取外界信息最重要的渠道。 为了能够在有效的车内空间中应用这些通信软件， 整合统一的人机交互界面就成为必然趋势。 而如何保证车载通信软件满足驾驶员驾驶的安全性、 操作的便捷性和信息的私密性等方面需求，开展相应的测评，寻求有效的车载通信软件，既对当前道路交通安全问题具有重要社会意义，

6、也对未来车载信息技术的发展具有重要参考价值需求。 1.2 目的及意义目的及意义 世界智能驾驶挑战赛以“智能改变世界，创新驱动未来”为主题，致力于构建国际化技术实践测评标尺，旨在通过汽车智能化功能测评、汽车自动驾驶测评、汽车智能网联测评和汽车信息安全测评等一系列立体化、实践性、全方位的测评，为国家决策、产品技术提升、社会消费认知提供权威、 公正、 第三方的服务。 为适应技术的快速迭代与消费者的需求升级，第四届世界智能驾驶挑战赛拟增加车载通信软件比赛项目， 希望通过符合实际应用需求的实践验证方法，实现对智能汽车车载通信软件的客观评测。为验证测评规则的合理性，世界智能驾驶挑战赛组委会开展了专项测评技

7、术预研与典型产品预测试， 最终形成智能汽车车载通信软件测评报告。报告分别从车载通信软件安装测试、性能测试、安全私密性测试、容量测试、强度测试、故障恢复等方面定义车载通信软件的评测维度，对车载通信功能是否完备、性能是否稳定、交互是否友好等方面进行验证。促进车载通信软件的良性发展，完善人机交互方式，使驾驶员在驾驶时能够安全操控、便捷通信，改善驾驶员注意力分散的状况，提升驾驶的安全性。 3 孟妮。不同道路交通环境中驾驶员注视行为分析D。长安大学， 2009。 3 2.测试策略测试策略 测试策略提供了对通用车载通信软件的推荐测试方法， 对于每项测试， 都提供了测试说明，并解释其实施的原因。 以下是针对

8、车载通信软件的测试流程图： 系统发布基本功能测试安装测试+配置测试用户界面测试安全私密性测试故障恢复测试容量测试+强度测试测试报告性能测试参考历史最优值 图 2-1 测试流程图 按照执行难度和执行占用时间，测试优先级为：安装测试、配置测试性能测试安全私密性测试容量测试、强度测试故障恢复测试基本功能测试用户界面测试。 安装测试和配置测试目的在于验证软件能否在多个车载系统上兼容，能否成功安装。 性能测试目的在于验证软件比手机用户响应时间更短，软件响应时间在可允许范围内，实现软件比手机用户更安全、更便捷的理念。 安全私密性测试目的在于验证车载通信软件的私密性理念， 通过数据安全性、 语音反应等测试验

9、证系统较手机用户更为私密。 容量测试和强度测试目的在于验证软件在一定的并发条件、极限条件下执行的正确性。 故障恢复测试目的在于发生或将要发生故障时，软件具有一定的容错性，能自我纠错，并维持稳定正常运行。 基本功能测试目的在于验证软件的基本功能， 确保能够进行正常必需的沟通交流， 以及对软件所列功能的全面测试。 用户界面测试目的在于验证软件人机交互界面的友好性， 驾驶员发送指令后软件能正常执行。 4 2.1 测试说明测试说明 本测试针对车载通信软件进行全面的测试： 功能测试主要针对软件所具有的功能进行测试。 用户界面测试针对软件的用户界面友好性、规范性和易用性进行测试。 性能测试针对各个指令出现

10、的情况下，软件的响应速度进行测试。 强度测试针对因资源不足或资源争用软件反应情况进行测试。 容量测试针对测试对象处理大量的数据， 确定是否达到了将使软件发生故障的极限情况进行测试。 安全性和私密性测试针对用户信息的安全性、私密性、删除的及时性等进行测试。 对于测试中各项测试项的说明如下： 场景场景 车载通信软件应该保证能够在表 21 中的典型噪声环境三种场景的可用性。 表表 2 2- -1 1 典型噪声环境 场景编号 行车环境 车速，km/h 空调 传声器处的环境噪声声压级，dB 备注 场景 1 安静 0 关 4550 - 场景 2 闹市 4060 低档 5065 - 场景 3 高速 6012

11、0 中档 6575 - 交互成功率交互成功率 此软件应支持车载终端的控制指令，全面覆盖日常生活中交互行为的语义意图理解。 交互成功率用于评价此软件对语音交互任务的正确响应情况， 交互任务包括： 语音识别、语音唤醒、语音打断。 若此系统在既定的交互轮数内完成了交互任务， 则此次语音交互成功， 并以交互成功率或误操作率作为评价指标。其中，交互成功率计算方法见式（2-1） ，误操作率计算方法见式（2-2） SIA=%100NnIASI （2-1） 式中： SIA交互成功率 nSI成功交互的次数 5 NIA特定的语音交互任务次数 SIA=%100NnIAFIA （2-2） 式中： SIA误操作率 nF

12、IA交互失败（包括未在既定交互轮数内完成的交互、未完成前退出的交互、无响应的交互和错误的交互）的次数。 表表 2 2- -2 2 交互成功率评价标准 交互成功率 评价 SIA85% 优秀 70%SIA 23 需考虑的特殊事项 需要操作系统的底层操作权限以查询本地聊天记录 2.8 故障故障测试测试 故障测试是一种对抗性的测试。 在这种测试中， 将把应用程序或系统置于极端的条件下（或者是模拟的极端条件下） ，以产生故障（例如设备输入/输出（I/O）故障或无效的数据库指针和关键字） 。然后调用恢复进程，并监测和检查应用程序和系统，核实应用程序或系统和数据已得到了正确的恢复。 测试目标 确保恢复进程

13、（手工或自动） 将应用程序和系统正确地恢复到预期的已知状态 测试范围 1. 客户机断电 2. 网络中断 3. 意外下线 4. 按钮大量点击 5. 语音通话时收到信息 6. 播放消息时收到语音通话 12 7. 在语音播放、文字播放时说出指令 8. 在语音通话时说出指令 9. 在语音通话时将软件置于后台 10. 在语音播放、文字播放时将软件置于后台 技术 应该使用为功能和业务周期测试创建的测试来创建一系列的事务。 一旦达到预期的测试起点，就应该分别执行或模拟以下操作： 1. 客户机断电：关闭汽车的电源 2. 通过网络服务器产生的中断：模拟或启动网络的通信中断（实际断开通信线路的连接） 3. 车载通

14、信软件意外下线 4. 对按钮连续百次按下，并观察反应，是否每次都正确 5. 进行语音通话的拨打时收到了语音消息、文字消息和导航信息 6. 进行语音消息的播放或者文字消息的播放，在播放时说出如“忽略”“播放上一条”的指令，观察系统的反应 7. 进行语音通话，在通话时说出如“忽略”“播放上一条”的指令，观察系统的反应 8. 进行语音通话，在通话时调用其他程序，以此将车载通信软件置于后台，观察是否崩溃或者停止语音通话 9. 进行文字消息或者语音消息的播放，在播放时调用其他程序，以此将车载通信软件置于后台，观察是否崩溃 开始标准 产生断电、断网、下线等意外时 完成标准 在所有上述情况中， 应用程序在恢

15、复过程完成时应立即返回到一个已知的预期状态。 此状态包括恢复供电后车载通信软件是否还在线、 磁盘是否有用户隐私信息；断网重连后是否还在线、如若导航中是否能继续进行；车载通信软件意外下线重新登录后，原有信息是否还存在；其他故障并未发生 测试重点和优先级 无 需考虑的特殊事项 1. 恢复测试会给其他操作带来许多麻烦。例如汽车断电可能会造成发动机怠速不稳；减小实际喷油量；削弱点火能量等影响；可能不可取或不可行 2. 网络服务器中断存在信号不好或者信号不稳定情况 2.9 配置测试配置测试 配置测试是核实测试对象在不同的软件和硬件配置中的运行情况。在大多数生产环境中，客户机工作站、网络连接和数据库服务器

16、的具体硬件规格会有所不同。客户机工作站可能会安装不同的软件，例如应用程序、驱动程序等，而且在任何时候，都可能运行许多不同的软件组合，占用不同的资源。 测试目标 核实测试可在所需的硬件和软件配置中正常运行 测试范围 不同操作系统环境下的安装 技术 使用 3 种不同的车载操作系统，进行车载通信软件的安装 开始标准 无 13 完成标准 对于不同的操作系统，车载通信软件都能够完成安装并且没有出现其他问题 测试重点和优先级 无 需考虑的特殊事项 无 2.10 安装测试安装测试 安装测试有两个目的： 第一个目的是确保该软件在正常和异常情况的不同条件下 （例如进行首次安装、 升级、 完整的或自定义的安装）

17、都能进行安装。 异常情况包括磁盘空间不足、缺少目录创建权限等； 第二个目的是核实软件在安装后可立即正常运行。 通常是指运行大量为功能测试制定的测试。 测试目标 核实在以下情况下，测试对象可正确地安装到各种所需的硬件配置中： 首次安装。以前从未安装过的车载设备 更新。以前安装过相同版本的车载通信软件的车载设备 更新。以前安装过车载通信软件的较早版本的车载设备 测试范围 1. 首次安装 2. 同版本覆盖 3. 版本更新 技术 1. 在一台未安装过车载通信软件的设备上进行安装 2. 在以前安装过同版本的车载通信软件的设备上安装 3. 在以前安装过较早版本车载通信软件的设备上安装 开始标准 车载设备保

18、持运行状态 完成标准 安装以及两种更新成功执行，没有出现任何故障。 测试重点和优先级 12=3 需考虑的特殊事项 在磁盘空间不足或者缺少目录创建权限的情况下是否还能够执行 2.11 驾驶安全性驾驶安全性 驾驶安全性是指在驾驶员正常驾驶车辆时，在受到外界信息（车辆外部和车辆内部）干扰条件下，驾驶员能够连续收集信息、决策动态和执行决策等过程，这些过程需要驾驶员精神高度集中，在正确决策的同时保证自己及其他出行者的出行安全。 测试目标 安装有车载通信软件的车辆 测试范围 1. 驾驶员眼动数据 2. 驾驶员注视热点分布 3. 驾驶员注视转移区间分布 技术 1. 数据统计分析 2. 对比分析 开始标准 驾

19、驶员正常驾驶车辆 完成标准 驾驶员在完成驾驶条件下并保持驾驶安全性 14 测试重点和优先级 无 需考虑的特殊事项 安全驾驶 15 3 3.输出标准输出标准 测试需要针对以上测试方法输出以下数据： 1. 测试结果总结 对本次测试的整体总结。 2. 测试问题表 指出本测试中出现的问题、产生的后果以及对应的严重性。 3. 测试评估标准表 针对除量化类测试之外的测试方法，主要是定性测试。 4. 测试用例执行情况 对提出的测试用例进行逐个测试，并且对结果进行记录。 5. 性能测试评估表 以量化的方式衡量车载通信软件的性能。 6. 系统响应时间测量表 以量化的方式表现系统对于指令的反应速度，衡量性能的好坏

20、。 7. 驾驶安全性注视分布 选取有代表性的 7 位驾驶员数据， 以可量化的数据支撑， 测试车载通信软件在驾驶员行车时的注视分布规律，改善注意力分散状况，提升驾驶安全性。 16 4.测试结果测试结果 为使测试策略更具有可实施性， 本测试以微信车载版作为测试对象， 进行了全方位的测试，由于微信车载版预装在车机系统中，无需另行下载，所以本次测试并未进行配置测试和安装测试。在系统响应时间测量方面，由于涉及到软件隐私性和安全性，无法在软件中插入测试代码，故本测试采用秒表测试的方法，预估响应时间的量级。 4.1 测试说明测试说明 表 4-1 测试系统环境 软件环境（相关软件、操作系统等） 腾讯微信车载版

21、 硬件环境（网络、设备等） 车载显示设备 可联网并登录微信的移动设备 5 台（PC） 安装有微信车载版的轿车 实车实验为某市科技产业园区 4.5km 的道路，形成闭环形式的路线（包括直线、左转弯、右转弯） 表 4-2 测试使用工具 用途 工具 测量音量大小 分贝仪 复制数据占用设备存储空间 移动存储设备（U 盘、移动硬盘等） 对于时间进行大致测量 秒表 模拟并发接收消息 多个已登录的微信端（5 台 PC，5 台手机） 采集驾驶员眼动数据 Tobii Pro Glasses 眼动仪 安装有微信车载版 基本型乘用车 1 辆 电话、微信交互 10 人，驾驶员手机 图 4-1 基本型乘用车 图 4-2

22、 Tobii Pro Glasses 眼动仪 17 试验驾驶员：招募 10 名驾驶员进行实车驾驶试验，驾驶员性别保证男女比例 1：1。对驾驶员设备使用进行培训，对试验路线提前勘查熟悉。 表 4-3 驾驶员信息表 驾驶员信息 编号 1 2 3 4 5 6 7 8 9 10 年龄/岁 30 33 31 32 25 34 26 32 28 25 驾龄/年 7 5 2 9 5 5 2 2 5 5 本测试共在如下场景测试： 场景场景 1 为车辆静止状态，车窗、空调等全部关闭； 场景场景 2 为车辆行驶状态，其他条件与场景 1 保持相同，下表展示了场景的具体设定。 场景场景 3 为驾驶安全性的测试， 即实

23、车实验在某市科技产业园区 4.5km 道路进行， 采用闭环路线（包括直线、左转弯、右转弯）场景。在驾驶过程中设定不同的影响激励（电话交互、消息交互）采集驾驶员对应的眼动数据，通过试验、跟踪记录驾驶员注视点位置，对比分析驾驶员使用与未使用手机交互、微信交互等条件下，在寻找路径、决策判断和控制车辆过程中注视点分布规律。 4.2 测试结果及问题测试结果及问题 对于以上测试，均已测试充分并且完成测试目标： 功能性测试、用户界面测试、强度测试、容量测试均通过。其测试内容见附录 1。 用例通过率 95.16%，不通过率 3.23%，未测试率 1.61%。其测试内容见附录 2。 场景 1 语句识别成功率 9

24、6.33%，唤醒成功率 95.33%。场景 2 语句识别成功率92.67%，唤醒成功率 90.67%。场景 1 和场景 2 语句打断成功率均 100%。其测试内容见附录 3。 系统响应时间在可接受范围之内。其测试内容见附录 4。 驾驶安全性测试方面， 驾驶员驾驶中电话交互条件下， 手机电话主路面区域注视比例为 72.70%，多媒体区域注视比例为 17.73%；手机微信电话主路面区域注视比例为 74.19%，多媒体区域注视比例为 22.98%；微信车载版电话主路面区域注视比例场景编号 行车环境 车速，km/h 传声器处的环境噪声声压级，dB 备注 场景 1 安静 0 4550 - 场景 2 行驶

25、 4080 5075 - 18 为 94.74%，多媒体区域注视比例为 1.15%。其测试内容见附录 5 电话交互。 驾驶员在驾驶状态时信息交互条件下，手机微信主路面区域注视比例为 65.20%，多媒体区域注视比例为 33.72%；微信车载版主路面区域注视比例为 91.89%，多媒体区域注视比例为 0.70%。其测试内容见附录 5 信息交互。 测试过程中，发现软件中存在的一些问题，列举如下： 组别 问题描述 产生后果 备注 1 磁盘满空间状态下运行时系统有延迟，音画不同步 用户体验感降低 2 同时多个语音电话或视频转语音电话打入时，接听前者之后，后续语音电话均未提醒（此时拨打方还在拨打） 错过

26、后续语音电话 较后拨打语音的手机还是显示在拨打的界面 3 无英文指令识别 国外用户暂无法使用 - 4 指令多元化欠缺（如：直接说“给 XX 发送消息” ， “屏蔽 XX 消息” ） 用户需要较长时间熟悉固定指令 - 19 5 总结总结分析分析 智能网联汽车车载通信软件测评报告 中的测试内容将作为第四届世界智能驾驶挑战赛车载通信软件组比赛规则的参考范围。 为验证测评规则的合理性， 实现对智能网联汽车车载通信软件的客观评测。本报告选取典型车载通信软件产品微信车载版作为预测试对象，对其自身性能与消费者使用过程中的驾驶安全性进行测试，其具体结果总结如下： 微信车载版软件性能测试方面：功能性测试、用户界

27、面测试、强度测试、容量测试均通过。用例通过率 95.16%，车辆静止状态下语句识别成功率 96.33%，唤醒成功率 95.33%。车辆行驶状态下语句识别成功率 92.67%，唤醒成功率 90.67%。车辆静止和行驶状态下语句打断成功率均 100%。软件可以通过方向盘物理按键、语音两种方式直接操控，能够使驾驶者通过语音交互和听觉来接发信息， 不需要在驾驶状态时转移视线至手机， 且短期屏蔽联系人功能能够保证连续多条消息不会对驾驶产生影响， 保证了驾驶员在驾驶状态的安全性和便捷性；与此同时，使用者的本地聊天记录不会保存，本地文件无聊天记录留存，能够较好的保护用户隐私， 保证了使用的安全性和私密性；

28、通过定义的指令或按键能够完成微信手机端所具有的联系功能，除去朋友圈、红包等紧急性不高的功能，使用难度小。 驾驶安全性测试方面：微信车载版电话交互条件下对于主路面的注视比例（94.74%）都要高于手机电话所对应的主路面注视比例（72.70%） ；同时，微信车载版在信息交互条件下对于主路面的注视比例（91.89%）要高于手机信息所对应的主路面注视比例（65.20%） 。说明使用微信车载版服务后， 驾驶员对前方道路的注视比例显著增加， 右下方手机区域和多媒体区域注视比例减少， 驾驶员具有更多的决策时间来判断道路状况， 避免交通事故的发生，从而有效地改善驾驶员注意力分散问题，使其更加专注于前方驾驶。

29、20 附件附件 1 测试评估标准表测试评估标准表 场景场景 1： 测试分类 总序号 序号 测试具体项 测试结果(Y/N/NA) 备注 功能性 1 1 通过语音进行通信录联系人检索 Y 前提： 发送语音消息或者拨打电话状态 2 2 通过语音进行语音消息发送 Y - 3 3 通过语音进行语音电话拨打 Y - 4 4 通过语音进行语音电话接听 Y 灵敏度不高 5 5 通过语音进行语音电话挂断 Y 灵敏度不高 6 6 通过语音进行语音消息播放 Y 7 7 通过语音进行视频电话接入及挂断 Y 转为语音， 拨打方仍然显示在视频状态；灵敏度不高 8 8 通过语音进行语音消息回放（文字、语音） Y - 9 9

30、 通过语音进行中文文字消息播放（单聊、群聊） Y - 10 10 通过语音进行英文文字消息播放（单聊、群聊） Y - 11 11 通过语音进行语音消息忽略 Y - 12 12 通过语音进行文字消息忽略 Y - 13 13 其他类型消息提醒 Y 转账、 红包提示为不支持的消息，链接提示为链接 14 14 语音屏蔽当前 Y - 15 15 语音屏蔽解除 Y - 16 16 微信地图导航 Y - 17 17 多媒体键呼起微信上海品茶 Y - 18 18 多媒体键回复普通消息（语音、文字） Y - 19 19 多媒体键忽略普通消息（语音、文字） Y - 21 20 20 多媒体键忽略特殊消息 Y - 21

31、 21 多媒体键查看 POI 消息 Y - 22 22 多媒体键忽略 POI 消息 Y - 23 23 多媒体键播报群消息通知 Y - 24 24 多媒体键忽略群消息通知 Y - 25 25 群消息播报页多媒体键回复 Y - 26 26 群消息播报页多媒体键取消 Y - 27 27 播报结束页多媒体键回复 Y - 28 28 播报结束页多媒体键取消 Y - 29 29 收到 VOIP 多媒体键接听 Y 多媒体键接听时手机持续振动， 语音命令接听时手机立刻停止振动振动 30 30 多媒体键挂断 VOIP Y - 31 31 VOIP 联系人确认页多媒体键确定 Y - 32 32 VOIP 联系人

32、确认页多媒体键取消 Y - 33 33 多媒体键取消拨打 VOIP Y - 用户界面 34 1 检索联系人后的待选列表 Y - 35 2 语音通话时界面变化 Y - 36 3 导航状态界面变化 Y - 强度 37 1 满磁盘状态运行 Y 有延迟，声画不同步 38 2 驾驶位同时多指令 Y - 39 3 执行空间满（CPU，内存） Y - 容量 40 1 大量文字信息并发接收 Y - 41 2 大量语音信息并发接收 Y - 42 3 大量文字和语音信息并发接收 Y - 22 43 4 大量非语音非文字信息并发接收 Y - 44 5 大量语音电话接收 N 同时拨打， 接听前者后挂断前者，后者语音不

33、再提醒 45 6 大量视频电话 （会转为语音）接收 N 同时拨打， 接听前者后挂断前者，后者视频不再提醒 46 7 同时出现多地点导航需求 Y - 47 8 同时出现多地点导航选一个执行 Y - 48 9 多次按按键 Y - 49 10 多人说指令 Y 音量大的位置较为优先 安全性和私密性 50 1 关闭软件查找记录 Y 51 2 关闭软件重启车辆查找记录 NA 测试车辆不会瞬间断电 52 3 短时间离车返回查找记录 Y - 故障 53 1 客户机断电后恢复 Y - 54 2 模拟断网 Y - 55 3 微信端意外下线 Y Ipad 端可以和车载端同时登录。 ipad 端是非副设备端的情况下可

34、以同时登录，ipad 出于副设备状态， 无法支持双副设备同时登录 56 4 按钮大量点击 Y - 57 5 语音通话时收到消息 Y 语音通话优先级较高 58 6 播放消息时收到语音通话 Y - 59 7 语音通话时说出指令 Y - 60 8 消息播放时说出指令 Y - 61 9 语音通话时置于后台 Y - 62 10 消息播放时置于后台 Y - 功能性测试：通过（优秀） 用户界面测试：通过（优秀） 23 强度测试：通过（优秀） 容量测试：通过（优秀） 安全性和私密性测试：通过（优秀） 故障测试：通过（优秀） 24 场景场景 2： 测试分类 总序号 序号 测试具体项 测试结果，Y/N/NA 备注

35、 功能性 1 1 通过语音进行通信录联系人检索 Y 前提：发送语音消息或者拨打电话状态 2 2 通过语音进行语音消息发送 Y - 3 3 通过语音进行语音电话拨打 Y - 4 4 通过语音进行语音电话接听 Y 灵敏度不高 5 5 通过语音进行语音电话挂断 Y 灵敏度不高 6 6 通过语音进行语音消息播放 Y - 7 7 通过语音进行视频电话接入及挂断 Y 转为语音，拨打方仍然显示在视频状态；灵敏度不高 8 8 通过语音进行语音消息回放（文字、语音） Y - 9 9 通过语音进行中文文字消息播放（单聊、群聊） Y - 10 10 通过语音进行英文文字消息播放（单聊、群聊） Y - 11 11 通

36、过语音进行语音消息忽略 Y - 12 12 通过语音进行文字消息忽略 Y - 13 13 其他类型消息提醒 Y 转账、红包提示为不支持的消息，链接提示为链接 14 14 语音屏蔽当前 Y - 15 15 语音屏蔽解除 Y - 16 16 微信地图导航 Y - 17 17 多媒体键呼起微信上海品茶 Y - 18 18 多媒体键回复普通消息（语音、文字） Y - 19 19 多媒体键忽略普通消息（语音、文字） Y - 20 20 多媒体键忽略特殊消息 Y - 25 21 21 多媒体键查看 POI 消息 Y - 22 22 多媒体键忽略 POI 消息 Y - 23 23 多媒体键播报群消息通知 Y -

37、 24 24 多媒体键忽略群消息通知 Y - 25 25 群消息播报页多媒体键回复 Y - 26 26 群消息播报页多媒体键取消 Y - 27 27 播报结束页多媒体键回复 Y - 28 28 播报结束页多媒体键取消 Y - 29 29 收到 VOIP 多媒体键接听 Y 多媒体键接听时手机持续振动，语音命令接听时手机立刻停止振动 30 30 多媒体键挂断 VOIP Y - 31 31 VOIP 联系人确认页多媒体键确定 Y - 32 32 VOIP 联系人确认页多媒体键取消 Y - 33 33 多媒体键取消拨打 VOIP Y - 用户界面 34 1 检索联系人后的待选列表 Y - 35 2 语

38、音通话时界面变化 Y - 36 3 导航状态界面变化 Y - 强度 37 1 满磁盘状态运行 Y 有延迟，声画不同步 38 2 驾驶位同时多指令 Y - 39 3 执行空间满（CPU，内存） Y - 容量 40 1 大量文字信息并发接收 Y - 41 2 大量语音信息并发接收 Y - 42 3 大量文字和语音信息并发接收 Y - 43 4 大量非语音非文字信息并发Y - 26 接收 44 5 大量语音电话接收 N 同时拨打，接听前者后挂断前者，后者语音不再提醒 45 6 大量视频电话 （会转为语音）接收 N 同时拨打，接听前者后挂断前者，后者视频不再提醒 46 7 同时出现多地点导航需求 Y

39、- 47 8 同时出现多地点导航选一个执行 Y - 48 9 多次按按键 Y - 49 10 多人说指令 Y 音量大的位置较为优先 安全性和私密性 50 1 关闭软件查找记录 Y - 51 2 关闭软件重启车辆查找记录 NA 测试车辆不会瞬间断电 52 3 短时间离车返回查找记录 Y - 故障 53 1 客户机断电后恢复 Y - 54 2 模拟断网 Y - 55 3 微信端意外下线 Y Ipad 端可以和车载端同时登录。ipad 端是非副设备端的情况下可以同时登录，ipad 出于副设备状态，无法支持双副设备同时登录 56 4 按钮大量点击 Y - 57 5 语音通话时收到消息 Y 语音通话优先

40、级较高 58 6 播放消息时收到语音通话 Y - 59 7 语音通话时说出指令 Y - 60 8 消息播放时说出指令 Y - 61 9 语音通话时置于后台 Y - 62 10 消息播放时置于后台 Y - 27 功能性测试：通过（优秀） 用户界面测试：通过（优秀） 强度测试：通过（优秀） 容量测试：通过（优秀） 安全性和私密性测试：通过（优秀） 故障测试：通过（优秀） 28 附件附件 2 测试用例执行情况测试用例执行情况 类别 数量，条 比例，% 备注 通过数 59 95.16 - 不通过数 2 3.23 1. 大量语音电话接听 2. 大量视频转语音电话接听 未测试数 1 1.61 1. 关闭微

41、信后立刻重启车辆 用例总数 62 - 29 附件附件 3 性能测试评估表性能测试评估表 场景场景 1：（测试在正常驾驶、左前侧、右前侧、左后侧、右后侧五种姿态下分别执行） 测试项 总次数，次 成功次数，次 误唤醒次数，次 成功率，% 语句识别测试 300 289 0 96.33 唤醒测试 150 143 0 95.33 语音打断测试 50 50 0 100 语句识别测试表：语句识别测试表： 175 组： （每组第一行为高音量，第二行为正常音量，第三行为底音量） 76150 组： 151225 组： 30 226300 组： 唤醒测试表：唤醒测试表： 175 组： （每组第一行为高音量，第二行为

42、正常音量，第三行为低音量） 76150 组： 31 场景场景 2： 测试项 总次数，次 成功次数，次 误唤醒次数，次 成功率，% 语句识别测试 300 278 0 92.67% 唤醒测试 150 136 0 90.67% 语音打断测试 50 50 0 100% 语句识别测试表：语句识别测试表： 175 组： （每组第一行为高音量，第二行为正常音量，第三行为低音量） 76150 组： 151225 组： 32 226300 组： 唤醒测试表：唤醒测试表： 175 组： （每组第一行为高音量，第二行为正常音量，第三行为低音量） 76150 组： 33 34 附件附件 4 系统响应时间测量记录表系统

43、响应时间测量记录表 组别 按钮反应时间，s 语音唤醒时间，s 指令反应时间，s 备注 1 1.25 1.15 1.28 （执行此测试时微信进程卡住两次） 2 1.96 1.18 1.49 - 3 0.71 1.27 2.81 - 4 1.27 1.31 1.48 - 5 1.25 0.92 1.76 - 6 2.01 1.34 2.59 - 7 0.79 0.95 2.20 - 8 0.66 0.97 2.17 - 9 1.37 0.95 2.12 - 10 0.74 1.04 2.34 - （说明： 因涉及到软件隐私性和安全性， 无法在软件中插入测试代码， 本测试通过秒表测试） 35 附件附

44、件 5 驾驶安全性测试统计驾驶安全性测试统计 电话交互电话交互 电话交互数据统计：电话交互数据统计： 电话交互热点图：电话交互热点图： Phone Call Phone Wechat Call WeChat for Auto Call 电话交互注视转移图：电话交互注视转移图： Phone Call Phone Wechat Call WeChat for Auto Call 36 信息交互信息交互 信息交互统计数据：信息交互统计数据： 信息交互热点图：信息交互热点图： Phone Wechat Message WeChat for Auto Message 信息交互注视转移图：信息交互注视转移

45、图： Phone Wechat Message WeChat for Auto Message 37 单个被试者统计单个被试者统计 被试者被试者 1杜杜 Phone Wechat Message WeChat for Auto Message Phone Call Phone Wechat Call WeChat for Auto Call - - 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 - - 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 38 单次热点图 单

46、次热点图 单次热点图 单次热点图 单次热点图 - 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 被试者被试者 2孙孙 Phone Wechat Message WeChat for Auto Message Phone Call Phone Wechat Call WeChat for Auto Call - - 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 - - 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 39 单次热点图 单次

47、热点图 单次热点图 单次热点图 单次热点图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 被试者被试者 3王王 Phone Wechat Message WeChat for Auto Message Phone Call Phone Wechat Call WeChat for Auto Call - - 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 - - 40 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 单次热点图 单次热点图

48、 单次热点图 单次热点图 单次热点图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 被试者被试者 4马马 Phone Wechat Message WeChat for Auto Message Phone Call Phone Wechat Call WeChat for Auto Call - - 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 41 - - 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 单次热点图 单次热点图 单次

49、热点图 单次热点图 单次热点图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 被试者被试者 5王王 Phone Wechat Message WeChat for Auto Message Phone Call Phone Wechat Call WeChat for Auto Call - 42 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 - 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 单次热点图 单次热点图 单次热点图 单次热

50、点图 单次热点图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 单次注视转移图 被试者被试者 6朱朱 Phone Wechat Message WeChat for Auto Message Phone Call Phone Wechat Call WeChat for Auto Call 43 - 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 多次实验叠加热点图 - 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 多次实验叠加注视转移图 单次热点图 单次热点图 单次热点图 单次热点图 单次热点