1、Confidential. 2021 IHS Markit. All Rights Reserved.Confidential. 2021 IHS Markit. All Rights Reserved.智能座舱市场与技术发展趋势研究智能座舱市场与技术发展趋势研究Confidential. 2021 IHS Markit. All Rights Reserved.序言序言“两点一线”是当今社会最常见的生活常态。如果说家庭和公司/学校这“两点”构成了人们生活的第一空间和第二空间，座舱这条”线“就是当之无愧的第三空间。与第一、第二空间相比，座舱具备移动性和更加标准化的特点，特别适合作为私有化的生活
2、空间存在。随着自动驾驶技术的快速发展，高度自动驾驶能够进一步地释放驾驶员和乘员在移动出行过程中的精力，良好的座舱空间可以帮助驾乘人员更好地享受美好生活。回顾汽车产业的发展历程与汽车产品的演进历史，我们可以发现，汽车座舱的发展大致经历了本地化、网联化与智能化三种形态或阶段性形态。在本地化的阶段，汽车座舱的功能主要围绕驾驶导航和音乐播放展开，用户体验长期滞后于PC和智能手机；汽车座舱演化到网联化形态后，座舱功能和内容的丰富程度得到大幅提升，用户体验接近甚至开始超越智能手机，但由于智能化水平仍然不高，功能或内容的丰富反而加大了行驶中的安全隐患。汽车座舱的智能化水平得到进一步提升后，座舱最显著的特征变
3、化是从被动的交互（由人发起）走向主动的交互（人或者机器都可以发起），人机交互（HMI，Human-Machine Interaction）方式的革新成为智能化水平提升的关键。一方面，智能驾驶辅助系统需要持续关注座舱内驾乘人员的实时状态，并且在必要的时候发出提醒形成互动，甚至基于互动反馈做出一定的机器自主决策；另一方面，驾乘人员在座舱内进行娱乐或是工作活动时，也需要更加自主和智能的交互方式，以提升用户体验和工作效率。随着相关技术的快速发展，目前汽车座舱的智能化水平有了明显提升。智能化的座舱和自动驾驶一起，构成智能汽车的两条主线，推动汽车成为继电视、电话、个人电脑和智能手机之后最重要的终端产品。C
4、onfidential. 2021 IHS Markit. All Rights Reserved.主要研究内容智能座舱及市场、场景智能座舱及市场、场景用户相关需求分析用户相关需求分析生态系统构建研究生态系统构建研究智能座舱技术趋势研究智能座舱技术趋势研究Confidential. 2021 IHS Markit. All Rights Reserved.1. 智能座舱及市场、场景智能座舱及市场、场景 智能座舱及其相关定义 智能座舱市场规模研判 智能座舱主要应用场景2.智能座舱用户需求分析智能座舱用户需求分析3.智能座舱技术趋势研究智能座舱技术趋势研究4. 智能生态系统构建研究智能生态系统构建
5、研究Confidential. 2021 IHS Markit. All Rights Reserved.汽车座舱的历史汽车座舱的历史 行业的高度成熟必然推动汽车市场由卖方市场向买方市场深度转变，同时，汽车行业快速演变的主要驱动力也由过去供给端的产品和技术驱动逐步转换为不断提高的用户需求驱动。用户对汽车的价值理解也从出行工具向“第三空间”转变，而座舱则是实现空间塑造的核心载体。同时，5G、AI、大数据、人机交互、芯片与操作系统的革新将推动智能座舱沿着“本地化-网联化-智能化”不断升级。进入智能座舱时代后相关技术仍在不断迭代，最终朝“第三生活空间”阶段发展：机械式20世纪60-90年代为机械时代
6、，座舱主要由机械式仪表盘及简单的音频播放设备构成，物理按键功能单一。电子化2000-2015年为电子化时代，出现小尺寸中控液晶显示器+导航功能，系统相对分散。电子信息系统逐步整合，组成“电子座舱域”，并形成系统分层。智能化阶段智能化阶段网联化车机系统或座舱整体的网联水平与人机交互能力出现一定程度提升，用户体验接近或超越智能手机，能够提供少量的内容服务。智能驾驶人机交互与座舱感知技术突破，车内软硬件一体化聚合，车辆感知精细化。车辆可在整个用车行程周期中，为驾乘人主动提供场景化服务，座舱可实现机器半自主甚至自主决策。第三生活空间未来交通出行场景与汽车使用场景将更加多元化和富于生活化，基于车辆位置与
7、状态信息，融合信息、娱乐、订餐、互联等功能，为消费者提供更加便捷的体验。本地化与网联化阶段本地化与网联化阶段5Confidential. 2021 IHS Markit. All Rights Reserved.智能座舱智能座舱智能驾驶智能驾驶智能座舱的定义智能座舱的定义 智能座舱是指集成了智能化和网联化技术、软件和硬件，并能够通过不断学习和迭代实现对座舱空间进行智慧感知和智能决策的硅基生命综合体；与机械化座舱、电子化座舱的不同在于，智能座舱能够更加高效、更加智能的感知座舱环境，并被赋予更多的人格特性与具象存在智能技术和软件塑造灵魂基础，硬件装备则构建了智慧功能感官体系。智能座舱的智能在于其能
8、够将用户需求与情感融合成为其内在人格特性，满足用户不同场景的需求，故发展智能座舱应坚持以用户需求、用户情感为中心，以场景为驱动。智能驾驶舱主要构成包括车载信息娱乐系统、仪表盘、抬头显示（HUD）、流媒体后视镜、语音控制等。智能座舱中各项功能未来将集成整合为一个系统。仪表显示系统（前后）中控屏车载娱乐信息系统流媒体后视镜座舱域控制器智能驾驶辅助系统车联网V2X语音交互系统其他部件或软件抬头显示系统视觉感知系统6Confidential. 2021 IHS Markit. All Rights Reserved.020040060080009 2020
9、2021 2022 2023 2024 2025 2026 2027 2028 2029 2030车载信息娱乐系统驾驶信息显示系统抬头显示系统/ HUD座舱域控制器/ CDC流媒体相关部件行车记录仪及其它005006007008002019 2020 2021 2022 2023 2024 2025 2026 2027 2028 2029 2030智能座舱及其市场智能座舱及其市场 以汽车销量、智能座舱各部件渗透率及单价为基础，测算包括座舱域控制器、中控屏、液晶仪表盘、HUD 和流媒体后视镜在内的智能座舱系统主要部件市场空间。预计到2030年，全球汽车智能座舱的市场规模将达
10、到681亿美元，届时，国内的市场规模也将超过1600亿元；中国在全球市场的份额将从当前的23%上升到37%左右，是全球最主要的智能座舱市场。全球汽车智能座舱市场空间（亿美元，USD）中国汽车智能座舱市场空间（亿元，RMB）7Confidential. 2021 IHS Markit. All Rights Reserved.智能座舱及其市场智能座舱及其市场 大部分车企采用1-2块中控屏幕的方案，随着座舱朝着“第三空间”转变，3块屏幕及以上方案的占比将明显提升。同时，屏幕分辨率水平也将进一步提升，目前中控屏幕大多以800 x 480为主要规格，未来在12英寸以上屏幕上大部分都将以1280 x 7
11、20为主要规格，甚至一些屏幕会升级至1920 x 1080，长期来看50万像素以下的屏幕将逐步减少至不足30%，50-100万像素屏幕占比将增长至60%以上，另有超过10%的屏幕将配置百万像素以上分辨率。车载显示屏数量趋势（不含仪表、HUD和后视镜，2019-2030）车载显示屏分辨率趋势（2019-2030）44%42%40%37%32%24%21%18%16%15%11%10%51%51%52%54%59%64%65%63%62%58%52%49%5%7%8%9%10%13%14%19%22%27%37%41%0%10%20%30%40%50%60%70%80%90%100%2019 20
12、20 2021 2022 2023 2024 2025 2026 2027 2028 2029 203050万以下50-100万100万以上99%99%99%99%98%98%96%95%92%91%87%81%1%1%1%1%2%3%4%5%8%9%13%19%0%10%20%30%40%50%60%70%80%90%100%2019 2020 2021 2022 2023 2024 2025 2026 2027 2028 2029 20301-2 块屏幕3块屏幕及以上8Confidential. 2021 IHS Markit. All Rights Reserved.主要应用场景主要应用
13、场景 在智能座舱的实际应用中，主要包括人机共驾、内外联合与“应用为王”三大应用场景。人机共驾场景下，智能座舱能通过交互感知技术为用户提供一定程度的机械自主决策。内外联合场景下，智能座舱的交互感知拓展到外部环境，智能座舱的服务场景与便利性得到延伸。“应用为王”场景中，智能座舱将为用户提供高质量的游戏、影音等娱乐服务。语音控制、手势控制或其他交互技术为人机共驾场景下的用户提供智能交互方案，并基于座舱软硬件一体化聚合体系的精细感知对交互需求进行智慧高效的处理，实现在上车-行驶-下车的整个用车周期中，为驾乘人主动提供场景化服务，实现机器自主/ 半自主决策。智能驾驶技术的发展打破单车座舱的孤岛效应，形成
14、一个内外联合的智能场景软硬件或设备之间互联互通。内外环境感知实现无缝衔接与融合，形成数据交互，内外数据交互使得智能座舱的交互感知拓展到外部环境，智能座舱的服务场景与生态圈得到延伸。智能辅助驾驶技术的提升大幅减轻了用户的驾驶负荷，驾乘人员的碎片化娱乐习惯逐步迁移到行程体验中，形成座舱空间的内容服务场景。该场景下，智能座舱需要通过交互感知体系实现一定程度的主动式服务，视觉、影音与通讯体系是该场景服务的关键支撑。场景一：人机共驾场景二：内外联合场景三：应用为王9Confidential. 2021 IHS Markit. All Rights Reserved.1. 智能座舱及其方案、场景智能座舱及
15、其方案、场景2. 智能座舱用户需求分析智能座舱用户需求分析 用户对于智能座舱的总体需求 用户需求意向与购车决策分析 基于IHSM调研的用户购买意愿3. 智能座舱技术趋势研究智能座舱技术趋势研究4. 智能生态系统构建研究智能生态系统构建研究Confidential. 2021 IHS Markit. All Rights Reserved. 随着汽车产品逐渐同质化，用户对汽车座舱功能的需求维度不断拓展，除了安全，未来座舱需更多兼顾“主动智能”与“内容+服务”，传统座舱芯片的算力难以支撑从单一的“安全”需求到兼顾“主动智能，内容+服务”多重服务的需求。用户需求总趋势用户需求总趋势 座舱需求向主动智
16、能与内容服务演变座舱需求向主动智能与内容服务演变主动智能主动智能安全安全/ 被动智能被动智能第一阶段：安全为主2000-2012借助电子类功能提升车辆安全性，例如车联网功能中的自动报警（安吉星），以及一些早期以预防事故为主的预警功能第二阶段：被动智能 + 安全2013-2016通过电子化与智能化水平较低的被动智能配置提升座舱体验，如推荐更好的路线（导航），或行车过程中便捷控制车辆（语音识别）座舱的智能化水平较低，人机交互仍以被动式交互为主第三阶段：主动智能，内容+服务2017-在智能座舱中接受车机端主动提供的特定内容服务（音乐、电子书）与主动响应（根据人脸自动调节座椅等），提供更多主动交互场景
17、行车安全与效率进一步提升的同时获得更多休闲度与主动式服务11Confidential. 2021 IHS Markit. All Rights Reserved.38.4%45.0%49.4%52.2%55.1%57.6%59.4%35.3%48.8%53.3%59.8%66.0%72.1%75.9%25.0%35.0%45.0%55.0%65.0%75.0%85.0%20022202320242025全球市场中国市场 大数据调查显示，座舱智能科技配置需求的相关消费习惯尚在培育阶段，但仍有超过60%的用户认可座舱智能配置的价值并有望实现需求的转化，反映出用户层面的座舱智能
18、配置需求有很大的上升空间。 目前中国市场座舱智能配置水平的新车渗透率约为48.8%，到2025年预计可以超过75%，均高于全球市场的装配率水平，以期满足中国日益增长的座舱智能配置需求。需求意向与购车决策需求意向与购车决策 座舱智能配置需求上升空间很大座舱智能配置需求上升空间很大1217.4%21.3%61.3%必购配置有没有无所谓极大提升购车兴趣用户对座舱智能配置的需求意向（大数据调查）2019-2025 座舱智能科技配置新车渗透率趋势Confidential. 2021 IHS Markit. All Rights Reserved.26.7%20.7%17.4%14.7%11.5%0.0%
19、5.0%10.0%15.0%20.0%25.0%30.0%中国美国日本英国德国 从用户购买决策的关键因素来看，根据IHS Markit最新的调研结果，座舱智能科技配置水平是仅次于安全配置的第二大类关键要素，其重要程度已超过动力、空间与价格等传统购车关键要素，反映出座舱智能科技已成为用户购车的重要考量。 与众多成熟市场相比，早已对移动互联网与智能手机形成依赖的中国用户对座舱的智能科技配置有着更高的关注度，相关配置在中国消费者的购车决策中起着更为重要的作用。需求意向与购车决策需求意向与购车决策 座舱智能科技成为用户购车关键要素座舱智能科技成为用户购车关键要素13质保服务车载WiFi外观设计内饰设计
20、能耗（油耗、电耗）购车价格（MSRP）动力与尺寸（发动机功率、轴距等）智能科技（HUD、语音交互、人脸识别被动安全（安全气囊、头颈保护系统等）主动安全（ABS、车道保持、盲点监测用户购车因素 （TOP10）中国用户购车因素 TOP10 （IHS Markit调研，2021）购车决策中的座舱智能科技（ IHS Markit调研，2021）调研问题：购买下一辆车时，您较为看重的是什么？（多选，总共20个选项）注本次调研的座舱智能科技配置包括HUD、语音交互/ VPA、人脸识别、手势控制、体征监测等Confidential. 2021 IHS Markit. All Rights Reserved.
21、用户座舱使用需求调研用户座舱使用需求调研 购买意愿购买意愿IHS Markit调研 当您考虑购买新车时，以下哪些产品功能或配置会是您愿意购买的？0%10%20%30%40%50%60%70%80%90%100%Percentage of Participants我不知道这个配置完全不需要不太需要说不清需不需要比较需要非常需要14 超过80%的用户对座舱智能配置表现出了购买意愿（含“非常需要”与“比较需要”），其中对娱乐信息系统、HUD与中控大屏的购买意愿相对较高。如需满足用户意愿将相关功能配置加入座舱，座舱芯片的算力需要进行大幅提升。Confidential. 2021 IHS Markit.
22、 All Rights Reserved.用户座舱使用需求调研用户座舱使用需求调研 购买意愿购买意愿15IHS Markit调研 在您有意向的产品或功能配置中，哪些是您愿意额外付钱购买的？哪些是您不愿意额外付钱购买的？ 在座舱的众多智能配置或功能产品中，对前排娱乐、后排娱乐与驾驶员监控系统这三者，愿意额外付钱购买的用户超过了不愿意额外付钱的用户，反映出娱乐与安全两大类功能的用户感知价值相对较高。用户对娱乐的较高期待也印证座舱会逐渐成为用户心中的“第三空间”，而相关娱乐服务的友好体验又需要大幅提升的算力来满足。0500300Number of Participants相关配
23、置的成本本该含在原来车价中/ 不愿意额外付钱愿意额外付钱购买不知道Confidential. 2021 IHS Markit. All Rights Reserved.用户座舱使用需求调研用户座舱使用需求调研 购买意愿购买意愿0%10%20%30%40%50%60%70%80%90%100%Percentage of Participants1--1,5001,501-3,0003,001-6,0006,001-10,00010,001+16IHS Markit调研 在您愿意额外付钱购买的功能产品或配置中，您分别愿意额外付出多少钱进行购买？ 从额外付出购买成本的结构来
24、看，用户在娱乐、中控大屏与OTA三大领域愿意付出的额外成本相对偏高。 手势/语音控制与驾驶员监控系统这两类座舱关键功能配置，多数用户愿意额外支付的额度也都在1500元以上。Confidential. 2021 IHS Markit. All Rights Reserved.1.智能座舱及其方案、场景智能座舱及其方案、场景2.智能座舱用户需求分析智能座舱用户需求分析3.智能座舱技术趋势研究智能座舱技术趋势研究 智能座舱的技术框架 重点技术现状及趋势 传感器 感知算法 AI SoC 云服务4. 智能生态系统构建研究智能生态系统构建研究Confidential. 2021 IHS Markit. A
25、ll Rights Reserved.智能座舱的技术系统框架智能座舱的技术系统框架 智能座舱系统的技术框架主要分为五层：硬件层包含传感器、内存、用于人工智能感知的芯片AI SoC、应用处理器AP(Application Processor)等基本硬件设备；系统软件层包含驱动，通信等基本系统软件；功能软件层则是完成智能座舱的核心功能的层，主要在AI SoC完成感知，在AP完成上层应用；服务层，也即云服务体系，包含语音识别，场景网关等相关服务；支撑层是支撑软件的快速开发工具，也可称为成长平台。18服务层：语音识别，数据服务，场景网关，账号鉴权支撑层：数据平台、回灌平台、训练平台功能软件层系统软件层
26、硬件层：摄像头（RGB，IR）、麦克风阵列、EMMC、DDR抽烟检测，通话检测，多音区，多模语音Linux Drive/ SPIAI SoC智能拍照，疲劳提醒，语音交互，视线唤醒Android Drive / SPIAPConfidential. 2021 IHS Markit. All Rights Reserved. 人车交互不再局限于按键、触控及语音等方式，语音助手、手势识别、指纹、声源定位、人脸识别、全息影像等多种人车交互方式陆续出现在上市车型中。不同人车交互场景与功能的设计均需大量传感器作为支撑，未来传感器的装车量将大幅提升，仅包含摄像头、毫米波雷达与体征监测仪的口径下，到2030年
27、，平均单车传感器搭载量将超过11亿个，尚不包含ToF等装备。短期内，由于单车传感器数量在两位数以上的智能汽车销量占比较低，单车传感器数量维持低位。传感器传感器 总体装载趋势总体装载趋势传感器装车应用的类别趋势（单位：亿个）传感器装车应用的总量趋势（仅含摄像头与毫米波雷达）3.33.95.16.88.18.89.910.410.611.311.3055202020224202520262027202820292030传感器总量（亿个）单车传感器数量 - 整体05520202022420252026202720
28、2820292030 x 10000000车载摄像头毫米波雷达体征监测传感器单车传感器数量202020224202520262027202820292030自主品牌3.73.95.26.98.29.010.210.610.811.611.5合资品牌3.13.95.06.78.18.89.810.310.511.211.219Confidential. 2021 IHS Markit. All Rights Reserved. 自2018年起，已陆续有本土品牌开始在车内配置内置摄像头，具备驾驶员面部识别并进行账号登录、车辆个性化配置等功能，同时也支持车内拍照、进行视频等娱乐
29、内容，以及具备驾驶员疲劳监测功能。目前更多以选装为主，或仅在高配车型中标配，平均单车装配水平仍然较低。 出于更好的人机交互服务考量，并注意到国外已有基于驾驶员监测的高级别辅助驾驶功能（凯迪拉克、宝马、奥迪等），未来车型配置内置摄像头的比例将不断快速增长，预测至2030年装备车内摄像头的车型占比将接近60%。座舱传感器座舱传感器 车内摄像头车内摄像头2021年上海车展车型案例小鹏P5安装于A柱的车内摄像头通过人脸识别技术识别驾驶员身份登录对应账号。实现面部识别同步个性化配置、实时监控驾驶员注意力和疲劳状态。内后视镜嵌入的摄像头用于驾驶员监测极氪001多个摄像头组成鹰眼视觉系统，能够对人体骨骼，行
30、为，姿势，特征进行识别，保障行车过程中的安全Alpha S用于人脸识别FACE-ID系统与驾驶员疲劳监测智己L7方向盘集成疲劳监控摄像头，实现安全驾驶提醒功能长安UNI-T内置两个摄像头，用于驾驶员监控以及IMS*座舱交互零跑S01人脸识别FACE-ID系统车内摄像头应用趋势（2020-2030）10.1%11.6%13.2%15.2%18.0%21.0%27.4%33.7%42.0%50.9%58.9%0204060800202020222024202620282030Millions车内摄像头渗透率年份2020202242025202620272
31、02820292030车均装配个数0.10.10.20.20.40.50.91.31.61.92.3单车装配方案1.01.01.21.52.53.84.25.25.76.67.420* 注：IMS指In-cabin Monitoring System，也即舱内全员监控系统Confidential. 2021 IHS Markit. All Rights Reserved. 在车内语音交互系统中，行车噪声（胎噪、风噪、发动机）、多扬声器产生的回声、人声等干扰都极大的降低了语音识别的性能，单麦克风算法处理这些干扰性能有限，相较于单麦克风，多麦克风阵列可以更好的完成声源定位、降噪、回声消除、人声分离
32、，让语音交互从主驾拓展到全车。麦克风作为语音交互的基础硬件配置，单车搭载数量会逐步增加，以满足语音交互需求的持续升级。座舱传感器座舱传感器 麦克风麦克风麦克风装车应用的总量趋势（2020-2030，亿个）2.22.73.73.73.94.05.25.45.57.48.7055202020224202520262027202820292030麦克风总量单车麦克风数量传感器装车应用的类别趋势（2020-2030）57.7%53.0%46.2%45.1%43.7%41.1%33.4%31.3%30.3%21.2%9.2%38.9%44.8%52.5%53.
33、7%55.2%57.7%65.5%67.7%68.7%77.7%89.9%0%10%20%30%40%50%60%70%80%90%100%202020224202520262027202820292030单麦克风双麦克风阵列多麦克风阵列21Confidential. 2021 IHS Markit. All Rights Reserved.座舱传感器座舱传感器 传感器数量持续增长传感器数量持续增长 汽车座舱在向“第三空间”演变升级过程中，传感器个数将持续增加，高度智能的座舱未来在传感器搭载上主要包含DMS摄像头、IMS摄像头、对外摄像头与麦克风阵列。到2025年，在一些
34、领先方案中，座舱摄像头个数有望达到9个。22座舱传感器202242025DMS摄像头摄像头像素（MP）22555摄像头个数11111摄像头类型IRIR/TOFIR/TOFIR/TOFIR/TOFIMS摄像头单摄像头最高像素（MP）6682424摄像头个数22334摄像头类型RGB/RGB-IRRGB/RGB-IRRGB/RGB-IRRGB/RGB-IRRGB/RGB-IR用于座舱应用的对外摄像头摄像头像素（MP）22555摄像头个数11224摄像头类型IR双目/IR双目IR/RGB双目IR/RGB双目IR/RGB语音交互麦克风个数24466Confidential. 20
35、21 IHS Markit. All Rights Reserved.感知算法感知算法 基本分类基本分类o 语音：指通过单模语音交互技术，如降噪、回声消除、语音识别等。o 视觉：基于图像信息、ToF等传感器算法的技术，如人脸识别，手势识别，活体检测，抽烟、情绪检测等。o 多模前融合：将多种模态深度渗透、深度融合的技术，为多模融合。多模语音识别和多模人声分离是典型的多模融合技术。o 声学：特指非语音交互范围的声学相关技术，包括：声音事件检测、声场调控等。o 多模后融合：基于单模的感知结果进行浅层的结合的技术。多模命令词、多模ASR深度融合不属于这一类。感知语音视觉多模前融合多模后融合声学声音事件
36、检测主动降噪音效声反馈消除视线唤醒语音前端语音识别手势语音唤醒检测视线行为检测NLPTTS关键点识别多模人声分离多模语音识别多模语音信号处理23Confidential. 2021 IHS Markit. All Rights Reserved. 智能座舱本身就是一个典型的多模交互场景：与办公和家居场景不同，座舱作为人的第三生活空间，其空间大小较小，空间形态相对单一，活动范围也有限，加上各种传感器与智能装备加持，较易实现多模交互。 多模策略是基于基础感知算法的浅层结合技术，具有技术实现难度不大、工程优化细节较多的特点，并直接关乎用户体验。典型的多模策略场景：视线看着窗户说大一点，表示窗户大一点
37、对着空调说大一点，表示空调大一点。感知算法感知算法 算法数量持续增长算法数量持续增长2405000250030002002200320042005200620072008200920000192020全球智能座舱相关专利数量变化趋势全球智能座舱相关专利数量变化趋势从专利检索分析上看，从2002-2010年智能座舱每年专利申请量稳定在千件以下，技术处于发展初期；从2011年开始智能座舱的申请量逐年递增，呈迅速发展趋势，该阶段全球企业的专利创新数量不断提高。由于专利申请公布的滞后性，造成近两年的数据更新滞后，统
38、计中出现了“伪下降曲线”。事实上智能座舱相关专利创新仍处于爆发式增长阶段，带来了技术创新数量的持续高增长。注：图片来自BMW Natural InteractionConfidential. 2021 IHS Markit. All Rights Reserved.感知算法感知算法 视觉基础技术是多模技术的基石视觉基础技术是多模技术的基石 心理学相关研究表明，人类接触的信息之中，来自于视觉的占比为83%。计算机视觉技术，正是将从图像和视频中获取高级、抽象信息的能力赋予计算机。作为最大承载量的信息转换器，视觉基础技术是多模技术的重要基石。在智能座舱领域，计算机视觉使用深度学习等先进技术，配合摄像
39、头和显示器等输入输出设备，结合专业的AI计算芯片，及时有效地存储、传输、处理图像信息，帮助大幅度提升信息转化效率和用户体验。计算机视觉的感知技术可分为目标检测、目标跟踪、分类识别（粗细粒度）、视频理解、3D建模等。这些技术可以应用在人脸感知、人体姿态估计、活体检测、行为分类、手势识别和视线跟踪等方向，其感知结果可作为座舱人机交互的基础信息输入。25全图检测目标跟踪分类识别视频理解3D感知特定任务回归智能座舱相关的计算机视觉技术智能座舱计算机视觉感知应用人体部位检测活体检测行为分类人脸识别手势识别视线跟踪Confidential. 2021 IHS Markit. All Rights Rese
40、rved.感知算法感知算法 视觉基础技术是多模技术的基石视觉基础技术是多模技术的基石 部分视觉感知结果可以单独作为核心要素，如人脸识别，可作为用户的ID描述产生直接价值（下图为人脸识别的基本流程）。但更多的视觉感知结果则作为多模技术的输入，结合其他技术模块协同产生价值。例如唇部位置作为目标检测的结果，是多模语音技术的直接输入；眼部位置则是多模视线技术的基本输入；人体关键点的位置信息，则为行为识别提供了基本的结构化信息。26人脸识别流程图人脸识别流程图人脸检测人脸质量活体检测人脸关键点人脸对齐特征提取特征后处理识别、对比CameraConfidential. 2021 IHS Markit. A
41、ll Rights Reserved.感知算法感知算法 座舱视觉感知技术的四大新趋势座舱视觉感知技术的四大新趋势 以计算机视觉技术为基础，座舱智能化走出了从“0”到“1”的第一步。随着座舱领域功能由DMS*向IMS发展，摄像头的数量和分辨率将持续升级，更多的传感器也将相继引入，这些革新对承载座舱计算机视觉技术的AI芯片提出了更高的算力要求，而更充足的算力之下视觉技术也呈现出新的发展趋势。27从单帧感知走向时序感知 当前的座舱视觉算法，绝大多数落地方法均基于单帧图像进行分析感知，之后在功能实现时进行较为简单的多帧融合规则处理。这种方法对于依赖时序上下文的行为识别来说（如抽烟打盹表情），存在天然的
42、局限。结合时序信息，对动作的起止和详细特征可以进行更好的刻画。从平面感知走向立体建模 汽车座舱是一个多人空间，驾乘人员以及车内设备的相互关系建模对于车内高质量的交互感知（如前后排辨识，人体部件归属等）提供保证。同时，空间的立体建模可以对精细化手势和高精度视线提供技术支撑，为司乘提供更加细腻的交互体验。从单模态走向多模态学习 人体通过视觉、听觉、触觉、情绪等能力和外部建立信息交流，达到“人和人”以及“人和物”之间的交互。对于计算机视觉，也逐步形成多类、多个传感器的多模态信息联合学习的趋势，从而达到更好的召回和准确率。从监督学习走向半监督/自监督/联邦学习 由于场景功能和个性化需求的日渐迸发，以及
43、法律法规的相应要求，对于座舱的视觉算法，长尾小样本数据挑战逐步显现。基于小样本的半监督、自监督以及联邦学习方法开始逐步展现出较强的实用价值。* 注：DMS指Driver Monitoring System，也即驾驶员监控系统Confidential. 2021 IHS Markit. All Rights Reserved. 语音交互作为多模态交互的核心组成部分，未来将在智能网联场景中扮演愈发重要的角色。个性化、自然化、定制化成为语音交互未来的发展方向。感知算法感知算法 语音交互是多模态交互的重要组成语音交互是多模态交互的重要组成 借由车机大屏的普及和手机映射的推广，手机上的应用服务内容可以映
44、射到车机大屏，因为手机对于驾驶安全的威胁和法律法规的限制，语音交互成为用户的首选。 交互内容增加了与外界的信息交流，如音乐和导航功能，人机语音对话可以进行预设的简单交流。 用户通过方向盘按键、中控旋钮、车机大屏按钮等方式与车机进行车辆简单行驶和娱乐指令交互，内容仅为基础的文字和语音指令，除了特定用车场景外，汽车与外界不产生交互。 智能车机将人、车和外界环境连接在一起，用户通过语音、数据和触摸等方式与车机进行交流。人机交互随着智能座舱的发展，将有更多注意力放在车内氛围的营造。 智能化的语音交互通过机器学习，主动式推送，自然流畅应答等方式，力求为车内用户营造沉浸式的智能网联服务体验。 多模态交互：
45、未来以语音交互为核心，融合手势识别、表情识别等多模态协作的方式可以更好的完成交互过程。 多音区语音场景：从现阶段相对成熟的双音区交互技术发展为四音区、六音区交互技术，可以让每个位置的乘客通过语音或者其他交互方式控制各自的交互设备，即使在同一时间同汽车进行对话也互不影响。 智能主动式语音服务：可以自主学习并分析用户的日常行为以及爱好，对于用户提出的问题，可以根据分析的结果给出用户更个性化更贴合用户心理的答案，可以结合用户当前所处的场景和说话内容，充分理解用户意图，真正让汽车服务于人，让汽车比人更懂自己的需要，在车内实现人机的情感化、个性化交互的终极目标。人机交互未来趋势0%25%50%75%10
46、0%20025早期语音交互机械式语音交互智能语音交互/ 全双工语音交互主动对话式语音交互语音交互功能在智能网联汽车的装配情况28Confidential. 2021 IHS Markit. All Rights Reserved.对于不同的语音，唇部动作是有所不同的，如同两人交流时，一方声音虽很小，但通过唇语，也能适当解读对方输出的信息，结合声音或许不大的语音，即可提高信息解读的能力。借助于骨传导传感器收集震动信息，已能大幅提高降噪性能和VAD检测准确度，这本身也是一种多维度信息（同样是利用声波作为辅助） 在语音交互的完整流程中，任一环节的错误都可能会导致用户体验变差。当
47、前单模语音技术已经进入瓶颈期，整体性能近几年提升并不明显，这与单模本身的单一维度限制有关，如在高噪背景或者多人干扰情况下，语音信息会被淹没，仅靠单模技术已难以有更好的性能提升。 基于多模技术的语音交互将极大提高语音识别性能，如消费电子领域的骨传导耳机；此外，在座舱内配置了摄像头的场景下，图像即是典型的多模信息；再比如，对于不同的语音，唇部动作与语音的结合能大幅提高信息的解读能力。感知算法感知算法 多模技术将使语音交互体验提升一个台阶多模技术将使语音交互体验提升一个台阶29Confidential. 2021 IHS Markit. All Rights Reserved. 多模语音是典型的多模
48、融合技术，该技术深度融合了语音和唇部图像信息，有非常明显的优点，无论语音前端和语音后端都可以借助于多模技术提升算法性能。多模语音技术的主要优点主要体现在“跨界”图像信息的引入、误唤醒的控制以及音区个数的增加。感知算法感知算法 多模技术将使语音交互体验提升一个台阶多模技术将使语音交互体验提升一个台阶30引入“跨界”图像信息突破了单模的局限，不受噪声干扰，更好地进行人声分离和语音识别，识别率会有较大提升。很好地控制误唤醒，即使通过简单的唇动判断，也能判断驾乘人员是否说话，因此，不会由于驾乘人员不说话而引起误唤醒。当然实现算法不仅仅会通过唇动来去做这种判决，会更深入的训练模型，学习到最优的性能。同等
49、麦克风个数情况下，多模语音交互的音区个数会增加，引入视觉信息可以打破双麦风仅能做双音区交互的限制，即使仅是使用双麦克风，也是可以进行多音区交互的。Confidential. 2021 IHS Markit. All Rights Reserved. 地平线多模语音技术方案在长安UNI-T上实现了多模命令词，这也是迄今为止业内首个量产落地的多模命令词。地平线具有完整的多模语音技术栈，并重点打造端侧的多模语音技术。感知算法感知算法 多模语音算法技术案例多模语音算法技术案例31难唤醒误识别误唤醒以解决单模语音的痛点为初衷，逐个击破语音技术难点拾音差、实现全车语音交互难人声干扰处理难噪声干扰消除难结合
50、唇动、声音和人员位置信息和麦克风阵列技术可以通过少量麦克风精准进行多音区定位多模多音区定位结合唇动、声音的特征和盲源分离技术基于更少的麦克风能够在高干扰下精准抽取干净人声，提高干扰下语音识别性能并实现全车可唤醒多模人声分离结合唇动、声音特征进行语音识别，能够更好的抗干扰，同时降低误唤醒多模语音识别基于不同场景的噪声特性，通过AI降噪消除噪声和回声让通话和识别性能大大提升多模降噪和回声消除Confidential. 2021 IHS Markit. All Rights Reserved. 未来的语音交互趋势朝着更加自然、更加主动和更加人性化的方向发展感知算法感知算法 智能主动式服务也是语音交互
sgpjbg002
工作日 8:30 - 17:30
会员动态：
报告分类
新质生产力
ChatGPT
新能源汽车
大模型
Sora
机器人
微短剧
芯片
薪酬
白皮书
低空经济
数据要素
创新药
人工智能
AI产业
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医药健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
扫码登录
手机快捷登录
账号登录
