1、 人工智能之情感计算 Research Report of Affective Computing 2019 年第 6 期 顾问：金琴 2019 年 9 月 目目 录录 图表目录图表目录 图 1 情感计算的研究内容 . 5 图 2 手势识别的基本框架 . 23 图 3 情感计算全球专家分布 . 36 图 4 情感计算专家国家数量分布 . 37 图 5 情感计算领域学者 h-index 分布 . 37 图 6 情感计算专家迁徙图 . 38 图 7 情感计算国内学者分布 . 39 图 8 情感计算学者分布国内省份 TOP10 . 40 图 9 EQ-Radio 无线信号监测 . 59 图 10 N

2、AO 机器人 . 60 图 11 情感计算发展趋势 . 62 图 12 情感计算 2007 年经典论文 . 63 图 13 1970-2019 论文研究方向趋势图 . 64 图 14 情感计算技术预见图 . 65 图 15 情感计算预测热词图 . 66 表 1 十个文本情感分析 API . 15 表 2 常用的语音情感数据库 . 19 表 3 脸部表情运动特征具体表现 . 22 表 4 常用的表情分析数据库 . 24 表 5 常用的手势分析数据库 . 25 表 6 AVEC 2018 Sub-Challenge Winners . 28 表 7 AVEC 2017 Sub-Challenge

3、Winners . 29 表 8 AVEC 2016 Sub-Challenge Winners . 30 表 9 EmotiW 2017 Sub-Challenge Winners . 31 表 10 EmotiW 2016 Sub-Challenge Winners . 32 表 11 情感计算相关期刊、会议 . 35 表 12 情感计算荐领域中国与各国合作论文情况 . 38 表 13 1970-2019 各阶段前十位研究关键词 . 64 1 1 概述篇概述篇 1.1 情感计算的产生及发展情感计算的产生及发展 40 多年前，诺贝尔奖得主 Herbert Simon 在认知心理学方面强调，解

4、决问题论要结合情感的影响。情感的识别和表达对于信息的交流和理解是必需的，也是人类最大的心理需求之一。人类的认知、行为等几乎都要受到情感的驱动，并影响着人际互动以及群体活动。在人与人的交往中，情感的交流还常被用来完成人的意图的传递。因此，在智能人机交互的研究中，拥有对情感的识别、分析、理解、表达的能力也应成为智能机器必不可少的一种功能。作为人工智能创始人之一的美国麻省理工学院 Marvin Minsky 教授首次提出让计算机具有情感的能力，他在其专著The Society of Mind中强调情感是机器实现智能不可或缺的重要能力。20 世纪 90年代初，耶鲁大学心理学系的 Peter Salov

5、ey 教授提出了情感智能的概念，并开展了一系列的研究。该概念随后被 Daniel J. Goleman 发展为与智商（IQ）相对的情商（EQ），随着 Goleman 的赋予计算机情感能力，并让计算机能够理解和表达情感的探讨与研究引起了计算机界众多专家的兴趣，他们在情感研究的理论和实验应用方面积累了很多经验。 学术界较早对情感进行系统研究的是美国麻省理工学院媒体实验室的 Rosalind W. Picard 教授。1995 年，Picard 首先提出通过识别人体的情感信号，来创建一种能够感知、识别和理解人的情感， 并且能够做出智能、 灵敏和友好反应的计算机系统。 1997 年， Picard 出

6、版专著 Affective Computing，书中给出了情感计算的定义，即情感计算是关于情感、情感产生以及影响情感方面的计算，并对情感计算的研究做了系统介绍。情感赋予计算机像人一样的观察、理解和生产各种情感特征的认知能力。在情感表达和识别方面，随着多媒体技术和人工智能技术的不断发展和广泛应用，机器的识别水平在不远的将来一定会有长足的进步。 日本在 20 世纪 70 年代提出了“感性工学”的概念，在文部省主导下，日本从 20 世纪 90年代开始了对感性工学的研究。所谓感性工学，就是将感性与工程结合起来的技术，是在感性科学的基础上，通过分析人类的感性，把人的感性需要加入到商品设计和制造中去，它是

7、一门从工程学角度研究能带给人喜悦和满足的商品制造的技术科学。日本在人工智能、心理学、认知、情报处理等方面都展开了相关的研究。其中之一是由筑波大学原田昭教授主持的一个超大型特别研究项目“感性评价构造模式的构筑”。这一计划从 1997 年 7 月启动，为期三年，集中了约 50 位各国研究人员，包括工业设计、机器人工程、控制工程、资讯工程、信息管理、认知科学、美学、艺术等众多领域的专家团队，分为感性评价、程序与感性数据库和机器人系统三组。该计划在全球几个重要的美术馆，设置附有摄影机的机器人；然后让受测者在其他地 2 方，通过网际网络计算机联机，远距离遥控机器人来观赏艺术品；对于受测者操纵机器人的整个

8、过程，进行纪录并分析整理，以了解观赏者在鉴赏艺术品时，如何建立其感性评价的心理机制。 欧盟国家也在积极地对情感信息处理技术（表情识别、情感信息车辆、可穿戴计算等）展开研究。欧洲许多大学成立了情感与智能关系研究小组，其中较为著名的有日内瓦大学 Klaus Soberer 领导的情绪研究实验室、布鲁塞尔自由大学的 D Canamero 领导的情绪机器人研究小组以及英国伯明翰大学的 A Sloman 领导的 Cognition and Affect Project。在市场应用方面，德国Mehrdad Jaladi-soli 等在 2001 年提出了基于 Embassi 系统的多模型购物助手。Emba

9、ssi 是由德国教育及研究部（BMBF）资助并由 20 多个大学和公司共同参与的，以考虑消费者心理和环境需求为研究目标的网络型电子商务系统。 我国对人工情感和认知的研究始于 20 世纪 90 年代，并逐步得到重视。国家自然科学基金早在 1998 年就将和谐人机环境中的情感计算理论研究列为当年信息技术高技术探索第六主题。2003 年 12 月，在北京召开了第一届中国情感计算及智能交互学习会议，标志着国内学术界对情感信息处理研究的肯定和认同。2004 年，国家自然科学基金委批准资助了重点基金项目情感计算理论与方法。这标志着我国在人工情感领域的研究达到了一个新的水平，呈现出方兴未艾的发展势头，研究队

10、伍迅速扩大，研究领域急速拓展。2005 年 9 月，我国 40 多名专家教授在北京召开了中国人工智能学会首届全国人工心理与人工情感学术会议，并倡议成立中国人工智能学会人工心理与人工情感专业委员会，开展相关方面的学术活动。2005 年 10 月，中国人工智能学会同意并上报国家民政部，批准成立了中国人工智能学会人工心理与人工情感专业委员会。随后，人工心理与人工情感专业委员会及其成员组织召开了全国第一届人工心理与人工情感学会会议（北京科技大学，2005）和首届国际情感计算与人机交互国际会议（中科院自动化所， 2005）1 。 2007 年 12 月， 中国人工智能学会人工心理与人工情感专业委员会在哈

11、尔滨 CAAI-12 届年会上举行了正式成立大会，这是国内在电子信息科学领域的首个情感计算学会。学会集合了国内一流的人工心理与人工情感的研究专家，他们获得了第一个关于人工情感计算的国家自然科学重点基金（清华大学）；第一个“973”项目中的和谐人机交互理论与技术的研究课题（中科院软件所）。随着研究的不断深入，关于人工情绪和情感计算的课题越来越多。 3 1.2 概念定义概念定义 1.2.1 情感情感 情感（emotion）一词源于希腊文“pathos”，最早用来表达人们对悲剧的感伤之情。达尔文（Darwin）认为，情感源于自然，存活于身体中，它是热烈的、非理性的冲动和直觉，遵循生物学的法则。理智则

12、源于文明，存活于心理。心理学大辞典将情感定义为“人对客观事物是否满足自己的需要而产生的态度体验”。Antonio Damasio 在其神经生物学研究结果的基础上将情感至少分为两类，即原发性情感和继发性情感。原发性情感被认为是与生俱来的，被理解为一岁儿童情感这种典型的情感类型， 继发性情感被假设为从更高的认知过程中产生。 而 James Russell)则从两个方面构造情感： 核心情感和心理建构， 前者表示神经系统的状态， 如昏昏欲睡；后者表示行动，如面部表情、音调，以及行动之间的关联。由于情感的复杂性，研究情感的相关学者对情感的定义至今也未达成一致，记载的相关理论就有 150 多种。 而“em

13、otion”一词由前缀“e”和动词“move”结合而来，直观含义是从一个地方移动到另一个地方， 后来逐渐被引申为扰动、 活动， 直到近代心理学确立之后， 才最终被詹姆斯 （William James）用来表述个人精神状态所发生的一系列变动过程。Picard 曾在其书中专门对情感和情绪方面术语进行了区分，她认为相对情感而言，情绪表示一个比较长的情感状态。情感影响我们的态度、情绪和其他感觉、认知功能、行为以及心理。同时情感容易在多次情绪体验的基础上实现，当人们多次觉得完成一项任务很高兴，就会爱上这个任务。相比情绪而言，情感更具有深刻性和稳定性。在自然语言处理中，Myriam D 等人结合韦氏字典以

14、及他们的相关研究得到的结论是，在语言中情感是无意识的，并且很难将其定义，从文本中可以检测到的是有意识的情感，是情绪表征。而情绪这一复杂心理学现象几乎不能从文本中全部检测出，能检测到的是情绪的构成因素。许多关于情感计算的研究并没有完全区分情绪和情感（包括本文引用的大部分论文），本文统一使用“情感”一词。 情感具有三种成分： 主观体验，即个体对不同情感状态的自我感受； 外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式） 、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化） ； 生理唤醒，即情感产生的生理反应，是一

15、种生理的激活水平，具有不同的反应模式。 4 1.2.2 情感计算情感计算 让计算机具有情感能力的观点并不新鲜，它与“机器人”一词几乎同时出现。1985 年，人工智能的奠基人之一 Minsky 就明确指出： “问题不在于智能机器能否有情感， 而在于没有情感的机器能否实现智能”。但当时，赋予计算机或机器人以人类式的情感，主要还是科幻小说中的素材，在学术界罕有人关注。1995 年情感计算的概念由 Picard 首次提出，并于 1997 年正式出版Affective Computing（情感计算）。在书中，她指出“情感计算就是针对人类的外在表现，能够进行测量和分析并能对情感施加影响的计算”，开辟了计算

16、机科学的新领域，其思想是使计算机拥有情感，能够像人一样识别和表达情感，从而使人机交互更自然。 情感研究可以从两个方面来理解，一是基于生理学的角度，通过各种测量手段来记录人体的各种生理参数，比如，人体运动数据，脸部表情、心理、脉搏、脑电波等，并以此为根据来计算人体的情感状态；二是基于心理学的角度，通过各种传感器接收并处理信息，并以此为根据计算人造机器所处的情感状态。Picard 以人类情绪的生理信号处理为基本出发点，研究取得了诸多进展，其应用领域也在逐渐扩大。当然，并不是所有的研究者都同意 Picard 的想法。例如 Sengers、Gaver、Dourish 和 Kristina Hook 等

17、学者借鉴现象学并且把情感看作人与人、人与机互动中的成分。情感互动方法认为应从一个对情感建设性的、人文决定性视角展开，而非从认知和生物学这一更传统的角度出发，这种方法将重点放在使人们获得可以反映情感的体验并以某种方式来修改他们的反应。 简单来说，情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。显然，情感计算是个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且要考虑表情、语言、动作或身体的接触。在人机交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，做出反应。例如通过对不同类型的用户建模（如操作方式、表情

18、特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型，并以适合当前用户的方式呈现信息。在对当前的操作做出及时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。举例来说，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来调节程序以识别人的情感。假设你对电视讲座的一段内容表现出困惑，情感助理会重放该片段或者给予解释。而目前国内情感计算的研究重点在于通过各种传感器获取有人的情感所引起的生理及行为特征信号，确定情感类

19、别的关键特征，建立“情感模型”，从而创建个人情感计算系统。 5 情感计算是一个高度综合化的研究和技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人与计算机的交互环境，将有可能实现人与计算机的情感交互。情感计算研究将不断加深对人的情感状态和机制的理解， 并提高人与计算机界面的和谐性， 即提高计算机感知情境， 理解人的情感和意图，做出适当反应的能力，其主要研究内容如下图所示： 图 1 情感计算的研究内容 1.2.2.1 情感信号的采集情感信号的采集 情感信号的获取研究主要是指各类有效传感器的研制。它是极为重要的环节，没有有效的传感

20、器，就没有情感计算的研究，因为情感计算的所有研究都是基于传感器所获得的信号。各类传感器应具有如下的基本特征：使用过程中不影响用户（如重量、体积、耐压性等），经过医学检验对用户无伤害；数据的隐私性、安全性和可靠性；传感器价格低、易于制造等。美国麻省理工学院媒体实验室的传感器研制较为先进，已研制出多种传感器，如脉压传感器、皮肤电流传感器、汗液传感器及肌电流传感器等。其中，皮肤电流传感器可实时测量皮肤的导电系数，通过导电系数的变化可测量用户的紧张程度；脉压传感器可时刻监测由心率变化而引起的脉压变化；汗液传感器是一条带状物，可通过其伸缩的变化时刻监测呼吸与汗液的关系；肌电流传感器可以测得肌肉运动时的弱

21、电压值。 情感信号的获取必须通过一定形式的情感测量技术来完成，情感测量包括对情感维度、表情维度和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测评其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。确定情感维度对情感测量有重要意义，因为只有确 6 定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳、安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感

22、究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：一是愉悦度，通过惊反射的方式测量其生理指标；二是激活度，通过皮肤电反应方式测量其生理指标。 1.2.2.2 情感信号的分析、建模与识别情感信号的分析、建模与识别 一旦各类有效传感器获得了情感信号，下一步就是将情感信号与情感机理相应方面的内容对应起来，这里要对所获得的信号进行建模和识别。由于情感状态是一个隐含在多个生理和行为特征之中的不可直接观测的量，不易建模，部分可采用诸如隐马尔可夫模型、贝叶斯网络模式等数学模型。美国麻省理工学院媒体实验室给出了一个隐马尔可夫模型，可根据人类情感概率的变化推断得出相应的情

23、感走向。 计算机对从传感器采集来的信号进行分析和处理， 从而得出对方 （人） 正处在的情感状态，这种行为叫做情感识别。从生理心理学的观点来看，情绪是有机体的一种复合状态，既涉及体验又涉及生理反应，还包含行为，其组成至少包括情绪体验、情绪表现和情绪生理三种因素。目前对于情感识别有两种方式，一种是检测生理信号如呼吸、心律和体温等，另一种是检测情感行为如面部特征表情识别、语音情感识别和姿态识别。 人脸情感识别人脸情感识别 在生活中，人们很难保持一种僵硬的脸部表情，通过脸部表情来体现情感是人们常用的较自然的表现方式，其情感表现区域主要包括嘴、脸颊、眼睛、眉毛和前额等。人在表达情感时，只稍许改变一下面部

24、的局部特征（譬如皱一下眉毛），便能反映一种心态。1972 年，著名学者Ekman 提出了脸部情感的表达方法（脸部运动编码系统 FACS），通过不同编码和运动单元的组合，即可以在脸部形成复杂的表情变化，譬如幸福、愤怒、悲伤等。该成果已经被大多数研究人员所接受，并被应用在人脸表情的自动识别与合成方面。随着计算机技术的飞速发展，为了满足通信的需要，人们进一步将人脸识别和合成的工作融入到通信编码中。最典型的便是MPEG4 V2 视觉标准，其中定义了 3 个重要的参数集：人脸定义参数、人脸内插变换和人脸动画参数。表情参数中具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。在目前的人脸表情处

25、理技术中，多侧重于对三维图像更加细致的描述和建模。通常采用复杂的 7 纹理和较细致的图形变换算法，达到生动的情感表达效果。在此基础上，不同的算法形成了不同水平的应用系统。 随着人脸的计算机处理技术（包括人脸检测和人脸识别）不断完善，利用计算机进行面部表情分析也就成为可能。由于各种面部表情本身体现在各个特征点运动上的差别并不是很大，而表情分析对于人脸的表情特征提取的准确性和有效性要求比较高，因而难以顺利地实现。具体的表情识别方法主要有三个： 一是整体识别法和局部识别法， 二是形变提取法和运动提取法，三是几何特征法和容貌特征法。当然，这三个发展方向不是严格独立的，恰恰相反，它们是相互联系和影响的，

26、 它们从不同侧面提取所需要的表情特征， 都只是提供了一种分析表情的思路。例如：嘴巴张开并不代表就是笑，也有可能是哭和惊讶等。所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别； 频域特征主要是利用了表情图像在不同的频率分解下的差别， 速度快是其显著特点。 通常根据视频识别要比根据静态图像识别更准确，视频能捕捉某种表情形成过程的面部动作。当人通过视觉器官把他人面部的刺激信号接收并传递到人的大脑之中，大脑就会进行人脸检测、人脸图像预处理、人脸特征提

27、取等程序，然后，把以前存储在大脑中的若干基本表情的人脸特征（即脸谱）提取出来，进行对比分析和模糊判断，找出两者的人脸特征最接近的某种基本表情。这时，大脑皮层就会接通该基本表情所对应的兴奋区与边缘系统的神经联系，从而产生愉快或痛苦的情感体验。同时，大脑皮层还会接通该基本表情所对应的兴奋区与网状结构的神经联系，从而确定愉快或痛苦的强度。 语音情感识别语音情感识别 在人类的交互过程中，语音是人们最直接的交流通道，人们通过语音能够明显地感受到对方的情绪变化，例如通过特殊的语气词、语调发生变化等等。在人们通电话时，虽然彼此看不到，但能从语气中感觉到对方的情绪变化。例如同样一句话“你真行”，在运用不同语气

28、时，可以使之成为一句赞赏的话，也可以使之成为讽刺或妒忌的话。目前，国际上对情感语音的研究主要侧重于情感的声学特征分析这一方面。一般来说，语音中的情感特征往往通过语音韵律的变化表现出来。例如，当一个人发怒的时候，讲话的速率会变快，音量会变大，音调会变高等，同时一些音素特征（共振峰、声道截面函数等）也能反映情感的变化。语音情感识别是指由计算机自动识别输入语音的情感状态。不同语言声调表情的信号在其时间构造、振幅构造、基频构造和共振峰构造等特征方面也有着不同的构造特点和分布规律。只要把各种具体模式的语言声调表情在时间构造、振幅构造、基频构造和共振峰构造等方面的特点和分布规律进行测算和分析，并以此为基础

29、或模板，就可以识别出所有语言声调中所隐含的情感内容。中国科学 8 院自动化研究所模式识别国家重点实验室的专家们针对语言中的焦点现象，首先提出了情感焦点生成模型。这为语音合成中情感状态的自动预测提供了依据，结合高质量的声学模型，使得情感语音合成和识别率先达到了实际应用水平。 语音中的情感特征化比面部表情的情感特征化要难。 面部表情信号传达了个人特征和表情，一般不传达语言信息。另一方面，语音信号包含的是混合信息，包括说话者特征、情感和说话内容中强调的词汇和语法。计算机在语音情感的识别和合成方面的进展很慢。随着计算机多媒体技术的不断发展，能处理包含在媒体中的情感信息的拟人化的多媒体计算机系统的研究越

30、来越引起人们的兴趣。因为语音信号既是多媒体人机交互的主要利用方式，又是传载情感信息的重要媒体，所以对于包含在语音信号中的情感信息进行计算机处理研究就显得尤为重要。当人通过听觉器官把他人的语言声调信号接收并传递到人的大脑之中，大脑就会对其时间构造、振幅构造、 基频构造和共振峰构造等方面的特点和分布规律进行检测、 预处理和特征提取， 然后，把以前存储在大脑中的若干基本表情的语言声调信号的时间构造、振幅构造、基频构造和共振峰构造等特征方面的构造特点和分布规律提取出来，进行对比分析和模糊判断，找出两者声音特征最接近的某种基本表情。 肢体语言肢体语言识识别别 人的姿态一般伴随着交互过程而发生变化，这种变

31、化表达了一些信息。例如手势的加强通常反映一种强调的心态，身体某一部位不停地摆动，则通常具有情绪紧张的倾向。相对于语音和人脸表情变化来说，姿态变化的规律性较难获取，但由于人的姿态变化会使表述更加生动，因而人们依然对其表示强烈的关注。科学家针对肢体运动专门设计了一系列运动和身体信息捕获设备，例如运动捕获仪、数据手套、智能座椅等；国外一些著名的大学和跨国公司，例如麻省理工学院、IBM 等则在这些设备的基础上构筑了智能空间；同时也有人将智能座椅应用于汽车的驾座上，用于动态监测驾驶人员的情绪状态，并提出适时警告。 语言文字识别语言文字识别 语言和文字属于第二信号系统，由于它们脱离了现实事物对于人的条件反

32、射活动的直接参与，从而可以更为广泛地、普遍地、直接地、快速地、灵活地、多样地、深入地对各种事物进行认识，从而可以使人类能够对更为抽象、更为本质、更为遥远、更为间接、更为广泛、更为模糊、更为变化莫测的事物的价值关系进行认识和反应。 当人通过听觉器官把他人的语言信号接收并传递到人脑中，或者通过视觉器官把文字信号接收并传递到人脑中， 大脑就会对其进行语义分析， 对它们所描述事物的价值关系的目标指向、 9 变化方式、变化时态、对方的利益相关性等进行判断，从而确定和选择情感表达的某种基本模式。 生理模式识别生理模式识别 从生理信号中抽取出来的特征模式可以用来识别情感。计算机在人做出表情（如悲痛或愤怒）

33、的时候， 观察多种收集到的信号， 然后分析哪种生理信号模式和特定情感状态关系最密切。然后计算机系统应用先前分析的结果，根据收集到的原始数据来识别出包含在信号中最有可能的情感。这方面的研究才刚刚开始。通常通过观察所有数据的子集能判断出哪种特征值的辨别能力最强。试过所有可能的三种情感、两种特征值的组合，发现愤怒、悲痛和尊敬的组合或愤怒、高兴和尊敬的组合中，情感是最容易识别出的。这两种情况中，都有一个最佳的识别特征值，即 EMG 信号的平均值，但是另一个最佳特征值却是不同的。愤怒、悲痛和尊敬的组合中，标准化信号的第一次差分绝对值的平均值就是最佳的；而对愤怒、高兴和尊敬的组合中，最佳选择还是第一次差分

34、绝对值的平均值，但这次是从 EMG 信号中得到的。 1.2.2.3 情感信号的融合算法研究情感信号的融合算法研究 某一情感的变化对应于多种生理或行为的变化，不能从单一生理或行为的变化引出相应的情感的变化，因此，情感的判定是融合各种生理或行为的过程，应该研究有关情感计算的信息融合理论与技术。 信息融合又称数据融合，也可以称为传感器信息融合或多传感器信息融合，是一个对从单个和多个信息源获取的数据和信息进行关联、相关和综合，以获得精确的位置和身份估计，以及对态势和威胁及其重要程度进行全面及时评估的信息处理过程；该过程是对其估计、评估和额外信息源需求评价的一个持续精练（Refinement）过程，同时

35、也是信息处理过程不断自我修正的一个过程，以获得结果的改善。 信息融合技术可概括为：利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析、综合处理，以完成所需的决策和估计任务而进行的信息处理过程。按照这一定义，多传感器系统是信息融合的硬件基础，多源信息是信息融合的加工对象，协调优化和综合处理是信息融合的核心。也可以认为，信息融合或数据融合技术是利用计算机技术对来自多传感器（同类或者不同类）探测的多源信息，按一定规则进行自动分析和综合后，自动生成人们所期望的合成信息的信息处理技术。它对多类型、多源、多平台传感器所获得的各种情报信息（如数据、照片、视频图像等信息）进行采集、传输、

36、汇集、分析、过滤、综合、相关及合成，快速进行情报处理和自动图形标绘。 10 1.3 情感计算的理论观点情感计算的理论观点 心理学领域有关情感体验的理论观点主要有两类：范畴观和维度观。 持范畴观的学者将情绪或情感分成独立的范畴，这些相互离散的情绪范畴在外部表现、生理唤醒模式上都存在一定的差异2 。对于情感计算研究，基于范畴观来描述和测量情感的优势主要有两点。首先，用情绪范畴描述情绪和情感符合人们的直觉和常识，有利于情感计算的成果在现实生活中的推广和应用。其次，基于情绪范畴来进行情感计算，有利于智能系统中识别情绪后，进一步推理与之相联系的特定心理功能和可能的原因，然后做出适当的响应。但范畴观也给情

37、感计算研究带来了制约和问题。首先，哪些情绪范畴对于情感计算来说是必要的，目前研究者对此并没有统一的认识。其次，情绪范畴是对情绪的定性描述，无法用量化的数字表达主观的情绪体验。 维度观则认为情感具有基本维度和两极性。例如，近代科学心理学之父威廉.冯特提出的三维说， 认为情绪情感有三个维度组成， 每个维度的变化幅度都存在两种相互独立的状态。 Osgood发现，情绪体验可以从评价、力度、活跃性三个方面来进行评价3 。Mehrabian 和 Russell 基于Osgood 的思路，提出了 PAD 情绪模型，此模型不但给出了对情感空间进行描述的理论构想，同时采用量化的方法试图建立情感空间中各种情绪范畴

38、的定位和关系，因此被广泛地应用在情绪心理学、人格心理学、社会心理学等基础领域，以及市场营销、产品满意度等应用领域4 。基于维度的趋向为情感计算提供了量化的理论和方法基础，但是，究竟需要多少维度才足以充分地表达人类的情感及哪些维度是必要的，这仍是一个难题。 1.4 情感计算的认知困境情感计算的认知困境 情感计算一经提出，迅速受到学术界的关注和企业界的迅速反应。英国电信公司（British Telecom）和 IBM 已成立了专门的情感计算研究小组，学术界如美国麻省理工学院的媒体实验室、剑桥大学、中国科学院等也在进行情感计算方面的研究。虽然情感计算的研究如火如荼地进行着， 并且也取得了很大的成果，

39、 但对于情感计算的一些基本问题在认识上仍然存在分歧6 。 1.4.1 情感计算可能情感计算可能性性 情感可不可以计算实际上是一个哲学终极问题， 这个问题衍生出如下问题： 情感能计算吗？如果能计算，应该如何计算？计算的方法可行、可靠吗？对此明显分为两种截然相反的观点： 一种是对情感计算的怀疑与否定，认为情感计算是不可能的和没必要的，主要体现在： 11 1）认为情感计算在理论上是不可能的。情绪是人类本身专有的，一旦它脱离人就不存在了或者说变成假的了，一台机器不可能会自发地产生那些根本不属于它的特性；情感是不能制造的，模拟永远是不真实的，机器是永远不会产生像人与人相互交流时的那种情感。神经科学家达马

40、西奥研究一批大脑受损的病人，他们尽管在数学和语言能力上没有任何缺陷，但他们的日常生活能力却大受影响。因此，长于数学和语言能力的机器难以处理情感。 2）认为情感计算在研究方向与方法是不可行的。情绪表达在模式与方法上是非常广泛的，而对这些是不可能进行准确把握的，如大脑活动、血液化学、神经传递物质等，因此在收集必要的数据方面变得不太可能或者不可行。并且，情绪比较随意和时常变化，要从一些数据准确地识别个体的情感状态也是办不到的。另一方面，要对情感进行计算，那么就必须要建立情感认知模型，但是要建立精细、多模态以及适合个体习惯的情感模型是非常困难的，至少在以后相当长的时间内是不可能的。 但以 R.W Pi

41、card 为代表的计算机学家们却认为机器具有情感是可能的，在方法上也是可行的。他们认为情感并非如心理学家所认为的那样仅仅是人的内心体验状态，而是可以通过人生理、表情、语言等体现出来，可以通过一定的技术进行测量与处理。虽然人的情感表现具有一定的差异性，但是通过他们使用的可穿戴计算机的实验却发现情感识别能够达到 80%左右的准确性。另一方面他们认为建立在实验基础上的情感建模也取得了不少进步，很多实验室与研究所根据自己的研究都建立了比较有价值的情感模型，如美国麻省理工学院媒体实验室首先给出了一个隐马尔可夫模型、日本早稻田大学建立了 WE-3RV 的 3D 情感空间模型、计算机学家Sumedha Ks

42、hirsagar 等建立的多层情绪心情性格模型等。 1.4.2 情感计算的理论基础情感计算的理论基础 无论是情感计算的开创者 R.W Picard，还是后来的计算机学家对情感的计算处理，他们的理论是建立在心理学基础之上的。心理学把情感分为快乐、焦虑、悲伤、愤怒和厌恶，其它情感都是由此派生出来的；把情感的表现局限于心理感受强度、表情特征和生理指标。当前建立起来的情感模型主要考虑的也是这五种基本情感（见前面所论述的情感模型），建模方法大都是基于维度论的方法， 通过测量生理特征和行为特征 （如面部表情、 语音等） 来推测情感状态，但是这样的模型总存在着这样或者那样的不足；同时，对于同一类型情感，无论

43、是情感感受强度，还是情感表达强度和情感生理唤醒，都可以采用不同的生理指标进行计算和测量，究竟应该选用哪一个生理指标？对于同一类型情感采用同一个生理指标进行测量和计算时，由于受到许多环境因素以及人体其它生理因素和精神因素的影响，其测量值的差异性和波动性如何消除？因此，一些人认为把情感计算的理论基础建立在心理学之上是不妥的，而应该把它的理论基础 12 建立在“统一价值论”之上。统一价值论认为任何主观意识都不是无中生有的，也不是孤立存在的，都是对某一客观存在的反映，总会有某一客观存在与之相对应；情感作为一种特殊的主观心理活动，反映了一种特殊的客观存在人与事物之间的价值关系，情感与价值的关系在本质上就

44、是主观与客观的关系。因此，统一价值论把情感诠释为“人脑对事物的价值关系的一种主观反映”，以数学形式对情感进行精确定义，建立情感和价值观的数学分析模型，实现了情感的合并运算和合成运算，根据价值的不同变化特征对情感进行分类，从而将“情感计算”转化为“价值计算”。 1.4.3 情感计算技术情感计算技术的的两面性两面性 人工智能与计算机领域对此持乐观的态度，为我们展现了在不久的将来机器具有情感的广阔前景。中国科学院心理研究所傅小兰研究员认为“情感计算研究将为人类提供更加人性化、情感化的服务和产品，创造更加美好的生活”，清华大学计算机系张迎辉等相信“情感计算的发展必将极大地改变人们的生活，自然和谐的人机

45、交互的梦想会离我们越来越近”，情感计算将在如下几个方面产生深刻影响： 对人类的情感进行识别和响应，帮助人们理解自己和他人的情感世界。 在远程教育平台中，进一步优化计算机辅助学习的功能。 推进可穿戴的计算机系统的发展， 以及智能、 便携式个人身体保健与监护系统的开发。 帮助我们增加使用设备的安全性和增加自动感知人们的情绪状态的功能， 可以在娱乐、游戏等方面提供更好的服务。 但是在社会与伦理领域的人士看来，如果机器具有像人一样的情感，将会对人类以及人类社会带来巨大的影响。首先，人与人之间的两维关系将被彻底打破，如何处理人与机器的感情问题，这将会产生一系列的伦理道德问题。其次，社会结构与秩序将会重组

46、，人与机器在社会关系中的角色如何维持与平衡。因此他们认为机器具有了情感带给人类的不仅仅是福音，还带来麻烦与问题，并且麻烦与问题多于好处。 13 2 技术篇技术篇 情感计算是一个多学科交叉的崭新的研究领域，它涵盖了传感器技术、计算机科学、认知科学、心理学、行为学、生理学、哲学、社会学等方面。情感计算的最终目标是赋予计算机类似于人的情感能力。要达到这个目标，许多技术问题有待解决。这些技术问题的突破对各学科的发展都产生巨大的推动作用。本篇分别从情感计算的传统研究方法和新兴研究方法对技术发展进行了探讨。此外，本篇对情感计算方向较有代表性的获奖论文进行了归纳整理，更加清晰地展示了目前该领域的研究成果。

47、2.1 传统的研究传统的研究 传统的情感计算方法是按照不同的情感表现形式分类的，分别是：文本情感分析、语音情感分析、视觉情感分析。以下对三种传统的分析方法进行详细介绍。 2.1.1 文本文本情感情感计算计算 20世纪90年代末，国外的文本情感分析已经开始。早期，Riloff和Shepherd在文本数据的基础上进行了构建语义词典的相关研究。McKeown发现连词对大规模的文本数据集中形容词的语义表达的制约作用，进而对英文的形容词与连词做情感倾向研究。自此之后，越来越多的研究开始考虑特征词与情感词的关联关系。Turney等使用点互信息的方法扩展了正负面情感词典，在分析文本情感时使用了极性语义算法，

48、处理通用的语料数据时准确率达到了74%。在近些年的研究中，Narayanan等结合各种特征及其相关联信息，提出了基于分句、整句、结果句的分类方案，获得了很好的效果。Pang等以积极情感和消极情感为维度，对电影评论进行了情感分类。他分别采用了支持向量机、最大熵、朴素贝叶斯算法进行分类实验，发现支持向量机的精确度达到了80%。随着研究的不断深入，学者在对情感分析算法进行改进的同时，也将其应用到不同的行业中进行了实践。 文本情感计算的过程可以由 3 部分组成：文本信息采集、情感特征提取和情感信息分类。文本信息采集模块通过文本抓取工具（如网页爬虫工具）获得情感评论文本，并传递到下一个情感特征提取模块，

49、然后对文本中自然语言文本转化成计算机能够识别和处理的形式，并通过情感信息分类模块得到计算结果。 文本情感计算侧重研究情感状态与文本信息之间的对应关系，提供人类情感状态的线索。具体地，需要找到计算机能提取出来的特征，并采用能用于情感分类的模型。因此，关于文本情感计算过程的讨论，主要集中在文本情感特征标注（信息采集）、情感特征提取和情感信息分类这三个方面7 。 14 文本情感特征标注文本情感特征标注 情感特征标注是对情感语义特征进行标注，通常是将词或者语义块作为特征项。情感特征标注首先对情感语义特征的属性进行设计，如褒义词、贬义词、加强语气、一般语气、悲伤、高兴等等；然后通过机器自动标注或者人工标

50、注的方法对情感语义特征进行标注，形成情感特征集合。情感词典是典型的情感特征集合，也是情感计算的基础。在大多数研究中，有关情感计算的研究通常是将情感词典直接引入自定义词典中。 运用情感词典计算出文本情感值是一种简单迅速的方法，但准确率有待提高。在实际的情感计算中，会因为具体的语言应用环境而有所不同。例如，“轻薄”一词通常认为是否定词，但是在电脑、手机却被视为肯定词汇。同时，文本中常会出现否定前置、双重否定以及文本口语化和表情使用等，这些都将会对文本情感特征的提取和判断产生较大的影响。因此在进行文本情感提取时，需要对文本及其对应的上下文关系、环境关系等进行分析。 情感特征提取情感特征提取 文本包含