1、委员会顾问委员会朱世强之江实验室主任、浙江大学党委副书记任福继日本工程院院士、欧盟科学院院士、电子科技大学讲席教授、日本德岛大学荣誉教授戴琼海中国工程院院士、清华大学自动化系教授、清华大学信息科学技术学院院长李德毅中国工程院院士、国际欧亚科学院院士、指挥自动化和人工智能专家杨雄里中国科学院院士、发展中国家科学院院士、神经生物学家、复旦大学脑科学研究院学术委员会主任褚君浩中国科学院院士、中国科学院上海技术物理研究所研究员、复旦大学教授、华东师范大学教授蒋田仔欧洲科学院院士、中国科学院自动化研究所脑网络组研究中心主任马庆国国际欧亚科学院院士、亚太人工智能学会会士、浙江大学教授傅小兰中国科学院心理研

2、究所所长、中国科学院大学心理学系主任 专家委员会赵新龙之江实验室党委副书记陈伟之江实验室主任助理、党委委员陈光之江实验室科研发展部部长林峰之江实验室人工智能研究院副院长李太豪之江实验室高级研究专家、跨媒体智能研究中心副主任、研究员曾令仿之江实验室之江-燧原联合创新研究中心副主任宗成庆中国科学院自动化研究所研究员、中国科学院大学岗位教授陶建华中国科学院自动化研究所研究员、模式识别国家重点实验室副主任、国家杰出青年基金获得者吕宝粮上海交通大学计算机科学与工程系教授、上海交通大学医学院附属瑞金医院广慈特聘教授吕钊安徽大学计算机科学与技术学院副院长、教授、安徽省杰出青年基金获得者王蕊中国科学院信息工程

3、研究所研究员李勇辉中国科学院心理研究所研究员蔡曙山清华大学心理学与认知科学研究中心主任、教授肖仰华复旦大学计算机科学技术学院教授、复旦-爱数认知智能联合研究中心主任张效初中国科学技术大学生命科学与医学部教授、青年长江学者潘煜上海外国语大学国际工商管理学院院长、教授金佳上海外国语大学脑机协同信息行为重点实验室教授曾红广州大学教育学院心理学系教授罗思阳中山大学心理系副教授梅林公安部第三研究所研究员刘明华德勤中国副首席执行官、首席转型官倪殿令亚马逊云科技大中华区合作伙伴生态系统事业部总经理庄珺上海市科学学研究所产业创新研究室主任、研究员刘晶联合国工业发展组织全球创新网络项目上海全球科创中心副主任 编

4、辑委员会裴冠雄之江实验室人工智能研究院跨媒体智能研究中心副研究员汪严磊德勤科学加速中心副总监贾永兴上海科学技术出版社副总编辑、张江科技评论主编李海英中国科学院文献情报中心学科情报分析员王晓野亚马逊云科技大中华区数据产品技术总监朱敏上海师范大学商学院商业数据系主任、副教授杨成宁上海师范大学商学院企业管理系讲师贲睍烨山东大学信息科学与工程学院教授唐益明合肥工业大学计算机与信息学院副研究员范存航安徽大学计算机科学与技术学院副教授董建敏之江实验室人工智能研究院跨媒体智能研究中心助理研究员程翠萍之江实验室人工智能研究院跨媒体智能研究中心助理研究员徐若豪之江实验室人工智能研究院跨媒体智能研究中心算法工程师

5、情感计算白皮书序一情感被誉为人类社会生活的文法（Grammar of Social Living），情感计算旨在创建一种能感知、识别和理解人的情感，并能针对人的情感作出智慧、灵敏、自然反应的计算系统。情感计算是实现自然化、拟人化、人格化人机交互的基础性技术和重要前提，也为人工智能决策提供了优化路径，对开启智能化、数字化时代具有重大价值。近年来，中国成为情感计算领域最重要的崛起力量之一，并有越来越多的学者投入该领域的研究。同时，中国也成为情感计算赋能应用的主战场之一，为支撑经济高质量发展和数字化改革发挥了重要作用。这本白皮书的发布，旨在回应中国乃至全球学术界和产业界对了解和掌握情感计算最新发展动

6、向的需求，给科学研究人员和行业实践人员提供较为完整的技术发展蓝图和应用趋势洞察，以助推情感计算的发展与转化。这本白皮书有几个鲜明的特点：一是以主流学术数据库为基础，之江实验室、中国科学院文献情报中心等单位对 19972022 年的 2 万余篇论文进行分析的数据，具有领域全周期、论文全量级、科研全过程的覆盖优势，梳理出的重要研究论文、专利和标准，有助于明晰关键共性技术和前沿引领技术，对把握情感计算领域学术发展动态具有指导性意义，对实现“高原造峰”和从“0”到“1”等不同创新路径均具有较大参考价值。二是白皮书描绘了情感计算的学科全景，包括重要研究机构、学术期刊、国际会议、代表性科学家、高水平学会等

7、，并对合作生态进行了梳理，这对指导学科建设和重大科研基金立项具有导向作用。中国学者在学科领域内的进步明显，初步形成了高水平的学科人才梯队，且在典型学者和重要研究阵地中占比较高。但是，在学术期刊、国际会议等方面存在劣势，中国主导能力偏弱，这不利于学科话语权的提升，也与中国在该领域发文量排名世界第一的情况不匹配。这在一定程度上阻碍了中国科学家作为学术共同体的发展，不利于从跟随性走向引领性的地位变革。三是白皮书非常重视对情感计算成果转化及应用情况的研究。中国共产党二十大报告提出，“加快实施创新驱动发展战略。坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康，加快实现高水平科技自

8、立自强”。针对应用情况的定量分析和案例研究，有助于引导广大科技工作者面向经济主战场和重大实际需求开展科研攻关，同时促进相关从业人员对技术全景加深理解和认知，促进经济主体增加情感计算赋能应用的探索，加速数字经济转型升级和人工智能技术迭代应用，促进更多企业从产业链下游向产业链中上游的价值重塑。正是白皮书在以上三个方面的扎实工作，为情感计算未来趋势预测筑牢了基础。这本白皮书也专门设立章节，对技术走向和行业应用作了展望。未来将会怎样，不可准确预知，但对过去和现状的精准把握，为情感计算的发展脉络提供了踪迹。当今世界正在经历百年未有之大变局，这场变局不限于一时一事、一国一域，而是深刻而宏阔的时代之变。我坚

9、信，中国在情感计算领域的影响力将继续迅速提升，我们乐见这种不可阻挡的力量为情感计算学术发展和应用赋能提供源源不断的动力。电子科技大学讲席教授日本德岛大学荣誉教授日本工程院院士欧盟科学院院士2022 年 11 月情感计算白皮书序二近年来，中国在人工智能技术领域的发展突飞猛进。上一代人工智能技术在研发、行业应用和内涵普及方面可谓“百花齐放”。经过一大批科学家和实践者的努力，在短短几年的时间里，中国就在人工智能发展的第一阶段追赶上了世界先进水平。中国发展人工智能等前沿信息技术不仅为了实现中华民族伟大复兴，也为了世界可持续发展和人类进步。德勤作为一家立足中国本土的国际性专业服务机构，正是感受到了这样的

10、使命而欣然地加入新一代人工智能技术情感计算的开发策源和转化实践的队伍。与诸多科学家和实践者一样，我们也清楚地预见情感心智在整体智能技术群中的重要性。情感计算是一项涵盖心理学、认知科学、计算机科学、数学等多学科交叉的前沿技术，因此我们需要通过一个由多方角色组成的生态网络，通过实现各自的诉求来形成共赢，从而推动情感计算技术从研发向转化、普及等环节发展。为此，在之江实验室的发起和指导下，德勤通过多年创新积累的生态网络群组织包括上海科学技术出版社、中国科学院文献情报中心、英国工程技术学会、亚马逊云科技、上海师范大学等在内的大批专家学者，共同完成情感计算白皮书的撰写和发布工作。由于情感计算技术是过往鲜有

11、人涉足的前沿技术领域，对当前全球情感计算技术的相关信息进行汇总、解读和分析工作自然也是困难重重，尤其是在面临日新月异的技术更替环境下，如何确保内容的时效性，并以最快的速度、最高的质量和最全的信息进行白皮书发布，成为本次任务的最大挑战。这样的任务实施起来如同发起和管理一项大科学工程，也充分考验了参与者彼此的协同和默契。在撰写白皮书的半年多时间里，参与指导和编写的近 50 位学界领军人物、学者专家情感计算白皮书和行业领袖能够在新冠肺炎疫情频发的不确定环境下，毅然打破地域限制，按时且高质量地完成白皮书的撰写任务，这令人感到兴奋和激动！白皮书从人类对自身情感研究的历史到通过信息技术的手段如何进行仿生实

12、现情感计算，再到已经实现的场景应用，对情感计算技术进行介绍，实为一部情感计算技术发展和应用的简明百科。这样的内容安排，充分寄托了项目组对情感计算技术在科研和商业应用两个方面的期许。我们始终坚信，一项好的技术既离不开前沿科学的启蒙，也脱不开与社会经济发展的实质联系。白皮书的发布并不意味着项目组工作的结束，而是揭开了中国在情感计算技术方面技术研究和应用转化的序幕。我们衷心地期盼更多对情感计算技术有热情的个人和团队加入我们的大家庭，在新一代人工智能技术赋能社会安定、国家昌盛、人类发展等方面作出更多的贡献。全国政协委员德勤中国主席2022 年 11 月目录引言 1第一章理论概述 31.1人类社会的情感

13、 31.1.1情感对人类的意义 31.1.2情感理论建模 51.2情感计算的沿革、定义和内容 81.2.1情感计算的发展历程 81.2.2情感计算的定义 91.2.3情感计算的研究内容 91.3情感计算的意义 12第二章技术综述152.1单模态情感计算 162.1.1文本情感计算 162.1.2语音情感计算 172.1.3视觉情感计算 182.1.4生理信号情感计算 202.2多模态情感计算 212.2.1研究背景和发展现状 222.2.2多模态数据集 222.2.3多模态融合策略 222.2.4问题与挑战 23第三章成果情况253.1情感计算领域研究趋势 263.1.1整体趋势 26情感计算

14、白皮书3.1.2主要研究阵地（国家/地区分析）273.1.3主要发文期刊 293.1.4领域分布 293.2高水平国际会议 313.2.1ACM 多媒体国际会议 323.2.2AAAI 人工智能会议 323.2.3国际计算语言学年会 333.2.4IEEE 计算机视觉和模式识别会议 333.3高水平期刊 343.3.1 IEEE 情感计算汇刊 343.3.2 专家系统与应用 353.3.3 知识系统 353.3.4 信息处理与管理 363.4重要研究成果 363.4.1ESI 高被引论文和热点论文 363.4.2重要会议获奖论文 423.4.3重要期刊获奖论文 433.5代表性专利和标准 45

15、3.5.1代表性专利 453.5.2代表性标准 47第四章科研情况494.1学者分布及代表性科学家 494.1.1全球学者地图 494.1.2中国学者分布 504.1.3全球典型学者 524.1.4高被引学者 524.2高水平学会 524.2.1情感计算促进协会 524.2.2中国人工智能学会情感智能专业委员会 534.3高水平学术机构 534.3.1重要研究机构 53目录4.3.2典型研究机构 544.3.3新兴研究机构 564.4生态系统分析 564.4.1学者合作网络 564.4.2引用网络分析 574.4.3关键词共现分析 57第五章应用情况615.1总体分析 615.2行业应用 65

16、5.2.1教育培训领域 665.2.2生命健康领域 665.2.3商业服务领域 675.2.4工业设计领域 685.2.5科技传媒领域 685.2.6社会治理领域 69第六章未来趋势716.1下一阶段技术走向预见 716.1.1高质量、大规模数据集的构建 716.1.2零/少样本学习或无监督学习方法 726.1.3多模态融合技术创新 726.1.4多模型推理 726.1.5认知神经科学启发的情感计算 726.1.6跨文化情感识别 736.1.7数据与知识驱动的技术革新 736.2下一阶段行业应用展望 736.2.1智慧服务领域 736.2.2虚拟现实领域 746.2.3社会安全领域 746.2

17、.4金融决策领域 756.2.5科艺融合领域 75情感计算白皮书主要参考文献76附录781.情感计算领域前 20 名全作者发文国家历年发文量 782.情感计算领域发文 Q1 期刊 803.情感计算领域发文量前 20 名的国家合作详情 904.情感计算领域主要代表产品及应用技术 92致谢941第一章理论概述引言情感计算（Affective Computing）是一个涉及计算机科学（含智能科学）、脑与心理科学（含心理学、神经科学）、社会科学（含社会学、经济学、管理学）、医学等的交叉学科领域，并逐步成为全球学术和工程热点。中国科学院科技战略咨询研究院发布的2021 年研究前沿热度指数报告显示，以“多

18、模态情感计算”为核心的相关研究热度指数位列前 10 名。根据英国工程技术学会（The Institution of Engineering and Technology，IET）提供的文献进行计量分析显示，情感计算领域的发文量呈现高速增长态势，中国和美国的学者成为该领域最具代表性的研究力量。自然（Nature）旗下刊物发表的综述论文表明，20162020 年来自中国的研究力量迅速崛起，论文总数已超过美国，越来越多的科研机构和高科技企业正投身于情感计算的研究和实践。为了响应中国乃至全球学术界和产业界对了解和掌握情感计算最新发展动向的需求，向科学研究人员和行业实践人员提供较为完整的技术发展蓝图和应

19、用趋势，以助推情感计算的发展与转化。由之江实验室人工智能研究院跨媒体智能研究中心发起，德勤科学加速中心、上海科学技术出版社、中国科学院文献情报中心和英国工程技术学会共同组成联合项目组，推动了情感计算白皮书（以下简称“白皮书”）的发布。由行业领袖和国内外知名学者组成的顾问委员会和专家委员会为白皮书的编制给予了专业性审查和指导。在人机共生的时代背景下，随着人类对情感内涵理解的不断深化，智能机器“双商（智商+情商）”理念的进一步普及，情感智能的迭代升级以及在数字经济驱动下的产业变革，多要素共同作用成为推动情感计算的学科发展、技术演化和行业进步的重要创新动力。在白皮书的编写过程中，项目组充分调研了情感

20、计算及其关联学科的技术发展和迁移进程，在学术界和产业界专家的共同努力下，白皮书最终形成“集大成”和“思全局”的框架，以期使研究者和实践者能够对情感计算的最新发展有一个全面的认识，并以更广阔、更长远的视角思考情感计算的未来走向。3第一章理论概述第一章理论概述情感计算是一个多学科交叉的研究领域，涉及计算机科学、脑与心理科学、社会科学等学科。计算机科学与机电科学侧重于提供各类信息技术手段和工程化能力，能够对情感的感知、识别、理解、反馈等实施数字化重构和计算实现，从而使机器能够拥有类人情感心智功能。脑与心理科学的心理及意识领域侧重于提供关于人类情感的基础定义、相关要素结构存在的意义等方面的理论，这为情

21、感理论建模构筑了基石；脑与心理科学的另一分支认知神经科学则侧重于研究人类大脑对情感加工的机理以及建立与情感相关的心理要素功能网络，这为开发情感计算模型提供了关键的启发和策略的指导。社会科学和医学为情感计算的应用提供了充分的“用武之地”，是该类技术应用场景设计的策源地。由此可见，情感计算是一个多学科共建的领域，也是一个由行业实际需求推动技术进步和迭代的领域。1.1人类社会的情感1.1.1情感对人类的意义情感被誉为人类社会生活的文法（Grammar of Social Living），是人与人进行信息交流、关系维系和思想沟通的重要载体，是推动人类文明生生不息、多元繁荣的重要力量。根据物种进化理论，

22、情感被认为是保障人类的基本生存能力、形成社会习性、支撑高级思维的心理要素。人类如果不具有情感，那么维持生存的将只有原始冲动和生存欲望，这样的物种几乎不可能发展出高度发达的社会文明。虽然情感在整个人类进化过程中发挥了重要作用，但是人们对情感功能的认知和重视经历了一个漫长的过程。时至今日，涉及情感的各种理论已具规模。关于这些理论的研究可以追溯到距今约 3 000 年的早期人类文明。这一历程可大致分为三个阶段，如图 1-1 所示。第一阶段的主要活动是尝试识别和厘清“情感”及其有关的概念。在早期东方文明体系下，古代中国的易经哲学和诸子百家哲学以及古代印度哲学都对情感作出了理解和阐述。例如，礼记礼运提出

23、了“七情”的概念以及“何谓人情？喜、怒、哀、惧、爱、恶、欲，七者弗学而能”的系统性论述。在早期西方文明体系下，古希腊医生希波克拉底（Hippocrates，约公元前 460公元前 377 年）在古代生理医学体系下提出人类“体液说”。他认为，体液是人体性质的物质基础，以不同体液为性质主导的人会更容易表现出某种或某几种特定的情感。这与同时期人类的四种气质学说4情感计算白皮书（胆汁质、多血质、黏液质、抑郁质）似乎有潜在的映射和联系。第二阶段的主要活动是以科学的视角对上述概念进行验证，并明确概念之间的机能关系。该阶段的两大情感研究阵营分别是现代生理医学和科学心理学。在现代生理医学体系下，著名生物学家查

24、尔斯达尔文（Charles Darwin）的著作人类和动物的表情（The Expression of Emotion in Man and Animals）被公认为与他的物种起源（On the Origin of Species）分量相当的“情感”研究巨作。达尔文在书中提出了人类所拥有的一般表情，如痛苦、哭泣、快乐、憎恨、愤怒等。在此基础上，他进一步阐述了基于这些表情的情感、思维过程以及相应的生理表现。这被认为是现代科学有关情感及其行为研究的开始。在科学心理学体系下，美国心理学家斯坦利沙赫特（Stanley Schachter）和 杰 尔 姆 辛 格（Jerome Singer）共同提出的激活

25、归因情绪理论（Attribution Theory of Emotion），被认为是实现人工智能情感功能的理论基础。该理论认为情感既来自生理反应的认知评价，也来自对导致这些反应的情境的认知评价。这一解释为情感智能的实现提供了策略和思路。第三阶段是心理学、生理学和信息技术的融合阶段。在德国心理学家威廉冯特（Wilhelm Wundt）创立科学心理学后的半个多世纪里，世界各地的心理学流派如雨后春笋般涌现。这些流派对情感都有着不同视角的认知和理论。同时，随着现代生理医学的发展，在神经科学视角下情感的脑机制研究得到长足进步。美国心理学家保罗埃克曼（Paul Ekman）提出了如今被视作普遍标准的人类七

26、大基本表情理论：快乐、悲伤、愤怒、厌恶、惊讶、蔑视和恐惧。由埃克曼领导开发的人类表情动作编码系统（FACS）被认为是机器视觉读懂人类表情的关键技术。1997 年，美国麻省理工学院媒体实验室（MIT Media Lab）罗莎琳德皮卡德（Rosalind Picard）提出情感计算的明确定义，这正式开启了实现情感智能的人工智能新时代。结合不同时期人们对情感性质和作用的认识，可以将情感对人类的意义归纳为以下五个方面。一是生存功能。人类为了适应环境作出有利于生存和发展的生理反应，如在危险环境中的紧张和应激、在受到侵扰和威胁时的愤怒和亢奋、在获得食物和生存必需品时的喜悦和兴奋。情感不断地强化人类适应和利

27、用环境的能力，并形成习得性的生理反应，对个体的注意、记忆、感知等进行调节，从而在进化中持续保障人类生存权和发展权。图 1-1早期情感理论发展的三个阶段第二阶段第一阶段第三阶段法国启蒙运动到科学心理学诞生的科学启蒙阶段（公元 1718世纪到 19 世纪末）科学心理学诞生之后的心理学、生理学和信息技术的融合阶段（公元19 世纪末及以后）欧洲文艺复兴及其之前的探索思辨阶段（大约 公 元 1718 世 纪及以前）5第一章理论概述二是沟通功能。诺贝尔经济学奖获得者、美国心理学家赫伯特西蒙（Herbert Simon）认为，情感的识别和表达对于信息的交流和理解是必需的。情感对人类意图的准确表达和理解至关重

28、要，同样的文字语言用不同的情感来表达，其内涵是完全不同的。因此，情感与语言密不可分。情感起到了关键的语义消歧作用，无论对信息的发出方还是信息的接收方都至关重要。这也是很多重要事项需要面对面交流的一个重要原因。在面对面场景下，相较于语音或文字沟通，表情、肢体动作等具有情感内涵的表达方式，有助于减少误解，增进交流和互信。三是决策功能。诺贝尔经济学奖获得者、美国心理学家丹尼尔卡尼曼（Daniel Kahneman）认为，大脑通过快（“系统一”）与慢（“系统二”）两种方式作出决策。常用的无意识的“系统一”主要依赖于情感、经验等迅速作出判断；有意识的“系统二”主要依赖于理性思辨。因此，情感广泛参与了人类

29、的高级思维和决策过程，并深刻影响了决策结果和决策效率。四是动机功能。情感能够激发和维持个体的行为，对个体的资源投入程度、行为持久程度以及对行为结果的评估都会产生显著的影响。五是维系功能。情感是在人类社会化过程中阶层、族群、家庭等的维系纽带，是低成本维系人类社会关系的核心，是潜在的社会交往契约，并与个体的行为准则、道德约束等息息相关。因此，情感的性质和功能既决定了情感与人类的生存和发展密不可分，也对人类社会的进步有着重要意义。1.1.2情感理论建模有关情感的理论非常丰富，并且随着时间的推移被不断地扩展和丰富。早期的情感理论多是基于生理层面阐述的。通过图 1-2 不难看出，情感是一个非常复杂且涉及

30、面很广的概念。中国古代就有对“七情”“情理法”等理论的论述，并把与情感和心智有关的概念统称为“情”。随着白话文的普及和西方现代科学体系的引入，人们从“情”的概念中逐渐分离出“情感”“情绪”“感情”等概念。本白皮书参考中国科学院心理研究所傅小兰关于中英文译法的说明，将“emotion”译为“情绪”，“affect”译为“情感”，“feeling”译为“感情”或“感受”。“emotion”一词来自拉丁文“e”（意为“向外”）和“movere”（意为“动”），从构词上来看，情绪含有移动、运动的意思，强调非常短暂但强烈的体验。反观感情和情感，英国心理学家迈克尔艾森 克（Michael Eysenck）

31、和 马 克 基 恩（Mark Keane）认为，情感具有广泛的意义，表示情绪、心境和偏好等不同的内心体验。中国心理学家孟昭兰和黄希庭认为，情感是情绪过程的主观体验，而感情是情绪、情感这一类心理现象的笼统称呼。综合上述观点，本白皮书认为，情绪是情感性反应的过程，感情是情感性反应的内容，而情感涵盖上述词义，是情绪和感情等的笼统称谓。参考情感计算领域的做法以及孟昭兰的定义，即“多成分组成、多维量结构、多水平整合，并为有机体生存适应和人际交往，而同认知交互作用的心理活动过程和心理动机力量”，本白皮书将上述学术词汇统称为“情感”（在后续章节中不再区分上述概念）并进行定义。情感是一种包括认知、生理、体验、

32、行为等多种要素的心理状态，是有机体应对和控制生存环境的进化产物。在情感计算领域，运用最多的理论模型是情感分类理论模型，主要包括离散情感模型和维度情感模型。离散情感模型将情感分为各个独立的标签，每一种情感之间没有关联性。美国心理学家卡罗尔伊扎德（Carroll Izard）使用因素分析法，建立了包括兴趣、惊讶、痛苦、厌恶、高兴、愤怒、恐惧、悲伤、害羞、轻蔑、忏悔在内的 11 种基本情感分类模型。埃克曼通过表情分析，得出了更6情感计算白皮书詹姆斯-兰格理论坎农-巴德理论评定-兴奋学说沙赫特-辛格理论为普遍接受的七种基本情感分类模型，即快乐、悲伤、愤怒、厌恶、惊讶、恐惧和蔑视。离散情感模型更符合人的

33、认知与在日常生活中的表达形式，主要反映的是人类的基本情感类型，区分较为清晰，具有天然的可解释性。维度情感模型则是运用情感空间将不同的情感通过多维向量进行表示。在情感的二维分类模型中具有代表性的是美国心理学家詹姆斯罗素（Jmaes Russel）提出的环形情感分类模型（见图 1-3），也因其横纵轴结构（横轴表示效价，左右分别表示消极和积极情感；纵轴表示唤醒度，上下分别表示唤醒程度高和低）被称为 VA（Valence-Arousal）情感模型。情感的三维分类模型的种类很多，主要也是通过轴和极点来界定情感的类型，所有情感分布在每个轴两极间的不同位置，比较常用的有两种：由愉悦度（Pleasure）、激

34、活度（Arousal）、优势度（Dominance）组成的情感三维模型；由愉悦度（Pleasure）、强度（Activation）、关注度（Attention）组成的情感三维模型。另一个著名的情感三维模型是美国心理学家罗伯特普拉奇克（Robert Plutchik）提出的基于情感进化理论的“情感轮”模型（见图 1-4），也被称为倒锥体情感三维模型；包括两极性（Polarity）、相似性（Similarity）、强度（Intensity）三个维度。不同于传统的情感维度模型，该模型是情感进化理论的一部分，系统阐释图 1-2早期情感理论情感是植物性神经系统活动的必然产物。在詹姆斯-兰格理论基础上进一

35、步提出，除了外周神经系统以外，更为关键的是中枢神经系统的丘脑，这是影响情感产生和变化的中心系统。大脑皮层的兴奋程度也是情感唤醒的重要通路，大脑皮层和皮下组织协同作用产生了情感。该学说将情感的产生过程进行了划分，分别是情境刺激、情感评估和情感产生，并首次将认知理论引入情感研究领域，这为沙赫特-辛格理论的提出进行了铺垫。个体情感除了生理性的唤醒以外，更为关键的是认知唤醒。情感是周边环境刺激与个体生理状况结合后，通过大脑皮层表现出来的结果。情感信息的感官收集和判断处理是一个认知过程，相关模型被称为情感唤醒模型。情感是人与环境交互产生的结果，人会不断地对周围环境进行初评、次评和再评，这三次评价反映了情

36、感的认知过程。认知-评价理论7第一章理论概述害怕愤怒唤醒不愉快愉快平静未唤醒轻松安逸满足开心兴高采烈兴奋激动惶恐紧张无力烦乱伤心憋闷厌烦疲乏厌恶悲痛幸福惊奇?图 1-4美国心理学家罗伯特普拉奇克提出的“情感轮”模型图 1-3美国心理学家詹姆斯罗素提出的环形情感分类模型8情感计算白皮书了八种基本情感，并提出了“其他情感（复合情感）是由基本情感组合而成”的重要论述。情感的四维分类模型由于过于抽象和复杂，并未被广泛接纳。目前，运用比较多的是情感二维分类模型和情感三维分类模型。在这些理论模型的基础上，研究者尝试对情感进行量化，转换成客观可表征的数据，以推动人机交互和情感体验研究的发展。1.2情感计算的

37、沿革、定义和内容1.2.1情感计算的发展历程自 1956 年人工智能的概念被提出后，关于情感计算的研究日益活跃（见图 1-5）。图 1-5国外情感计算发展历程1956年1990年1998年 1999年 2004年1960年1997年20042007年2010年美国达特茅斯学院（Dartmouth College）开会研讨了如何用机器模拟人的智能。会上，人工智能（Artificial Intelligence，AI）的概念被首次提出，人工智能学科由此诞生。此后，人们开始通过研究人的智能活动规律，开发类人的智能系统，以使计算机能够模拟人的智能行为。前期的研究基本集中在人的理性和逻辑活动规律在机器的

38、实现上。与此同时，心理学家对感性或情感的研究也在逐步深化美国心理学家彼得萨洛维（Peter Salovey）和约翰迈耶（John Mayer）发表的名为情感智能（Emotional Intelligence）的文章，描述了他们创建的情感智能框架。该文章认为，情感也是一种智能，强调情感的认知成分和处理能力美国人工智能促进协会（AAAI）分别召开了针对人工情感和认知的专业学术会议。同一时期，日本的“感性工学”逐步发展，即从工程学的角度实现对人的感性需求的满足，把情感信息的研究从心理科学角度过渡到心理科学、机电科学、信息科学等相关学科的交叉融合领域。在欧洲，许多大学成立了情感与智能关系的研究小组IE

39、EE情感计算汇刊（IEEE Transactions on Affective Computing）创刊。它是情感计算领域的第一本期刊，是由全球最大的非营利性专业技术学会电气与电子工程师协会（IEEE）创办的美国社会心理学家丹尼尔卡茨（Daniel Katz）发表了关于态度功能的理论，揭示态度具有适应功能、自我防御功能、认知功能、价值表达功能等四种基本功能皮卡德出版了情感计算（Affective Computing）著作，对情感计算进行了系统的阐述。至此，这门交叉性学科开始得到广泛关注欧盟设立了一个名为HUMAINE的人机交互情感项目，旨在为能够记录、建模和影响个体情感的导向系统奠定基础。欧盟

40、27所大学联合参与了该项目9第一章理论概述中国对情感计算的研究始于 20 世纪 90 年代。20 年来，中国情感计算研究蓬勃发展，从最初的独立研究向国际化、联盟化和体系化发展（见图 1-6）。1.2.2情感计算的定义“人工智能之父”马文明斯基（Marvin Minsky）曾被问及关于机器情感的问题，他认为这一问题的核心不在于智能机器能否有情感，而在于没有情感的机器能否实现智能。虽然他最先提出了让计算机具有情感能力的想法，但是学术界公认的第一个正式提出情感计算完整定义的是皮卡德。她所著的情感计算将情感计算定义为针对人的外在表现，能够进行测量和分析，并能对情感施加影响的计算。此外，也有一些学者提出

41、了不同的见解。与皮卡德采用认知主义框架不同，瑞典计算机科学家克里斯蒂娜霍克（Kristina Hk）以及美国计算机科学家菲比森格斯（Phoebe Sengers）和保罗多罗希（Paul Dourish）等学者从现象学出发，认为情感计算的情感是在人与人、人与机器之间的交互过程中构建起来的。日本工程院院士任福继（Fuji Ren）认为，情感计算旨在通过开发能够识别、表达、处理人情感的系统和设备来减少计算机与人之间的交流障碍。中国科学院自动化研究所胡包刚及其团队认为，情感计算的目的是通过赋予计算机识别、理解、表达、适应人情感的能力来建立和谐的人机环境，并使计算机具有更高、更全面的智能。之江实验室人工

42、智能研究院跨媒体智能研究中心李太豪认为，情感计算是赋予机器以感知、识别、理解情感并具有拟人化情感表达的能力。1.2.3情感计算的研究内容情感计算的研究内容主要包括五个方面（见图 1-7）。情感基础理论模型主要包括离散情感模型和维度情感模型两种类型（见图 1-8）。两种类型各有优劣，具体采用哪种模型，取决于实际应用任务和场景需求。在信号数据采集方面，语言文字作为人类最重要的沟通工具，在各种沟通载体上形成了海量的数据资源，为文本挖掘提供了基础。因此，语言文字信号获取的成本最低。但是，数据质量参差不齐，容易产生语法错误、文字乱码等问题，从而对情感图 1-6中国情感计算发展历程2005年2003年20

43、21年20世纪90年代中国学者开始投身于情感计算的研究。中国的情感计算虽然起步较晚，但是发展势头强劲第一届“中国情感计算及智能交互学术会议”在北京举办中国中文信息学会情感计算专委会（筹）在北京成立首届“情感计算和智能交互国际学术会议”在北京召开。此外，多所大学在2000年前后逐步建立起相关的研究单元。其中，具有代表性的有之江实验室人工智能研究院跨媒体智能研究中心、清华大学人机交互与媒体集成研究所、中国科学院自动化研究所和哈尔滨工业大学社会计算与信息检索研究中心等10情感计算白皮书图 1-7情感计算的研究内容情感基础理论情感信号的采集情感分析多模态融合情感的生成与表达12453情感计算的研究内容

44、目前主要依托心理学领域的离散情感模型和维度情感模型对情感进行界定，并由基本情感向复合情感延伸主要涉及文本、语音、视觉（如表情、手势等）、生理信号等多个方面，并建立相应的数据集基于多模态情感特征和融合算法，以提升情感分类准确率让机器人通过面部表情、语音语调、肢体动作等表现出情感状态运用机器学习和深度学习算法对情感信号进行建模与识别图 1-8情感基础理论模型维度情感模型离散情感模型能更好地与词汇和概念进行语义上的接轨，具有易于理解、可解释性强和界定清晰的优势，但其细粒度不高，对情感的量化描述能力有限是一个连续空间的回归问题，其优势在于具有很强的定量性、抽象性和归纳性，且情感数值向量具有连续性，但其

45、不具备直观的可解释性，使得机器难以形成丰富的情感交互应对策略11第一章理论概述识别产生不利的影响。由于摄像头、麦克风等传感器成本较低且无须与用户直接接触，采集语音、面部表情等情感信号较为便利。这些领域的数据量十分庞大，相关的研究论文数量也很多，且不少数据直接来自实际场景。生理数据相较于文本、语音、表情等信号数据，其优势在于能够更加直接、客观、真实地反映个体的情感状态，较少受到个体主观意识的影响。因此，生理数据也成为情感计算领域的研究热点之一。目前，在情感计算领域，运用较多的生理数据包括脑电、皮肤电、呼吸、皮肤温度、心电、肌电、血容量脉冲、眼电等。由于需要佩戴较为复杂且成本较高的生理数据传感器，

46、生理数据的获取较难在实际应用中进行推广。目前，实验室或研究所能够使用的生理数据规模普遍较小。针对文本数据、语音数据、视觉数据、生理数据，研究人员开发了相应的数据分析算法和工具（见图 1-9）。文本数据分析语音数据分析视觉数据分析生理数据分析 文本数据分析。传统的文本情感分析通过构建特定领域的情感词典，再根据情感词和文本的映射关系进行情感分析。但是，情感词典的特定属性限制了文本情感分析在多领域应用的能力。近年来，随着深度学习的发展，以基于 Transformer模 型 的 双 向 编 码 器 表 示（Bidirectional Encoder Representation from Transf

47、ormers，BERT）语言模型和生成式预训练（Generative Pre-Training，GPT）语言模型为代表的预训练语言模型在多种情感分析任务中获得成功，这引起了学术界和产业界极大关注。语音数据分析。语音情感识别借助语言学和声学的相关技术，除了分析语法、语义之外，还会识别与情感状态有关的声学特征信息，如语速、语音、语调。当前，提取情感语音特征应用较为广泛的是 VGGish 模型和 wav2vec 模型。视觉数据分析。在表情、肢体动作、场景环境等视频和图片情感识别中，对面部表情的识别占据研究的主体。埃克曼等人提出的面部动作编码系统（Facial Action Coding System

48、，FACS）是一个经典的基本表情识别模型，该模型虽然简单但应用广泛。基于深度神经网络的深度情感特征，利用人脸情感识别数据集训练的神经网络模型，如VGGNet 深度卷积神经网络，取得了不错的效果。生理数据分析。与上述文本、语音、表情信号相比，生理信号的识别难度更大。同时，生理信号具有独特的属性。例如，在对脑电数据进行计算时，需要开展较为繁杂的预处理流程，包括电极位置定位、带通滤波、转换参考、分析段截取、伪迹去除、坏电极插补等，随后要采取特征提取、特征降维等步骤，最后运用机器学习分类器对情感进行识别。自 2018 年以来，运用深度学习方法开展脑电数据情感计算的论文呈现较大幅度的增长态势，包括卷积神

49、经网络（Convolutional Neural Network，CNN）、深度信念网络（Deep Belief Networks，DBN）、循环神经网络（Recurrent Neural 图 1-9数据分析算法和工具12情感计算白皮书Network，RNN）、栈式自动编码器（Stacked Auto Encoders，SAE）等在内的方法得到普遍运用。早期的情感计算一般都是单模态的，即在文本、语音、表情、肢体动作、生理信号等模态中对其中一种进行数据分析和情感识别。然而，人在表达情感的时候往往是通过多种方式进行联合表达的，因此使用单模态进行情感识别所获取的情感信息具有局限性。人的情感丰富、细腻

50、，表达形式多种多样，这就需要融合多个信息源，综合处理，协调优化，以求尽可能精准地识别人类情感。多模态融合算法利用来自不同模态的信息整合成一个稳定的多模态表征，可以有效地解决这一问题。根据融合阶段的不同，常见的多模态融合方法可以分为基于特征级的早期融合、基于模型级的混合融合、基于决策级的后期融合。根据情感的分析识别结果，机器通过面部表情、情感回复生成、肢体动作等方式向用户传递带有情感温度的表达和回应。例如，利用特定的声音风格、综合具有情感标签的文本内容合成语音，让机器表达出特定的情感。这个过程将需要合成的文字内容和特定风格的声音输入神经网络，然后让神经网络合成特定风格的语音。如果需要通过肢体动作

51、表达情感，则需要先分析动作的基本单元，然后再根据情感与单元组合的映射关系合成相应的交互动作，让机器执行。1.3情感计算的意义（1）情感计算是实现自然化、拟人化、人格化人机交互的基础性技术和重要前提首先，情感计算让人机交互拥有“深度”。计算机虽然已经拥有强大的计算能力，但是因缺乏与人相似的情感能力而始终无法与人进行深层次的、自然的人机交互。皮卡德曾表示，当初就是因为在研究人工智能时好像各方面受限于忽视了情感或者无法充分理解情感的机制。这促使她提出情感计算的概念并展开研究。情感的识别和表达对信息的交流和理解是必需的，使机器具备情感智能从而有助于交互信息的深度感知和理解。其次，情感计算让人机交互拥有

52、“温度”。人与机器的交互不再冰冷和程式化，而是更加贴心和共情，以突出人本理念、人性理解、人文关怀。再次，情感计算让人机交互拥有“态度”。机器拥有了人格化特征、个性甚至是自我意识，可以带来全新的人机共生生态。（2）情感计算为人工智能决策提供了优化路径1718 世 纪，法 国 哲 学 家 勒 内 笛 卡 尔（Ren Descartes）提出的身心二元论在西方世界占据思想的主流。笛卡尔拒绝承认情感在理性决策中的作用，认为受情感支配会丧失自主权。然而，如今众多研究已经表明情感在决策、理解、学习等理性思考中扮演着重要且正面的角色并影响最终的结果。认知神经科学家通过对情感障碍病理学、神经生理学、神经影像学

53、等的研究，为情感影响认知这个理论提供了坚实的科学依据。大量的研究表明，人在解决某些问题的时候，纯理性的决策往往并非最优解。在作出决策时，情感的加入反而有可能帮助人们找到更优解。因此，情感变量的输入或将帮助机器作出更加人性化的决策。（3）情感计算在多领域具有巨大应用价值，对开启智能化、数字化时代具有重大价值目前，情感计算在教育培训、医疗健康、商业服务等领域的应用，极大地提高了人的生活质量和幸福感。在教育培训领域，情感计算的切入点主要在于识别学习者的情感状态，然后给予相应的反馈和调节。例如，教师能够通过情感教学智能系统进一步了解学生的课堂参与度，以便及时调整教学节奏和内容，改进教学计划。智能系统能

54、够通过情感分析挖掘学生感兴趣的主题，从而推荐定制化的学习内容。学生也能通过智能系统进行真实的教学反馈，13第一章理论概述以提高教学评价的综合性与准确性。智能系统的优势在于既能在传统课堂中使用，也能嵌入网络软件被应用于线上课堂。特别是在新冠肺炎疫情的影响下，线上教育培训的应用场景更广、频率也更高。但是，远程教育缺乏面对面互动的情感化课堂氛围，因此使用情感计算的线上课堂值得被应用和推广。除了课堂教育之外，情感计算还有利于教育游戏和教育机器人的研究和发展。融入情感元素的游戏和机器人能够带来更好的人机交互体验，从而更有效地达到教育培训目的。在医疗健康领域，尤其是在心理疾病的治疗上，情感计算能够科学和客

55、观地对患者的情感进行识别和判断，这是对行为观察、量表填写等主观性较强的传统诊断手段的有益补充。客观的数据有利于个性化、精准化医疗水平的提升，根据收集到的数据，可以为患者量身打造最合适的治疗方案。在商业服务领域，情感计算的应用更加广泛。一方面，消费者的体验与情感高度关联，情感计算可以帮助企业了解消费者的内心世界以及驱动消费行为的诱因。由此挖掘产生的信息能够协助企业制定具有前瞻性的商业策略。另一方面，融入情感计算的产品能够给消费者提供更贴心的服务。此外，情感计算还能用于安保防范和舆情监控，能够在减轻人力成本的同时提升监控质量，保障社会和谐、稳定、安全。总体而言，虽然情感计算的研究和应用时间不长，但

56、是可以预见其潜力巨大。近代科学大部分是在认识和改造外部世界的过程中发展开来的，但目前人们对内心世界的认识还处于比较粗浅的阶段。情感计算是在人工智能框架下的一大进步，体现了一种更高层次的智能，有助于引领人类走向和谐人机共生社会。15第二章技术综述?随着计算机科学的不断发展，以及社会对个性化人机交互需求的不断增强，情感计算在人机交互中的重要性日益凸显，基于情感理解与表达的人机交互研究也受到了各领域的广泛关注。情感计算对人的感知、推理、决策、规划、创造、社会互动等许多活动起着不可或缺的作用。基于情感计算的研究在行为分析科学中具有重要意义。情感计算大致可分为单模态情感计算和多模态情感计算，本章将按照图

57、 2-1 所示，对情感计算展开介绍。第二章技术综述图 2-1情感计算研究框架16情感计算白皮书2.1单模态情感计算单模态情感计算主要包含文本、语音、视觉、生理信号等四种模态，下面将分别介绍其技术情况。2.1.1文本情感计算文本就是人与人之间的交流因时空等限制而借助的媒介，也是记录信息的一种载体。文本记录了人的思维意识活动，其中一些文本一定带有情感倾向，那么对这部分信息的挖掘、研究和应用就是文本情感计算的主要内容。（1）研究背景和发展现状由于机器无法直接理解语言文字这种非结构化的数据，自然语言处理（Natural Language Processing，NLP）应运而生。NLP 有两个核心任务：

58、一是自然语言理解（Natural Language Understanding，NLU）通过语法分析、句法分析与语义分析对句子、段落、语篇等长文本进行理解；二是自然语言生成（Natural Language Generating，NLG）将非语言格式的数据转换成人可以理解的语言格式。NLP建立了人类与计算机沟通的桥梁。由于数据的庞杂，人工分析成本高且耗时耗力，运用大数据技术和人工智能技术对文本的情感进行分析可以极大地提高效率和准确率。因此，文本情感计算应运而生且成为 NLP 的一大研究热点。目前，文本情感计算属于计算机语言学的研究范畴，主要研究情感状态与文本信息的对应关系。文本情感的计算主要由

59、文本情感特征标注、文本情感特征提取算法和文本情感分类技术组成。计算机无法识别文本，需要先将文本转为向量再进行分析。目前，常见的文本生成向量的方法有 CNN、RNN、长短期记忆网络（Long Short-Term Memory，LSTM）等。（2）数据集NLP 数据集主要按语言种类进行生产。中文文本分类领域的相关数据集有根据新浪新闻 RSS 订阅频道 20052011 年的历史数据筛选过滤生成的THUCNews 数据集、根据新浪微博生成的 weibo_senti_100k 和 simplifyweibo_4_moods、今日头条新闻文本分类数据集、搜狗实验室开发的全网新闻数据（SogouCA）和

60、搜狐新闻数据（SogouCS）、腾讯云消息队列 CKafka 上线的数据中心接入的服务模块 DataHub 等。英文文本分类领域的相关数据集有亚马逊评论数据集（Amazon Reviews Dataset）、安然电子邮件数据集（Enron Email Dataset）、包含 5万余条电影评论的影评数据集（IMDB Dataset）、大型英文词汇数据库 WordNet 等。（3）主要方法文本情感分析的首要研究问题是情感分类，当前主流的情感分类方法大致有五种：通过构建带有情感倾向的情感词典再基于情感词典进行比较分析的方法、基于机器学习的方法、基于“情感词典+机器学习”的方法、基于弱标注的方法、基于

61、深度学习的方法。基于传统机器学习的情感分析方法主要有三类：监督学习、半监督学习和无监督学习。监督学习本质上是分类，通过已有的训练样本去训练以获得一个最优模型，再将全部的输入映射为相应的输出，对输出进行简单的判断从而实现分类目的的方法。常见的监督学习方法有 K 最近邻（K-Nearest Neighbor，KNN）、朴素贝叶斯（Naive Bayes）、支持向量机（Support Vector Machine，SVM）等。无监督学习没有任何训练样本，需要直接对数据进行建模。常用的无监督学习方法有 K 均值聚类算法（k-means clustering algorithm，K-means）、主成分

62、分析法（Principal Component Analysis，PCA）等。半监督学习的方法是监督学习与无监督学习相结合的一种学习方法。上述方法虽然简单易懂也具有较高的稳定性，但是存在精度不高和依赖人工操作的缺陷。基于深度学习的分析方法弥补了这种缺陷。一方面，神经网络的引入使模型的预测精度得到提高；另一方17第二章技术综述面，不需要额外构建字典，从而降低了工作复杂度，减少了对人工操作的依赖。例如，LSTM 能够对前后文进行连贯性建模、BERT 能够将全文作为训练样本抽取特征。当人在阅读一段文本时，都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义，也就是说，思想具有持久性。于是，

63、循环神经网络最先被应用到 NLP 中，保证了信息的持久化和前后信息的连贯性，其中比较经典的 RNN是 LSTM、门 控 循 环 单 元（Gate Recurrent Unit，GRU）。随着神经网络在 NLP 中的应用逐渐深入，研究者发现组合神经网络与单一的神经网络相比往往有性能上的提升。例如，在 LSTM 的神经层后面接上捕捉局部特征的 CNN，能够进一步提高精确度。但是，循环神经网络也不是完美的，尤其是RNN 的机制会存在长程梯度消失的问题，对于较长的句子也很难寄希望于将输入的序列转化为定长的向量而保存所有的有效信息。为了解决由长序列到定长向量转化而造成的信息损失的问题，注意力机制（Att

64、ention Mechanism）被引入。2018 年，谷歌公司推出的预训练语言理解模型 BERT，通过大量无标注的语言文本进行语言模型的训练，从而得到一套模型参数，利用这套参数对模型进行初始化，再根据具体任务在现有语言模型的基础上进行精调来提高模型精度。（4）问题和挑战由于语言的复杂性，目前文本提取仍面临诸多挑战，如文本隐含内容的提取、非标准化文本的出现、不同语言的文本情感分析等。鉴于文本情感分析应用范围的复杂性，模型的适用范围往往较为单一，很难在多个应用场景下均保持良好的表现。此外，有限的数据集也限制了文本情感分析在多元化场景中的应用。虽然文本能独立地表示一定的情感，但是人的交流总是通过信

65、息的综合表现来进行的。因此，多模态的情感分析更符合人对情感的感知，更符合人表达情感的模式。研究的结论也表明，相比单一的文本情感分析，多模式的情感分析效果更好。根据模态组合的常见方式，由文本情感分析衍生出两大类多模态分析，即文本音频分析和视频文本分析。这也是目前研究者普遍关注的领域。2.1.2语音情感计算（1）研究背景和发展现状传统的语音处理系统仅仅着眼于语音词汇传达的准确性，随着语音识别技术的迅速发展，如何识别语音中的情感已成为语音识别领域新兴的研究方向。如今，“物”与“人”的交互变得更加频繁和重要，人与人之间最自然的交互语音交互，成为物联网中较为理想的人机交互方案。语音情感是指语音信号蕴含的

66、说话者的情感，主要表现在两个部分：一个是语音所包含的语言情感内容，另一个是声音本身所具有的情感特征，如音调的高低变化等。与语音情感相关的计算称为语音情感计算。语音情感计算的研究内容包括语音情感识别和语音情感合成。（2）数据集语音情感数据集是语音情感计算的重要组成部分。目前，数据集的主要分类方式有两种：按照情感语音的生成方式、情感的描述模型进行分类。根据语音的生成方式分类，语音情感数据集可被分为三类，分别是表演型、引导型、自然型；根据情感的描述模型分类，数据集可被分为两类，分别是离散语音情感数据集、维度语音情感数据集。常用的代表性语音数据集如图 2-2 所示。（3）主要方法语音情感识别系统对给定

67、语音的潜在情感进行分类的方法包括传统方法、基于深度学习的方法。传统的分类器有两类：一类是基于统计的分类器，另一类是基于判别的分类器。基于统计的分类器主要包括隐马尔可夫模型（Hidden Markov Model，HMM）、高斯混合模型（Gaussian Mixture 18情感计算白皮书Model，GMM）和 KNN。基于判别的分类器主要包括人工神经网络（Artificial Neural Network，ANN）、决策树（Decision Tree）和 SVM。深度学习算法由于多层次的结构和高效的结果而被广泛应用于语音情感识别领域，主要包括深度玻尔兹曼机（Deep Boltzmann Mac

68、hines，DBM）、递归神经网络、CNN、LSTM，以及引入注意力机制的 LSTM。（4）问题和挑战语音情感计算虽然具有广阔的应用前景，但是尚未达到成熟阶段。目前，语音情感计算尚待解决的问题包括缺少被广泛认可的数据集、标注困难、语音的声学特征与情感映射关系不清等。2.1.3视觉情感计算（1）研究背景和发展现状在社交媒体时代，随着具有拍照功能的移动终端的普及，各类图片和视频如潮水般涌入网络，这为情感计算研究者提供了海量数据，人们尝试用合适的模型来识别图片和视频所承载的情感信息。目前，视觉情感计算的研究热点主要包括基于面部表情的情感识别研究和基于肢体动作的情感识别研究。基于面部表情的情感识别研究

69、主要通过传统计算机视觉以及深度学习来理解面部特征和情感；基于肢体动作的情感识别主要通过人体肢体动作来获取人的情感信息。肢体动作与面部相比具有更大的自由度，这使得它能够通过更丰富的方式来表达更复杂的情绪甚至意图，也有助于使机器具有理解更丰富、更细微情感的能力，进而挖掘个体内心更深层次的情感和意图。（2）数据集视觉情感数据集可以分为图片情感数据集（见图 2-3）和视频情感数据集（见图 2-4）。美国南加利福尼亚大学语音分析和解析实验室（SAIL）的IEMOCAP（The Interactive Emotional Dyadic Motion Capture Database）数据集常用的代表性语音

70、数据集中国科学院自动化研究所的CASIA（Chinese Emo-tional Speech Corpus）数据集和FAU-Aibo（FAU Aibo Emotion Corpus）自然型数据库德国柏林工业大学通信科学研究所的EmoDB（Berlin Emotional Database）数据集德国卡尔斯鲁厄理工学院通信工程实验室收集的无偿数据集-VAM（Vera Am Mittag Database）数据集英国贝尔法斯特女王大学（Queens University Belfast）基于英国帝国理工学院（Imperial College London）iBUG小组开发的Semaine数据集图

71、2-2常用的代表性语音数据集19第二章技术综述（3）主要方法视觉情感计算主要研究从视觉信息感知和理解人的情绪，可以通过传统机器学习方法与基于深度学习的方法对视觉情感计算进行研究。传统机器学习方法主要有方向梯度直方图、支持向量机、K 最近邻、随机森林等。但是，当面对爆炸式增长的视觉内容数据量时，传统机器学习方法难以快速、准确地处理多媒体内容数据的伸缩性、泛化性问题。近年来，深度学习在许多领域均取得不错的成绩，尤其是在图片分类、图片识别、图片检索等计算机视觉领域。视觉情感计算的深度学习方法与传统方法相比，具有更高的鲁棒性与准确性，因此被广泛应用于基于视觉的情感计算与分析领域。图片情感计算方法以卷积

72、神经网络方法为代表，主要通过深度学习从大量图像数据中自动学习有助于情感分类的有效特征或强特征，以进一步提升图片情感计算或分类能力。视频情感计算方法以循环神经网络为主，该深度学习方法擅长处理视频等序列输入，被广泛应用于计算机视觉任务。图 2-3图片情感数据集ImageNet目前世界上最大的图片识别数据集WIDERFADCE 人脸检测基准数据集ArtPhoto在IAPS基础上的扩展GAPED包含负面图片、正面图片和中性图片WFLW 具有丰富的属性标签，如遮挡、姿势、明暗、表情等APS由佛罗里达大学的情绪和注意力国家心理健康中心开发，旨在为研究情绪和注意力提供一套标准化的图片，主要被广泛应用于心理学

73、研究Image-Emotion-Social-Net 囊括三种类型的情绪标签1 434080个，包括两种情绪大类及八种情绪小类FlickrLDL TwittweLDL包含八种情绪标记的3万张照片RAF-DB包含约3万张面部图片，除了表情标注以外，对每张人脸还有几个特征点标注，包括人脸边界框、种族、年龄和性别等典型的图片情感数据集如遮挡、姿势、明暗、如遮挡、姿势、明暗、表情等典型的图片情感数据集表情等Emotion6包含埃克曼提出的六种基本情绪及一个中性情绪分类20情感计算白皮书（4）问题和挑战视觉情感计算在实际应用中面临不少难题。一是语义鸿沟。语义鸿沟是由于计算机获取图片的视觉信息与用户对图片

74、理解语义信息的不一致而导致的偏差。二是情感表述的准确性问题和标注困难问题。2.1.4生理信号情感计算（1）研究背景和发展现状随着高精确度、小型、便携和低成本传感器的普及，基于生理信号的情感计算快速发展。广义而言，所有身体变化都可以视作生理信号。情感计算研究最常用的生理特征是脑电、心率和心率异变以及皮肤电流反应。（2）常用生理信号 脑电信号脑电信号与其他生理信号相比，具有直接客观、难以伪装、容易量化、特征多元的特点，并且与情感具有直接相关性，能够表现出更高的情感识别精度，因此成为基于生理信号的情感识别中应用最广泛的信号之一。在脑电信号预处理中最重要的过程是去除伪迹和噪声，剥离与情感相关的脑电活动

75、，从而提取多种特征：如事件相关电位（ERP）、信号统计量、不稳定指数、高阶交叉特征、分形维数等时域特征；如功率谱密度、微分熵等频域特征；如事件相关去同步（ERS）、事件相关同步（ERD）、时频微分熵等时频域特征；非线性动力学特征；空域特征。最后，将多种特征带入分类器进行分类。卷积神经网络、深度信念网络、深度残差网络等深度学习的方法也被用于基于脑电信号的情感分类。眼动信号眼动信号主要通过眼动追踪技术获取，记录人的眼球运动在时间和空间上的数据。这些数据主要包括注视时间、注视位置、瞳孔大小、眼电图信号LIRIS-ACCEDE包含9 800个视频片段（每个时长为8 12秒）沿着效价轴排序，从最负面的视

76、频到最积极的视频，被广泛用于情感评分HUMAINE由3个自然数据集和6个诱导反应数据集组成主流的视频情感数据集MMI包括61个表现不同基本情绪的成年人和25个对情绪视频作出反应的成年人的数据，目前被广泛应用于情感分类MAHNOB-HCI是一个记录情感刺激反应的多模式数据集，旨在进行情感识别和内隐标记研究。该数据集同步记录了包括面部视频、眼睛凝视数据和周围/中枢神经系统生理信号图 2-4视频情感数据集21第二章技术综述等，其中眼电图信号是在眼动信号中应用比较广泛的信号。眼电图信号一般通过 Hjorth 参数、离散小波变换等多种方式提取特征，并将特征带入分类器中进行分类。深度学习算法也逐步被应用于

77、特征提取、特征融合、情感分类等多个情感识别过程，以提升情感计算的效果。肌电信号肌电信号主要通过电极检测肌肉收缩时产生的表面电压，从而获取肌电图数据。肌电信号数据 集 主 要 包 括 DEAP、DECAF、HR-EEG4EMO、BioVid Emo DB 等。肌电信号的特征一般包含时域和时频域两个方面。时域主要提取肌电信号的均值、标准差、最大值、最小值等统计学的特征。时频域主要是通过小波变换对肌电信号进行分解，提取各层小波系数的均值、标准差等。肌电信号的预处理包括滤波、降噪等，通过基于时域、频域以及二者相结合等进行特征提取，利用小波变换、独立成分分析（ICA）算法等进行特征选择与降维，从而将特征

78、带入基于传统方法的分类器或深度学习算法中进行分类。皮肤电信号皮肤电信号是一种常用的情感计算指标，依赖于人体的汗腺分泌，电导率随着汗液离子填充汗腺而变化。皮肤电导可以在身体的任何地方测量，最常见的电极放置位置是在手的中指和食指末梢部位。皮肤电导水平（Skin Conductance Level，SCL）和皮肤电导反应（Skin Conductance Response，SCR）是两个重要的情感计算特征。皮肤电信号数据集主要包括 CASE、DEAP、HR-EEG4EMO、BioVid Emo DB 等。皮肤电信号的预处理包括降噪、归一化等，通过提取统计特征或算法优化的方式进行特征提取，最后将特征放

79、入合适的分类器中进行情感计算。心电信号心电信号（ECG）是人体心脏搏动时心肌细胞产生的动作电位综合而成的。心电信号能够反映心脏的活动，情绪的变化也会直接导致心脏活动的变化，因此心电信号也能运用于情感识别领域。心电特征主要包括 PQRST（心电图的 5 个波形）、心率、心率变异性（如 SDNN、SDANN、rMSSD、pNN50 等），公开的心电信号情感数据集较少，常用的是德国奥格斯堡大学情感生理数据集和 HR-EEG4EMO 数据集。呼吸信号呼吸是人体重要的一个生理过程，随着情感的起伏波动，呼吸系统的活动在速度和深度上会有所改变。因此，通过对呼吸信号的研究，可以用于判断个体情感状态的变化。常用

80、的呼吸信号特征包括呼吸频率、平均呼吸水平、连续呼吸之间的最长和最短时间、深呼吸和浅呼吸、相邻呼吸波峰的间期、呼气幅度的一阶差分、二阶差分等。常用的数据集是 DEAP 数据库、HR-EEG4EMO 数据集和MIT 情感生理数据集。（3）问题与挑战基于生理信号的情感识别技术虽然已经拥有诸多成功案例，但是存在许多未解决的科学问题。首先是信号的采集不便。测量生理信号是建立生理情感计算系统的第一步，而用于检测信号的传感器却极大地受限于场地、环境、可操作性等，也面临可穿戴性差和计算能力弱等困扰。其次是生理信号的通用性较低。例如，随着年龄的变化或某些疾病的产生，生理信号数据会产生差异，即使是同一个人，随着体

81、力活动、交谈或姿势的变换，生理信号也会不同。这并不与情感的变化直接相关。再者是情感标注不精确、数据难以窗口化、采样繁琐、数据的处理与计算难度大，以及非情感和情感对生理影响存在多对一映射、用户隐私泄露等问题。2.2多模态情感计算虽然人脸表情、肢体动作、语音等均能独立22情感计算白皮书地进行情感理解和表达，但是人的相互交流总是通过不同模态信息的综合表现来进行的。多模态情感分析可以将不同模态之间的信息进行互补并用于消歧，使情感分析更准确，具有更高的鲁棒性，也更贴合人类的自然表达。这让多模态情感计算成为当下人工智能领域最热门的话题之一。2.2.1研究背景和发展现状单模态的信息量不足且容易受到外界各种因

82、素的影响，如面部表情容易被遮挡、语音容易受噪声干扰等。此外，当个体主观上对情感信号加以掩饰或者单一通道的情感信号受到其他信号影响时，情感分析性能就会明显下降。人的情感通常以多种模态的方式呈现，大脑在整合多感官信息时存在多阶段融合的现象。多模态情感分析能够有效利用不同模态信息的协同互补来增强情感理解与表达能力。引入多模态情感计算是提高模型鲁棒性等性能以及优越性的关键。目前，对多模态情感计算的研究主要集中在对情感识别和理解的方法上。多模态情感计算的发展趋势集中体现在四个方面：融合语义信息多尺度对情感进行准确地理解，从多个维度进行多模态情感分析；提高在复杂环境下情感计算的鲁棒性，实现在非协作开放模式

83、下，面向高维碎片化开源数据，实现目标对象情感状态的精准识别；与预训练及多任务联合训练等方法结合，实现在更多场景下的多模态情感计算；探索通用的多模态情感计算模型，通过适配多场景应用，实现多模态情感计算应用零成本迁移。2.2.2多模态数据集针对多模态情感计算的迫切需求，美国卡内基梅隆大学提出了一个大规模的多模态对话情感计算数据集 CMU-MOSEI。CMU-MOSEI 包含了视频文本、用协同语音分析库技术（COVAREP）抽取的声学特征等。在标签方面，CMU-MOSEI 数据集不仅具有情感标签，而且对情感的强弱进行了标注，从而可以支撑细粒度的情感分析任务。目前，主流的生理信号类多模态情感计算资源主

84、要采用音频、视频刺激方法诱发情绪，同步采集多模态生理信号，进而分析不同情绪下中枢神经系统和自主神经系统的反应，以实现基于多模态生理信号的情感识别。典型计算资源包括 DEAP、DECAF、HR-EEG4EMO 等数据集，包含脑电、皮肤电、呼吸、皮肤温度、心电、肌电、血容量脉冲、眼电等信号。实验被试者根据自身感受从唤醒度、效价、偏好、支配度和熟悉度等维度进行评分。由于被试个体的性别、年龄等因素均会对情绪激发产生重要影响，考虑引入相关人口统计学信息并建模是非常必要的。2.2.3多模态融合策略目前，新兴研究方法大多基于多模态情感特征及融合算法创新，以提升情感分类的准确率。在情感计算中，每个模块所传达的

85、人类情感的信息量大小和维度不同。在人机交互中，不同的维度还存在缺失和不完善的问题，因此情感计算应尽可能从多个维度入手，将单一不完善的情感通道补上，最后通过多结果拟合来判断情感倾向。在模态融合方面，多模态情感计算可分为模型无关和模型依赖两种路线。模型无关包括特征级融合（前期融合）、决策级融合（后期融合）和混合式融合。特征级融合主要先通过构建特征集合或混合特征空间，再送入分类模型进行分类决策。决策级融合关键在于找出不同模态在决策阶段的可信程度，再进行协调、联合决策。混合式融合包含上述两种融合。模型依赖的方法为多模态融合设计了特殊结构，基于核函数的融合和基于图的融合常用于浅层模型，基于神经网络的融合

86、、基于张量的融合、基于注意力机制的融合等则多用于深层模型。模型级融合可以将不同模态特征分别输入不同模型结构再进一步提取特征。决策级融合与特征级融合23第二章技术综述相比，更容易进行，但关键是要探究各个模态对情绪识别的重要程度。然而，模型级融合并不需要重点去探究各模态的重要程度，而是根据模态特性需要建立合适的模型，联合学习关联信息。总之，模型级融合相较于决策级融合和特征级融合最大的特点在于灵活地选择融合的位置。近年来，有学者提出了多阶段多模态情感融合，即先训练一个单模态模型，将其隐含状态与另一个模型特征拼接得到双模态模型并进行再训练，以此类推，得到多模态模型。2.2.4问题与挑战解决多模态情感计

87、算问题需要更丰富的模态信息积累，以及不同模态之间的细粒度对齐，这无疑对多模态信息的提炼与整合提出了更高的要求。同时，受情感信息捕获技术的影响，以及标记困难的问题，建立高质量多模态数据集是当下的主要挑战之一。传统多模态学习范式对特征之间的关联关系信息和特征的高阶信息的关注不够，而深度多模态学习范式则缺乏大规模的情感数据资源，有关多模态特征融合的情感理解模型研究还有待深入，如融合语义信息进行多尺度情感准确理解、提高复杂环境下情感计算的鲁棒性、探索通用的多模态情感计算模型等。这些技术的完善将进一步推动多模态情感计算的研究与发展。25第三章成果情况第三章成果情况本章以科技文献为基础数据进行统计，若文中

88、无其他特殊说明，统计口径如表 3-1 所示，检索策略如表 3-2 所示。此外，白皮书还使用了以下数据库。Incite数据库。该数据库基于科睿唯安（Clarivate Analytics）Web of Science 核心合集七大索引数据库的数据全部文献类型的出版物数据进行出版物计数和指标计算，从而为科研人员提供绩效分析。基本科学指标（Essential Science Indicators，ESI）数据库。该数据库是一个基于 Web of Science数据库的深度分析型研究工具。ESI 可以确定在某个研究领域有影响力的国家、机构、出版物、论文以及研究前沿。期 刊 引 证 报 告（Journa

89、l Citation Records，JCR）数据库。该数据库是一个多学科期刊评价工具。期刊引证报告提供基于引文数据统计信息的期刊评价资源。通过对参考文献的标引和统计，期刊引证报告可以在期刊层面衡量某项研究的影响力，显示引用和被引期刊之间的相互关系。表 3-1统计口径论文数据来源Web of Science 核心合集数据库专利数据来源Derwent Innovations Index 数据库数据收集时间2022 年 7 月 21 日论文文献类型Proceedings Paper、Article、Review Article、Early Aceess引文统计方式被引频次统计时间截至 2022 年

90、 7月 21 日，不在此时间范围内的论文及其被引频次均不在引文统计的计算范围内数据清理规范机构名称采用机器与人工方式协同进行清理规范，但在科学家发表论文时由于机构名称撰写不规范，可能会造成论文统计的遗漏以及指标计算结果的偏差中国论文定义中国（含港澳台地区）作者统计方式在进行作者统计时会说明作者统计方式，主要包括第一作者统计和全作者统计 Web of Science 核心合集是世界领先的引文数据库，包括 Science Citation Index Expanded、Social Sciences Citation Index、Arts&Humanities Citation Index、Eme

91、rging Sources Citation Index、Conference Proceedings Citation Index-Science（CPCI-S）、Conference Proceedings Citation Index-Social Sciences&Humanities（CPCI-SSH）等共计 10 个索引数据库。Derwent Innovations Index（DII）由汤森路透知识产权与科技集团出版，包括 Derwent World Patent Index（DWPI）与 Derwent Patents Citation Index（DPCI）。26情感计算白皮

92、书表 3-2检索策略索引字段策略主题关键词（TS）affective recognitionORmood recognitionORaffective computingORartificial emotional intelligenceORemotion AIORexpression recognitionORemotion recognitionORemotion learningORsentiment analysisORsentiment recognize学科分类（WC）Computer Science Artificial Intelligence OR Engineering

93、Electrical Electronic OR Computer Science Theory Methods OR Computer Science Information Systems OR Computer Science Interdisciplinary Applications OR Telecommunications OR Neurosciences OR Computer Science Software Engineering OR Psychiatry OR Computer Science Cybernetics OR Psychology Multidiscipl

94、inary OR Automation Control Systems OR Computer Science Hardware Architecture OR Engineering Multidisciplinary OR Robotics OR Engineering Biomedical OR Acoustics3.1情感计算领域研究趋势自 1997 年皮卡德正式提出情感计算概念至今，情感计算已历经 26 年的发展，该领域科研人员产出并积累了大量的科研论文。以 Web of Science 核心合集数据库为数据基础，对该领域的论文进行检索，结果显示，至今全球发文量共计 27 434 篇

95、。其中，会议论文 13 836 篇，会议论文和期刊论文各占总发文量的 50%左右。图 3-1情感计算领域发文趋势（2022 年不完全统计）3.1.1整体趋势如表 3-3 和图 3-1 所示，19972009 年，情感计算领域的全球发文量平稳上升，虽然偶有波动，但是整体呈现增长趋势。20102019 年，深度学习的崛起推动了情感计算领域的高速发展，发文量迅速上升，情感计算研究进入爆发式增长阶段。2019 年，发文量达到 3 208 篇。2019 年以后，由于深度学习方法创新进入平台期，情感计算研究也随之进入平台期，研究热度和上升趋势有所放373132

96、671 1081 3811 9402 1332 4013 0773 2082 95532191 59605001 0001 5002 0002 5003 0003 5001997 1999 2001 2003 2005 2007 2009 2011 2013 2015 2017 2019 2021发文量/篇年份27第三章成果情况缓。2022 年，因统计时间窗口未覆盖全年，数据不完整，故出现大幅下跌。3.1.2主要研究阵地（国家/地区分析）以论文全部作者和第一作者所属国家/地区字表 3-3情感计算领域整体发文趋势出版年发文量/篇占总发文量的百分比/%1997130.0519

97、98200.071999170.062000450.162001360.132002530.192003730.2720041320.4820051250.4620062220.8120073481.2720084511.6420095471.9920104741.7320116642.4220127672.80201311084.04201413815.03201519407.07201621337.78201724018.752018307711.222019320811.692020295510.772021321911.73202215965.82表 3-4情感计算领域全球发文量前 2

98、0 名的国家（单位：篇）序号全部作者发文国家发文量第一作者发文国家发文量1中国6 905中国6 4482美国4 085印度2 9383印度3 075美国2 8644英国2 136英国1 2445德国1 482德国1 1046日本1 145意大利8737意大利1 111日本8568澳大利亚1 062韩国7999西班牙996西班牙74210加拿大933澳大利亚70811韩国925加拿大62212法国852法国53713荷兰684土耳其53214土耳其634荷兰42315沙特阿拉伯565马来西亚39116新加坡515巴西38917马来西亚481巴基斯坦36818巴基斯坦460希腊36519巴西457

99、新加坡32320希腊425伊朗319段进行计量统计，分析情感计算领域的主要研究阵地。如表 3-4 所示，在情感计算领域全球发文量前 20 名的国家中，中国是全部作者和第一作者发文量最多的国家，占总发文量的 24%和 23%。中国、美国、印度、英国和德国位居全部作者和第一作者发文量前 5 名，是情感计算领域最重要的研究阵地。其中，美国在全部作者发文量上排名第二，但在第一作者发文量上排名第三，位居印度之后。情感计算领域前 20 名的全作者发文国家的历年发文量见附录 1。28情感计算白皮书除了 20212022 年以 2 年为步长外，以 4 年为步长对情感计算领域发文量前 10 名国家的发文量进行统

100、计，结果如表 3-5 所示。如图 3-2 所示，在整个发文期内，中美两国的发文量对比有较大改变。19972004 年，美国的发文量远超中国，其中 19972000 年中国发表 3-5发文量前 10 名国家的发文量统计（单位：篇，以 4 年为步长）序号国家发文量19972000 20012004 20052008 20092012 20132016 20172020 202120221中国6292984921 3742 9831 5862美国31942484561 0491 6205443印度 4566664英国65663095德国7211101984

101、005381886日本28299707意大利51868澳大利亚2321949西班牙0418510加拿大362135图 3-2情感计算领域发文量前 5 名的国家与美国发文量比年份文总量为美国的 20%，20012004 年中国发文总量上升为美国的 31%。从 2005 年开始，中国发文量反超美国，20212022 年中国发文量约为美国的 3 倍。由此可见，近年来中国在情感计算领域的研究积累较快，研究数量相比美国有一定的优势。此外，近两年印度的发文量首超美29第三章成果情况国，可见印度逐渐

102、成为情感计算领域的主要研究阵地。3.1.3主要发文期刊本部分以期刊论文为基础数据进行分析，如表 3-6 所示，13 598 篇期刊论文分布在 1 204 本期刊上，其中发文最多的是 IEEE ACCESS，发文量为 650 篇。该刊在 2021 年期刊引证报告电信 学（Telecommunications）、电 气 与 电 子 工 程（Engineering，Electrical&Electronic）、信息系统（Computer Science，Information Systems）等 3 个 领域内的 Q2 期刊，影响因子（Impact Factor，IF）为3.476。1 204 本

103、期 刊 中 有 834 本 在 2021 年 期 刊 引证报告中具有影响因子。834 本期刊的影响因子分布如表 3-7 所示，其中影响因子大于 10 的期刊共计 26 种，影响因子最高的 5 本期刊分别是 美 国 精 神 病 学 杂 志 （American Journal of Psychiatry）（19.242）、IEEE 控制论交易（IEEE Transactions on Cybernetics）（19.118）、信息融合（Information Fusion）（17.564）、大脑（Brain）（15.255）、美国计算机协会计算概观（ACM Computing Surveys）（1

104、4.324）。如图 3-3 所示，绝大多数地球科学领域期刊的影响因子都分布在 2 IF 4 和 4 IF 7 这两个区间内。3.1.4领域分布本部分通过对情感计算领域论文的 Web of Science 类别进行统计以分析研究领域分布。Web of Science 在期刊级别分配类别（Categories）中共分为 254 个类别，Web of Science 核心合集（Web of Science Core Collection）涵盖的每种期刊都分配表 3-6 期刊论文发文量前 20 名的期刊（单位：篇）序号出版物名称发文量1IEEE Access6502Multimedia Tools a

105、nd Applications3303Frontiers in Psychology2854IEEE Transactions on Affective Computing2855Sensors2606Expert Systems with Applications2317Neurocomputing2238Applied Sciences-Basel1999International Journal of Advanced Computer Science and Applications19810Psychiatry Research18511Knowledge-Based Systems

106、17412Schizophrenia Research13313Neuropsychologia12914Journal of Intelligent&Fuzzy Systems11715Neural Computing&Applications10716Information Processing&Management10417Cognitive Computation9218Electronics9119IEEE Transactions on Multimedia8520Information Sciences84表 3-7期刊影响因子分布（单位：种）期刊影响因子期刊数量IF 10267

107、 IF 10704 IF 72092 IF 43221 IF 2153IF 154 http:/ Web of Science 类别。一种期刊最多可以分配 6 个类别。期刊的所有文章都将被分配到发表该期刊的 Web of Science 类别。在为期刊选择Web of Science 类别时，需要考虑的标准包括期刊的主题和范围、作者与编委会的隶属关系、提供赠款资助的供资机构、引用参考文献等。情感计算领域的所有文章共涉及 158 个 Web of Science 类别，覆盖计算机、通信、工程、心理学、医学等学科，其中发文量最多的前 20 个类别如表 3-8 所示。占比最多的类别为计算机科学与人工

108、智能，发文量为 10 470 篇，占总发文量的36.31%，其次为电气与电子工程，发文量为 8 514篇，占总发文量的 29.52%。表 3-8发文最多的前 20 个类别序号Web of Science 类别发文量/篇占总发文量的比重/%中文名英文名1计算机科学与人工智能Computer Science，Artificial Intelligence10 47036.312电气与电子工程Engineering，Electrical&Electronic8 51429.523计算机科学理论与方法Computer Science，Theory&Methods7 45425.854计算机科学与信息系

109、统Computer Science，Information Systems7 25725.165计算机科学与跨学科应用Computer Science，Interdisciplinary Applications3 13310.866电信学Telecommunications2 6719.267计算机科学与软件工程Computer Science，Software Engineering2 4248.418神经科学Neurosciences2 2887.93图 3-3期刊影响因子图示IF 107 IF 104 IF 72 IF 41 IF 2IF 107 IF 104 IF 72 IF 41

110、IF 2IF 1IF 131第三章成果情况3.2高水平国际会议本部分结合了中国计算机学会推荐国际学术会议和期刊目录 核心计算机科学会议排名（CORE Computer Science Conference Rankings）及专家意见形成情感计算领域高水平国际会议列表。需要特别指出的是，该部分只根据目前已有的目录和排名进行整理和归纳，并不能作为学术评价的依据。此外，会议的影响力并不直接与发表在会议上的单一论文的影响力正相关。表 3-9 列出了情感计算领域发文量较多且影响力较大的会议。序号Web of Science 类别发文量/篇占总发文量的比重/%中文名英文名9精神病学Psychiatry2

111、 2197.6910计算机科学与控制论Computer Science，Cybernetics1 5875.5011成像科学和摄影技术Imaging Science&Photographic Technology9183.1812自动化控制系统Automation&Control Systems8713.0213计算机科学与硬件架构Computer Science Hardware&Architecture8713.0214交叉心理学Psychology，Multidisciplinary8272.8715交叉工程学Engineering，Multidisciplinary7722.6816机

112、器人学Robotics7042.4417临床神经病学Clinical Neurology6612.2918心理学Psychology6232.1619生物医学工程Engineering，Biomedical5942.0620声学Acoustics5541.92（续表）表 3-9情感计算领域高水平国际会议序号会议名称CCF RANKCORE RANK中文名英文名简称1ACM 多媒体国际会议ACM International Conference on MultimediaACM MMAA+2AAAI 人工智能会议AAAI Conference on Artificial Intelligence

113、AAAIAA+3国际计算语言学年会Annual Meeting of the Association for Computational LinguisticsACLAA+4IEEE 计算机视觉和模式识别大会IEEE Conference on Computer Vision and Pattern RecognitionCVPRAA32情感计算白皮书3.2.1ACM 多媒体国际会议ACM 多 媒 体 国 际 会 议（ACM International Conference on Multimedia，ACM MM）是在中国计算机学会推荐国际学术会议和期刊目录中“计算机图形学与多媒体”的 A

114、类会议。ACM MM从 1993 年创办以来每年举办 1 次，会议通过口头、视频和海报演示、辅导、座谈会、展览、研讨会、博士研讨会、多媒体挑战赛等多种方式塑造研究领域的新想法。ACM MM 会议专注于推进多媒体的研究和应用，包括但不限于图像、文本、音频、语音、音乐、传感器、社交数据。会议涉及的研究主题包括四个大类主题，12 个细分主题（见图 3-4）。其中，“情感与社会信号”领域的研究内容包括通过分析用户情感从而开发更具有吸引力的多媒体交互。3.2.2AAAI 人工智能会议AAAI 人工智能会议（AAAI Conference on Artificial Intelligence）是由国际人工

115、智能协会（Association for the Advancement of Artificial Intelligence）主办的人工智能领域顶级会议之一，也是中国计算机学会推荐国际学术会议和期刊目录人工智能领域的 A 类会议和核心计算机科学会议排名的 A+会议。20182022 年，AAAI 人工智能会议在情感计算领域发文共计 95 篇。AAAI 人工智能会议也设置了情感计算领域的研讨会（Workshop），如 2018 年的“情感内容分析（Affective Content Analysis）”研讨会。该研讨会重点对文本和语言进行情感计算，构建情感计算过程中的标准化的基线、数据集和评估

116、指标。中国计算机学会推荐国际学术会议和期刊目录分为 A、B、C 类。中国计算机学会（CCF）在制定目录时规定，会议论文是指“Full paper”或“Regular paper”，即正式发表的长文，会上以其他形式发表的论文，如 Short paper、Demo paper、Technical Brief、Summary 以及作为伴随会议的研讨会（Workshop）等，不计入目录。序号会议名称CCF RANKCORE RANK中文名英文名简称5IEEE 计算机视觉国际会议IEEE International Conference on Computer VisionICCVAA+6情感计算和智能

117、交互国际会议International Conference on Affective Computing and Intelligent InteractionACII7IEEE 自动人脸和手势识别国际会议和研讨会IEEE International Conference and Workshops on Automatic Face and Gesture RecognitionFGCB8IEEE 国际声学语音和SP 会议IEEE International Conference on Acoustics，Speech and SPICASSPBB注：“CCF RANK”“CORE RAN

118、K”分别为中国计算机学会推荐国际学术会议和期刊目录分类、核心计算机科学会议排名等级。（续表）33第三章成果情况3.2.3国际计算语言学年会国际计算语言学年会（Annual Meeting of the Association for Computational Linguistics）是自然语言处理领域最高级别的会议，由国际计算语言学协会（The Association for Computational Linguistics）举办。国际计算语言学协会是主要的国际科学和专业协会，致力于研究涉及人的语言计算问题。该协会成立于 1962 年，最初名为机器翻译和计算语言 学 协 会（Associa

119、tion for Machine Translation and Computational Linguistics，AMTCL），1968 年 改 名为国际计算语言学协会。国际计算语言学协会的活动除了每年夏天举行国际计算语言学年会之外，还赞助美国麻省理工学院出版社出版计算语言学（Computational Linguistics）期刊，该刊是该领域的主要出版物。国际计算语言学年会为中国计算机学会推荐国际学术会议和期刊目录人工智能领域的 A 类会议和核心计算机科学会议排名的A+会议。该会议的研究主题为各种语言的计算模型，为特定的语言学或心理语言学现象提供计算解释。3.2.4IEEE 计算机视觉

120、和模式识别会议IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（IEEE Conference on Computer Vision and Pattern Recognition，IEEE CVPR）是首屈一指的计算机视觉领域年度会议，由 IEEE 计算机学会（IEEE Computer Society）和计算机视觉基金会（Computer Vision Foundation）共同赞助。使用者可以通过计算机视觉基金会开放获取会议论文。IEEE CVPR 是中国计算机学会推荐国际学术会议和期刊目录人工智能领域的A 类会议和核心计算机科学会议排名的 A 类会议。图 3-4ACM 多媒体国

121、际会议涉及的研究主题通过多媒体吸引用户情感与社会信号多媒体搜索和推荐总结、分析和陈述体验交互和体验质量艺术与文化多媒体应用多媒体内容理解多模式集成和结盟视觉与语言基于边缘的资源高效多媒体计算多媒体系统系统和中间件运输与交付数据系统管理与索引主题1主题2主题3主题434情感计算白皮书3.3高水平期刊目前，高水平期刊没有明确的定义。本部分以中国科学院文献情报中心期刊分区表与期刊引证报告分区表相结合的方式标定高水平期刊，这两种分区表都是基于期刊影响因子进行分区计算的。特别需要指明的是，期刊影响因子是反应期刊影响力的常用指标，但并不代表期刊或者期刊文章的质量，只能在一定程度上反应期刊的影响力。（1）期

122、刊影响因子期刊影响因子是美国科技信息研究所所长尤金加菲尔德（Eugene Garfield）在 1972 年提出的一个评价期刊的重要指标。该指标是一个相对数量指标，主要用以调整和修正期刊总被引频次过大的问题。期刊影响因子是指某刊在某年被全部源刊物引证该刊前 2 年发表论文的次数，与该刊前 2 年所发表的全部源论文数之比，即：期刊影响因子=某刊前 2 年发表论文在该年的被引用次数/该刊前 2 年发表论文总数（2）期刊引证报告期刊引证报告包括 SCI 收录的 12 000 余种期刊之间的引用和被引用的数据，并对这些数据进行了统计、运算，针对每种期刊定义了期刊影响因子等指数。截至报告撰写日，期刊引证

123、报告2021是最新公布的期刊引文报告。期刊引证报告将期刊划分为 21 个大类（Groups）、254 个小类（Categories），一种期刊可以归属多个小类。（3）中国科学院期刊引证报告期刊分区中国科学院期刊引证报告期刊分区是中国科学院文献情报中心的研究成果，中国科学院期刊引证报告期刊分区表基础版对科睿唯安每年发布的期刊引证报告的 SCI 期刊在学科内依据 3 年平均影响因子划分分区。为了使历年的期刊分区相对稳定，减少影响因子上下波动带来的影响，中国科学院分区表采用 3 年平均 IF。计算公式如下：3 年平均 IF=（当年 IF+去年 IF+前年 IF）/3中国科学院期刊引证报告期刊分区包括

124、大、小类两种学科分类体系：小类学科体系是基于科睿唯安发布的期刊引证报告的学科；大类学科体系是由地学、地学天文、环境科学、农林科学、工程技术、物理、化学、生物、数学、医学、社会科学、管理科学、综合性期刊等共 13 个大类学科所构成的分类体系。在情感计算领域期刊论文涉及的 1 204 本期刊中，有247本期刊为期刊引证报告Q1分区期刊（见附录 2）。以发文数量、计算机相关大领域为遴选标准进行遴选，标定情感计算领域高水平学术期刊（前 10 名），如表 3-10 所示。3.3.1 IEEE 情感计算汇刊IEEE 情感计算汇刊（IEEE Transactions on Affective Computi

125、ng）是 IEEE 旗下一本跨学科期刊，旨在传播关于可以识别、解释和模拟人的情感与相关情感现象的系统设计的研究结果。该刊涵盖但不限于以下主题：传感与分析，从面部和身体手势识别情感状态的算法和特征；分析文本和口语以进行情感识别；分析情感言语的韵律和语音质量；从功能性磁共振成像（FMRI）、EEG等中枢与皮肤电（GSR）等外周生理测量中识别情感状态；情感状态的多模态识别方法；识别群体情感；心理问题的数据收集方法（如情绪诱导和引发）或技术方法（如动作捕捉）；用于提供情感语料库的注释工具和方法等。该刊在中国科学院分区表中属于工程技术大类，在小类计算机（人工智能、计算机）、控制 IEEE.https:/

126、ieeexplore.ieee.org/xpl/aboutJournal.jsp?punumber=516536935第三章成果情况论分区为 Q2 区，在 JCR 中小类计算机（人工智能、计算机）、控制论分区为 Q1 区。2021 年，该刊的影响因子为 13.990，无自引期刊影响因子为13.634，为非开源（OA）期刊。该刊为季刊，2021年发文量为 84 篇。3.3.2 专家系统与应用专家系统与应用（Expert Systems with Applications）主要发表关于专家和智能系统的设计、开发、测试、实施、管理的论文。该刊在中国科学院分区表中属于工程技术大类，在小类计算机（人工智

127、能、电子与电气工程、运筹学与管理科学）分区为 Q2 区，在 JCR 中属于小类计算机（人工智能、电子与电气工程、运筹学与管理科学）分区为Q1 区。2021 年，该刊的影响因子为 8.665，无自引期刊影响因子为 7.494，为开源期刊。该刊为周刊，2021 年发文量为 1 863 篇。3.3.3 知识系统知识系统（Knowledge-Based Systems）是荷兰出版的人工智能领域的国际性跨学科英文期刊，专注于基于知识和其他人工智能技术系统的研究。该刊目前的主要主题包括但不限于认知互动和脑机接口、智能决策支持系统、预测系统和预警系统、数据科学理论、方法和技术等。该刊在中国科学院分区表中属于

128、工程技术大类，在小类计算机（人工表 3-10情感计算领域高水平期刊序号期刊名称Web of Science 类别IF1IEEE Transactions on Affective ComputingComputer Science，Cybernetics/Computer Science，Artificial Intelligence13.9902Expert Systems with ApplicationsComputer Science，Artificial Intelligence/Engineering，Electrical&Electronic/Operations Researc

129、h&Management Science8.6653Knowledge-Based SystemsComputer Science，Artificial Intelligence8.1394Information Processing&ManagementComputer Science，Information Systems/Information Science&Library Science7.4665IEEE Transactions on MultimediaComputer Science，Software Engineering/Computer Science，Informat

130、ion Systems/Telecommunications8.1826Information SciencesComputer Science，Information Systems8.2337Pattern RecognitionComputer Science，Artificial Intelligence/Engineering，Electrical&Electronic8.5188Applied Soft ComputingComputer Science，Interdisciplinary Applications/Computer Science，Artificial Intel

131、ligence8.2639Decision Support SystemsOperations Research&Management Science/Computer Science，Information Systems/Computer Science，Artificial Intelligence6.96910Future Generation Computer Systems-The International Journal of EscienceComputer Science，Theory&Methods7.30736情感计算白皮书智能）分区为Q2区，在JCR中属于小类计算机（

132、人工智能）分区为 Q1 区。2021 年，该刊的影响因子为 8.139，无自引期刊影响因子为 7.194，为非开源期刊。该刊每年出版8期，2021年发文量为951篇。3.3.4 信息处理与管理信息处理与管理（Information Processing&Management）是英国出版的英文期刊，专注于计算和信息科学的前沿原创研究。该刊在中国科学院分区表中属于工程技术大类，在小类计算机（信息系统）分区为Q2区，在JCR中属于小类计算机（信息系统、信息科学与图书馆科学）分区为 Q1 区。2021 年期刊影响因子为 7.466，无自引期刊影响因子为 5.910，为非开源期刊。该刊为双月刊，2021

133、年发文量为 340 篇。3.4重要研究成果本部分根据数据来源，将重要研究成果分为三个部分：ESI 高被引与热点论文、领域重要会议获奖论文、领域重要期刊获奖论文。3.4.1ESI 高被引论文和热点论文ESI 是一种分析工具，旨在识别 Web of Science核心合集中表现最好的研究。ESI 对来自世界各地的 11 000 多种期刊进行分析，根据出版和引用表现对 22 个广泛领域的国家、机构、期刊、论文、作者进行排名。ESI 数据来源于 Web of Science核心合集中的科学引文索引扩展（SCIE）和社会科学引文索引（SSCI）。引文计数来自包括 Science Citation Ind

134、ex Expanded、Social Science Citation Index和 Arts&Humanities Citation Index 在内的索引期刊的引文。ESI数据每2个月更新1次，1年更新6次。本部分采用的 ESI 数据发布日期为 2022 年 7 月 14日，为 2022 年第 2 个双月刊。论文覆盖范围为 10年 4 个月，即 2012 年 1 月 1 日至 2022 年 4 月 30日。是否纳入 ESI 取决于是否满足某些引用阈值。只有被引用次数最多的国家、机构、论文、期刊、作者才会被纳入 ESI。表 3-11 显示了高被引论文（Highly Cited Papers）

135、和热点论文（Hot Papers）的阈值。高被引论文是指与同一领域同年发表的所有其他论文相比，被引用次数达到前 1%的论文；热点论文是指 2 年内发表的与同一领域同年发表的所有其他论文相比，被引用次数达到前 0.1%的论文，热门论文在发表后迅速获得引用。表 3-11ESI 高被引论文和热点论文的阈值实体百分位数/%数据年高被引论文110热点论文0.12情感计算领域的 ESI 高被引论文和热点论文如表 3-12 所示，本期 ESI 共有 153 篇高被引论文，其中 5 篇为热点论文。ESI 按照 22 个学科对期刊进行排名并确定表现最好的论文，每种期刊只被分配到一个领域。在期刊跨学科的情况下，根

136、据对引用参考文献的分析，在论文层面进行重新分类。37第三章成果情况表 3-12情感计算领域高被引论文和热点论文（被引频次排序前 50 名）序号作者标题被引次数出版年1Ganin,Y;Ustinova,E;Ajakan,H;Germain,P;Larochelle,H;Laviolette,F;Marchand,M;Lempitsky,VDomain-Adversarial Training of Neural Networks1 75220162Koelstra,S;Muhl,C;Soleymani,M;Lee,JS;Yazdani,A;Ebrahimi,T;Pun,T;Nijholt,A;P

137、atras,IDEAP:A Database for Emotion Analysis Using Physiological Signals1 58020123Mohammad,SM;Turney,PDCrowdsourcing A Word-Emotion Association Lexicon73720134Frick,PJ;Ray,JV;Thornton,LC;Kahn,RECan Callous-Unemotional Traits Enhance the Understanding,Diagnosis,and Treatment of Serious Conduct Problem

138、s in Children and Adolescents?A Comprehensive Review64020145Baltrusaitis,T;Ahuja,C;Morency,LPMultimodal Machine Learning:A Survey and Taxonomy60520196Soleymani,M;Lichtenauer,J;Pun,T;Pantic,MA Multimodal Database for Affect Recognition and Implicit Tagging59620127Zheng,WL;Lu,BLInvestigating Critical

139、Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks57320158Feldman,RTechniques and Applications for Sentiment Analysis57220139Ravi,K;Ravi,VA Survey on Opinion Mining and Sentiment Analysis:Tasks,Approaches and Applications571201510Cambria,E;Schuller,B;Xia,YQ;Hava

140、si,CNew Avenues in Opinion Mining and Sentiment Analysis551201311Thelwall,M;Buckley,K;Paltoglou,GSentiment Strength Detection for the Social Web540201212Gravina,R;Alinia,P;Ghasemzadeh,H;Fortino,GMulti-Sensor Fusion in Body Sensor Networks:State-of-the-art and research challenges467201713Poria,S;Camb

141、ria,E;Bajpai,R;Hussain,AA Review of Affective Computing:From Unimodal Analysis to Multimodal Fusion458201714Eyben,F;Scherer,KR;Schuller,BW;Sundberg,J;Andre,E;Busso,C;Devillers,LY;Epps,J;Laukka,P;Narayanan,SS;Truong,KPThe Geneva Minimalistic Acoustic Parameter Set(GeMAPS)for Voice Research and Affect

142、ive Computing448201615Poria,S;Cambria,E;Gelbukh,AAspect Extraction for Opinion Mining with A Deep Convolutional Neural Network444201638情感计算白皮书序号作者标题被引次数出版年16Zhang,L;Wang,S;Liu,BDeep Learning for Sentiment Analysis:A Survey439201817Jenke,R;Peer,A;Buss,MFeature Extraction and Selection for Emotion Rec

143、ognition from EEG397201418Kiritchenko,S;Zhu,XD;Mohammad,SMSentiment Analysis of Short Informal Text381201419Lopes,AT;deAguiar,E;DeSouza,AF;Oliveira-Santos,TFacial Expression Recognition with Convolutional Neural Networks:Coping with Few Data and the Training Sample Order362201720Barrett,LF;Adolphs,R

144、;Marsella,S;Martinez,AM;Pollak,SDEmotional Expressions Reconsidered:Challenges to Inferring Emotion from Human Facial Movements360201921Sariyanidi,E;Gunes,H;Cavallaro,AAutomatic Analysis of Facial Affect:A Survey of Registration,Representation,and Recognition356201522Rivera,AR;Castillo,JR;Chae,OLoca

145、l Directional Number Pattern for Face Analysis:Face and Expression Recognition340201323Moraes,R;Valiati,JF;Neto,WPGDocument-Level Sentiment Classification:An Empirical Comparison Between SVM and ANN328201324Chen,T;Xu,RF;He,YL;Wang,XImproving Sentiment Analysis Via Sentence Type Classification Using

146、Bilstm-CRF and CNN314201725Mollahosseini,A;Hasani,B;Mahoor,MHAffectnet:A Database for Facial Expression,Valence,and Arousal Computing in the Wild313201926Dawel,A;OKearney,R;McKone,E;Palermo,RNot Just Fear and Sadness:Meta-Analytic Evidence of Pervasive Emotion Recognition Deficits for Facial and Voc

147、al Expressions in Psychopathy308201227Craik,A;He,YT;Contreras-Vidal,JLDeep Learning for Electroencephalogram(EEG)Classification Tasks:A Review306201928Soleymani,M;Pantic,M;Pun,TMultimodal Emotion Recognition in Response to Videos302201229Bird,G;Cook,RMixed Emotions:The Contribution of Alexithymia to

148、 the Emotional Symptoms of Autism299201330Mostafa,MMMore Than Words:Social Networks Text Mining for Consumer Brand Sentiments297201331Hiser,J;Koenigs,MThe Multifaceted Role of the Ventromedial Prefrontal Cortex in Emotion,Decision Making,Social Cognition,and Psychopathology2952018（续表）39第三章成果情况序号作者标题

149、被引次数出版年32Kleinsmith,A;Bianchi-Berthouze,NAffective Body Expression Perception and Recognition:A Survey287201333Baek,H;Ahn,J;Choi,YHelpfulness of Online Consumer Reviews:Readers Objectives and Review Cues287201234Zeng,NY;Zhang,H;Song,BY;Liu,WB;Li,YR;Dobaie,AMFacial Expression Recognition Via Learning

150、 Deep Sparse Autoencoders286201835Schouten,K;Frasincar,FSurvey on Aspect-Level Sentiment Analysis277201636Bakermans-Kranenburg,MJ;van IJzendoorn,MHSniffing Around Oxytocin:Review and Meta-Analyses of Trials in Healthy and Clinical Groups with Implications for Pharmacotherapy277201337Cummins,N;Schere

151、r,S;Krajewski,J;Schnieder,S;Epps,J;Quatieri,TFA Review of Depression and Suicide Risk Assessment Using Speech Analysis271201538Happy,SL;Routray,AAutomatic Facial Expression Recognition Using Features of Salient Facial Patches267201539Nassirtoussi,AK;Aghabozorgi,S;Teh,YW;Ngo,DCLText Mining for Market

152、 Prediction:A Systematic Review264201440Lu,JW;Zhou,XZ;Tan,YP;Shang,YY;Zhou,JNeighborhood Repulsed Metric Learning for Kinship Verification261201441Corneanu,CA;Simon,MO;Cohn,JF;Guerrero,SESurvey on RGB,3D,Thermal,and Multimodal Approaches for Facial Expression Recognition:History,Trends,and Affect-Re

153、lated Applications260201642Nassif,AB;Shahin,I;Attili,I;Azzeh,M;Shaalan,KSpeech Recognition Using Deep Neural Networks:A Systematic Review259201943Pinkham,AE;Penn,DL;Green,MF;Buck,B;Healey,K;Harvey,PDThe Social Cognition Psychometric Evaluation Study:Results of the Expert Survey and RAND Panel2592014

154、44Kupferberg,A;Bicks,L;Hasler,GSocial Functioning in Major Depressive Disorder258201645Zhao,JF;Mao,X;Chen,LJSpeech Emotion Recognition Using Deep 1D&2D CNN LSTM Networks255201946Hassan,MM;Uddin,MZ;Mohamed,A;Almogren,AA Robust Human Activity Recognition System Using Smartphone Sensors and Deep Learni

155、ng251201847Jelodar,H;Wang,YL;Yuan,C;Feng,X;Jiang,XH;Li,YC;Zhao,LLatent Dirichlet Allocation(LDA)and Topic Modeling:Models,Applications,A Survey248201948Guha,T;Ward,RKLearning Sparse Representations for Human Action Recognition2472012（续表）40情感计算白皮书热 点 论 文 1 基于动态图卷积神经网络的脑 电 情 感 识 别（EEG Emotion Recognit

156、ion Using Dynamical Graph Convolutional Neural Networks）作者：东南大学教育部儿童发展与学习科学教育部重点实验室 Tengfei Song、Wenming Zheng 等。摘要：科研人员提出了一种基于新型动态图卷积神经网络（DGCNN）的多通道脑电情感识别方法。所提出的脑电情感识别方法的基本思想是使用图对多通道脑电特征进行建模，然后在此模型基础上进行脑电情感分类。与传统的图卷积神经网络（GCNN）方法不同，提出的 DGCNN 方法可以通过训练神经网络来动态学习不同 EEG 通道之间的内在关系，从而有利于更具判别性的 EEG 特征提取。然后，

157、利用学习到的邻接矩阵学习更具判别性的特征，以改进 EEG 情感识别。热 点 论 文 2 GCB-Net：图 卷 积 广 义 网 络及 其 在 情 感 识 别 中 的 应 用（GCB-Net：Graph Convolutional Broad Network and Its Application in Emotion Recognition）作者：华南理工大学计算机科学与工程学院Tong Zhang、Xuehan Wang 等。摘要：科研人员设计了一种图卷积宽带网络（GCB-Net），用于探索图结构数据的深层次信息。GCB-Net 使用图卷积层来提取图结构输入的特征，并堆叠多个规则卷积层来提取

158、相对抽象的特征。最后的串联使用了广义的概念，它保留了所有层次的输出，允许模型在广泛的空间中搜索特征。为了提高所提出的 GCB-Net 网络的性能，应用了广义学习系统（BLS）来增强其特性。热 点 论 文 3 基于生物信号的心理应激检测 研 究 进 展 综 述（Review on Psychological Stress Detection Using Biosignals）作者：希腊研究与技术基金会Hellas（FORTH）Giorgos Giannakakis 等。摘要：本文综述了通过生理信号测量的心理应激对人体的影响，还探讨了多模态生理信号分析和建模方法，以获得准确的应力相关性。本文旨在全

159、面综述应激条件下产生的生理信号模式，并为更有效地应激检测提供可靠的实用指南。热 点 论 文 4 ABCDM：一种基于注意力的双向 CNN-RNN 深 度 情 感 分 析 模 型（ABCDM：An Attention-based Bidirectional CNN-RNN Deep Model for Sentiment Analysis）作者：新加坡南洋理工大学 Mohammad Ehsan Basiri 等。摘要：本文提出了一种基于注意力机制的双向 CNN-RNN 深度模型（ABCDM）。通过利用两个独立的双向 LSTM 和 GRU 层，ABCDM 将通过考虑两个方向上的时间信息流来提取过去

160、和未来的上下文。此外，注意力机制被应用于 ABCDM 双向层的输出上，或多或少地强调不同的单词。为了降低特征的维度并提取位置不变的局部特征，ABCDM 利用卷积和池化机制。情感极性检测是情感分析中最常见和最基本的任务，对 ABCDM 的有效性进行了序号作者标题被引次数出版年49Vellante,M;Baron-Cohen,S;Melis,M;Marrone,M;Petretto,DR;Masala,C;Preti,AThe Reading the Mind in the Eyes Test:Systematic Review of Psychometric Properties and A V

161、alidation Study in Italy244201350Yu,Y;Duan,WJ;Cao,QThe Impact of Social and Conventional Media on Firm Equity Value:A Sentiment Analysis Approach2392013（续表）41第三章成果情况评估。在 5 个评论和 3 个推特（Twitter）数据集上进行了实验。将 ABCDM 与最近提出的用于情感分析的 6 种 DNN 进行比较，结果表明，ABCDM 在长评论和短推文极性分类方面都达到了最先进的结果。热 点 论 文 5 基于深度学习的文本分类：综述（Dee

162、p Learning-Based Text Classification：A Comprehensive Review）作者：美国 Snapchat 公司 Shervin Minaee 等。摘要：本文全面回顾了近年来开发的 150 多个基于深度学习的文本分类模型，并讨论了它们的技术贡献、相似性和优势。本文还总结了 40 多个广泛用于文本分类的流行数据集。最后，科研人员定量分析了不同深度学习模型在流行基准上的性能，并讨论了未来的研究方向。此外，被引频次大于 1 000 的非热点论文如下：论文 1 DEAP：使用生理信号进行情绪分析的数据库（DEAP：A Database for Emotion

163、Analysis Using Physiological Signals）作者：英国伦敦玛丽女王大学 Sander Koelstra等。摘要：本文提出了一个用于分析人类情感状态的多模态数据集。实验记录了 32 名参与者的 EEG和外周生理信号，每个参与者观看 40 段一分钟长的音乐视频片段。参与者根据唤醒度、价值、喜欢/不喜欢、支配度和熟悉度对每个视频进行了评分。32 名参与者中的 22 名，还被记录了正面视频。本文介绍了使用 EEG、外周生理信号和多媒体内容分析模式对唤醒、价值和喜欢/不喜欢等级进行单次试验分类的方法和结果。最后，对不同模态的分类结果进行决策融合。论文 2 情感识别方法综述：

164、听觉、视觉和自 发 表 达（A Survey of Affect Recognition Methods：Audio，Visual，and Spontaneous Expressions）作者：美国伊利诺伊大学 Zhihong Zeng 等。摘要：对人类情感行为的自动分析已经引起了心理学、计算机科学、语言学、神经科学和相关学科研究人员越来越多的关注。尽管刻意行为在视觉外观、音频轮廓和时间上与自发行为不同，但是现有的方法通常只处理故意显示和夸张的原型情绪表达。为了解决这个问题，最近出现了开发能够处理自然发生的人类情感行为算法的尝试。此外，据报道越来越多的人致力于人类情感分析的多模式融合，包括视听

165、融合、语言和副语言融合以及基于面部表情、头部运动和身体姿势的多用户视觉融合。本文介绍并综述了这些最新进展。首先，从心理学的角度讨论人类的情感感知。其次，本文研究解决机器理解人类情感行为问题的可用方法。最后，讨论重要问题，如训练和测试数据的收集和可用性等，最后概述了推进人类情感感知技术的一些科学和工程挑战。论文 3 基于词典的情感分析方法（Lexicon-Based Methods for Sentiment Analysis）作者：加拿大西蒙弗雷泽大学 Maite Taboada等。摘要：本文提出了一种基于词典的文本情感提取方法。语义方向计算器（SO-CAL）使用带有语义方向（极性和强度）注释

166、的单词字典，并包含强化和否定。SO-CAL 应用于极性分类任务，即为文本指定正或负标签的过程，该过程捕捉文本对其主要主题的看法。研究表明，SO-CAL 的性能在跨域和完全不可见的数据上是一致的。此外，本文还描述了字典创建的过程，以及使用 Mechanical Turk检查字典的一致性和可靠性。论文 4 基于局部二值模式的人脸表情识别：一项综合研究（Facial Expression Recognition Based on Local Binary Patterns：A Comprehensive Study）作者：荷兰飞利浦公司 Caifeng Shan 等。摘要：自动面部表情分析是一个有趣

167、且具有挑战性的主题，它影响着人机交互和数据驱动动画等许多领域的重要应用。从原始人脸图像中提取有效的面部特征是成功进行人脸表情识别的关键步骤。42情感计算白皮书在本文中，研究人员基于统计局部特征的局部二值模式（Local Binary Patterns，LBP），对独立于人的面部表情识别进行了实证评估。不同的机器学习方法在多个数据库上进行系统检查。大量实验表明，LBP 特征对人脸表情的识别是有效的。研究人员进一步构造了增强版 LBP 来提取最具鉴别性的 LBP特征，并通过使用具有增强版 LBP 特征的支持向量机分类器来获得最佳识别性能。此外，作者研究了用于低分辨率面部表情识别的 LBP 特征，这

168、是一个关键问题，但在现有工作中很少涉及。在实验中，作者观察到 LBP 特征可以在人脸图像的低分辨率可用范围内稳定地运行，并在真实环境中捕获的压缩低分辨率视频序列中产生有希望的性能。论文 5 人 机 交 互 中 的 情 感 识 别（Emotion Recognition in Human-Computer Interaction）作者：英国贝尔法斯特女王大学 Roddy Cowie等。摘要：人在交往中，有两种信息传递渠道：一种是明确信息，另一种是隐含信息。当前的语言研究及工程技术研究主要对第一种信息进行理解，第二种信息并未被很好地理解。了解对方的情感是与第二种隐含信息相关的关键任务之一。为实现情

169、感计算，必须开发信息处理和分析技术以巩固对情感的心理和语言分析。本研究的目标是开发一个能够利用面部和声音信息识别人类情感的混合系统。论文 6 情绪识别的普遍性和文化特异性：一种 Meta 分析方法（On the Universality and Cultural Specificity of Emotion Recognition：A Meta-Analysis）作者：美国哈佛大学Hillary Anger Elfenbein等。摘要：利用 Meta 分析方法检查了文化内部和跨文化的情感识别。相比于随机水平，情感得到更为普遍的认同。当情感同一民族、种族或地区群体的成员表达和识别时，准确性更高，

170、这表现出群体优势。从生活在同一国家、物理距离和电话交流等方面来衡量，对彼此接触较多的文化群体而言，这一优势较小。多数群体成员在评价少数群体成员方面不如群体之间的反向评价。在均衡研究设计中，跨文化的准确性较低，而在使用模仿而非摆拍或自发情感表达的研究中，跨文化的准确性较高。研究设计的属性似乎不会调节群体优势的大小。3.4.2重要会议获奖论文本部分对情感计算领域重要会议的获奖论文进行分析，以了解近年来通过会议形式发布的重要研究成果。（1）ACM 多媒体国际会议获奖论文（Best Demo 论文）时间：2016 年。标题：SentiCart：多语言视觉情感的制图和地理环境化（SentiCart：Ca

171、rtography and Geo-contextualization for Multilingual Visual Sentiment）。作者：美国哥伦比亚大学 Brendan Jou 等。摘要：研究人员开发了 SentiCart 可视化系统来绘制世界各地的多语言视觉情感。研究人员通过研究在不同的语言环境中视觉情感感受的差异以及语言多样性来研究文化多样性对视觉情感的影响。（2）国际计算语言学年会获奖论文（最佳论文奖）时间：2011 年。标题：具有结构特征的细粒度情绪分析（Fine-Grained Sentiment Analysis with Structural Features）。作者

172、：德国曼海姆大学 Ccilia Zirn 等。摘要：在（子）句子级别上运行的情感分析系统很难开发，因为较短的文本片段很少携带足够的信息来确定情感。因此，在本文中，研究人员提出了一个全自动框架，用于结合多个感知词典和邻域 https:/www.aclweb.org/aclwiki/Best_paper_awards43第三章成果情况以及话语关系，进行子句级细粒度的情感分析，以克服上述问题。研究人员使用马尔可夫模型将来自不同情感词汇图标的极性分数与有关相邻细分市场之间的关系信息进行整合，并评估产品评论的方法。实验表明，使用结构特征可以提高极性预测的准确性，实现高达 69%的准确率。3.4.3重要期

173、刊获奖论文2021 年，IEEE 情感计算汇刊编委会从2017 年 5 月至 2019 年 12 月期间发表在该刊上的122 篇论文中评选出 7 篇最佳论文。具体如下：论文 1 基于动态图卷积神经网络的脑电情绪 识 别（EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks）作者：东南大学 Tengfei Song、Wenming Zheng等。摘要：本文率先将图方法引入脑电电极间功能连接关系的表征上，提出了一种动态图卷积神经网络模型的脑电情感识别方法，并提出了通过网络动态学习来自适应获取脑电电极间

174、邻接关系（图邻接矩阵）的思想和方法，突破了在脑功能连接关系不确定的情况下构建图邻接矩阵的技术瓶颈。论文 2 用于预测未来情绪、压力和健康的个性化多任务学习（Personalized Multitask Learning for Predicting Tomorrows Mood，Stress，and Health）作者：麻省理工学院媒体实验室 Sara Taylor等。摘要：本研究采用多任务学习（MTL）技术来训练个性化的机器学习模型，这些模型根据每个人的需求进行定制。研究比较了 MTL 的三种公式：MTL 深度神经网络，它共享多个隐藏层，但每个任务都有唯一的最终层；多任务多核学习，通过对特征

175、类型的内核权重来跨任务提供信息；分层贝叶斯模型，其中任务共享一个共同的狄利克雷过程先验。实证结果表明，与传统的机器学习方法相比，使用 MTL 来考虑个体差异可以巨大地改进性能，并提供了个性化的、可操作的见解。论文 3发现脑电在情绪识别中随时间变化的稳定模式（Identifying Stable Patterns over Time for Emotion Recognition from EEG）作者：上海交通大学 Bao-Liang Lu 等。摘要：该论文利用机器学习方法研究了在情感脑机接口中情绪脑电模式随时间变化的稳定特性。对于基于脑电信号的情绪识别任务，是否存在稳定的脑电模式是一个研究空

176、白。为了解答此问题，该研究首先设计了跨时间的多次情绪诱发实验，之后在两个公开的脑电情感数据集 DEAP 和 SEED 上系统地评估了不同的脑电特征提取、特征平滑以及模式分类方法。最后，情绪识别的实验结果表明，脑电的稳定模式在不同实验中具有一致性。在 beta和 gamma 频段，两侧颞叶区对积极情绪的激活高于消极情绪。中性情绪的神经模式在顶叶和枕叶有更高的 alpha 反应。对于负面情绪，神经模式在顶叶和枕叶部位有明显更高的 delta 反应，在前额叶部位有更高的 gamma 反应。脑电神经模式在不同时间的实验中相对稳定。这一结论为使用脑电信号构建情感脑机接口提供了数据有效性的理论保证。论文

177、4 基于脑电信号的情感识别研究综述（Emotions Recognition Using EEG Signals：A Survey）作者：葡萄牙里斯本大学 Soraia M.Alarco 等。摘要：本文介绍了从 20092016 年进行的神经生理学研究的调查，全面概述了使用脑电图（EEG）信息进行情感识别的工作，并将分析重点放在识别过程中涉及的主要方面（如研究对象、提取的特征、分类器），同时比较每个方面的产出。本文提出了一系列较好的实践建议，研究人员必须遵循这些建议才能获得可重复、可复制、经过充分验证和高质量的结果。论文 5 面部动作的自动分析：一项综述研究（Automatic Analysi

178、s of Facial Actions：A Survey）作者：英国诺丁汉大学 Brais Martinez 等。摘要：近年来，面部动作编码系统（FACS）44情感计算白皮书作为描述面部表情最全面和最客观的方法之一，受到了广泛关注。在过去的 30 年里，心理学家和神经科学家广泛研究了利用 FACS 分析面部表情的各个方面。FACS 编码的自动化将加快和拓宽这项研究的应用速度和范围，也为理解人类如何通过面部表情进行交流开辟了新的途径。这样的自动化有助于提高编码的可靠性、精确性和时间分辨率。本文全面阐述了面部动作的机器分析研究，也系统地回顾了此类系统的面部动作的预处理、特征提取和机器编码等组成部分

179、。此外，研究人员还对现有 FACS 编码的面部表情数据库进行了总结。本文最后讨论了自动化面部动作分析应用于现实生活所面临的挑战。研究人员撰写这篇调查论文有两个意图：一是对现有文献进行最新的回顾；二是对未来面部动作识别领域的研究人员所面临的机遇和挑战提供一些见解。论文 6通过从现有播客录音中检索情感语音来构建自然主义的情感平衡语音语料库（Building Naturalistic Emotionally Balanced Speech Corpus by Retrieving Emotional Speech from Existing Podcast Recordings）作者：美国得克萨斯大

180、学达拉斯分校 Reza Lotfian 等。摘要：缺乏大型且自然的情感数据库是将在受控条件下的语音情感识别结果应用于现实生活的关键障碍之一。收集情感数据库要耗费大量的经济成本和时间成本，这限制了现有语料库的大小。目前，给定的记录协议（如口语对话为积极、讨论或辩论为消极）决定了用于收集自发数据库的方法往往提供不平衡的情感内容。本文提出了一种新的方法可以有效地构建一个大型且自然的情感数据库。该数据库具有平衡的情感内容，还能降低成本并减少体力劳动。该方法依赖于从音频共享网站获得现有自然产生的录音。该方法结合了机器学习算法与使用众包且具有成本效益的标注过程来检索和传递平衡情感内容的录音，从而构建大规模

181、的语音情感数据库。该方法提供了来自多个演讲者使用不同的信道条件来传递平衡情感内容的自然情感表达，而这些情感内容是其他数据收集协议难以获得的。论文 7AMIGOS：个人和群体情感、人格和情绪研究数据集（AMIGOS：A Dataset for Affect，Personality and Mood Research on Individuals and Groups）作者：英国伦敦玛丽女王大学 Juan Abdon Miranda-Correa 等。摘要：研究人员构建了一个关于个体和群体情感、人格特质和心境的多模态研究数据集AMIGOS。研究人员在个体观众和群体观众的两种社交情境下使用短视频和长

182、视频诱发情感。这也是 AMIGOS 与其他数据集的不同之处。该数据集允许通过个体的神经生理信号对情感反应进行多模态研究，这些信号与人格和情感以及社会环境和视频持续时间有关。研究人员在两个环境中进行了实验。在第一个实验中，40 名参与者观看了 16 个情感短视频。在第二个实验中，参与者观看了 4 个长视频，其中一些是单独观看的，另一些是分组观看的。实验利用可穿戴式传感器记录了参与者的脑电、心电和皮肤电信号，还记录了参与者的头部高清视频以及 RGB 和深度全身视频。实验对参与者的情感作了标注，既包括参与者在视频中感受到的情感水平(如效价、唤醒度、支配度、熟悉度、喜欢度等)的自我评估，也包括效价和唤

183、醒度水平的外部评估。研究人员详细分析了对效价和唤醒度、人格特质、情感和社会情境的单次实验分类的不同维度以及基线方法和结果。45第三章成果情况表 3-13情感计算领域重要转让专利序号公开号专利名称申请人受让人法律事件1CN110675859B结合语音与文本的多情感识别方法、系统、介质及设备华南理工大学广东履安实业有限公司转让2US10902058B2Cognitive content display deviceIBMKyndryl Inc转让3CN108806667B基于神经网络的语音与情感的同步识别方法重庆大学重庆七腾科技有限公司转让4CN105469065B一种基于递归神经网络的离散情感识

184、别方法中国科学院自动化研究所北京中科欧科科技有限公司转让5CN104200804B一种面向人机交互的多类信息耦合的情感识别方法合肥工业大学山东心法科技有限公司转让6US9436674B2Signal processing approach to sentiment analysis for entities in documentsAttivio IncServicenow Inc转让7CN103377293B多源输入、信息智能优化处理的全息触摸交互展示系统河海大学常州校区江苏明伟万盛科技有限公司转让8CN104995650A用于使用源于社交媒体的数据和情感分析来生成复合索引的方法及系统汤姆森

185、路透社全球资源公司金融及风险组织有限公司转让9CN103049435B文本细粒度情感分析方法及装置浙江工商大学杭州脑壳顶科技有限公司转让10CN101872424B基于 Gabor 变换最优通道模糊融合的人脸表情识别方法重庆大学北京妙微科技有限公司转让3.5代表性专利和标准3.5.1代表性专利本部分使用的 Derwent Innovations Index 是世界上最全面的增值专利信息数据库，它涵盖来自全球近 60 个专利颁发机构的 1 430 多万项基础发明，可追溯至 1963 年，覆盖了全球 96%的专利数据，为研究人员提供世界范围内化学、电子与电气、工程技术领域综合、全面的发明信息，是检

186、索全球专利最权威的数据库之一，被全球 40 多个国家专利局审查员使用和信赖。本部分以主题（专利名称和摘要）为索引字段进行检索，对发明专利中有转让记录或许可记录同时具有较高专利价值的有效发明专利进行遴选，形成情感计算领域代表性专利。专利转让是指专利权人作为转让方，将其发明创造专利的所有权或将持有权移转受让方，受让方根据订立的合同支付约定价款，通过专利权转让合同取得专利权的当事人，即成为新的合法专利权人。对情感计算领域的专利进行筛选，遴选了 incopat 专利价值度为 10 的转让专利，如表 3-13所示。46情感计算白皮书表 3-15中国新型研发机构授权的高水平情感计算相关专利序号公开号专利名

187、称申请人专利状态1CN113837153A一种融合瞳孔数据和面部表情的实时情感识别方法及系统之江实验室授权2CN114049678A一种基于深度学习的面部动作捕捉方法及系统之江实验室授权3CN113611286A一种基于共性特征提取的跨语种语音情感识别方法和系统之江实验室授权4CN113576482A一种基于复合表情加工的注意偏向训练评估系统和方法之江实验室授权5CN113378806A一种融合情感编码的音频驱动人脸动画生成方法及系统之江实验室授权6CN113257225A一种融合词汇及音素发音特征的情感语音合成方法及系统之江实验室授权7CN112712824A一种融合人群信息的语音情感识别方

188、法和系统之江实验室授权8CN112545519A一种群体情感同质性的实时评估方法和评估系统之江实验室授权9CN113191212A一种驾驶员路怒风险预警方法及系统合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）授权专利许可是指专利权人将其所拥有的专利技术许可他人实施的行为。在专利许可中，专利权人成为许可方，允许实施的人成为被许可方，许可方与被许可方要签订专利实施许可合同。中国在情感计算领域的重要许可专利信息如表 3-14 所示。此外，中国新型研发机构也授权了一批高水平的情感计算相关专利，如表 3-15 所示。表 3-14情感计算领域中国的重要许可专利序号公开号专利名称申请人被许可人

189、法律事件1CN111506700B基于上下文感知嵌入的细粒度情感分析方法杭州电子科技大学杭州远传新业科技有限公司许可2CN110110840B一种基于忆阻神经网络的联想记忆情感识别电路中国地质大学（武汉）武汉海博雾联科技有限公司、武汉启奕信息技术服务有限公司许可3CN107045618B一种人脸表情识别方法及装置北京陌上花科技有限公司苹果研发（北京）有限公司许可4CN107609132B一种基于语义本体库中文文本情感分析方法杭州电子科技大学杭州远传新业科技有限公司许可5CN106570474B一种基于 3D 卷积神经网络的微表情识别方法南京邮电大学南京因果人工智能研究院有限公司许可47第三章成

190、果情况 https:/www.iso.org/standards-catalogue/browse-by-ics.html 目前，被国标组织确认并公布的其他国际组织包括国际计量局（BIPM）、国际人造纤维标准化局（BISFA）、食品法典委员会（CAC）、时空系统咨询委员会（CCSDS）、国际建筑研究实验与文献委员会（CIB）、国际照明委员会（CIE）、国际内燃机会议（CIMAC）、国际牙科联盟会（FDI）、国际信息与文献联合会（FID）、国际原子能机构（IAEA）、国际航空运输协会（IATA）、国际民航组织（ICAO）、国际谷类加工食品科学技术协会（ICC）、国际排灌研究委员会（ICID）、国

191、际辐射防护委员会（ICRP）、国际辐射单位和测试委员会（ICRU）、国际制酪业联合会（IDF）、万围网工程特别工作组（IETF）、国际图书馆协会与学会联合会（IFLA）、国际有机农业运动联合会（IFOAM）、国际煤气工业联合会（IGU）、国际制冷学会（IIR）、国际劳工组织（ILO）、国际海底组织（IMO）、国际种子检验协会（ISTA）、国际理论与应用化学联合会（IUPAC）、国际毛纺组织（IWTO）、国际动物流行病学局（OIE）、国际法制计量组织（OIML）、国际葡萄与葡萄酒局（OIV）、材料与结构研究实验所国际联合会（RILEM）、贸易信息交流促进委员会（TarFIX）、国际铁路联盟（UI

192、C）、经营交易和运输程序和实施促进中心（UN/CEFACT）、联合国教科文组织（UNESCO）、国际海关组织（WCO）、国际卫生组织（WHO）、世界知识产权组织（WIPO）、世界气象组织（WMO）等。3.5.2代表性标准（1）国际标准国际标准是指国际标准化组织（ISO）、国际电工委员会（IEC）和国际电信联盟（ITU）制定的标准，以及国际标准化组织确认并公布的其他国际组织制定的标准。国际标准在世界范围内统一使用。信 息 技 术 情 感 计 算 用 户 界 面（AUI）Information technology-Affective computing user interface（AUI）标准

193、号为 ISO/IEC 301501：2022，其 中 第 一 部 分 模 型（Part1：Model）于 2022 年6 月发布，第二部分情感特征（Part2：Affective characteristics）正在建设中。（2）国内标准人工智能情感计算用户界面模型标准号为 GB/T 406912021，由中国科学院软件研究所、中国科学院自动化研究所、中国科学院心理研究所、科大讯飞股份有限公司等共同起草，于 2021年 10 月 11 日发布，2022 年 5 月 1 日生效。该标准给出了基于情感计算用户界面的通用模型和交互模型，描述了情感表示、情感数据采集、情感识别、情感决策、情感表达等模块

194、，适用于情感计算用户界面的设计、开发和应用。（3）团体标准智能化心理服务规范标准号为 T/ZAITS 204012022，由浙江省智能技术标准创新促进会组织，浙江连信科技有限公司、之江实验室、浙江省方大标准信息有限公司、浙江大学心理与行为科学系、浙江工业大学、杭州师范大学护理科学系、苏州企发管理咨询有限公司、北京询保科技有限公司、神木新正和心理健康服务有限公司共同起草，于 2022 年 1 月 28 日发布和实施。该标准规定了智能化心理服务的术语和定义、服务系统组成和服务模式、服务系统能力要求、服务内容、服务流程、心理服务档案建立及信息安全要求。该标准主要适用于利用数字化智能技术为除婴幼儿以外

195、的所有人群提供智能心理服务，为协助医疗机构和精神专科医生提供的辅助性心理服务亦可参照执行。49第四章科研情况第四章科研情况布形成宏观认识。对学者所属地区进行分析统计后发现，亚洲地区是情感计算领域学者分布最为集中的地区。如表4-1、图 4-1 所示，中国情感计算领域学者数量最多（3 474 个），美国次之（2 083 个），印度位居第三（2 001 个）。4.1学者分布及代表性科学家4.1.1全球学者地图（1）全球学者分布本部分以情感计算领域文章第一作者所属国家进行统计分析，从而对情感计算领域全球学者分表 4-1情感计算领域第一作者国家分布（前 20 名）序号国家学者数序号国家学者数1中国3 4

196、7411澳大利亚4552美国2 08312法国3823印度2 00113土耳其3694英国86414荷兰3005德国71315马来西亚2656意大利59216巴西3217日本55117巴基斯坦2688西班牙46718希腊2139加拿大46319新加坡18010韩国45620伊朗21650情感计算白皮书（2）h 指数分布以文献集中的所有作者进行统计，其中引用次数多于0次的共计47 998名作者的h指数进行统计，结果如表 4-2 所示。其中 h 指数最高为 53，大于50 的 1 人，h 指数在 110 数据段内分布人数最多为 47 881 人。10 名的国家合作情况如图 4-2 所示。其中，中美

197、合作发文量最多，达 540 篇，其次为中英合作，为256 篇。附录 3 为发文量前 20 名的国家合作详情。中国与其他国家存在广泛的合作，中国发文的6 905 篇中有 1 707 篇为国际合作发文，占总发文量的 24.72%。主要合作国家如表 4-3 所示，其中中美合作的论文数最多，为 540 篇，占总合作论文数的 31.64%，涉及 2 168 名学者，中英合作次之。中新合作和中芬合作的论文虽然数量不突出，但是平均引用数相对较高，这说明合作研究质量相对较高。4.1.2中国学者分布对情感计算领域发文第一作者进行统计，对作者地址字段进行数据清洗得出国内学者分布重要地区如表 4-4、图 4-3 所

198、示。其中，北京以 1 053 位学者位居榜首，广东有 513 位学者位居第二，江苏、台湾和上海分别位居第三、第四和第五。图 4-1情感计算领域学者主要国家（前 10 名）分布表 4-2h 指数作者分布h 指数作者数11047 880931503 501（3）中外合作情感计算领域存在广泛的国际合作，发文量前51第四章科研情况图 4-2情感计算领域发文量前 10 名的国家合作情况表 4-3情感计算领域中国主要合作发文国家序号合作国家论文数引用数平均引用数学者数1中国-美国54011 568212 1682中国-英国2564 430171 0573中国-日本2121 99295

199、054中国-澳大利亚1691 628107495中国-新加坡1233 774314886中国-加拿大1061 931184117中国-芬兰661 982301528中国-德国581 273223149中国-印度546441220310中国-法国4459514205表 4-4情感计算领域中国学者分布前 20 名的地区序号地区学者数序号地区学者数1北京105311四川1942广东51312山东1833江苏44213天津1614台湾43014辽宁1605上海37315重庆1556浙江29816湖南1497湖北27217福建1218香港24718黑龙江1179陕西24219河南9410安徽20120河

200、北68西班牙加拿大中国澳大利亚美国日本德国英国印度意大利52情感计算白皮书4.1.3全球典型学者本部分结合论文数量、研究贡献、同行评议等多个维度标定情感计算领域典型学者，如表 4-5 所示。特别需要说明的是，因人才标定的指标多变性以及统计数据的来源差异，本部分内容仅作参考，不作为评价依据。4.1.4高被引学者基于爱思唯尔（Elsevier）发布的 2021 年“中国高被引学者（Highly Cited Chinese Researchers）”榜单数据，在 4 701 名中国学者中找到的情感计算领域学者如表 4-6 所示。4.2高水平学会4.2.1情感计算促进协会情 感 计 算 促 进 协 会

201、（Association for the 图 4-3情感计算领域中国学者分布前 20 名的地区表 4-5情感计算领域典型学者序号学者任职机构1任福继日本德岛大学2罗莎琳德皮卡德（Rosalind Picard）美国麻省理工学院3 埃里克坎布里亚（Erik Cambria）新加坡南洋理工大学4 比约恩舒勒（Bjoern Schuller）英国帝国理工学院5郑文明东南大学6马娅潘蒂奇（Maja Pantic）英国帝国理工学院7赵国英芬兰奥卢大学8吕宝粮上海交通大学9卡洛斯布索（Carlos Busso）美国得克萨斯大学达拉斯分校10什里坎特纳拉亚南（Shrikanth Narayanan）美国南加

202、利福尼亚大学1 053529827224724220607946802004006008001 0001 200北京广东江苏台湾上海浙江湖北香港陕西安徽四川山东天津辽宁重庆湖南福建黑龙江河南河北学者数地区53第四章科研情况Advancement of Affective Computing，AAAC）是情感计算、情感与人机交互领域的专业性、全球性协会，负责管理情感计算和智能交互国际会议（International Conference on Affective Computing and Intelligent Interact

203、ion，ACII）的投标和组织。4.2.2中国人工智能学会情感智能专业委员会中国人工智能学会情感智能专业委员会（以下简称“专委会”）成立于 2007 年，是国内在电子信息科学领域首个情感计算方面的学术组织。专委会的研究领域包括情感建模、情感认知、多模态情感交互、情感与心理信号测量、人工心理等。专委会承办了首届“亚洲情感计算与智能交互学术会议”，出版了国内第一套人工心理与数字人技术丛书。专委会旨在团结和组织中国人工心理与情感计算相关领域的专业人士，开展学术交流活动，加强人才培养，促进学术界与工业界的合作，承担知识普及、建言献策等社会服务工作，为提升中国在人工心理与情感计算领域的科研、教学、应用水

204、平及国际影响力作出贡献。4.3高水平学术机构4.3.1重要研究机构本部分通过全作者统计，以发文量进行排序从而标定重要机构，全球前10名的发文机构如表4-5所示。涉及的主要指标包括引文影响力（Citation Impact）和学科规范化的引文影响力（Category Normalized Citation Impact，CNCI）。引文影响力。一组文献的引文影响力的计算是通过使用该组文献的引文总数除以文献数量得到的。引文影响力展现了该组文献中某一篇文献获得的平均引用次数。学科规范化的引文影响力。一篇文献的 CNCI是通过其实际被引次数除以同文献类型、同出版年、同学科领域文献的期望被引次数获得的。

205、当一篇文献被划归至多个学科领域时，则使用实际被引次数与期望被引次数比值的平均值。一组文献的CNCI，如某个人、某个机构或国家，是该组中每篇文献 CNCI 的平均值。CNCI 是一个非常有价值且无偏的影响力指标，它排除了出版年、学科领域与文献类型的影响。如果 CNCI 的值等于 1 说明该组论文的被引表现与全球平均水平相当，大于 1 说明被引表现高于全球平均水平，小于 1 则低于全球平均水平。CNCI 的值等于 2 说明该组论文的平均被引表现为全球平均水平的 2 倍。如表 4-7 所示，中国有 2 家机构进入前 10 名，中国科学院以 581 篇位居榜首，清华大学排名第九。美国有 1 家机构即加

206、利福尼亚大学系统进入前10 名，以 335 篇位居第五。英国、法国、印度分别有 2 家机构进入前 10 名，新加坡有 1 家机构。表 4-6情感计算领域“中国高被引学者”姓名机构吕宝粮上海交通大学张宏江源码资本周爱民华东师范大学秦兵哈尔滨工业大学李学龙西北工业大学刘滨北京理工大学姜育刚复旦大学黄德双同济大学董超中国科学院陈敏华中科技大学 https:/aaac.world/http:/ 4-7情感计算领域发文量前 10 名的机构序号机构名称论文数量引文影响力论文被引百分比/%学科规范化的引文影响力高被引论文h 指数Q1 期刊中论文的百分比/%国家中文名英文名1中国科学院Chinese Acad

207、emy of Sciences58117.0977.282.4444958中国2英国伦敦大学University of London37351.3989.542.3787369.93英国3法国国家科学研究中心Centre National de la Recherche Scientifique（CNRS）34617.3680.351.3623952.06法国4UDICE 法国研究型大学联盟UDICE-French Research Universities34116.8580.351.3813851.03法国5加利福尼亚大学系统University of California System3

208、3538.0584.182.8045959.6美国6印度理工学院系统Indian Institute of Technology System（IIT System）29510.6874.921.8052842.11印度7印度国立技术学院系统National Institute of Technology System（NIT System）2887.7170.141.3332427.66印度8新加坡南洋理工大学Nanyang Technological University28736.3083.975.18146066.4新加坡9清华大学Tsinghua University26420.74

209、82.952.9423863.27中国10英国帝国理工学院Imperial College London26337.9687.833.6434367.39英国4.3.2典型研究机构（1）美国麻省理工学院媒体实验室美国麻省理工学院媒体实验室的情感计算研究小组（Affective Computing Group）旨在创造并评估将情感人工智能和其他情感技术结合起来的新方法。“情感计算”定义的提出者皮卡德是该小组的创始人和主任。（2）新加坡南洋理工大学计算智能实验室南洋理工大学计算智能实验室（Computational Intelligence Lab，CIL）是南洋理工大学工程学院的一部分，主要进行

210、知识密集型人工智能研究，情感计算是该实验室的重点研究方向之一。南洋理工大 https:/www.media.mit.edu/groups/affective-computing/overview/https:/www.ntu.edu.sg/cil/about-us55第四章科研情况学计算机科学与工程学院副教授、情感分析服务公司 SenticNet 创始人埃里克坎布里亚在该实验室任职。（3）清华大学人机交互与媒体集成研究所清华大学人机交互与媒体集成研究所在媒体信息智能处理、人机交互、普适计算等方面开展高水平研究，建有多个学术基地，如普适计算教育部重点实验室、清华大学-腾讯互联网创新技术联合实验室

211、、网络多媒体北京市重点实验室、清华大学计算机系-华为终端智能交互技术创新联合实验室、清华大学（计算机系）-深兰科技机器视觉联合研究中心等。近年来，该研究所主持多项本学科领域重要项目，如“十三五”重点研发计划、“973”计划、国家自然科学基金委员会（NSFC）重点项目等，在顶级期刊和会议上发表了大量的学术论文，多篇文章获得最佳论文奖，获得国家级科技奖励 10 项，在科技成果转化方面影响重大。该所有两个主要研究方向：和谐人机交互，如情感计算、语音交互、大幅面交互、脑机接口、交互效率与优化、新型终端自然交互接口等；普适计算环境，如普适计算模式、主动服务、嵌入式系统、情境感知、智能空间及物联网等。（4

212、）模式识别国家重点实验室中国科学院自动化研究所的模式识别国家重点实 验 室（National Laboratory of Pattern Recognition）以模式识别基础理论、图像处理与计算机视觉及语音语言信息处理为主要研究方向，研究人类模式识别的机理及其有效的计算方法，为开发智能系统提供关键技术，为探求人类智力的本质提供科学依据。其中：在图像处理与计算机视觉方向主要研究视觉模式的分析与理解，研究内容包括三维视觉和场景分析、物体检测与识别、视频分析与语义理解、医学影像分析、生物特征图像识别、遥感图像分析、文档图像分析、多媒体计算等；在语音与语言信息处理方向主要研究听觉模式的分析与理解，研

213、究内容包括语音识别、话语理解、口语翻译、情感交互、中文语言处理与信息检索等。目前，该实验室承担 400 余项科研项目，包括国家重点研发计划项目，科技创新 2030-“新一代人工智能”重大项目，国家自然科学基金重大、重点和面上项目，杰出青年科学基金项目和创新群体项目，国际合作项目，企业合作项目，等等。研究队伍汇集了谭铁牛院士、陶建华研究员等知名学者。（5）东南大学情感信息处理实验室东 南 大 学 情 感 信 息 处 理 实 验 室（Affective Information Processing Lab，AIPL）隶属于东南大学生物科学与医学工程学院和儿童发展与学习科学教育部重点实验室（东南大学

214、），主要致力于情感计算、模式识别、计算机视觉和机器学习及其在儿童智能发展、教育和医疗等方面的应用研究。该实验室由郑文明教授创建于 2004 年，深耕情感计算领域，主持了包括“973”计划、国家自然科学基金重点项目等在内的多项国家和省部级课题，在包括 IEEE Transactions 系列期刊与 IEEE ICCV、IEEE CVPR、欧洲计算机视觉国际会议（European Conference on Computer Vision，ECCV）、神经信息处理系统大会（Conference and Workshop on Neural Information Processing System

215、s，NIPS）、国 际 人 工智 能 联 合 会 议（International Joint Conference on Artificial Intelligence，IJCAI）和 AAAI 人工智能会议等计算机领域顶级会议上已发表论文百余篇，研究成果获国家技术发明奖二等奖。（6）合肥工业大学情感计算与系统结构研究所合肥工业大学情感计算研究所于 2011 年成立，主要从事高等智能、情感计算、大规模知识获取的基础理论研究工作，并把具有情感的先进智能机器 https:/ 2017 年 9 月 6 日，主攻智能感知、人工智能、智能网络、智能计算和智能系统等五大科研方向。20192022 年，之江

216、实验室跨媒体智能研究中心在情感计算领域发文量达 27篇，是情感计算领域的新兴创新研究机构，研究跨媒体统一表征与关联理解、视觉知识表达与视觉智能、跨媒体知识演化、跨媒体智能分析等基础理论和关键技术，研发跨媒体内容生成、多模态感知、情感计算、情感智能人机对话系统等旗舰平台。之江实验室跨媒体智能研究中心副主任李太豪研究员主要从事情感计算及跨媒体智能研究，师从日本工程院院士、欧盟科学院院士、中国人工智能学会副理事长、日本德岛大学情感计算与先进智能实验室主任任福继教授，曾在哈佛大学 Verne Caviness 实验室从事人工智能和脑科学交叉学科博士后研究，已入选浙江省省级引才计划创新长期项目。4.4生

217、态系统分析4.4.1学者合作网络利用 Derwent Data Analyzer 工具对情感计算领域的文献作者进行合作分析，通过设置作者发文量大于等于 30 篇、合作发文量大于等于 3 篇这两个条件，学者合作网络可以识别出同一团队或不同团队的合作情况，结果如图 4-4 所示。其 中：英 国 帝 国 理 工 学 院 比 约 恩 舒 勒（Bjoern Schuller），德国慕尼黑工业大学张子兴（Zixing Zhang）、法国格勒诺布尔-阿尔卑斯大学法比安兰热瓦尔（Fabien Ringeval）团队与德国慕尼黑工业大学弗洛里安埃本（Florian Eyben）合作较多；中国科学技术大学先进技术

218、研究院王上飞教授与美国伦斯勒理工学院纪强（Qiang Ji）在基于面部表情的情感计算领域进行合作；日本德岛大学任福继教授与中国合肥工业大学孙晓教授在文本情感计算和语音情感计算方面合作较多。图 4-4情感计算领域学者合作网络57第四章科研情况图 4-5学者引用网络4.4.2引用网络分析本部分对情感计算领域 27 877 篇文献的作者进行直接引用（Citation）分析，为突显重点作者，在分析过程中遴选了发文量不小于 30 篇的 40 位作者进行分析，分析结果如图 4-5 所示。其中，颜色相同的簇内的作者在研究内容上具有较强的相关性和继承性。4.4.3关键词共现分析词频是指在所分析的文档中词语出现

219、的次数。在科学计量研究中，可以按照学科领域建立词频词典，从而对科学家的创造活动作出定量分析。词频分析法就是在文献信息中提取能够表达文献核心内容的关键词或主题词，通过关键词或主题词的频次高低分布来研究该领域发展动向和研究热点的方法。关键词共现分析（共词分析）的基本原理是对一组词两两统计它们在同一组文献中出现的次数，通过这种共现次数来测度关键词之间的亲疏关系。（1）词频分析对作者关键词字段进行词频分析，如表 4-8所示，其中技术主题词与排名最前的技术主题词是共现关系。（2）关键词共现分析本部分基于关键词共现的方法将所有文献作为一个数据集，采用 Thomson Data Analyzer 软件将论文

220、的作者关键词字段经过机器与人工清洗，之后利用 VOSviewer 软件对论文核心主题词代表此主题中出现的高频主题词数据进行聚类，根据论文数据集大小设置一定共现频次和共现强度以对关键词进行聚类。结合专家判读，分别对每个聚类进行命名和解读，对期刊发文主题进行识别和分析。对 27 877 篇文献以作者关键词字段进行分析，经过机器与人工清洗后，从 36 436 个关键词中选取出现频次大于 20 次的 613 个关键词作为分析对象，进行聚类计算。通过对这些论文共现强度最大的核心主题词进行聚类，得到 5 个簇，如表 4-9 和图 4-6 所示。58情感计算白皮书表 4-8情感计算领域作者关键词前 20 名

221、词频分析序号记录数量技术主题词排名最前的技术主题词 共现次数 时间区间/年近三年记录比率/%16 305Sentiment AnalysisOpinion Mining 866；Machine Learning 757；Twitter 656200620231923 711Emotion RecognitionAffective Computing 328；Feature Extraction 283；EEG 2722 121Affective ComputingEmotion Recognition 328；Machine Learning 153；Emotion 12

222、2200020231341 598Machine LearningSentiment Analysis 757；Natural Language Processing 214；Emotion Recognition 2651 554Facial Expression RecognitionFeature Extraction 129；Deep Learning 120；Face Recognition 891 508Deep LearningSentiment Analysis 485；Emotion Recognition 243；Machine

223、Learning 3671 117Opinion MiningSentiment Analysis 866；Natural Language Processing 143；Machine Learning 1081 020Natural Language ProcessingSentiment Analysis 648；Machine Learning 214；Opinion Mining 143；Deep Learning 299970EmotionAffective Computing 122；Facial Expressi

224、on 76；Emotion Recognition 660918Feature ExtractionEmotion Recognition 283；Sentiment Analysis 169；Facial Expression Recognition 3411852TwitterSentiment Analysis 656；Machine Learning 129；Social Media 1712697Social MediaSentiment Analysis 490；Twitter 116；Machine Learnin

225、g 83200920222059第四章科研情况序号记录数量技术主题词排名最前的技术主题词 共现次数 时间区间/年近三年记录比率/%13682Speech Emotion RecognitionDeep Learning 58；Feature Extraction 53；Emotion Recognition 37200620232714658Social CognitionSchizophrenia 184；Theory of Mind 161；Emotion Recognition 1515571Text MiningSentiment Analysis 431；Opi

226、nion Mining 83；Machine Learning 74200620221516556Facial ExpressionEmotion Recognition 155；Emotion 76；Affective Computing 427533ClassificationSentiment Analysis 184；Machine Learning 86；Emotion Recognition 70200320221918515SchizophreniaSocial Cognition 184；Emotion Recognition 83；Theory of M

227、ind 65504EEGEmotion Recognition 272；Affective Computing 71；Emotion 43200420222220459Convolutional Neural NetworkDeep Learning 114；Facial Expression Recognition 83；Sentiment Analysis 772003202227表 4-9情感计算领域五个研究主题详情序号研究主题核心主题词数量平均被引频次平均关联强度1利用 NLP 技术进行情感计算和意见挖掘15310.41197.802 面部表情和微表情识别分析13

228、415.89178.773人机交互过程中的情感计算研究12118.69110.384 情感计算在情感障碍分析中的应用研究3033.5165.595基于深度学习的多模态情感分析819.8260.95（续表）60情感计算白皮书图 4-6情感计算领域五个研究主题分析结果的核心主题词平均被引频次代表包含此主题词的论文发文以来的平均被引频次，平均关联强度代表此主题概念包含的核心主题词间联系的紧密程度，主题关联强度越大代表核心主题词间共现强度越大、研究越集中，反之则代表共线强度相对较低、研究越分散。其中，情感计算在情感障碍分析中的应用研究平均被引频次最高，这说明目前情感计算与医学领域特别是在情感障碍、抑郁

229、症识别领域的交叉研究影响力较大。基于深度学习的多模态情感分析的平均关联强度最大，这说明该主题的研究相对最为集中。61第五章应用情况5.1总体分析近年来，随着情感计算的日益发展，教育、健康、商业、工业、传媒、社会治理等领域对情感计算的需求逐步显现，尤其是在 2007 年之后技术赋能的企业数量表现出明显增长态势，如图 5-1所示。在教育培训方面，有效地利用情感识别等情感计算技术，有助于使用者根据情感状态调节课程内容与课程节奏，提高学习效率。受新冠肺炎疫情的影响，线下教育纷纷转战线上，线上教育使得教师难以对学生课堂的反映进行及时关注，这成为线上教育的一大难题。面对巨大的市场需求，人工智能、情感计算等

230、技术的发展有望提升线上教育的学习体验和教学体验。在生命健康方面，很多心理及生理症状可以通过对情感的识别进行初筛和诊断。情感人工智能（EAI）在医疗保健领域的应用尚不广泛，但在自闭症、双向情感障碍、抑郁症等多种疾病的评估治疗方面已有许多研究尝试和积累。随着人们对健康理念的更加关注，心理健康、精神健康等逐步受到广泛重视，将情感计算应用到生物医学领域将成为一个新趋势。有望将情感计算应用于早期识别心理疾病，并在维护患者隐私、降低病耻感的前提下辅助疾病的初筛、干预与患者康复工作。第五章应用情况图 5-1全球情感计算企业增量走势 图 5-1 至图 5-9 均来源于德勤科学加速中心，数据截止日期为 2022

231、 年。62情感计算白皮书数字经济的发展掀起了消费者线上消费和接受线上服务的热潮。利用情感计算技术在顾客感知上进一步获取商业价值或者提高服务效率和品质，这成为学术界和商界研究和探索的方向。例如，可以通过获取用户在线评论数据，利用基于情感文本挖掘技术来预测消费者的购买偏好。工业设计作为促进国家工业发展的重要工具，在产品设计方面既要达到物质上的基本实用性，又要不断地融入新思想、新思维使之具有情感性，用更多的设计语言、设计形态来缓解人们生活和工作的压力，满足精神世界的需求。特别是在当今物质产品异常丰富和竞争日趋白热化的时代，情感元素已经成为工业设计重要且独特的元素。产品设计的情感交流是从设计师传递到产

232、品再传递给大众的高层次信息传达过程。情感计算技术与工业设计的融合，使通过识别、分析情感提高产品的功能性成为可能。情感作为一种心理体验具有较强的语言感染性，经过传播和沟通后极易转化为社会群体所共有的心理特征。在科技传媒日益发展的今天，有效地利用情感计算技术分析并合理引导公众情绪，对社会稳定、企业发展、公共问题解决等都将有所助益。随着政府推进信息化、数字化进程地不断加快，在社会公共治理中情感计算也开始被应用于诸多场景，如社交媒体和社会情绪监测、灾后群众心理救援、刑侦审讯时的测谎检测、重要场所安防等。心理及意识科学、认知神经科学、计算机科学，甚至人体工学等学科的发展以及迅速成长的市场需求，都将带动应

233、用情感计算技术场景的不断拓展和落地。从市场方面来看，近年来情感计算技术的推广和应用离不开众多企业的发力。企业根据其拥有的技术基础和企业发展规划，开始在不同领域进行战略布局。例如，教育培训领域的独角兽企业BrainCo、专注技术创新的科技公司海康威视、代表性创业企业 SensorStar 和 Robokind 等，通过研发和推广的智能系统或软件，在提升教育教学效率和实施个性化教育上崭露头角。Expper Technologies、软银机器人、优必选等公司均致力于智能机器人的研发与多场景应用。竹间智能作为情感计算领域的代表性创业企业，凭借多款搭载情感计算技术的代表性产品在商业服务、智慧金融、智慧医

234、疗等领域全面开花。Behavioral Signals、audEERING、科思创动、Talkwalker、Converus、Discern Science 等情感计算领域的代表性创业企业则凭借领域前沿的技术专利与企业、政府等开展合作，将技术优势转化为产品优势。Emotiv、Smart Eye、NVISO、Affectiva等独角兽企业不断通过技术的研发提升产品的市场竞争力来推动企业发展。英特尔、高合 HiPhiGo、新东方、Facebook、淘宝、度小满金融、新浪等知名企业也纷纷入局。以美国麻省理工学院为首的高校也通过产学合作将情感计算技术应用到教育、健康、商业、工业、传媒、社会治理等多个领

235、域。在广泛收集国内外应用情感计算技术的产品和服务的基础上，通过综合参考用户评价、业界评价以及新闻媒体报道等，筛选出应用于教育、健康、商业、工业、传媒、社会治理等领域具有代表性的产品和服务，并对相关企业进行了梳理和分析。图 5-2 显示了主要应用行业的代表性产品和服务的企业分布。图 5-3 显示了代表性企业的资本规模分布。可以看出，成立时间较短且企业规模较小的创业型企业较多，而资本相对较为雄厚的独角兽企业与老牌代表性企业占比较为相近。白皮书对各个公司代表性产品和服务及其主要应用技术进行了整理和分析。通过附录 4 可以看出，情感计算的应用技术类型分布较广，涵盖了语音情感计算、行为情感计算、生理信号

236、情感计算、文本情感计算以及多模态情感计算，而产品和服务多集中在技术型平台与系统，只包含少数的智能机器人，各类产品和服务的受众仍停留在企业、机构层面，尚未拓展到个人和家庭。从图 5-4、图 5-5、图 5-6 可以看出，目前市场上的情感技术应用还是以单模态的应用为主。63第五章应用情况图 5-2主要应用行业中的代表企业图 5-3主要代表企业的资本规模分布无论是在市场需求方面，还是在研发推广方面，情感计算的发展前景都很广阔。但是，仍有不少人对情感计算技术的应用持有怀疑的态度。这主要体现在对应用情感计算技术可能会带来的数据归属与保护、用户的个人隐私权、人的自由意志与情感计算应用的潜在冲突、不平等等法

237、律与伦理问题。情感的广泛性、复杂性与模型训练的刻板性、技术应用的局限性的冲突，使人们对该技术在日常生活中的普及和众多场景的融合问题有所担忧。随着情感计算技术的推广和应用，制定相关法律法规和合理限制使用规范是非常必要的。如图 5-7所示，不同市场规模的企业在情感计算应用的主要行业已有不同程度的发展，提高信息安全保障等能力刻不容缓。64情感计算白皮书图 5-4全球情感计算技术主要代表企业区域分布情况图 5-5全球单模态情感计算技术行业应用占比图 5-6全球多模态情感计算技术行业应用占比65第五章应用情况5.2行业应用近年来，感知智能技术和信息科学技术的快速发展，为情感计算的研发和应用提供了良好的基

238、础。情感计算已被应用于教育培训、生命健康、商业服务、工业制造、科技传媒、社会治理等多个领域。中国应用情感技术的代表性企业主要分布于上海、杭州，深圳、北京则是紧随其后（见图 5-8）。目前，中国情感计算领域的发明专利申请数约3 000 项，其中大多是在 2018 年之后申请的。在全球情感计算主要代表企业中，独角兽和大中型企业在情感计算技术专利保护上较为积极（见图 5-9）。图 5-7全球情感计算主要代表企业发展应用情况图 5-8中国情感技术企业城市部署占比图 5-9全球情感计算主要代表企业专利保护情况66情感计算白皮书情感计算技术在中国迅猛发展，引起了越来越多的关注，市场前景非常可观。5.2.1

239、教育培训领域当前，人工智能与教育逐步融合，赋予教学创新与教育变革前所未有的历史机遇。情感计算通过计算机系统识别、感知、理解和表达人类情感，在促进感知与理解学习情感、增强情感交互、提升人机协同等方面，不断地推动着教育培训领域的发展。在全球范围内情感计算技术主要被应用于以下三个方面：帮助加强线上教学中的情境化，增强师生情感交互，提升教学质量；发展并完善智能教育中的学习投入评价，科学衡量学生的能力，自动调整合适的学习内容和环境；促进特殊群体的情绪感知提升等。中国高度重视教育信息化及智慧教育的建设，接连颁布教育信息化、现代化发展规划。自 2002年中国教育部出台教育信息化“十五”发展规划（纲要）后，中

240、国接连颁布了教育信息化十年发展规划（20112020 年）（2012 年）、新一代人工智能发展规划（2017 年）、教育信息化 2.0 行动计划（2018 年）、加快推进教育现代化实施方案（20182022 年）（2019 年）、中国教育现代化 2035（2019 年）、关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见（2021年）等。这为情感计算技术在教育培训领域的应用提供了有力的政策支持。在互联网环境下的教育模式多为混合型，即线上和线下相结合。人工智能技术在线下课堂的应用具有重要价值，如提高学校教学评估的精细化、辅助教师进行教学设计、为学生提供个性化的学习指导等。同样，在日益普

241、及的线上课堂中，情感计算技术可以用于了解学生的情绪变化，甚至专注度、理解程度等（见图 5-10）。随着文本情感计算技术的逐步成熟，情感分析可以用于大规模开放式在线课程（MOOC）等在线教育的多种文本交互区域（如讨论区、调查反馈、聊天室、BBS 等），也可以用于课后分析学生在学习过程中的情感变化，以实施个性化教学。由于教育情境的多样化与疫情常态化背景下教育环境的复杂化，情感计算技术应用的形式呈现多样化的态势。5.2.2生命健康领域情感计算在生命健康领域得到了越来越多的关注，通过分析和评估各种类型的数据源，可以辨别接受医疗服务的用户或患者的情感类别，并进行相应的干预，以提高医疗卫生服务的质量。由于

242、生命健康领域的特殊性，涉及情感计算包括临床数据、药物评论、各种生理信号、问卷调查等在内的数据源更加多样化。随着情感计算技术和生命健康领域的融合，相关的学术研究与实践应用均在不断地发展。情感状态与个体身心健康有着密切的联系，这已经是一个被大众广泛认可的观点。将情绪识别结果与生物信号相关信息、个体的日常活动相关联，可以发现多种不同的影响模式，这有着广泛、深远的研究价值。现阶段，全球情感计算技术开始被应用于三个方面：疾病的初筛、诊断、干预及疗效评估；亚健康人群的保健及情感调节；医患服务和管理质量的提升。情感计算技术最早被应用于生命健康领域就体现在情感障碍类疾病的筛查和治图 5-10通过识别面部表情算

243、法 评估理解学生在课堂上的情感状态67第五章应用情况疗方面，如自闭症、情感和认知障碍等，凭借对情感捕捉的敏感性和识别的准确性，成为现有医疗手段的有力辅助手段。随着技术的逐步成熟，现阶段对情感安抚、老年人情感陪护等产品的研发逐渐增多，通过声音、面部表情、肢体动作、生理信号以及输出的文本信息等监测和评估敏感人群的情感和认知状态，如孤独、焦虑和抑郁的程度，并及时加以干预或反馈。另外，通过基于患者或家属的评论、舆情进行情感倾向分析，了解患者的真实想法从而提升服务质量的研发也在探索之中。中国情感计算在生命健康领域的实践和应用也在不断地发展，大多体现在健康监测、疾病（如精神障碍）的治疗和康复保健方面。目前

244、，情感计算在生命健康领域聚焦的范围还较为有限，但随着计算机科学（人工智能）、认知神经科学、人体工学等学科的发展，可以预见情感计算与生命健康领域会有越来越多的交叉融合。5.2.3商业服务领域情感计算技术在商业服务领域的应用十分广泛，涉及智能导览、机器人精准营销、智能客服、金融预测等众多领域，越来越多的商家也愿意尝试通过该技术来推动商业的发展。目前，机器人已经融入人们生活的许多方面，情感计算技术让机器人实现类人的情感互动，可以提高用户体验，满足不同用户的需要。精准营销、广告的精准投放则是利用了情感计算技术强大的记录和分析能力，通过精准地分析出用户的偏好和情感状态，再根据用户的偏好、消费能力、情绪，

245、精准推送用户可能感兴趣的信息（见图 5-11）。以消费者真实需求为基础，提供高质量、个性化的信息和建议是促进购买行为的有效手段之一。现阶段，在全球商业服务领域情感计算应用最为广泛的是智能客服。使用传统人工客服的企业正面临人力成本上升的困境，传统机器客服也因其标图 5-11工作人员通过情感计算设备辅助顾客选择香水（资料来源：Emotiv 官网）68情感计算白皮书准格式化、无法变通等缺点备受诟病。智能客服结合了二者的优势，通过对呼叫的语音进行分析，识别出行为和感知特征，指导客服人员以更好的同理心和专业精神来进行对话。金融服务业也是商业服务领域中一个不可或缺的部分。利用深度学习和大数据可以更有效地识

246、别风险，以防范化解金融风险。例如，通过采集和分析媒体报道、上海品茶等非结构化文本数据，基于金融文本情感分析的指数预测模型，对股市指数的涨跌进行预测。研究发现，情感分析特征能够有效地提高模型预测的准确率，这表明文本情感计算和深度学习模型在金融领域具有有效性。5.2.4工业设计领域目前，情感计算在工业设计领域的应用案例主要集中在汽车行业和仿人机器人行业。在智能驾驶领域，目前情感计算技术主要应用于驾驶员监测系统（DMS）。以往的驾驶员状态监测大多采用被动式的监测方式，即基于方向盘转向和行驶轨迹等特征来间接判断驾驶员状态，而随着情感计算技术的发展，主动式监测的方式正逐步被运用于直接监测驾驶员的生理体征

247、和行为动作，包括内隐的生理信号监测和外显的行为反应监测两种。内隐的生理信号监测是指通过对驾驶员 EEG、ECG 等生理指标的测量来反映驾驶员的精神状态和行为状态。这种方法虽然准确性高，但是由于需采用“接触测量”的方式，在驾驶过程中使用的局限性较大。相较而言，外显的行为反应监测主要基于摄像头对驾驶员面部特征变化（如眼部和头部的运动）进行捕捉和识别，推断其情感状态、精神状态和行为状态。这种非接触式的检测方法对驾驶员的干扰少。近年来，随着图像处理软硬件技术的不断成熟，测量速度和准确性显著提升，外显的行为反应监测得到较大范围的推广和应用。情感计算有助于推断驾驶员的专注程度，也有助于减少因“路怒症”所导

248、致的交通事故。情感计算可以通过示警或改变车内环境来预防驾驶员可能产生的暴躁、强迫和攻击倾向，以形成闭环的驾乘心理健康干预策略。随着现代科学技术的蓬勃发展，除了工业用机器人以外，仿人机器人也悄然兴起。仿人机器人主要是指模仿人的形态和行为而设计和制造的机器人，可以通过对外界事物的信息收集和分析进行判断和决策。目前，大多数仿人机器人主要应用于访客引导、常见问题回答等较为简单的任务。情感交互是机器人智能化的表现之一，现有的仿人机器人大多是通过感知模块、摄像头等装置基于人类的面部表情等视觉信息进行情感识别的。但是，通过面部表情表达情感状态是人与人互动的典型体现，事实上人类还没有习惯使用此种方式与机器人进

249、行交流。虽然已经有越来越多的仿人机器人设计者关注到了情感因素，但是实现更顺滑的人机情感交互需要明确人类对待仿人机器人时的情感表现特点，还要不断探索更深层次的人类情感捕捉和识别。如图 5-12 所示，仿人机器人在疫苗中心工作。图 5-12仿人机器人在疫苗中心工作5.2.5科技传媒领域随着互联网的普及，社交媒体平台已经成为民众表达观点的主要渠道之一。舆情是公众对社会生活中各种问题、事件的公开意见和态度的总和。其形成具有规律性，即以“情感”为内驱力，一般会经历情感生发、情感扩散和情感耦合三个阶段。这69第五章应用情况三个阶段贯穿个体情感的产生和传播，形成群体情感爆发并促成集群行为发生的全过程。通过分

250、析在线用户的文本情感数据来调查网络舆情的情感偏好的相关研究不胜枚举。大到政策推行、国内外局势，小到新产品发布、公共突发事件，都可能会引发大规模舆情。利用内容分析、情感分析的方法，结合矛盾心理测量、社会网络分析法等心理学、社会学等学科的研究方法，把握舆情动向，开展社交媒体用户日常情感监测、特定事件网络舆论情感分析、企业品牌舆情管理、广告/视频情感计算等已成为学术界、公共管理机构、企业等获取民众真实想法的可靠途径。另外，随着人工智能技术的飞速发展，情感计算技术也逐渐被应用于交互视频、交互广告甚至游戏、影视等领域。情感分析通过计算机程序，能够自动检测出书面形式（如推特、脸书以及电子邮件等）所反映的情

251、感。情绪分析可以在文档级（Document Level）、句子级（Sentence Level）和方面级（Aspect Level）等三个不同层次上进行。在社交媒体中，信息传播是一个用户高度参与和交互的过程，情感对其有重要的影响。作为沟通和交流的主要媒介之一，在社交媒体平台上用户表达情感的方式多种多样。崛起的社交网络平台每秒钟都在创造大量的数据，每个帖子、评论、“点赞”的背后都蕴含着人类情感。近年来，情感计算技术在科技传媒领域的应用逐渐增多。但是，从整体来看，情感计算技术在科技传媒领域的应用尚处于探索发展阶段，应用面尚不广泛，多集中在舆情监测方面，而在舆情监测中应用的情感计算技术又多以文本情感

252、计算方法为主。事实上，随着抖音、快手等短视频平台的崛起，现在的舆情已成为文字、表情符号、图片、视频的跨媒体综合性内容，这使舆情事件的传播有了更加多样化和复杂化的方式。这就需要多模态情感计算为舆情管控决策提供更加全面的信息，进而提高决策的精准性和可靠性。5.2.6社会治理领域随着人工智能技术在各行业的广泛应用，政府部门的数字化、信息化和智能化管控水平快速提升。在执法领域，执法机构使用情感计算技术判断特定公众的危险程度或供述的可信度，在执法人员根据经验判断的基础上增加了情感分析作为辅证。如图 5-13 所示，在刑侦、审讯等安防工作中，判断被问询者语言的真实性是一项至关重要的工作。穿戴式设备、眼球扫

253、描追踪和网络摄像头等多种新图 5-13预警分析系统70情感计算白皮书型工具正被用来收集面部微表情、身体语言和语音数据，再利用生理数据和面部微表情等的非自主反应和不可伪造性，分析情绪变化、语言线索，可以辅助判断所述信息的可信度。许多国家开始利用情感计算技术提高国防安全的科学性和有效性，如边境检查站威胁情境检测、公共场所安全监测等。近年来，恐怖主义一直是各国政府关注的问题，推特等社交网络也成为追踪和识别恐怖主义的良好信息来源。应用情感分析、文本挖掘等技术来分析信息的非结构化内容，为应对恐怖主义带来的社会威胁提供了一个新的渠道。情感计算在智能安防领域也具有广阔的应用前景。计算机通过对人类面部表情、语

254、音、肢体动作、生理信号等情感的获取、分类和识别，可以及时获取目标对象的情感变化，并对异常危险行为提出预警，实施应对措施，以帮助智能安防的建设。例如，通过专用摄像机采集视频，根据人的表情以及身体动作的振动频率和振幅，智能安防系统计算出攻击性以及压力和紧张等参数，并分析人的精神状态，可以筛选出可疑人员并实施预警等措施。情感计算也可以助力构建全方位的数字化和智能化校园安防监控系统。71第六章未来趋势第六章未来趋势6.1下一阶段技术走向预见人工智能发展到今天，已经越来越接近人的认知模式和智力水平。但是，为了进一步实现人类心智与情感的数字化，实现人工智能“智商+情商”的发展目标，科学家还需要在数据集、策

255、略、建模、仿生以及应用模式等领域继续开展研究。这些方面的最新成果也将是下一步发展新一代人工智能的关键。6.1.1高质量、大规模数据集的构建目前，在全球主要的情感智能数据集中，按数据承载的信息形态可以分为文本数据、语音数据、图片/视频数据以及其他数据。目前，在文本数据集方面，需要面向中文构建更大规模、更高质量的数据集。语音数据集和图片/视频数据集普遍质量较高、规模较大。但是，图片/视频数据集的主要问题集中在与海量数据处理相匹配的高效算力实现方面。图片和视频的差异在于内容时间的长短。在本质上，图片和视频基本都依托于视觉识别技术进行表情识别而实现机器情感计算的。目前，科研技术领域在图片的情感识别技术

256、上的发展已经基本成熟，但是在视频方面的技术开发和应用上依然颇具挑战。基础视频每秒包含24 张连续时点（帧数）的图片。计算机判断视频中人物的情感就是运营超常的算力对每一帧进行分析，并按时间排序而形成。这也导致了对视频内容进行情感识别需要充分考虑情感随时间推进的动态性以及这种动态波动所导致的情感类型无法确定的问题。同时，人类的情感在每一时点不是单一的。因此，对视频尤其是在长时程监测过程中对动态且多情感类型融合状态的整体情感识别，需要大量的算力和数据的有效传输。现有的生理数据集主要包括英国伦敦玛丽女王大学研究组的基于生理信号的情感分析数据库（DEAP 数据集）、穆罕默德苏莱马尼（Mohammad S

257、oleymani）等和日内瓦大学计算机科学实验室的MAHNOB-HCI 数据库、上海交通大学吕宝粮团队的情感脑电数据集（SEED）等。这些数据集的规模普遍较小，这在一定程度上限制了深度学习算法的训练。因此，需要构建更大规模的情感生理数据集来突破这一限制。目前，人类不同于机器的重要特征有两个：一是人类在社会环境中处于多种模态共存的场景，这一特征具体表现为通过语言、表情、语音、动作等来共同表达意图和情感；二是人类在处理情感时具备模态间切换的情感推理能力，可以切换不同模态来寻找线索，并通过相互关联以进行歧义消除和情感推理。因此，多模态大规模情感数据集的建立，有助于开发更加类人的情感智能技术，实现更加

258、精准的情感识别。72情感计算白皮书6.1.2零/少样本学习或无监督学习方法近年来，在情感计算研究领域，深度学习取得了巨大的突破。深度学习能够很好地实现复杂问题的学习。然而，深度学习最大的弊端之一就是需要大量人工标注的训练数据，而这需要耗费大量的人力成本。目前的模型过于依赖大量标记数据，其性能受标记数据量的影响很大。即使数据得到了标记，其准确性也有可能受主观因素的影响而难以保证。因此，需要开发更加有效的小样本学习算法以及无监督深度学习算法，特别是模拟人类对从未见过对象的认知过程，开发零样本学习的方法，通过训练类与测试类之间的知识迁移来完成学习，从而推动情感计算在更广泛场景中的应用。这是一个非常值

259、得研究的方向。6.1.3多模态融合技术创新多模态融合是在多模态表示的基础上，联合多个模态的信息，进行情感分类。根据是否与特定的深度学习模型相关，一般可以分为两大类：模型无关的融合方法和基于模型的融合方法。前者不依赖于特定的深度学习方法，而后者利用深度学习模型能够显式地解决多模态融合问题。模型无关的融合方法可以分为早期融合（基于特征的融合）、晚期融合（基于决策的融合）和混合融合（基于前两者混合的融合）。早期融合在提取特征后立即集成特征（通常只需连接各模态特征的表示），晚期融合在每种模式输出结果（如输出分类或回归结果）之后才执行集成，混合融合结合了早期融合方法和单模态预测器的输出。三种融合方法各有

260、优缺点，早期融合能更好地捕捉特征之间的关系，但容易过度拟合训练数据。晚期融合可以更好地处理过拟合问题，但不允许分类器同时训练所有数据。尽管使用混合多模态融合方法非常灵活，但是许多当前的体系结构需要仔细设计何时、何模态以及如何可以融合，这需要研究者根据具体应用问题和研究内容酌情选择使用。基于模型的融合方法是从实现技术和模型的角度解决多模态融合问题，常用的方法有三种：多核学习方法（Multiple Kernel Learning，MKL）、图模型方法（Graphical Models，GM）、神经网络方法（Neural Networks，NN）等。这些方法的优点是能够很容易地利用数据的空间和时间结

261、构，特别适合与时间相关的建模任务，还允许将人类专家的知识嵌入模型，使模型的可解释性增强。但是，其缺点是计算代价很大，在现实中较难训练。此外，科学家还提出了多阶段多模态情感融合方法。具体的过程是首先训练一个单模态模型，然后将其作为隐含状态与另一个模态特征拼接再训练双模态模型，以此类推得到多模态模型。总而言之，多模态融合技术能够有效利用不同模态信息的协同互补，增强情感理解与表达能力，提升模型鲁棒性和性能优越性。这是未来研究的一个重要方向。6.1.4多模型推理单个模型的输出结果可能不可靠甚至不正确，从而导致错误的决策。为了解决这个问题，多模型联合推理是一个有效解决方案。多模型融合可以有效地结合多个模

262、型的优点，充分利用模型信息之间的互补性来克服单模型表达信息不完全的局限问题，使决策更加具有稳定性和鲁棒性。采用合适的融合方法是多模型联合决策的关键。其中，比较有代表性的 D-S 证据理论是贝叶斯理论对主观概率的推广，而且因具有对不确定知识进行建模的能力而得到广泛应用。D-S 组合规则允许来自不同来源的信念相结合，以获得考虑所有可用证据的新信念，因此它可以很好地处理信息融合问题。6.1.5认知神经科学启发的情感计算虽然人类在情感心智方面已经积累了大量的理论和应用技巧，但是总体而言，人类情感心智在73第六章未来趋势意识过程、进化过程以及交互过程中的各种具体作用和影响还被蒙着一层神秘的面纱。例如，虽

263、然通过詹姆斯-兰格理论的指导，情感会影响人的自主神经系统，但是这种影响背后的生物学基础及进化含义却尚未完全揭开。在机器实现情感心智时，这种影响机制是否需要被考虑，从而完善机器各系统的整体效能，就成为一个尚待解决的问题。人类大脑情感加工的认知过程、神经机制及其解剖学基础为开发情感计算模型提供了关键启发。正如受生物视觉处理过程启发的卷积神经网络架构、受心理学行为主义理论启发的强化学习方法、受神经可塑性启发的脉冲网络模型等，认知神经科学启发的情感计算模型和算法创新，将为赋予机器以功能类脑、性能超脑的智慧灵敏反应能力提供了可能。由此可见，人类在认知神经科学领域研究的深化，将最终关系到情感计算乃至整个人

264、工智能的发展进程。两大学科领域之间的有效衔接也已成为以脑计划为代表的诸多大科学工程所关心的重要主题。6.1.6跨文化情感识别随着各地区人口迁移和文化交流的日益加剧，含有多重文化背景的情感信息涌现。例如，在上海写字楼中，经常能听到白领人群用中英混杂的语句来表达各种职场所闻，其中就包含着大量中国和英语国家的双重语言文化。对于这样的情感信息而言，目前区域性情感数据集的样本量是远远不够的。这也进一步导致现有的各类情感计算在识别相关人群情感时会产生偏差。目前，从技术手段来看解决上述问题的思路有两种：一是人为地通过采集更多的数据并进行融合，形成更加全面的跨文化、跨民族人群的情感数据集；二是基于现有数据集进

265、一步使用深度学习，并通过在不同的场景和环境下各类人群的情感计算交互应用，实现自我迭代和数据集完善，使其更全面。从效能上来评估，显然后者更加具有应用意义。6.1.7数据与知识驱动的技术革新对人类个体而言，对数据的理解一定激活了相关联的其他信息，这些信息是一种潜在的知识或常识，人脑可以将数据与知识巧妙地结合起来，可以实现面向复杂问题的更加通用、智能、节约的计算。浙江大学吴飞教授认为，今后的科学计算或者人工智能计算，一定是领域专家和数据的驱动相结合，形成场景人工智能或者解决场景的任务。情感计算也将逐步进入数据和知识双驱动时代：一方面需要从数据里吸取知识，随后基于知识作决策和服务；另一方面不能一味从数

266、据里发现知识，一定要有知识指导计算过程。6.2下一阶段行业应用展望思维作为一种高级认知过程，不仅包含理性的推理和决策，还包含大量的情感因素。当前，各类智能交互技术的研发均在追求使机器“更具有智慧和温度”。事实上，拥有对情感的识别、分析、理解、表达的能力也应成为智能机器必不可少的一种功能。情感计算技术除了在日常的教育培训、生命健康、商业服务、工业制造、科技传媒以及社会治理等方面的参与与影响不断增加和增强之外，未来还将涉及智慧服务、虚拟现实、科艺融合等前沿领域。越来越多的机构、企业及媒体拟利用此技术解决现实问题以更好地服务大众。6.2.1智慧服务领域为了应对日益凸显的人口老龄化问题，基于人工智能的

267、老年智能陪护系统应运而生。在老年健康管理领域，越来越多的研发开始关注诸如信号传感器、可穿戴检测设备、智能护理床、健康服务机器人等为老年人提供互动式的居家健康检测、身体状况评估、紧急救助服务的智能服务设备。特别是通过情感计算技术，综合检测老人的情绪状态进行情74情感计算白皮书感陪伴，以减少老人的孤独感并可以对抑郁症等疾病进行早期监测和预警。人机交互这个子领域也成为研究焦点。随着各种各样的语音助手、聊天机器人逐渐走入大众的生活，研发重点也从提高对话的逻辑准确性转为加强对话的情感互动性。在真实的对话过程中，情感是人类交换的重要信息之一。在智能对话过程中，如果机器能够知晓人类的情感并将其融入对话，会进

268、一步提高对话内容的智能程度。未来，在管理领域，通过情感计算获得领导者与员工的情绪，并对其进行干预、协调，从而提升企业的整体效率。在商业服务领域，通过客户评价文本，解读客户的情感并进行精准营销，在满足客户需求的同时树立自己的品牌。在健康领域，基于患者的情感数据分析结果，可以进行心理疾病的诊断和预测，并辅以积极干预等。以人为中心的智慧服务产业的应用场景将不断地增加。情感认知的研究与发展是推动人机情感交互的关键，也是促进智慧服务普及的重要推手。在不久的将来，机器在更加智慧的同时，将更有温度、更加人性化。通过富有情感感知的人机对话系统、智能陪护系统、情感安抚系统等，智能机器人能担负起管理、家政、陪护等

269、服务性质的任务，在满足人们情感需求的同时，还可以缓解越来越紧张的人力资源短缺压力。6.2.2虚拟现实领域在虚拟网络空间，基于情感计算的智能交互技术将扮演越来越重要的角色。这些被称为社交机器人的智能体，能通过自然语言分析和社交网络行为算法，在社交媒体中发布信息产品并与人交流互动。当前，智能交互技术在网络中的参与比重和影响不断地加大，越来越多的政治、经济和传媒组织利用它吸引流量、改变公共话语甚至调整舆论走向。与现实社会的实体情感机器人不同，网络社交智能体的一大特色，就是模仿人类认知和沟通行为，做一个有独特见地的“网民”。随着技术的不断进步，机器人作为活跃在社交网络上的新“人种”，其人格化特征越来越

270、明显。随着虚拟现实技术发展，人们对虚拟场景的感知能力不断增强，AR 的应用场景也从最初的军事领域逐步拓展至商业应用领域。在虚拟现实领域，AR 主要提供沉浸式的交互功能以及提高人们在虚拟场景下的信息获取能力，而在现实世界里，人们往往会因为对虚拟环境的感知不足或者无法准确地表达自己的想法等而产生孤独感和不安全感，这也成为影响用户使用行为的一个重要因素。情感计算可以使 AR 界面的设计更智能，更懂人的情感，从而提高人们的感知程度。当系统精确计算出用户情感、需求和期望后，个性化的数字体验应运而生。在不久的将来，当用户带上 AR 眼镜时，他们的视网膜上出现完全根据他们的情感和需求量身定制的内容，那必将是

271、一种全新的体验。6.2.3社会安全领域人与人的沟通，必然伴随着情感的传递与共鸣。人们通过面部表情、肢体动作、语音、语调等表达情感，通过视觉、听觉等感官感知和理解对方的情感。但是，表象情感是可以隐藏或伪装的。随着科技的发展，基于情感识别系统和深度学习算法等技术的人工智能、人机交互将在未来智能监控、犯罪风险评估、刑侦审讯等社会治理方面发挥重要作用。经过 10 余年的发展，微表情的检测和识别取得了很大的进展，但是目前绝大部分微表情分析的工作都是针对在实验室或者受控环境下采集的微表情样本来进行的。如何设计出可以检测、识别与分析自然产生的微表情，如何更容易地获得宏表情数据来提升微表情识别系统的性能等，仍

272、然是亟待解决的课题。可以看出，微表情分析在实际的推广和应用方面仍然存在诸多技术障碍。情感计算的逐渐成熟有助于推动此类技术的发展和应用。在国防安全方面，通过表情捕捉头盔、生理感75第六章未来趋势应贴片及手环等情感 AI 设备，可以提供更为精准、客观、便捷、实时的士气测评与心理诊断。美国陆军研制的一种可嵌入未来“武士”军服内的传感器系统，能监测到穿着的单兵心跳、行进中代谢能量消耗、内层皮肤温度及反应灵敏或迟钝等情况。英国国防部也在研制随身携带生理监测子系统以及能提供人体心理紧张程度、热量状态和睡眠水平的微型传感器的“新生代武士”单兵作战系统。借助情感 AI 设备可以满足对士兵进行心理服务预警、战场

273、心理危机干预等多场景需求。同时，情感计算还将助力智慧城市的构建，让城市更安全、有温度、会思考、可进化。只有当情感计算应用于城市生活的方方面面时，才能真正实现城市的人性化和数字化。6.2.4金融决策领域在金融领域，随着信贷从线下转移到线上，信贷审核、客服等流程和工作都可以通过智能机器人完成。应用了情感算法的语音机器人，既能非常自然地与用户进行交互沟通，也能“察言观色”，识别用户交谈时的情绪，以至于大部分用户分辨不出是与机器在对话。情感计算还可以基于用户语音的分析，提炼出语速、语气、能量的变化，分析说话者的情绪、是否犹豫等，通过这些因子综合判断说话者说谎的概率。当前的个人征信系统虽然已经比较完善，

274、但是对个人贷款者相关的金融信用风险还无法做到全面地记录和采集，导致各大银行在面对个人信贷客户时，通常需要建立自己的信用评级系统。仅凭工作人员依据信用评级结果判断客户的信用风险，有可能在主观判断错误的情况下产生严重的银行坏账。情感计算等技术可以根据客户的陈述过程中的语音语调等数据，分析客户的情感状态和道德水平，为借贷决策提供参考。股票市场是受外部环境、舆论情绪影响较大的领域。近年来，股市投资者的情绪被广泛研究，股市情绪的理论基础来源于结合金融学、心理学、人类行为学等交叉学科而成的行为金融学。其基本观念为股票的价格趋势并非完全由公司基本面所决定，而是在很大程度上被投资者的情绪波动所左右，这是由于投

275、资者的非理性在其投资决策过程中会有各种各样的判断准则。对投资者情绪的研究有助于理解投资者的情绪喜好和认知偏差。同时，有效并快速的情绪分析可以帮助预测股票市场的走向。6.2.5科艺融合领域当前，在数字化时代，图片、音频、视频等多媒体数据已经成为数据的主要部分，如何从多媒体数据中提取有用的信息，并进行有效检索和挖掘，显得尤为重要。例如，在给用户推荐音乐的场景下，音频的资源管理和搜索效率就显得尤为重要。传统的音乐搜索是以匹配文字（如歌曲标题、歌手名或者歌词）的方式检索出对应的内容。在音乐数据库中进行检索，给用户呈现出相应内容，本质上还是基于文本的匹配检索。在音乐的高层语义特征中，情感是一种较为高级的

276、特征。因此，在检索技术中可以考虑音乐的情感特征，提高用户和音乐的匹配度，这也是计算机音乐情感分析的主要任务。基于数据模型，利用计算机技术自动识别音乐中的情绪特点，结合统计或者机器学习的方法对音乐情感进行拟合建模，能够定量统计音乐中的情感部分。现在的人工智能生成文本已经不仅仅可以满足简单写作的要求，还能利用机器学习算法写出富含情感、语句优美的诗词歌赋。研究者开始致力于赋予机器智商的同时，尝试提高机器的情商。人工智能生成文本的本质还是通过机器对数据的学习能力，计算出大量文本表示张量背后的优化参数，结合 NLP、知识图谱、凸优化等技术，机器学习了这些诗人隐含的写作手法，写出的诗作的质量甚至超过人。此

277、外，为了迎合市场需求，情感计算技术也已经开始被应用于影视剧本和小说创作、广告策划等其他科艺融合领域。76情感计算白皮书1 ARANDJELOVIC R,GRONAT P,TORII A,et al.NetVLAD:CNN architecture for weakly supervised place recognitionC/2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Los Alamitos,CA:IEEE Computer Society,2016:5297-5307.2 BACCIANELL

278、A S,ESULI A,SEBASTIANI F.SentiWordNet 3.0:an enhanced lexical resource for sentiment analysis and opinion miningC/CHAIR N,CHOUKRI K,MAEGAARD B,et al.Proceedings of the Seventh International Conference on Language Resources and Evaluation（LREC 2010）.Valletta,Malta:European Language Resources Associat

279、ion（ELRA）,2010:2200-2204.3 CAMBRIA E,HUSSAIN A.Sentic album:content-,concept-,and context-based online personal photo management systemJ.Cognitive computation,2012,4（4）:477-496.4 DATTA R,JOSHI D,LI J,et al.Studying aesthetics in photographic images using a computational approachC/European conference

280、 on computer vision.Berlin,Heidelberg:Springer,2006:288-301.5 HO M-T,MANTELLO P,NGUYEN H-K T,et al.Affective computing scholarship and the rise of China:a view from 25 years of bibliometric dataJ.Humanities and social sciences communications,2021,8（1）:1-14.6 KHATUA A,KHATUA A,CAMBRIA E.Predicting po

281、litical sentiments of voters from Twitter in multi-party contextsJ.Applied soft computing,2020,97（Pt.A）:106743.7 LO S L,CAMBRIA E,CHIONG R,et al.Multilingual sentiment analysis:from formal to informal and scarce resource languagesJ.Artificial intelligence review,2017,48（4）:499-527.8 PEI G X,LI T H.A

282、 literature review of EEG-based affective computing in marketingJ.Frontiers in psychology,2021,12:602843.9 PICARD R W.Affective computingM.Cambridge,MA:MIT Press,2000.10 REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networksC/Advances in neural

283、information processing systems.Montreal,Canada:Curran Associates,Inc.,2015,1:91-99.11 REN F J,QUAN C Q.Linguistic-based emotion analysis and recognition for measuring consumer satisfaction:an application of affective computingJ.Information technology and management,2012,13（4）:321-332.12 SIMONYAN K,Z

284、ISSERMAN A.Very deep convolutional networks for large-scale image recognitionJ.arXiv e-prints,2014:1409.1556.13 WANG B,LIAKATA M,ZUBIAGA A,et al.Tdparse:multi-target-specific sentiment recognition on TwitterC/Proceedings of the 15th Conference of the European Chapter of the Association for Computati

285、onal Linguistics:Volume 1,Long Papers.Valencia,Spain:Association for Computational Linguistics,2017:483-493.14 YOU Q,LUO J,JIN H,et al.Robust image sentiment 主要参考文献77主要参考文献 analysis using progressively trained and domain transferred deep networksC/Proceedings of the Twenty-Ninth AAAI Conference on A

286、rtificial Intelligence.Austin,TX:AAAI Press,2015:381-38815 IITI.Core computer science conference rankingsEB/OL.2022-08-23.https:/iiti.ac.in/people/artiwari/cseconflist.html.16 中国计算机学会.中国计算机学会推荐国际学术会议 和 期 刊 目 录 EB/OL.（2019-04-25）2022-08-16.https:/ AAAI.The AAAI Conference on Artificial IntelligenceEB

287、/OL.2022-08-23.https:/aaai.org/Conferences/AAAI/aaai.php.18 AAAI.Sponsored Workshops at AAAI-18EB/OL.2022-08-23.https:/aaai.org/Conferences/AAAI-18/ws18workshops/#ws01.19 Clarivate.Essential science indicators：learn the basicsEB/OL.2022-07-25.https:/ Clarivate.Derwent Innovations Index on Web of Sci

288、enceEB/OL.2022-08-23.https:/ 傅小兰.情绪心理学 M.上海：华东师范大学出版社，2016.22 李祖贺，樊养余.基于视觉的情感分析研究综述 J.计算机应用研究，2015，32（12）：3521-3526.23 李太豪，裴冠雄.情感计算：让机器拥有“情商”J.张江科技评论，2021（2）：24-25.24 孟昭兰.普通心理学 M.北京：北京大学出版社，1994.25 裴冠雄，吕栋，李太豪，等.情感计算与数字经济高质量发展的知识图谱分析 J.科技和产业，2022，22（5）：118-126.26 王伟凝，余英林.图像的情感语义研究进展 J.电路与系统学报，2003，8（

289、5）：101-109.27 徐小龙.中文文本情感分析方法研究 J.电脑知识与技术，2018，14（2）：149-151.78情感计算白皮书1.情感计算领域前 20 名全作者发文国家历年发文量附录序号国家1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 20221中国11-44232033775398468506777865835 1 019 5672美国

290、586557387949973053223474424423893971473印度-1-377963603563744062604英国73436374350747289905203198221885德国-34-370475952869396日本265034342235394864728688307意大利-1-20

291、994928588澳大利亚-726273905699西班牙-26472749210加拿大-1-25-35648634964807795附录（续表）序号国家1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021

292、 202211韩国-2-830258539712法国-253725568928486823713荷兰-0451692914土耳其-284053015沙特阿拉伯-16新加坡11-1-12-284953612317马来西亚-1-1-657252474656653918巴基斯

293、坦-424419巴西-56748482720希腊-1-1-2766326243035303518293315 80情感计算白皮书期刊名称Web of Science 领域Frontiers in PsychologyPsychology，MultidisciplinaryIEEE Transactions on Affective ComputingComputer Science，Cybernetics/Computer Science，Artificial Intelligence

294、Expert Systems with ApplicationsComputer Science，Artificial Intelligence/Engineering，Electrical&Electronic/Operations Research&Management SciencePsychiatry ResearchPsychiatryKnowledge-Based SystemsComputer Science，Artificial IntelligenceInformation Processing&ManagementComputer Science，Information S

295、ystems/Information Science&Library ScienceIEEE Transactions on MultimediaComputer Science，Software Engineering/Computer Science，Information Systems/TelecommunicationsInformation SciencesComputer Science，Information SystemsPattern RecognitionComputer Science，Artificial Intelligence/Engineering，Electr

296、ical&ElectronicNeuroscience and Biobehavioral ReviewsNeurosciences/Behavioral SciencesPsychological MedicinePsychology/Psychology，Clinical/PsychiatryJournal of Affective DisordersClinical Neurology/PsychiatryApplied Soft ComputingComputer Science，Interdisciplinary Applications/Computer Science，Artif

297、icial IntelligenceDecision Support SystemsOperations Research&Management Science/Computer Science，Information Systems/Computer Science，Artificial IntelligenceFuture Generation Computer Systems-The International Journal of EscienceComputer Science，Theory&MethodsInformation FusionComputer Science，Theo

298、ry&Methods/Computer Science，Artificial IntelligenceArtifi cial Intelligence ReviewComputer Science，Artificial IntelligenceComputers in Human BehaviorPsychology，Experimental/Psychology，MultidisciplinaryIEEE Transactions on Image ProcessingEngineering，Electrical&Electronic/Computer Science，Artificial

299、IntelligenceSchizophrenia BulletinPsychiatryInternational Journal of Human-Computer StudiesComputer Science，Cybernetics/Ergonomics/Psychology，Multidisciplinary2.情感计算领域发文 Q1 期刊81附录期刊名称Web of Science 领域IEEE Transactions on CyberneticsAutomation&Control Systems/Computer Science，Artificial Intelligence/

300、Computer Science，CyberneticsNeuroimageNeurosciences/Neuroimaging/Radiology，Nuclear Medicine&Medical ImagingIEEE Transactions on Pattern Analysis and Machine IntelligenceEngineering，Electrical&Electronic/Computer Science，Artificial IntelligenceJournal of Child Psychology and PsychiatryPsychology/Psyc

301、hology，Developmental/PsychiatryIEEE Transactions on Knowledge and Data EngineeringEngineering，Electrical&Electronic/Computer Science，Artificial Intelligence/Computer Science，Information SystemsNeural NetworksComputer Science，Artificial Intelligence/NeurosciencesJournal of Big DataComputer Science，Th

302、eory&MethodsIEEE Intelligent SystemsEngineering，Electrical&ElectronicEngineering Applications of Artifi cial IntelligenceEngineering，Multidisciplinary/Automation&Control Systems/Computer Science，Artificial Intelligence/Engineering，MultidisciplinaryBrainClinical Neurology/NeurosciencesIEEE Journal of

303、 Biomedical and Health InformaticsMedical Informatics/Computer Science，Interdisciplinary Applications/Computer Science，Information Systems/Mathematical&Computational BiologyResearch in Autism Spectrum DisordersEducation，Special/RehabilitationBiological PsychiatryNeurosciences/PsychiatryACM Transacti

304、ons on Multimedia Computing Communications and ApplicationsComputer Science，Theory&Methods/Computer Science，Software EngineeringComprehensive PsychiatryPsychiatryIEEE Transactions on Neural Networks and Learning SystemsEngineering，Electrical&Electronic/Computer Science，Theory&Methods/Computer Scienc

305、e，Hardware&Architecture/Computer Science，Artificial IntelligenceTranslational PsychiatryPsychiatryComputers in Biology and MedicineEngineering，Biomedical/Biology/Computer Science，Interdisciplinary Applications/Mathematical&Computational BiologyComputer Vision and Image UnderstandingEngineering，Elect

306、rical&ElectronicHuman Brain MappingNeuroimaging/Radiology，Nuclear Medicine&Medical Imaging（续表）82情感计算白皮书（续表）期刊名称Web of Science 领域European Archives of Psychiatry and Clinical NeuroscienceClinical Neurology/PsychiatryInformation Systems FrontiersComputer Science，Theory&Methods/Computer Science，Informat

307、ion SystemsAmerican Journal of PsychiatryPsychiatryInternational Journal of Human-Computer InteractionComputer Science，Cybernetics/ErgonomicsJournal of King Saud University-Computer and Information SciencesComputer Science，Information SystemsJournal of NeuroscienceNeurosciencesElectronic Commerce Re

308、search and ApplicationsComputer Science，Information SystemsInternet ResearchComputer Science，Information SystemsIEEE Transactions on Instrumentation and MeasurementEngineering，Electrical&ElectronicJournal of the American Academy of Child&Adolescent PsychiatryPsychiatryInternational Journal of Comput

309、er VisionComputer Science，Artificial IntelligenceJournal of Abnormal PsychologyPsychology，ClinicalEuropean NeuropsychopharmacologyClinical NeurologyIEEE Transactions on Circuits and Systems for Video TechnologyEngineering，Electrical&ElectronicApplied AcousticsAcousticsComputer Systems Science and En

310、gineeringComputer Science，Theory&MethodsNeuropsychology ReviewNeurosciencesACM Computing SurveysComputer Science，Theory&MethodsMolecular AutismGenetics&HeredityJournal of Biomedical InformaticsComputer Science，Interdisciplinary ApplicationsArtifi cial Intelligence in MedicineEngineering，BiomedicalCo

311、mplex&Intelligent SystemsComputer Science，Artificial IntelligenceEmotion ReviewPsychology，MultidisciplinaryComputer Methods and Programs in BiomedicineEngineering，BiomedicalInformation&ManagementComputer Science，Information SystemsIEEE Internet of Things JournalEngineering，Electrical&ElectronicInter

312、national Journal of Intelligent SystemsComputer Science，Artificial Intelligence83附录期刊名称Web of Science 领域Wiley Interdisciplinary Reviews，Data Mining and Knowledge DiscoveryComputer Science，Theory&MethodsACM Transactions on Intelligent Systems and TechnologyComputer Science，Artificial IntelligenceComp

313、uters&EducationComputer Science，Interdisciplinary ApplicationsJournal of Intellectual Disability ResearchEducation，SpecialIEEE Transactions on Intelligent Transportation SystemsEngineering，Electrical&ElectronicNeuropsychopharmacologyNeurosciencesIEEE Computational Intelligence MagazineComputer Scien

314、ce，Artificial IntelligencePsychiatry and Clinical NeurosciencesClinical NeurologyAdvanced Engineering InformaticsEngineering，MultidisciplinaryBritish Journal of PsychiatryPsychiatryJournal of Computational ScienceComputer Science，Theory&MethodsIEEE NetworkEngineering，Electrical&ElectronicHuman-Centr

315、ic Computing and Information SciencesComputer Science，Information SystemsAsian Journal of PsychiatryPsychiatryIEEE Transactions on Information Forensics and SecurityEngineering，Electrical&ElectronicEuropean PsychiatryPsychiatryComputer CommunicationsEngineering，Electrical&ElectronicJournal of the Am

316、erican Medical Informatics AssociationHealth Care Sciences&ServicesACM Transactions on Internet TechnologyComputer Science，Software EngineeringActa Psychiatrica ScandinavicaPsychiatryBipolar DisordersClinical NeurologyIEEE Transactions on Systems Man Cybernetics-SystemsComputer Science，CyberneticsDe

317、pression and AnxietyPsychiatryInternational Journal of Medical InformaticsHealth Care Sciences&ServicesMeasurementEngineering，MultidisciplinaryComputers&Industrial EngineeringEngineering，IndustrialInternational Journal of Neural SystemsComputer Science，Artificial IntelligenceJournal of Organizationa

318、l and End User ComputingComputer Science，Information Systems（续表）84情感计算白皮书（续表）期刊名称Web of Science 领域IEEE Signal Processing MagazineEngineering，Electrical&ElectronicAmerican Journal of Geriatric PsychiatryGeriatrics&GerontologyIEEE Journal of Selected Topics in Signal ProcessingEngineering，Electrical&E

319、lectronicJournal of Anxiety DisordersPsychiatryComputer Science ReviewComputer Science，Theory&MethodsIEEE Transactions on Visualization and Computer GraphicsComputer Science，Software EngineeringInformation and Software TechnologyComputer Science，Software EngineeringScience China-Information Sciences

320、Engineering，Electrical&ElectronicCommunications of the ACMComputer Science，Theory&MethodsCurrent Directions in Psychological SciencePsychology，MultidisciplinaryPsychological SciencePsychology，MultidisciplinaryBritish Journal of PsychologyPsychology，MultidisciplinaryAddictionSubstance AbuseAggression

321、 and Violent BehaviorCriminology&PenologyIEEE Transactions on Industrial InformaticsEngineering，IndustrialClinical Psychological SciencePsychologyBiological Psychiatry-Cognitive Neuroscience and NeuroimagingNeurosciencesPsychological BulletinPsychologyJournal of Neurology Neurosurgery and Psychiatry

322、Clinical NeurologyInternational Journal of Eating DisordersNutrition&DieteticsDevelopmental Cognitive NeuroscienceNeurosciencesJournal of Psychiatry&NeuroscienceNeurosciencesInternational PsychogeriatricsGeriatrics&GerontologyCurrent Psychiatry ReportsPsychiatryAlzheimers Research&TherapyClinical Ne

323、urologyComputers in IndustryComputer Science，Interdisciplinary ApplicationsACM Transactions on Knowledge Discovery from DataComputer Science，Software EngineeringAlexandria Engineering JournalEngineering，Multidisciplinary85附录期刊名称Web of Science 领域NeuropsychobiologyNeurosciencesNeural Regeneration Rese

324、archNeurosciencesIEEE Transactions on Fuzzy SystemsEngineering，Electrical&ElectronicInternet Interventions-The Application of Information Technology in Mental and Behavioural HealthHealth Care Sciences&ServicesProceedings of the IEEEEngineering，Electrical&ElectronicJournal of Network and Computer Ap

325、plicationsComputer Science，Software EngineeringBrain Behavior and ImmunityNeurosciencesData Mining and Knowledge DiscoveryComputer Science，Information SystemsMIS QuarterlyComputer Science，Information SystemsJournal of Management Information SystemsComputer Science，Information SystemsJournal of Compu

326、ting in Civil EngineeringEngineering，CivilIntegrated Computer-Aided EngineeringEngineering，MultidisciplinaryRevista de Psiquiatra y Salud MentalPsychiatryEuropean Journal of PsychotraumatologyPsychology，ClinicalBrain StimulationClinical NeurologyEuropean Journal of NeurologyClinical NeurologyVirtual

327、 RealityComputer Science，Software EngineeringArtifi cial IntelligenceComputer Science，Artificial IntelligenceCAAI Transactions on Intelligence TechnologyComputer Science，Artificial IntelligenceArtifi cial IntelligenceComputer Science，Artificial IntelligenceNature Reviews NeuroscienceNeurosciencesPro

328、gress in NeurobiologyNeurosciencesInternational Journal of Electronic CommerceComputer Science，Software EngineeringEmpirical Software EngineeringComputer Science，Software EngineeringInternational Journal of NeuropsychopharmacologyClinical NeurologyJama PsychiatryPsychiatryAmerican PsychologistPsycho

329、logy，MultidisciplinaryCurrent Opinion in NeurologyClinical Neurology（续表）86情感计算白皮书期刊名称Web of Science 领域PainClinical NeurologyCurrent NeuropharmacologyNeurosciencesIEEE-CAA Journal of Automatica SinicaAutomation&Control SystemsSleepClinical NeurologyBody ImagePsychology，MultidisciplinaryJournal of Par

330、allel and Distributed ComputingComputer Science，Theory&MethodsAin Shams Engineering JournalEngineering，MultidisciplinaryEngineering Science and Technology-An International Journal-JestechEngineering，MultidisciplinaryCurrent Opinion in PsychologyPsychology，MultidisciplinaryCNS Neuroscience&Therapeuti

331、csNeurosciences/Pharmacology&PharmacyAnnals of Clinical and Translational NeurologyClinical Neurology/NeurosciencesBig DataComputer Science，Theory&MethodsIEEE Transactions on Mobile ComputingComputer Science，Information Systems/TelecommunicationsPsicothemaPsychology，MultidisciplinaryNeuroscientistCl

332、inical NeurologyCurrent Opinion in NeurobiologyNeurosciencesCurrent Neurology and Neuroscience ReportsClinical NeurologyTrends in Cognitive SciencesNeurosciencesIEEE Wireless CommunicationsEngineering，Electrical&ElectronicAnnual Review of PsychologyPsychologyJournal of Information TechnologyComputer

333、 Science，Information SystemsIEEE Transactions on Emerging Topics in ComputingComputer Science，Information SystemsPerspectives on Psychological SciencePsychology，MultidisciplinaryBehavior TherapyPsychology，ClinicalNature Human BehaviourNeurosciencesComputer NetworksEngineering，Electrical&ElectronicComputer Standards&InterfacesComputer Science，Software EngineeringGeneral Hospital PsychiatryPsychiatr