增强现实(AR)技术将虚拟信息与真实世界结合，利用三维建模、智能交互、传感等多种技术，将计算机生成的文字、图象、三维模型等虚拟信息仿真后，应用到真实世界中。

增强现实(Augmented Reality，AR)在早期被研究员们定义了很多不同的意思，1990年波音公司的员工Tom Caudell首次提出“Augmented Reality”一词，1994年Milgram，Takemura，Utsumi和Kishino将AR定义为两种不同的概念：广义概念和狭义概念。在广义概念中，AR被定义为“用模拟线索增强自然场景并反馈给操作者”，狭义概念中则将AR定义为“是一种参与者戴着透明的头盔显示器以清晰看到真实世界的虚拟现实的形式”。1997年Azuma等研究人员认为AR应该包含三个准则：虚实结合、实时交互和三维注册，2004年Höllerer和Feiner、2003年Kaufmann、2008年Zhou、Duh和Billinghurst也提出了类似的定义。而2008年Klopfer和Squire还给了AR更广泛的定义，他们认为这是一种真实世界被动态叠加上相关位置或虚拟信息的一种场景技术。2011年Martin等人给出了一个不具包容性的定义：AR是合并从一个摄像头流出的图像与视频信息的系统，2011年Sayed，Zayed和Sharawy将AR描述为通过增加真实生活中丢失的信息来将虚拟物体加入真实场景中的一种技术。大众普遍接受1994年Milgram等人的“米尔格拉姆真实虚拟连续集”定义，这是一种从完全真实的环境到完全虚拟环境的模式，这个连续集中真实环境与虚拟环境之间的空间被称为混合现实(即Mixed Reality，简称MR)。

(1)跟踪注册技术：对于增强现实系统来说，一个重要的任务就是实时、准确地获取当前摄像机位置和姿态，判断虚拟物体在真实世界中的位置，进而实现虚拟物体与真实世界的融合。其中摄像机位姿的获取方法即为跟踪注册技术。从具体实现上来说，跟踪注册技术可以分为3类：基于传感器的跟踪注册技术、基于计算机视觉的跟踪注册技术及综合视觉与传感器的跟踪注册技术。

(2)显示技术：增强现实技术的最终目标是为用户呈现一个虚实融合的世界。因此，显示技术是增强现实系统中的重要组成部分。目前，常用的显示设备有头戴式显示设备、计算机屏幕显示设备、手持式移动显示设备及投影显示设备等

头戴式显示设备：由于增强现实系统要求用户可以观察到现实世界的实时影像，头戴式显示设备主要是透视式头盔显示器。这类设备的主要功能是将用户所在环境中的真实信息与计算机生成的虚拟信息融合，按真实环境的表现方式可将其分为视频透视式头盔显示器和光学透视式头盔显示器

计算机屏幕显示设备：作为传统的输出设备一般具有较高的分辨率，且体积较大。在增强现实应用中，这类设备更适用于将精细虚拟物体渲染并叠加于室内或大范围场景中。由于这类设备沉浸感较弱，但价格较低，一般适用于低端或多用户的增强现实系统。

手持式移动显示设备：一类允许用户手持的显示设备。近年来智能移动终端发展迅速，现有的智能手持设备大都配备了摄像头、全球定位系统(GPS)和陀螺仪、加速度计等多种传感器，更具备了高分辨率的大显示屏，这为移动增强现实提供了良好的开发平台。与头盔式显示设备相比，手持式移动显示设备一般体积较小、重量较轻，便于携带，但沉浸感较弱，同时由于硬件的限制，不同设备的计算性能参差不齐。目前，随着iOS系统下的增强现实平台ARKit和Android系统下的增强现实平台ARCore的发布，后续的多数新款智能移动终端将支持增强现实技术。

投影显示设备：可以将增强现实影像投影到大范围环境，满足用户对大屏幕显示的需求。由于投影显示设备生成图像的焦点不会随用户视角发生变化，其更适用于室内增强现实环境。微软研究院的 RoomAlive项目将Kinect、投影仪、摄像机和计算机结合起来，通过构建房间的三维图像将虚拟影像投影到整个房间，同时通过定位用户位置实现与虚拟世界的交互。

(3)人机交互技术：增强现实系统的目标是构建虚实融合的增强世界，使用户能够在现实世界中感受到近乎真实的虚拟物体，并提供人与这一增强的世界交互。在这一过程中，人机交互方式的好坏很大程度上影响了用户的体验。一般来说，传统的交互方式主要有键盘、鼠标、触控设备、麦克风等，近年来还出现了一些更自然的基于语音、触控、眼动、手势和体感的交互方式^[1]。

移动式增强现实系统早期的基本理念是将图像、听觉等感官增强功能实时添加到真实世界的环境中。这些系统只是能从一个视角出发所看到的图像，全面的却不能看见了；接下来的增强现实系统将会看到从不同的视角所看到的图像。增强现实要努力实现的不仅是将图像实时添加到真实的环境中，而且还要更改这些图像以适应用户的头部及眼睛的转动，以便图像在用户视角范围内观看。下面是增强现实系统正常工作所需的三个组件^[1]：

1.头戴式显示器：形如眼镜，却通过感应人们眼部活动，接受指令，呈现图像

2.跟踪系统：必须能识别这些运动，并且映射出与用户在任何特定时刻看到的真实世界相关的图像。

3.移动计算能力：随着移动通信、互联网、数据库、分布式计算等技术的发展而兴起的新技术。

现如今，随着手机、平板电脑、全息眼镜等智能移动设备的出现为增强现实技术的发展奠定了基础，除了已有的硬件设备以外，随之而来的是大量的相关应用程序等软件，公众对增强现实技术的期待逐渐强烈。基于增强现实的设备大体可以分为两类，一类是头戴式 AR，另一类是基于手机设备的AR^[2]。

头戴式AR被称为HMD(Head-mounted display)，指头戴式的显示设备。通常 VR 设备全都属于 HMD，但是对于AR 来说，则分为通过手机屏幕观看的Mobile AR 和头戴设备 HMD AR。常见的HMD AR 设备可分为 Microsoft HoloLens、Magic leap One和Meta 2，另外还有 Google Daydream推出的Mirage Solo和 Zed Mini+Oculus这两种Passthrough AR 头显

手机AR：相比较头戴式AR设备，基于手机的AR设备则因更加轻便和应用广泛而受到大众的欢迎。目前手机AR 的识别方式可大致分为以下三种：基于图像识别、基于SLAM 空间理解和基于面部识别的AR。Vuforia 是基于图像识别最主要的开发平台，通过使用设备的摄像头捕捉真实空间中的图片并计算位置，将对应的虚拟模型置于图片之上，这点与用户较为熟知的二维码比较相似。第二种是基 SLAM空间理解的AR，刚开始普遍应用在机器人上，帮助机器人理解工作的内部环境。当用在手机上之后，可以计算现实的物理空间。开发平台有两种，一种是苹果推出的 AR Core，另一种是谷歌推出的AR Kit。第三种是基于面部识别的，通过识别捕捉用户面部的特征点来重建用户的虚拟模型，在抖音、Instagram、Face U等应用程序中很常见，主要使用Open CV。

视差映射：在物理场景中呈现准确位置的能力将影响模型的现实及实用性；可通过放置多个模型或场景并在整个环境中移动测试

识别碰撞：两个物体位于同一位置时发生碰撞，导致数字失真；可使用图像识别机器学习模型识别物体碰撞

全景化：应用对用户产生视觉上的吸引力

持久化：允许数字模型及场景储存至云资源

性能：AR应用程序将消耗相机和3D视觉渲染资源，同时需要内存及图形支持；需测试电池寿命、散热能力及性能

可移植性：跨设备移植要求开发者对应用程序进行二次开发，或转移到支持更多设备的平台

可维护性：代码和应用程序设计为可维护系统的关键属性；静态分析、单元测试和测试驱动开发可提高应用程序可维护性

安全性：保护终端用户隐私，对应用程序进行安全测试以降低风险^[3]

虛拟现实(VR)是一种完全沉浸式的技术，用户看到的都是虚拟环境。这使得VR本身不具备强移动性一用户需要确保所处环境的安全， 从而在非常有限的距离内移动，以避免撞到墙壁等物体或摔倒。由于AR将数字对象和信息叠加在现实世界之上，因此AR对用户的切实价值主要体现在移动场景。例如，当用户身处陌生环境，AR可以帮助用户获得更多周边环境信息，用户还可依靠AR导航指引前往目的地。这使得AR能够与移动网络完美结合。

除此之外，区别还有

(1)虚拟现实：技术发展例重点:近限现实聚焦高画质的视觉沉浸体验。感知交互侧重于多通道交互，由于虚拟信息要盖于外界隔绝的整个用户视野，其重点在于交互信息的虚拟化。

(2)增强现实：技术发展例重点:由于用户大部分视野呈现真实场景，如何识别和理解现实场景和物体，并将虚拟物体更为真实可信的要加到现实场景中成为感知交互首要任务。此外，满足类似限境全天限规便挂为重大技术发展方向。

(3)VR与AR两者技术体系趋同，且技术实现难度均高于手机等传统智能终端，芯片、屏幕等核心领域为虚拟现实的性能门槛。总体来看，VR技术和产业化的成熟度相对较高，AR更多需要从无到有的技术储备与重大突破，其关键技术实现难度有异于VR，这一差异主要反映在近眼显示和感知交互领域

微软

2010年 发布动作捕捉和深度感知设备Kinect

2014年 收购可穿戴设备公司Osterhout Design Group(ODG)

2015年 发布Hololens一代，手势交互成为亮点，但因质量超过 500g，无法长时佩戴

2017年 发布Windows混合现实平台；收购 3D数据优化公司Donya Labs、VR社交公司AltspaceVR

2019年 发布HoloLens二代，由一代 34°视场角提升至 52°，交互更流畅精准

2021年 发布HoloLens二代工业版，并开放订购

谷歌

2012年 发布Google Glass一代， 将AR技术带入了大众的视野，引发AR发展热潮

2014年 5亿美元投资AR眼镜企业Magic leap

2016年 收购眼动追踪公司Eyefluence、图像识别技术公司Moodstacks

2017年 发布基于Android系统的AR开发平台ARCore预览版 ；投资Micro LED制造商Glo

2018年 正式发布ARCore1.0版本，持续迭代至 1.06版本 ；收购光场相机公司Lytro

2019年 发布Google Glass2代企业版以及ARCore1.07-1.14版本

2020年 收购AR眼镜公司North；Google Glass二代开放购买，售价 999美元。陆续发布ARCore1.15-1.20版本

苹果

2010—2016年收购面部识别公司Polar Rose(2010)、动作捕捉公司PrimeSense(2013)、MicroLED显示技术公司LuxVue Technology(2014)、AR视觉解决方案公司Metaio(2015)、面部识别和动作捕捉公司Faceshift(2015)、室内定位公司Indoor.io(2016)

2017年发布基于iOS系统的AR开发平台ARKit1.0版本；收购AR眼镜公司Vrvana、图像传感器公司InVisage、图像识别公司Regaind、面部识别捕捉公司RealFace、计算机视觉公司Spektral

2018年  发布ARKit1.5和ARKit2.0版本、收购体全息光波导公司Akonia、计算机视觉公司Camerai；投资硅基OLED显示技术公司Emagin

2019年发布ARKit3.0版本 ；收购动作捕捉公司Kinema

2020年发布ARKit3.5和ARKit4.0版本、iPad、iPhone部分机型首次使用dTOF激光雷达、收购VR/AR内容直播公司NextVR、三维虚拟形象制作公司Spaces

基于增强现实技术的应用包括以下内容^[4]：

(1)教育领域：由于AR丰富的互动属性和新奇的3D视觉效果，使得结合AR技术的儿童教育产品被越来越多的家长接受。相比较于传统的抽象文字和插画书籍，AR书籍采用语音结合动态的 3D 模型影像的形式更能让孩子们快速地学习和记忆新知识，学习期间孩子们还能与书本进行交互，可以带动孩子学习的积极性。除此之外，AR 技术在虚拟仿真实验也有着重要应用，例如物理原理的可视化、危险的化学实验效果以及抽象数据结构表示等都可以通过 AR 技术展示。

(2)博物馆展品导览：近年来，AR 技术已经大量应用于博物馆文物介绍说明系统中。参观者可以通过手机 APP 扫描指定文物，便可在屏幕上看见文物上叠加的虚拟信息，如文字、图片和视频等，这一技术使得参观者得以通过更加丰富的形式去了解展品背后的故事背景和文化价值。

(3)医疗领域：AR 技术可以在真实的人体结构上叠加虚拟的人体信息，便于训练人员精准的找到目标部位并进行操作。并且随着体验设备的发展，结合力反馈等多种体感设备，训练人员可以模拟真实手术流程，这一技术极大地降低了医疗手术的训练成本，反复锻炼了从业人员的动手能力。

(4)工业设计领域：AR 技术在工业设计领域也有广泛的应用。如城乡建筑规划领域：AR 技术可以让规划者直观的感受到虚拟建筑模型放在城市沙盘中的容貌，更好的做出调整，并不完全局限于设计图纸；如汽车制造领域：大家熟知的AR看车，便是典型增强现实应用。用户可以用手机对着自己喜欢的车型，更改车身颜色，轮胎尺寸和汽车配置等等组件，极大的提高了选购汽车的效率。

(1)Google Glass：谷歌公司在2012年4月时发布的一款“拓展现实”的眼镜，它的功能跟手机一样，能够用声音来进行拍照和控制拍照，视频通话和辨明方向、上网冲浪、处理文字信息跟电子邮件等等功能。Google glass是唯一一款真正意义上完现增强现实技术的硬件设备。

(2)Ingress：如今最受期待的增强实际移动端使用之一。增强现实技术的大型多人在线游戏(MMOG)。只有安卓版。2012年11月16日，谷歌方面宣称该游戏行将推出苹果IOS版，所以苹果IOS用户还需要等待一段时间。

(3)头戴式：增强现实的显示器是非常笨重的，但是开发人员还是相信他们能够开发出类似于眼睛的显示器。比如:监视器可以我们能看到全面的信息。头戴式显示器(HMD)可以让我们看见由增强现实系统所生成的图像和文本。现在，仍是没有很多专门为理想中的增强现实系统开发的头戴式显示器，大多数显示器初步都是为虚拟现实而设计的，类似于某种类型的滑雪护目镜，目前也是只有两种基本类型的头戴式显示器。

(4)光学透视：视频透视式显示器经过使用连接到护目镜外侧的小型视频摄像机来捕获影像，勾画出人的周围环境。在显示器的内侧，播放视频影像，并且将图像添加到视频上。使用视频摄像机的一个问题是在时间上有较长的延迟，当人们转动头时，影像调整就会有延迟。

(5)透视式：现在大多数制作透视式的显示器的企业都停业了。Microvision的虚拟视网膜显示器(Virtual Retinal Display)最有希望成为未来的增强现实系统，是通过迅速移动的光源在纵横两个方向上扫过视网膜，因此实际上是利用光将影像映射到视网膜上。

(6)跟踪系统：Hiball跟踪系统是使用光学感应设备和内嵌LED的天花板跟踪小范围内的移动增强现实开发人员面临的最大挑战是要知道人的周围环境和位置，也能跟踪人的肢体上的动作等问题，并且要出现与人在任何时刻看到的真实世界所相关的图像。增强现实要发挥最大潜力，就是能在室外和室内都可以使用，可用于大范围开放区域的最佳跟踪技术。

(7)计算能力：关于可佩戴增强现实的系统，现在还没有足够的计算能力来创建三维立体图形。因此，研究人员现在正在使用从笔记本和个人电脑里图像处理才行，所以笔记本电脑已经开始配备图形处理器(GPU)，但笔记本电脑仍然落后许多——英伟达已经开发了定制的300-MHz 3-D图形处理器将用于微软即将推出的Xbox游戏机，它每秒钟可以生成1.5亿个多边形，并且要比三角形复杂得多的多，由此能够看出移动图形芯片还要走很远的路，才能产生在家庭视频游戏系统中看到的那么流畅的图像^[5]。

参考资料

[1]王宇希，张凤军，刘越.增强现实技术研究现状及发展趋势[J].科技导报，2018，36(10):75-83.

[2]余雪纯. 增强现实在数字时尚中的应用研究[D].南京艺术学院，2021.

[3]【研报】科技行业科技先锋系列报告111AR行业现状及未来展望-20200707[17页].pdf

[4]韩松阳. 面向增强现实的物体检测与跟踪技术研究[D].北方工业大学，2021.

[5]深圳市增强现实技术应用协会.增强现实百科

相关报告：

华为：AR洞察与应用实践白皮书（47页）.pdf

硬件推动VR/AR行业变革Metaverse展望未来-2021.05.21（37页）.pdf

科技行业2H21：关注AR和汽车电子等新机会-210819（64页）.pdf