1、人工智能中的连接主义 人工智能中的连接主义 清华大学智能技术与系统国家重点实验室 清华信息科学与技术国家实验室（筹）清华大学计算机科学与技术系 2017.12.08 北京 2017 ArchSummit全球架构师峰会 2017 ArchSummit全球架构师峰会 提纲 OUTLINES 1 1、AI AI的本质的本质 2 2、连接主义的深度神经网络取得突破性进展连接主义的深度神经网络取得突破性进展 3 3、深度强化学习深度强化学习：连接主义与行为主义的结合连接主义与行为主义的结合 4 4、与符号主义的重新融合代表了与符号主义的重新融合代表了AI AI的未来的未来 提纲 OUTLINES 1 1

2、、AI AI的本质的本质 2 2、连接主义的深度神经网络取得突破性进展连接主义的深度神经网络取得突破性进展 3 3、深度强化学习深度强化学习：连接主义与行为主义的结合连接主义与行为主义的结合 4 4、与符号主义的重新融合代表了与符号主义的重新融合代表了AI AI的未来的未来 连接主义 连接主义 1、AI的本质 的本质 行为主义 行为主义 1、AI的本质 的本质 符号主义 符号主义 1、AI的本质 的本质 提纲 OUTLINES 1 1、AI AI的本质的本质 2 2、连接主义的深度神经网络取得突破性进展连接主义的深度神经网络取得突破性进展 3 3、深度强化学习深度强化学习：连接主义与行为主义的

3、结合连接主义与行为主义的结合 4 4、与符号主义的重新融合代表了与符号主义的重新融合代表了AI AI的未来的未来 弱人工智能弱人工智能：深度卷积神经网络深度卷积神经网络+深度强化学习 深度强化学习 2、连接主义的深度神经网络取得突破性进展 连接主义的深度神经网络取得突破性进展 Google Google WaymoWaymo 将激光雷达的成本削减了将激光雷达的成本削减了90%90%以上以上，20172017年年1010月已在月已在美国凤凰城美国凤凰城Chandler Chandler 镇镇100100平方英里范围内平方英里范围内，对对500500辆克莱斯勒插电式辆克莱斯勒插电式混合动力混合动力

4、L4L4自动驾驶汽车进行社会公测自动驾驶汽车进行社会公测，这是这是WaymoWaymo自动驾驶商业化自动驾驶商业化落地的前奏落地的前奏，首次实现了无驾驶员的公测无人驾驶出租车首次实现了无驾驶员的公测无人驾驶出租车。人工智能自动驾驶人工智能自动驾驶 无安全驾驶员了无安全驾驶员了！特斯拉特斯拉Autopilot 2.0Autopilot 2.0：目前特斯拉的量产车上均已安装目前特斯拉的量产车上均已安装Autopilot 1.0Autopilot 1.0或或2.02.0硬件系统硬件系统，其其自动驾驶功能自动驾驶功能，可通过可通过OTAOTA（空中下载（空中下载）进行从进行从L2L2到到L4+L4+的

5、软件的软件升级升级；20172017年年底之前以完全自动驾驶模式从洛杉矶开往纽约年年底之前以完全自动驾驶模式从洛杉矶开往纽约 人工智能自动驾驶人工智能自动驾驶 大范围无人驾驶出租车试运行大范围无人驾驶出租车试运行：UberUber 2016 2016年年9 9月月1414日日在美国匹兹堡市在美国匹兹堡市推出城区大范围无人驾驶推出城区大范围无人驾驶 出租车免费载客服务并试运行出租车免费载客服务并试运行；先期已测试近先期已测试近2 2年年 人工智能自动驾驶人工智能自动驾驶 20212021年年无人驾驶汽车的产业元年无人驾驶汽车的产业元年：Google Google WaymoWaymo、沃尔沃沃尔

6、沃、福特福特、宝马宝马、百度百度、英特尔等全球近英特尔等全球近2020家企业均已宣称家企业均已宣称，4 4年后的年后的20212021年前后将会是无人驾驶汽车的年前后将会是无人驾驶汽车的产业元年产业元年，部分部分SAE L4SAE L4将实现量产将实现量产。人工智能自动驾驶人工智能自动驾驶 ILSVRC?人工智能视觉物体识别人工智能视觉物体识别 Very Deep Learning 极深度学习极深度学习/1202/1202层层 15M Images 22k Categories?ImageNet ILSVRC 1,000?Deep CNN?AlexNet(Krizhevski et al.,2

7、012)15.3%top-5 error OverFeat(Sermanet et al.,2013)13.8%VGG Net(Simonyan et al.,2014)7.3%GoogLeNet(Szegedy et al.,2014)6.6%Human(Russakovsky et al.,2014)5.1%Feb 6,2015，Microsoft 4.94%Feb 11,2015，Google 4.82%Dec 11,2015，Google 3.58%Dec 10,2015，Microsoft 3.57%Feb 23,2016，Google 3.08%Sep 26,2016,Trimps

8、-Soushen 2.99%April 2017，Qihoo 360 2.77%?LFW?人工智能人脸识别人工智能人脸识别 20172017年年 1.1.阅面科技阅面科技 ReadSenseReadSense 99.82%99.82%；2.2.平安平安PingAnPingAn AI AI Lab 99.80%Lab 99.80%；3.3.腾讯腾讯YouTuYouTu Lab 99.80%Lab 99.80%刷脸支付刷脸支付/刷脸闸机刷脸闸机 1?6?“?”?3:2?人工智能人脸识别人工智能人脸识别 谷歌谷歌Clips AIClips AI相机相机 2017?10?5?Google Clips?

9、/?人工智能相机人工智能相机 阿里无人超市“淘咖啡阿里无人超市“淘咖啡”人工智能无人零售店人工智能无人零售店?DCNN?R-CNN(CVPR-2014)Fast R-CNN(ICCV-2015)Faster R-CNN (NIPS-2015)YOLO(CVPR-2016)SSD(ECCV-2016)R-FCN(NIPS-2016)人工智能物体检测人工智能物体检测?FCN?/?人工智能语义分割人工智能语义分割?人工智能风格抽取人工智能风格抽取 12?DeepMind?LipNet?GRID?95.2%?BBC?46.8%?12.4%?71%?80%?人工智能唇读人工智能唇读 Y.M.Assael

10、,et al.:LipNet:Eend-to-End Sentence-Level Lipreading,arXiv:1611.01599v2 16 Dec 2016.Apple：Siri Amazon:Alexa Microsoft：Cortana Google：Google Now Viv Labs：Viv 百度百度：度秘 度秘 AIAI虚拟助手 虚拟助手 Microsoft：小冰小冰/Tay Facebook:Messenger IBM&GIT:Jill Watson助教各助教各种种Android聊天机器人聊天机器人 AIAI聊天机器人 聊天机器人 目前的社交新媒体和互动平台中目前的社交

11、新媒体和互动平台中，AIAI虚拟虚拟助手和助手和AIAI聊天机器人聊天机器人，正在崛起正在崛起，推动人推动人机自然交互商业落地机自然交互商业落地 人工智能语音助理人工智能语音助理&聊天 聊天 亚马逊亚马逊EchoEcho 谷歌谷歌HomeHome 苹果苹果HomepodHomepod 百度百度DuerOSDuerOS 亚马逊于亚马逊于20142014年推年推出的智能音箱出的智能音箱EchoEcho，基于语音助手基于语音助手AlexaAlexa实现音乐播放实现音乐播放、新新闻搜索闻搜索、网购下单网购下单、UberUber叫车叫车、外卖预外卖预定等服务定等服务，成为行成为行业标杆 业标杆 人工智能

12、音箱人工智能音箱?9?19?DeepMind?WaveNet?人工智能语音合成人工智能语音合成 A.Oord,et al.,WaveNet:A Generative Model for Raw Audio,arXiv:1609.03499v2,19 Sep 2016.10?17?5.9%?WER?/?/?人工智能速记人工智能速记&语音输入 语音输入 W.Xiong,et al.,Achieving Human Parity in Conversational Speech Recognition,arXiv:1610.05256v1,17 Oct 2016.9?27?Google?GNMT?-

13、?87%?-?58%?-?60%?人工智能翻译 人工智能翻译 Y.Wu,et al.,Googles Neural Machine Translation System:Bridging the Gap between Human and Machine Translation,arXiv:1609.08144v2,8 Oct 2016.2017?10?5?Google?无线耳塞无线耳塞Pixel Buds?Google Pixel Buds?Google Pixel 2?40?“AI+?+?”人工智能翻译 人工智能翻译 5?8?Facebook?FAIR?Google?GNMT?9?人工智能

14、翻译 人工智能翻译 J.Gehring,M.Auli,D.Grangier,D.Yarats,and Y.N.Dauphin,Convolutional Sequence to Sequence Learning,arXiv:1705.03122v2 cs.CL 12 May 2017.Goodfellow(2014)?GAN?2016?人工智能对抗训练人工智能对抗训练 Ian Goodfellow,NIPS 2016 Tutorial:Generative Adversarial Networks,arXiv:1701.00160v3,9 Jan 2017 (57 pages).GAN?人工

15、智能制造人工智能制造 人工智能已成为自动驾驶汽车商业落地的关键人工智能已成为自动驾驶汽车商业落地的关键；视觉物体识别视觉物体识别、人脸识别人脸识别，唇语识别等在许多唇语识别等在许多国际公开评测中国际公开评测中，达到或超过人类的水平达到或超过人类的水平；速记等语音识别已可媲美人类速记等语音识别已可媲美人类；包括神经机器翻译在内的自然语言处理包括神经机器翻译在内的自然语言处理，性能性能也得到大幅度提升也得到大幅度提升，并已开始产品商业落地并已开始产品商业落地 提纲 OUTLINES 1 1、AI AI的本质的本质 2 2、连接主义的深度神经网络取得突破性进展连接主义的深度神经网络取得突破性进展 3

16、 3、深度强化学习深度强化学习：连接主义与行为主义的结合连接主义与行为主义的结合 4 4、与符号主义的重新融合代表了与符号主义的重新融合代表了AI AI的未来的未来 3 3、深度强化学习深度强化学习：连接主义与行为主义的结合 连接主义与行为主义的结合 学习算法学习算法：监督学习监督学习/Supervised Learning 强化强化学习学习/Reinforcement Learning 无监督学习无监督学习/Unsupervised Learning 强化学习也称强化学习也称再励学习再励学习，是一种模拟人类和动物是一种模拟人类和动物行为学习的延迟回报学习（基于奖励或惩罚）行为学习的延迟回报学

17、习（基于奖励或惩罚）；学学习效率介于监督学习与无监督学习之间习效率介于监督学习与无监督学习之间。3 3、深度强化学习深度强化学习：连接主义与行为主义的结合 连接主义与行为主义的结合 强化学习的基本原理强化学习的基本原理 3 3、深度强化学习深度强化学习：连接主义与行为主义的结合 连接主义与行为主义的结合 Deep CNN+强化学习强化学习：应用于神经动态规划应用于神经动态规划（Neuro-dynamic programming）决策问题决策问题中中，取得了以取得了以AlphaGo为为代表的里程碑式的胜利代表的里程碑式的胜利 深深度强化学习与度强化学习与MDP 强化学习强化学习：20172017

18、年全球十大突破性年全球十大突破性技术之首技术之首！-MIT技术评论技术评论 3 3、深度强化学习深度强化学习：连接主义与行为主义的结合 连接主义与行为主义的结合 5:0?2015.10 3:0?2017.5 4:1?2016.3“?”?AlphaGo?60:0?2017.1 5?9?4?深度强化学习深度强化学习?3?9-15?AlphaGo Lee?4:1?深度强化学习深度强化学习 AlphaGoAlphaGo Lee Lee 12?29?-2017?1?4?Master?AlphaGo?30?60?0?1?AlphaGoAlphaGo Master Master 1919 1919 用于获得

19、围棋最优策略用于获得围棋最优策略 搜索空间搜索空间:宽度宽度250,250,深度深度150150 主要涉及如下三个关键技术主要涉及如下三个关键技术：-策略网络策略网络:输出每步落子获胜的条件概率分布输出每步落子获胜的条件概率分布（局部）（局部），消减搜索的宽度消减搜索的宽度 -价值网络价值网络:输出对任意棋局获胜的全局“棋输出对任意棋局获胜的全局“棋感感”评分评分，消减搜索的深度消减搜索的深度 -蒙特卡洛树搜索蒙特卡洛树搜索:输出下一步最优落子 输出下一步最优落子 AlphaGo?深度强化学习深度强化学习：探索认知智能的曙光探索认知智能的曙光 网络结构网络结构：-深度策略网络深度策略网络:13

20、-layer DCNN 13-layer DCNN/SL Policy SL Policy Network,RL Policy Network Network,RL Policy Network -深度价值网络深度价值网络:13-layer DCNN 13-layer DCNN -蒙特卡洛树搜索蒙特卡洛树搜索:传统方法 暴力法暴力法：搜索空搜索空间巨大间巨大；对棋局和落子的对棋局和落子的获胜评估困难获胜评估困难 深度强化学习深度强化学习：探索认知智能的曙光探索认知智能的曙光 如何进行学习如何进行学习？深度监督学习深度监督学习+深度强化学习深度强化学习+大数据大数据+TPU+TPU 深度监督学习

21、：深度监督学习：人类职业围棋高手棋谱（监督策略网络人类职业围棋高手棋谱（监督策略网络，价值网络价值网络）/人类专家棋谱人类专家棋谱，最高最高57%57%预测成功率预测成功率 深度强化学习：深度强化学习：机器自弈（机器自弈（self-playself-play）(强化策略网络强化策略网络，价价值网络值网络)大数据：大数据：3,0003,000万棋局（万棋局（positionspositions）（KGSKGS围棋服务器围棋服务器6-96-9段段）利用其中的利用其中的100100万进行测试万进行测试 深度强化学习深度强化学习：探索认知智能的曙光探索认知智能的曙光 Nature 550,pp.354

22、359(19 October 2017)DOI:doi:10.1038/nature24270.AlphaGoAlphaGo Zero Zero 无师自通的围棋无师自通的围棋AI AI 深耕深度强化学习深耕深度强化学习 0 0天：天：AlphaGo Zero没有利用围棋的历史棋谱没有利用围棋的历史棋谱，仅输入了基仅输入了基 本的规则 本的规则 3 3天：天：AlphaGo Zero超过了超过了AlphaGo Lee 2121天天：AlphaGo Zero达到了达到了AlphaGo Master 4040天天：AlphaGo Zero超过了所有的超过了所有的AlphaGo版本版本，完全依赖完全依

23、赖 自弈自弈，没有人的干预没有人的干预，也未使用任何历史棋谱数据 也未使用任何历史棋谱数据 ResNet80 深耕深度强化学习深耕深度强化学习 arXiv:1712.01815v1 cs.AI 5 Dec 2017 AlphaZeroAlphaZero 无师自通的通用棋类无师自通的通用棋类AI AI StockfishStockfish：2016 2016 年年 Top Chess Engine Top Chess Engine Championship(TCEC)Championship(TCEC)世界冠军程序世界冠军程序 ElmoElmo：20172017年年Computer Comput

24、er ShogiShogi Association(CSA)Association(CSA)世界冠军程序 世界冠军程序 1111万次训练万次训练，不到不到2 2小时小时，击败击败Elmo Elmo 3030万次训练万次训练，4 4小时小时，击败击败Stockfish Stockfish 16.516.5万次训练万次训练，8 8小时小时，击败击败AlphaGoAlphaGo Lee Lee 深耕深度强化学习深耕深度强化学习 0 0天：天：AlphaZero没有没有利用任何历史棋谱利用任何历史棋谱，仅仅输入了基本的棋类规则 输入了基本的棋类规则 3 3天：天：AlphaZero打败打败了超人类水平

25、的国际象了超人类水平的国际象棋程序（棋程序（Stockfish）、日本将棋程序（日本将棋程序（Elmo）和围棋和围棋AI程序（程序（AlphaGo Zero）5,000 5,000 个个TPU1 TPU1：推演自弈的棋类推演自弈的棋类 64 64 个个 TPU2TPU2：训练神经网络 训练神经网络 深耕深度强化学习深耕深度强化学习？深耕深度强化学习深耕深度强化学习 2017?1?DeepStack?M.Moravcik,et al.,DeepStack:Expert-Level Artificial Intelligence in No-Limit Poker,arXiv:1701.01724

26、v2 cs.AI 10 Jan 2017.人工智能扑克 人工智能扑克 开辟深度强化学习新战场开辟深度强化学习新战场 AlphaGo?DQN 人工智能游戏玩家 人工智能游戏玩家?Nature,Feb.26,2015?Mnih,et al.,“Human-level control through deep reinforcement learning”,Nature,vol.518,pp.529-533,26 Feb.2015.深度深度Q-Q-网络网络/DQN 49种种Atari像素游戏像素游戏中中，29种达到乃至种达到乃至超过人类职业选手超过人类职业选手的水平 的水平 开辟深度强化学习新战场开

27、辟深度强化学习新战场 AlphaGo?DeepMind?“?2”人工智能游戏玩家 人工智能游戏玩家 开辟深度强化学习新战场开辟深度强化学习新战场 AlphaGo?人工智能自动驾驶 人工智能自动驾驶 开辟深度强化学习新战场开辟深度强化学习新战场 AlphaGoAlphaGo投顾投顾 AlphaGo?人工智能金融 人工智能金融 开辟深度强化学习新战场开辟深度强化学习新战场 AlphaGo?人工智能医疗 人工智能医疗 开辟深度强化学习新战场开辟深度强化学习新战场？开辟深度强化学习新战场开辟深度强化学习新战场 提纲 OUTLINES 1 1、AI AI的本质的本质 2 2、连接主义的深度神经网络取得突

28、破性进展连接主义的深度神经网络取得突破性进展 3 3、深度强化学习深度强化学习：连接主义与行为主义的结合连接主义与行为主义的结合 4 4、与符号主义的重新融合代表了与符号主义的重新融合代表了AI AI的未来的未来 以以大数据驱动的大数据驱动的Deep CNN为代表的感知智为代表的感知智能的成功能的成功(“举三反一“举三反一”)，使机器在垂直细使机器在垂直细分领域初步获得了媲美人类水平（分领域初步获得了媲美人类水平（human level）的“模式的“模式”识别能力识别能力，这必将成为这必将成为认知智能发展的基石认知智能发展的基石。在新的起点上在新的起点上，进行“举一反三进行“举一反三”的认知智

29、能前沿研究的认知智能前沿研究 4 4、与符号主义的重新融合代表了与符号主义的重新融合代表了AIAI的未来 的未来 认知智能认知智能，即对人类深思熟虑行为即对人类深思熟虑行为 的模拟的模拟，包括记忆包括记忆、常识常识、知识学习知识学习、推理推理、规划规划、决策决策、意图意图、动机与思考动机与思考等高级智能行为等高级智能行为 现状现状：追求追求看清看清、听清听清，有识别无理解有识别无理解 未来未来：要要看懂看懂、听懂听懂、读懂读懂！迈向认知智能和通用人工智能迈向认知智能和通用人工智能?pre-training?Hinton?(2015)?Knowledge distilling?CNN?CNN?K

30、nowledge Transfer?Hinton,G.,Vinyals,O.,Dean,J.:Distilling the knowledge in a neural network.arXiv:1503.02531(2015).获得举一反三能力获得举一反三能力 从特征学习到规则学习从特征学习到规则学习 具有认知推理的半监督具有认知推理的半监督/无监督学习 无监督学习 深度无监督学习是深度无监督学习是AIAI的“黑科技的“黑科技”-动物与人类习得的大部分知识都来自于无监督动物与人类习得的大部分知识都来自于无监督学习（先有无监督学习（先有无监督，监督是语义水平的）监督是语义水平的）；-通过预测性

31、的无监督学习来构建并通过预测性的无监督学习来构建并 推断世界推断世界，获得“印象”获得“印象”；-进一步降低对大数据的依赖 进一步降低对大数据的依赖“特征提取特征提取+推理推理”的小样本学习的小样本学习 获得举一反三能力获得举一反三能力 从特征学习到规则学习从特征学习到规则学习 具有认知推理的半监督具有认知推理的半监督/无监督学习 无监督学习 将深度学习获得的将深度学习获得的特征或概念抽象特征或概念抽象，想象或与知想象或与知识图谱结合识图谱结合，同时整合同时整合记忆记忆、注意力注意力、常识常识、推理推理、规划与意图等规划与意图等，以获得以获得多任务学习能力多任务学习能力。例如例如，LSTM L

32、STM（HochreiterHochreiter，19971997）；）；记忆神经网络记忆神经网络MNMN（Weston Weston etet al al.，20142014）；堆叠增强递归神经网络（堆叠增强递归神经网络（JoulinJoulin et alet al.，2014)2014)；NTMNTM(DeepMindDeepMind，2014)2014)；堆叠的堆叠的What-WhereWhat-Where自动编码器（自动编码器（Zhao Zhao et alet al.,.,2016 2016），获得多任务学习能力获得多任务学习能力 从特征学习到规则学习从特征学习到规则学习 迈向通用

33、人工智能 迈向通用人工智能 概念抽象概念抽象：以嵌入结构的方式表达世界以嵌入结构的方式表达世界 认知向量认知向量：概念向量概念向量通过时空递归通过时空递归学习学习，获得知获得知识或认知的表达识或认知的表达 推理推理/规划规划：对上述递归过程的应用对上述递归过程的应用 例如例如，对自动问答系统等对自动问答系统等，就可将之视为想法就可将之视为想法/认知向量之间进行检索认知向量之间进行检索比较比较（深度检索模型（深度检索模型）；而对推理而对推理、规划规划、机器翻译机器翻译、语言与语境语言与语境理解理解、对话系统对话系统，就可考虑为想法就可考虑为想法/认知向量的生成认知向量的生成、组合与变换组合与变换

34、 （深度生成模型深度生成模型）。获得多任务学习能力获得多任务学习能力 从特征学习到规则学习从特征学习到规则学习 迈向通用人工智能 迈向通用人工智能？4 4、与符号主义的重新融合代表了与符号主义的重新融合代表了AIAI的未来 的未来 作为一种感知智能模型作为一种感知智能模型，连接主义的连接主义的深度卷积神经网深度卷积神经网络络迄今最好地模拟了生物视觉通路迄今最好地模拟了生物视觉通路，在完备大数据与超强在完备大数据与超强计算硬件的强力支撑下计算硬件的强力支撑下，通过多层特征的自动提取等通过多层特征的自动提取等，已在已在计算机视觉计算机视觉、语音识别语音识别、自然语言处理自然语言处理、自动驾驶自动驾驶、大数据大数据处理等诸多方面处理等诸多方面，接近接近、达到甚至超过人类水平达到甚至超过人类水平。以以AlphaZero为代表的为代表的深度强化学习深度强化学习，将连接主义与行将连接主义与行为主义结合为主义结合，已具有超人类水平的博弈类决策能力已具有超人类水平的博弈类决策能力，为决策为决策类认知智能的探索带来了新的曙光类认知智能的探索带来了新的曙光。与与符号主义结合符号主义结合的面向小数据具有“举一反三的面向小数据具有“举一反三”推理能推理能力的力的认知智能与通用人工智能认知智能与通用人工智能，仍有待探索与突破仍有待探索与突破。谢谢谢谢！