1、普适智能和普适学习:智能革命和智能经济的引擎新加坡南洋理工大学电子电气工程学院 教授ProfessorSchool of Electrical Electronic Engineering,Nanyang Technological University,SingaporePervasive Intelligence and Pervasive Learning:Enabling Intelligent Revolution and Intelligent Economy微博： Approximation capability）Leshno 1993,Park and Sandberg1991

2、,Chen,et al 1995:任何连续目标函数可以用前馈神经网络以任意小的误差近似逼近。分类能力定理（Classification capability）Huang,et al 2000：任何理论上可以分开的目标都可以用人工（前馈）神经网络加以分开。次优学习定理（Suboptimal learning）：SVM（支持向量机）提供次优学习解Huang,et al 2012，Kernel（核）函数不必是黑箱，可以通过随机特征影射透明化Huang,et al 2012。生物神经网络的理论基础（机器或生物）学习可以不需要调整隐层节点（超限学习机ELM学习理论）：给定任何连续目标函数或可分类目标，只

3、要前馈神经的隐层节点是非线性阶段连续的，神经网络无需调整隐层节点就能任意逼近目标连续函数或对分类目标加以分类,首次理论证明SVM提供的是次优学习方法。Huang,et al 2004,2006,2007,2012。6再思考人工智能和机器学习的内涵和发展趋势71950s1970s2010现在年代机器学习人工智能1980s人工智能冬天(1970s)神经网络的复兴几乎所有的深度学习算法(包括CNN,BP等)都在1980s1990s提出的2004年诞生超限学习机（ELMs）由于高性能计算机和大数据的出现深度学习在2004年复兴2012年ELM学习机制在动物脑中发现人工智能诞生传统观点：机器学习是人工智

4、能的一个子集事实是：未来人工智能和机器学习紧密相关、有叠加但不一样8AI:Artificial Intelligence 人工智能ML:Machine Learning 机器学习DL:Deep Learning 深度学习ELM:Extreme Learning Machines 超限学习机BL:Biological Learning 生物学习人工智能和机器学习是两个有重叠、相互推进又不同的范畴。再思考人工智能和机器学习的内涵和发展趋势智能时代的代表不只是数据大!未来机器智能不一定属于人工智能趋势1：云端智能和本地智能的有机融合数据大而复杂云端相对学习能力数据小或特征复杂度不高终端SVM深度学习

5、ELM9趋势1：云端智能和本地智能的有机融合云端智能Cloud IntelligenceLocal Intelligence本地智能合同协作高功耗长反馈高计算强度深度学习等超限学习机等低功耗低延时低计算强度新的一波人工智能技术的爆发点：本地智能与云端智能的有机融合10趋势2：云端智能的同步协同111980s2010现在未来5年机器学习算法本身不再依赖于GPU的支撑，但GPU等却可以实现众多智能系统在云端的同步协同机器学习算法实现主要依赖PC端CPU的计算能力机器学习算法实现平台逐渐的转向了并行计算能力更加强大的GPU出现专门为机器学习定 制 的 云 计 算 单 元（TPU云+GPU云)单元功耗

6、计算强度TPU云GPU云神经形态芯片ASIC光子芯片FPGA智能芯片GPUCPU趋势3：从物联网到智能物联网12传感器智能芯片(FPGA,ASIC,加速器,忆阻器,神经形态)智能物(eg.智能设备、智能传感器、智能摄像头等)趋势4：机器学习和生物学习的汇合13机器学习生物学习机器学习和生物学习有逐步汇合的趋势深度学习神经形态ELM智能材料生物认知想象力神经网络自由意志情感情绪趋势5：普适学习/普适智能14无所不在的智能计算+存储神经单元趋势6：非冯诺依曼结构智能15外部内部的存储单元统一智能材料特殊算法运算器控制器内存储器外存储器输入设备输出设备CPU存储器冯诺依曼结构控制数据非冯诺依曼结构特

7、点趋势7：人工智能模块定制化16AI硬件模组算法API数据模块定制模块算法API通用模块趋势8：多智能实时同步17RNNCNNSAEELM多通道，多层次机器学习综合系统智能耦合通道1.高效模块同步2.异构算法耦合实现多智能，高灵活性的普适智能深度学习不是生物学习，但有效18深度学习 Deep Learning生物学习 Biological Learning对网络结构大小极其敏感对生物神经元网络模块大小不是苛求，稳定性很高（每个模块大小不等：几十几万个神经元）极其”痛苦”的人工”调参”并没有什么“人”在“脑”中不时“调参”在并行和硬件实现上比较难并行和硬件实现是生物学习机制的天然实现模式很难微型

8、实时学习；需要大量的时间；很难实现多通道数据实时融合和决策系统实时同步微型实时学习；天然实现多通道数据实时融合和决策系统实时同步很难实现在线串行数据学习（sequential learning）和数据流学习（stream data learning）天然在线串行数据学习和数据流学习大数据高精度；许多简单的应用也需要才能大数据实现用小数据解决许多复杂应用需要海量计算资源（通常几千几万个快速计算单元的并行运算）低速的神经元并行学习学习速度极其低速，在学习精度上极其“贪婪”讲究高学习速度，高的准确率，但不过分“贪婪”于学习精度总是先有应用，再去找寻相匹配的“个性化”强的学习算法总是先有普适的“脑”，

9、再有应用ELM vs 生物学习19ELM生物学习对网络结构大小不太敏感对生物神经元网络模块大小不是苛求，稳定性很高（每个模块大小不等：几十几万个神经元）对人工参数不太敏感并没有什么“人”在“脑”中不时“调参”容易并行和硬件实现并行和硬件实现是生物学习机制的天然实现模式较易微型实时学习；需要较少的时间；较易实现多通道数据实时融合和决策系统实时同步微型实时学习；天然实现多通道数据实时融合和决策系统实时同步交易实现在线串行数据学习（sequential learning）和数据流学习（stream data learning）天然在线串行数据学习和数据流学习理论上可以用小数据解决复杂的应用用小数据解

10、决许多复杂应用易于低功耗硬件实现低速的神经元并行学习学习速度极其快速，在学习精度上讲求高准确度上的动态平衡讲究高学习速度，高的准确率，但不过分“贪婪”于学习精度可以先有通用算法和硬件总是先有普适的“脑”，再有应用人工神经网络历史的魔幻“15年”周期20Rosenblatts perceptron（感知器）(1956-1969)AI winter（人工神经网络冬天）(1970-1986)BP algorithms（误差反馈算法）(1980-1996)SVM（支持向量机）(1996-2010)Reviving of Deep Learning（深度学习的复兴）(2004 现在)ELM（超限学习机）

11、深度学习概念的演化21传统深度学习的概念传统深度学习的“能”与“不能”广义深度学习的概念多类学习算法、学习系统的有机组合（好比软硬件系统中各个子模块的有机结合）Input NodesInput NodesOutput NodesOutput Nodes智能物联网和新经济模式22智能革命的10大影响23智能材料机器智能和进化论智能从云端走向普物人工智能和机器学习的分化数据驱动的科学和工程学（数学、信号处理等）智慧星际旅行、时空倒转伦理“智控”智能拐点衔接机器学习和生物学习智能物联网和新经济模式67891012345人工智能的10大应用24智能家居智能商场智能餐厅智能交通智能金融智能博弈智能医疗智能教育智能工厂智能农场人工智能10大应用机器智能 vs 人的智能25人的能力在下降？机器智能在提高？在许多情况下，给定一个特定的智能任务，机器智能最终会超过人的能力人类智能机器智能智能指数（Intelligence Index）26有生命和无生命的智能会普遍化地球总体智能指数在迅速提升，爆发阶段即将到来担心/矛盾：人类和生物智能的主宰地位却受到人类创造的智能的挑战。根据达尔文进化论，随着智能的普及深化，人的部分能力会退化，人也会越来越少虽然非生命体智能由人类创造，却最终很可能变的不可控、不可确定性。正面/负面智能？最终是智能而不是智能的载体穿越时空。