1、观点报告扫码关注智源公众号策划智源社区内容团队主编贾 伟 李梦佳执行组贾 伟 李梦佳 杜佳豪 钱曙光 常 政 廖 璐编辑组（排名不分先后）张冬敏 周岷峰 戴一鸣 苟 瑜 靳虹博 殷靖东 刘克宇 闫亚琼 徐琳璐 刘 祥 邹晓龙 张 博苏 杰 陈路瑶 陈智强 何 芸 林 依 寇建超熊宇轩 肖 健 沈林杉 廖钰蕾 周寅张浩 王惠远 德 周 任黎明 翟 珂 王光华 赵 言李中梁 沈磊贤 孙 晨 张 虎 李向南 李炳逸白 鹏 路啸秋 王 科 卢 宇 路孟康 马瑞军王小航 王愚德 邱心宽 孙旭冉 胡蓝青 孙浩淼6月1日至6月3日，由北京智源人工智能研究院（以下简称“智源研究院”）主办的2021北京智源大会

2、成功召开。北京智源大会定位于“AI内行顶级盛会”，今年为第三届，线上线下同步召开，线下会场在北京中关村国家自主创新示范区会议中心。本届大会邀请到图灵奖得主约书亚本吉奥（Yoshua Bengio）、大卫帕特森（David Patterson），欧洲大脑奖得主彼得达扬（Peter Dayan）等200余位国内外人工智能领域顶尖专家参会，设置“预训练模型”“青源学术年会”“AI创业”等29个专题论坛。本届大会参会人员国际覆盖面为历届之最，共有8千人现场参会，线上7万人参加，参会人员覆盖我国各省份，以及海外76个国家和地区，充分体现了大会的国际影响力和国际多元性。在本届大会上，智源研究院围绕创新研究

3、、学术生态、产业发展等方面，发布了一系列重大成果及计划，充分体现了智源研究院打造人工智能学术和技术创新生态工作的卓越成效。6月1日，发布了全球最大的超大规模智能模型“悟道2.0”，推动打造我国人工智能战略基础设施。6月2日，发布成立了AI青年科学家俱乐部“青源会”，促进海内外的AI青年科研人员“开心探索智能本质”；发布支持AI创业的“源创计划”，加速从AI源头创新到源头创业的实现路径。6月3日，智源研究院与美国艾伦人工智能研究院、巴西C4AI人工智能中心等国际知名AI科研院所达成合作意向，将探索共同开展超大规模智能模型建设及其它前沿科研项目的可能性；举行签约仪式，专注于AI开放与共享的AI O

4、pen期刊，未来将依托智源社区，进一步打造成为开放、协作的新一代学术交流平台。本届大会，国际顶尖专家围绕人工智能学术前沿和产业热点开展深入研讨，为参会人员贡献了一场丰盛的“AI学术盛宴”。智源研究院整理了大会专家的主要观点，供各界人士参考。目 录CONTENTSP2P4P9P19P21P22P30P36P40P44P46P48P51P53P55P57P582021北京智源大会主要观点智源研究进展智源发布大规模预训练模型“悟道2.0”智源发布青年科学家俱乐部“青源会”智源发布创业支持项目“源创计划”全体大会人工智能的数理基础论坛智能体系架构与芯片论坛预训练模型论坛AI科技女性论坛AI人才培养论坛

5、科学智能论坛智能信息检索与挖掘论坛机器学习论坛决策智能科学场景暨滴滴决策智能仿真开放平台产业画像和精准治理中的AI创新应用论坛群体智能论坛P60P72P74P77P79P84P87P90P95P98P99P102P105P107P111P113P116P120P123P124青源学术年会人工智能伦理、治理与可持续发展论坛人工智能的认知神经基础论坛精准智能论坛认知智能论坛AI赋能生命健康与生物医药论坛AI创业论坛工业智能论坛强化学习与决策智能论坛国际AI研究机构论坛自然语言处理论坛人工智能与社会经济论坛AI交通论坛AI安全与产业治理论坛AI制药论坛AI开放与共享论坛AI系统论坛视觉大模型论坛智源

6、研究院介绍&智源大会介绍&智源社区介绍合作伙伴&加入智源社区群02智源大会论坛核心观点01智源研究进展与最新发布03智源大会相关2021北京智源大会主要观点2021北京智源大会主要观点十、可解释、自监督成为机器学习领域研究热点，推动开放环境下深度学习模型的研究及优化 可解释性对数据科学和机器学习相关的建模优化至关重要，已逐渐成为近年来的研究热点；开放环境下传统深度学习模型的研究方式遇到挑战，需结合概率统计等数学知识进行可行性研究；自监督学习打破了对标注数据的依赖，是人工智能技术的未来发展方向。十一、决策智能将推动工业界变革，目前我国在模拟仿真方面存在明显短板 决策智能与博弈论、多智能系统相互影

7、响，将推动工业界变革；强化学习仍在起步阶段，在解决实际问题方面仍有很长的路要走；模拟仿真环境是实现决策智能的重要条件，我国在模拟仿真方面存在明显短板。十二、群体智能发展迅速、形态多样，可提高决策的智能化，联邦学习是打破数据孤岛的关键技术 群体智能包含多种形态，时空数据研究成为近年来的热点领域；群体智能可应用在共享出行、物流领域，使决策更智能；联邦学习技术是打破数据孤岛，拓展数据疆界的关键技术。十三、加快高层次的国际学术交流与合作，推动全球人工智能前沿研究发展 “知识无国界”，智源研究院与多家国际知名人工智能研究机构达成合作共识，营造多元开放的学术生态；智源研究院推出 AI Open 期刊，推动

8、学术成果的开放和共享。十四、智源研究院发布支持AI创业的“源创计划”，助力人工智能创业项目加速 智源发布“源创计划”，推动实现从AI源头创新到源头创业的跨越；AI投资更加关注底层技术和原始创新，引导资本投向硬科技与前沿领域。十五、国际顶级专家指出人工智能需秉持以人为本的发展原则，关注社会、环境等可持续发展目标 人工智能发展应秉持以人为本的发展原则，避免技术过快发展造成难以挽回的后果；人工智能对人类社会和环境的长期影响仍不明确，需要专门设立研究团队持续跟踪；人工智能在可持续发展研究中取得重要进展，有助于解决困扰人类的环境问题。十六、多模态技术是自然语言处理的重要发展方向，深度学习框架为大规模预训

9、练模型提供关键支撑 多模态技术成为自然语言处理重要方向，将助力机器翻译和对话系统应用落地；构建多语言、多任务的基准测评标准，将进一步推动国际中文自然语言处理技术的发展；AI模型创新依赖于机器学习系统的快速迭代，自动优化成为AI系统发展新趋势；深度学习框架是大规模预训练模型运行的关键支撑，分布式成为新一代框架发展的重要特点。十七、AI技术深度赋能生命健康、交通、工业等领域，推动传统行业智能化升级 人工智能有切入制药领域的天然逻辑，但并非“无所不能”；人工智能与生命科学需要“破壁”，智能科学计算将在生物学世界“遍地开花”；促进车路数据的互联互通，是推动交通系统智能化、发展中国自动驾驶的重要基础；工

10、业智能可按照不同技术层次逐步实现，最终完成价值落地的业务闭环。十八、人工智能对经济社会发展产生深刻影响，AI数据与安全治理迫在眉睫 人工智能对经济、就业等社会经济多方面会产生深刻的影响；数据安全对人工智能至关重要，推动制定完善的数据安全治理体系有利于AI行业健康发展；基准测试平台可全面衡量AI模型安全性，提供公开、公正、全面的评价标准。一、超大规模智能模型是实现真正人工智能的可行路径，我国在大模型的研发和应用上已取得重要突破。超大规模智能模型是下一代AI的基础平台，是实现真正人工智能的可行路径，距离实现目标较远但已往前推进；超大规模智能模型成为人工智能前沿技术突破的重要领域，产出多项国际引领成

11、果；高质量的大规模预训练模型应具有通用能力、可解释性、可落地等特征；大模型已在搜索、推荐、对话、营销等领域实现应用落地，具有广阔的发展前景。二、人工智能国际前沿基础理论持续发展，学科交叉融合趋势凸显。现阶段深度学习模型不能很好的应对“数据分布外”问题，可借鉴人类的认知模式和决策方法，提升模型的鲁棒性；利用人工智能技术全面提升基础科学科研能力，加快进入“智能化科研”时代；数据资产化推动智能时代发展进程，建立数据资产化的全球治理体系成为迫切需求。三、应对当前深度学习发展存在的挑战，探索在小领域建立以数学与统计理论为第一原理的新一代人工智能方法论。深度学习的可计算性、可解释性、泛化性等问题存在重大理

12、论挑战；人工智能有望在小领域诞生大统一理论。四、应对超大规模智能模型发展浪潮及应用场景碎片化现状，降低功耗及构建开源生态成为智能芯片领域发展的趋势。类脑计算是后摩尔时代最为重要的发展方向之一，仿生神经形态计算有可能成为未来智能计算的突破口；在超大规模智能模型发展浪潮的冲击下，人工智能算力系统面临更大挑战；人工智能芯片可围绕算法优化、减少数据流动、采用新器件等方式，尽可能降低功耗；针对人工智能场景碎片化问题，从芯片研发及生态建设方面予以解决；推动构建AI芯片开源生态，加快我国人工智能芯片领域相关人才培养。五、高校在培养人工智能基础人才上“任重道远”，人工智能复合型人才培养需要加强校企合作。人工智

13、能基础人才培养应该着眼长期，“因校制宜”是高校发展人工智能学科需要依据的重要准则；发挥各自优势，校企合作加快培养人工智能复合型人才。六、全球主要国家推动建设公益性AI研究平台或研究机构，加快AI科研组织管理模式创新 美国等国家推动建设公益性AI研究平台或研究机构，促进AI科研和产业发展；RISC-V芯片架构是以构建重大AI原型产品或系统为目标的科研组织管理模式的典型代表，通过开源模式助力AI芯片技术加快 迭代。七、推动人工智能技术应用于联合国可持续发展目标实现，多维共治、多方参与，构建负责任的人工智能综合治理体系 人工智能技术有利于联合国可持续发展目标实现，但在学术界尚未引起广泛关注；打造多维

14、共治的人工智能治理体系，通过多种方式提升公众参与程度；政府应注重推动AI应用相关法规制定及风险平衡，促进人工智能领域的负责任创新实现；人工智能为数据安全和治理带来新的挑战，可采取软硬结合的方式解决问题。八、向生物大脑学习智能的本质，探索通用人工智能实现 生物智能是实现通用人工智能的可行路径，向大脑学习可帮助实现超越人类智能的人工智能；生物智能启发强化学习算法设计，提升模型在多种复杂环境下的表现；生物智能有别于机器智能，实现生物智能要深刻理解两者差异；构建高精度生命智能模型，启发和探索人工智能新方向。九、认知智能成为未来人工智能发展的重要方向，机器的逻辑推理能力将成为衡量机器智能水平的重要指标

15、认知智能是感知智能发展的下一阶段，将成为未来研究的重点方向；大模型目前仍采用“数据驱动”为主的方法，存在诸多问题，亟待探索一条与知识结合的可行道路。0203（整理：智源研究院战略研究中心）智源研究进展智源研究进展 智源研究院院长 黄铁军：智源研究院自成立以来，按照 北京市支持建设世界一流新型研发机构实施办法（试行）文件精神，积极探索机制体制创新，已在创新研究、学术生态、成果转化、AI治理等方面取得了重要进展。下面我代表智源研究院，简要报告过去一年的建设进展。首先简单回顾一下智源的愿景，分四个层次：聚焦原始创新和核心技术，建立自由探索与目标导向相结合的科研体制；支持科学家勇闯人工智能科技前沿无人

16、区；营造全球最佳的学术和技术创新生态；推动北京率先成为国际领先的人工智能创新中心。智源愿景 一 创新研究实现人工智能，公认有三大学派，或者说三大技术途径。一是符号主义，源于计算机的发明和认知科学，基本思路是将智能形式化为规则、知识和算法，有过辉煌，但不能真正解决智能问题，最主要的原因是常识难以穷尽，人与人之间只能意会不能言传的东西，不能形式化为符号。二是连接主义，即构造神经网络，因为生物智能的物质基础是神经系统，但并不知道什么样的网络能够产生预期功能，因此大量探索归于失败，深度学习这种成功，只是极其稀少的个案。三是行为主义，认为智能来自智能主体与环境的互动，思想来源是进化论和控制论，成功案例是

17、波士顿动力的机器人和大狗，困难在于构造什么样的主体，遇到的困难与连接主义类似。尽管困难，连接主义和行为主义的方向是正确的，并在本轮人工智能浪潮中发挥了基础作用。本轮人工智能热潮，最主要的进展是深度学习和强化学习两套机器学习方法。深度学习主要源于连接主义，将符号主义时代人工从数据中抽取规则和知识的任务，大部分交由深度神经网络来完成。强化学习思想和行为主义一脉相承，采用深度神经网络作为智能主体，通过与虚拟环境的交互，实现自主智能。当然，连接主义最直接的思路是模拟是逼近模拟生物神经系统，这有赖于脑科学特别是神经科学的进展，也将得益于数据和环境的数字化。0405因此，目前实现智能，明确可行的路线有三条

18、：第一条，深度学习+大数据+大算力，训练信息模型；第二条，地球环境+太阳能+进化机制，诞生的生物智能；第三条，强化学习+环境模型+大算力，训练的自主智能。第一条技术途径是过去十年的主流，因为深度学习、数据和算力这三个要素都具备了，全世界掀起了“大炼模型”的热潮，催生了大批人工智能企业。但是，就像其他任何产业一样，热潮过后，就将进入集约化发展的新阶段，也就是“炼大模型”，我认为，未来真正赋值各行各业的大模型，在全世界范围内都是屈指可数的，应该尽快把资源收敛到少数超大规模智能模型上来。正是因为认识到这一点，智源研究院发挥新型研发机构人才众多、机制灵活的优势，在3月20日率先完成并发布了我国首个超大

19、规模智能模型“悟道1.0”，训练出包含文源（中文）、文澜（多模态）、文汇（认知）、文溯（蛋白质）在内的系列大模型。今天，我们再次重磅发布2.0版本。“悟道”大规模智能模型取得多项国际领先的AI技术突破和多个世界第一，同时也做出了多项行业贡献。建设并开放了全球最大的中文语料数据库WuDaoCorpora2.0，提出了自然语言评测新标准“智源指数”，包含6种主要语言、30余项主流任务与相关数据集，形成了大模型“权威考卷”。第二条路线，围绕生物智能，我们尝试构建生命模型，这有赖于脑科学（特别是神经科学）的进步，首先要对大脑进行高精度解析，再在大算力的支持下进行高精度仿真模拟。针对生命模型，智源研究院

20、成立了生命模拟研究中心，负责开发高精度生命模拟仿真平台“天演”，构建和探索感觉、知觉、记忆等智能模型，争取成为新一代人工智能发展的不竭源泉。生命模型本身就是脑科学研究的中心任务，是探索人类自身、解密智能成因的科学探索需要。“天演”生命模型系统已经开展斑马鱼全脑、灵长类视觉、人类心脏、人类认知等模型构建，推动生命科学、医疗健康和人工智能等前沿科研探索和应用发展。第三条路线的挑战最大，核心是构建地球乃至宇宙的物理模型，培育新一代自主人工智能，应对各类自然挑战。智源已经启动了“天道”物理模型建设步伐，从基本粒子模拟开始，已建立了“分子模拟研究中心”，突破了分子模拟“快”与“准”难以兼顾的瓶颈，取得重

21、要突破，将在未来五年内打造全球最具影响力的材料数据库，推动人工智能驱动的新一代分子动力学模拟迈上新台阶。上述三条路径的核心任务分别是构建信息模型、生命模型和 物理模型，共同需求是算力。为建设超大规模智算平台，北京市专门安排了专项资金，建设体系架构先进、高速互联互通、可扩展高效并行的软硬件系统。在强大的智算体系支持下，三大模型性能快速提升，共同支撑新一代人工智能模型的建立，进而赋智各行各业，赋智万物。智源研究院经过两年多探索，已经确定将打造智能模型作为源头创新的核心任务，在机构设置、资源保障和机制体制上进行了系统部署，全力构建信息模型、生命模型和物理模型“智能三剑客”。简单小结一下，首先是“悟道

22、”信息模型：数据是智能的素材，通过“大数据+大算力+强算法”，训练超大规模信息模型，为各行各业智能化提供切实可用的共性基础智能模型，是当前及未来一段时间人工智能全面赋智经济社会发展的中心任务。然后是“天演”生命模型：生命是智能的第一载体，模拟仿真亿万年进化而成的生物神经系统和身体，构建生命智能模型，挖掘生物智能机制机理，是发展新一代人工智能的不竭源泉。最后是“天道”物理模型：自然是生命的摇篮，地球是人类的摇篮，构建地球环境物理模型，是实现类人智能和人机共处共融的必要条件。建立宇宙物理模型，发展强人工智能，推动智能走出地球，走向深空。本次智源大会，各位将亲眼目睹这三大模型的最新进展。智源研究进展

23、智源研究进展0607“人工智能的数理基础”方向旨在建立以数学和统计理论为第一原理的新一代人工智能方法论。已取得了一系列成果。深度势能团队首次采用智能超算与物理模型结合，将原来可能需要60年才能完成的分子动力学模拟任务缩短到了1天，成果获得国际高性能计算应用领域最高奖戈登贝尔奖。应用层面，团队提出的MOML算法已应用在冬奥赛场温度和风速预测，预测准确率大幅提高。“人工智能认知神经基础”方向旨在将认知科学、神经科学和计算科学交叉融合，为人工智能的架构和功能探索新的模型和发展思路。目前正在建立全球规模最大的高精度生物智能开源开放平台及模拟系统。“机器学习”方向旨在解决现有机器学习算法存在的可解释性缺

24、失、大数据依赖、模型场景化等问题，开展“用户友好的AI”研究。已经取得了阶段性进展。黄高团队提出的高效空间自适应推理，可实现高效的动态特征提取。朱军团队提出第三代安全可控人工智能，研发出全球首个针对算法模型本身进行安全检测的技术平台RealSafe，提供从安全测评到防御加固的整体解决方案。“智能体系架构与芯片”方向旨在从整机、编程、芯片、方法四个方面探索智能计算系统的发展。提出了“类脑计算完备性”及计算系统层次结构，相关工作发表于 Nature。探索出分形冯诺依曼体系、支持CNN+RNN的混合神经网络处理器的新型架构。“智能信息检索与挖掘”方向旨在建立智能信息检索与挖掘领域的“北京学派”，已经

25、研发并上线了“交互式智能政务助手”，支持了60多个北京政务应用。针对信息检索的可解释性和公平性，提出双稳健排序等模型，连续两年在ACM SIGIR会议上贡献了约10%的学术论文。“自然语言处理”方向旨在提出“大数据+富知识+跨模态”共同驱动的新范式。在中文预训练模型、知识图谱、文本生成等领域，取得了一系列具有国际影响力的学术成果。研发出最大的中文预训练语言模型“悟道文源”，研发的神经机器翻译工具包，成为国际三大神经机器开源软件之一。智源研究院和国际AI技术生态深入融合，建设智源社区，今年将汇聚10万以上海内外人工智能科研人员。日常，智源社区举办丰富的学术交流活动，包括学术报告会、主题沙龙等，以

26、及一年一界的智源大会，打造聚合全球一流AI学者前沿思想、连接世界AI学术与产业资源的平台，构建全球人工智能学术和技术创新生态。“青源会”是智源研究院发起的青年科学家学术组织，为海内外的AI青年科学家和技术人员建立的宽松、活跃的学术交流平台，促进学科交叉，支持青年科学家提出具有引领作用的原创思想，开创新的科学前沿。在6月2日上午举办的“青源学术年会”上，将举办“青源会”成立仪式，详细介绍“青源会”发展目标及未来规划。届时欢迎各位参加。三 产业发展当前，人工智能已成为经济发展的新引擎。智源研究院加快推进AI原创成果落地，加快人工智能深度应用，孵化AI创新企业，推动人工智能产业发展。当前，健康医疗已

27、成为人工智能最热门的研究和应用领域之一，北京在发展智能医疗方面，有着得天独厚的优势。为此，我们成立了“健康医疗研究中心”，构建医疗大数据和高质量小数据等基础数据，加快智能医疗核心技术突破，加快人工智能在健康医疗领域的深度应用。此外，我们与清华智能产业研究院开展深度合作，推动以“个人”为核心的、AI驱动的主动健康管理。在推动AI原创成果转化方面，去年建立了多个创新中心，加速AI原创成果熟化及工程化。智源为创新中心提供场地与研发资金支持。目前，已建设智能信息处理、认知知识图谱、安全人工智能等8个创新中心。一年来，智源创新中心建设取得重大进展，例如：1.视网膜芯片技术创新中心，已研制出超高速脉冲视觉

28、芯片，用于高速场景、弱小目标、全时检测等机器视觉应用。2.安全人工智能创新中心，研发出RealSafe人工智能安全平台、DeepReal深度伪造内容检测平台等，并在金融、能源等行业进行 应用。3.智能政务信息处理创新中心研发的政务问答系统，已在60多个北京政务场景中得到应用。4.疾病脑电智能技术创新中心，研发的临床脑电图智能评估系统，准确率已达到落地应用水平，产品覆盖全国11个省市，累计服务 超过上万名患者。二 学术生态第二方面的工作是建设学术生态。智源从成立之初，就开始遴选智源学者，建设智源社区，积极打造全球人工智能学术和技术创新生态。“智源学者计划”主要支持顶尖科学家开展人工智能重大方向的

29、基础前沿研究，支持青年科学家开展开放性、探索性研究。包含智源首席科学家、智源研究员、智源青年科学家等六个层次。已经围绕六大研究方向，遴选上百位智源学者，形成了AI科研的“北京力量”。下面介绍一下六大重大研究方向的目标及工作进展。智源研究进展悟道2.0发布0809今年，我们按照国家和北京市促进科技成果转化的最新部署，积极整合技术、场景、人才、资金等资源，推出支持AI创业的“源创计划”，为AI创业团队开放大模型、数据集等生态资源，为来自学术界的AI科学家创业团队对接应用场景，为来自产业界的创业团队对接业界领先的AI技术，加快形成可落地应用的AI产品。另外，还将创业基金等方式，加快孵化一批具有国际领

30、先技术能力的AI创新企业，为北京AI产业的持续发展储备力量。“源创计划”将在6月3日上午召开的“AI创业论坛”正式发布，敬请期待。四 AI 治理当前，AI伦理和治理成全球共识，国际社会正探索建立广泛认可的AI伦理原则，推进敏捷灵活的AI治理。智源研究院在2019年成立人工智能伦理与可持续发展研究中心，率先在国内开展AI伦理安全研究，并积极参与国际AI治理。AI伦理规范方面，2019年5月，发布了我国首个AI发展与治理准则 人工智能北京共识。去年9月，又发布了我国首个 面向儿童的人工智能北京共识。另外，我们建设了我国首个“人工智能治理公共服务平台”，针对人工智能技术研发及应用中存在的潜在伦理问题

31、提供检测服务，帮助AI研发机构研发更符合AI伦理规范的技术和产品。联合国在2015年正式通过了可持续发展目标，共17大项，涉及社会、经济和环境三方面的发展问题。为此我们发起成立了“面向可持续发展的人工智能国际协作网络与智库”，目前已汇聚了来自15个国家的专家学者。同时，我们也联合百度、小米、旷视、滴滴等企业发起了“面向可持续发展的公益计划”，目前已围绕城市治理、自动驾驶、劳动者就业影响、青少年心理影响等方面发布了首批4个研究题目，并已启动研究工作。后续，完成后的研究成果将会面向全球公开，服务于人类命运共同体的构建与实现。以上是智源研究院一年来的工作进展。智源研究院理事长 张宏江：下面由我来介绍

32、智源对大规模智能模型发展的思考以及在这方面的布局。人工智能历经符号AI、感知智能两代的发展，现在已进入由“数据-知识”双轮驱动的第三代人工智能。第三代人工智能的核心思路是推进数据统计与知识推理融合，以及脑认知机理融合的计算，从认知的角度实现通用人工智能。“大模型+大算力”是迈向通用人工智能的一条可行路径。国际上，OpenAI正在通过制造通用机器人和使用自然语言的聊天机器人，实现其通用人工智能发展战略。去年5月发布的GPT-3模型，参数达1750亿；今年1月发布的DALLE模型具有强大的文本-图像生成能力。在这条路径上，大模型对于人工智能具有重大意义，未来将基于大模型形成类似电网的变革性产业基础

33、设施。AI大模型相当于“发电厂”，将数据，也就是“燃料”，转换为智能能力，驱动各种AI应用。如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即“智网”。所以，大模型就是下一个AI的基础平台。在本届智源大会开幕式上，由智源研究院理事长张宏江博士和智源研究院副院长唐杰教授共同发布了全球最大的超大规模智能模型“悟道2.0”，参数规模达到1.75万亿，在国际人工智能领域主流基准测试榜单的多项任务上取得了世界顶尖水平，并且在文本摘要、智能问答、诗词创作、绘画等方面，都已接近突破图灵测试，推动打造我国人工智能战略基础设施。张宏江博士认为，超大规模智能

34、模型是下一代AI的基础平台，未来将形成类似于电网的变革性产业基础设施。AI大模型相当于“发电厂”，将数据，也就是“燃料”，转换为智能能力，驱动各种AI应用。如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即“智网”。悟道2.0发布悟道2.0发布1011智源研究院作为AI基础建设的先行者，从去年10月份开始启动超大规模智能模型研发工作。今年3月20日，我们发布了中国首个超大规模智能模型“悟道1.0”，取得了多项领域领先的突破。包括中文、多模态、认知、蛋白质预测在内的系列模型，取得了多项国际领先的AI技术突破，实现了我国在超大规模预训练技术上

35、的并跑。智源研究院作为AI基础建设的先行者，从去年10月份开始启动超大规模智能模型研发工作。今年3月20日，我们发布了中国首个超大规模智能模型“悟道1.0”，包含中文、多模态、认知、蛋白质预测在内的系列模型，取得了多项国际领先的AI技术突破，实现了我国在超大规模预训练技术上的并跑。在研发“悟道”的过程中，很重要的一点是，我们改变了过去小团队的模式，用系统的方法做AI，建立有目标的大团队，以问题为导，探索出最好的解决方案。这也是人工智能发展到今天，在研究模式上的转变，过去我们更多强调的是小范围的突破；而今天人工智能走出实验室，从算法到技术，从小模型到大模型，我们智源过去一年多，重点就在如何把北京

36、市，乃至全国的AI研发力量整合到一块儿，形成一个大兵团作战的模式。在这里“悟道”团队由智源研究院学术副院长唐杰教授领衔，100多位科研骨干共同参与，形成了由顶尖科学家组成的“人工智能特战队”。经过一年多的努力，我们看到了一系列的成果，今天发布的“悟道2.0”就是这个团队阶段性的成果。我们相信未来还会有一系列的成果发布。今天我想重点要说的是“悟道2.0”的一系列突破。这些突破真正推动了大模型作为 AI 的基础平台。“悟道”智能模型系统将构建“大模型、大平台、大生态”。一是以“大规模”“高精度”“高效率”为发展目标，持续研发大模型；二是围绕大模型研发，构建大规模算力平台，支撑“信息”“生命”“物理

37、”领域的大模型研发；三是通过示范应用搭建、API开放、开源社区等，构建大模型生态。下面我们有请清华大学教授、智源研究院副院长、“悟道”带头人唐杰给大家做详细介绍，一起看一下大模型的一系列特征、强项和未来的发展方向。智源研究院副院长 唐杰：感谢宏江！在今天这个特殊的日子，第一个我想说的是“节日快乐”。这个节日快乐不是说给大家听的，是说给“悟道”听的，“悟道”虽然是2.0，但还是一个小孩子，大家不要指望“悟道”智商到达成人的水平，我们还要继续努力。首先“悟道”的目标是瞄向世界领先水平。我们希望机器能够像人一样思考，我们希望在多项任务中超越图灵测试，我们希望在这一代“悟道2.0”中，从原来的“文本为

38、主”向“图文并茂”发展。现在“悟道2.0”生成图片的精度非常高，我们可以根据图像检索文字，实现图像和文字的互相检索，我们在阿里巴巴平台上做了一些测试，可以把相关的模型应用在服饰设计业务上。除此之外，我们还在模型的可解释性上做了大量的工作，我们训练出超大规模的模型，可以用AI自己来解释自己。此外，我们希望在智能方面能够在多项任务上逼近甚至超越图灵测试，目前我们已经在多项任务（包括问答、作诗、配图、配文、绘图，以及测图等）上实现了这一点。悟道2.0发布悟道2.0发布1213我们今天发布全球最大的模型“悟道2.0”。这个模型的参数规模为1.75万亿，是GPT-3的10倍。在模型中我们有一些典型的特色

39、，除了参数规模，我们还统一了文本和视觉，可以同时支撑更多的任务和应用，实现更加通用的智能；此外，我们首次在国产超算上训练了万亿模型，打破原来只能用GPU来训练模型的限制；同时我们也实现了中英双语，在4.9T高质量数据上的训练，这些数据经过严格的清洗，里面包括1.2T中文数据、1.2T英文数据，还包括2.5T的中文图文配置数据；除了数据之外，我们在算法上提出了万亿参数模型的基石FastMoE，可以支持Switch、GShard等复杂均衡策略，支持不同专家、不同模型以及其他算法，这才是真正的万亿模型落地的关键。我们把这个算法部署在阿里巴巴的PAI平台上，表现非常好。从底层的transformer到

40、上层的FastMoE，我们100%实现了核心代码，针对神威架构开发了定制化算子，针对神威网络拓扑设计了通信策略，最大测试了几万个专家的MoE训练。除了“大”之外，我们还“精准”上做了很多事情。“悟道2.0”在 9 项国际公认的Benchmark上取得了突破，包括ImageNet、LAMA、LAMABADA、SuperGLUE、UC Merced Land-Use、MSCOCO、Multi 30K等。悟道模型整体框架如下：图中间是整个模型的四个团队，包括“文源”“文澜”“文溯”“文汇”，同时我们还建立了“知识图谱”团队。在整个过程中，我们希望数据和知识双轮驱动，从而构建认知智能。当然仅有这些还不

41、够，我们希望在应用平台以及在生态方面做更多的事情，最终实现“最大的模型”“最准的算法”“最实用的框架”以及我们希望邀请每一位在座的你也加入这个生态。1415悟道2.0发布悟道2.0发布同时，“文澜”团队由文继荣教授带领的团队，他们提出的第二代“文澜”包含BriVL-2双塔模型和MLMM单塔模型，在多模态检索上超越了OpenAI CLIP 和 Google ALIGN，而且在多语言上也取得了很大的进展。另外，我们提出了一个新型的算法Inverse Prompting。这个算法可以把原模型运用得更好，在生成图片、文字或其他相关内容时，它可以做反向校验，使生成的内容更加高清，而且生成的结果具有更强的

42、逻辑性，不会发散。我们举几个例子。我们用 CogView 做图像的生成，这个算法是一个文本生成图像的新框架，可以把文本-图像特征全部整合在一起，并且融合VQ-VAE框架，整个效果非常好。我们另外实现了把中文数据和多模态数据整合在一起的中文多模态预训练模型M6，这个模型最大的特点是可以实现高效的计算，在32张V100-32GB GPU上即可完成千亿参数训练，这是一个非常大的算法突破。1617悟道2.0发布悟道2.0发布下面我将介绍一位同学，这也是今天节日的重点。我们有一个新同学叫“华智冰”。华智冰是智源研究院、智谱华章、小冰公司一起发布的一个虚拟数字人。这个虚拟数字人以“悟道”为内核进行学习。在

43、未来她将不断成长，变成一个真正的智能人。除此之外我们还发布“悟道之巅”人工智能比赛。我们做创新引领、创意无限的一个大赛，欢迎各位参加，这个大赛有100万的奖金，大家扫二维码可以参加到这个社区，我们希望各位都能来勇闯AI无人区。总结一下，“悟道2.0”的特点有三：最大、最准、实用，我们希望每一位都能参与其中。在整个模型上，我们提出了非常实用的框架，研究了一个最精准的算法，实现了最大的模型，探究了模型的智能基点。除了算法上的突破之外，我们也实现了非常高效的框架CPM-2，一个面向预训练模型的全链路高效训练框架。这是由刘知远教授发布的重要框架，实现了五个高效：高效编码、高效模型、高效训练、高效微调、

44、高效推理。它真正面向产业界的应用，任何公司、学者、开发者拿到这个框架以后，都可以非常快地进行部署框架，然后应用到实际应用当中。这个框架里面整合了大量的数据，包括50TB的文本数据；也训练了核心的模型，例如1980亿参数的中文模型；这个模型在七个能力评测中达到整体最优，包括识记、阅读、分类、计算、跨语言、生成和概括等。除了模型最大、模型自主、高效实用外，我们还发布了全球最大数据集WuDaoCorpora，这个数据集包含了最大的中文文本数据集、多模态数据集、中文对话数据集，是之前最大数据集的 3 倍。我们认为当下只有做出更大的数据，才能做出更优美的模型，因此我们邀请大家共同参与到WuDaoCorp

45、ora当中，来贡献数据、分享数据。当然，我们也有一些标杆的应用，例如我们和新华社合作，助力中国新闻事业腾飞。我们可以处理新闻下游任务，包括新闻内容的处理、图文生成、传播优化等，还具备接近人类的图文创意内容，可以做诗、问答、创意写作等，从而助力中国新闻事业进行数字化转型。1819悟道2.0发布青源会发布最后我希望致谢每一位“悟道”科学家，“悟道”的成功离不开他们的艰辛努力。最后，是“悟道生态联盟”。我们希望通过联盟，在模型开源、API开放以及大模型授权与定制方面做一些工作；同时我们也希望共建开发社区，赋能产业创新。目前，我们已经与20余家机构建立了战略合作关系，包括新华社、三快在线、奇虎科技、快

46、手、小米、搜狗、好未来、寒武纪、八亿时空、创泽智能机器人、海天瑞声、推想医疗、医渡云、第四范式、爱学习、智谱华章、一览群智、瑞莱智慧、中科汇联、小冰、水母智能、中奥科技等。感谢各位的支持！青年兴则国家兴，青年强则国家强。青年科学家作为科研界未来的中流砥柱，引领着一国乃至世界未来的科技创新和发展。为进一步培养海内外青年人才，为从事人工智能及相关学科研究的海内外青年科学家建立宽松、活跃的直接交流平台，促进学科交叉与青年科学家之间的合作，智源研究院于2021年6月2日智源大会期间，正式发布成立了AI青年科学家俱乐部“青源会”。本着促进青年学者交叉方向的交流与合作，孕育有引领意义的创新成果，构建开放包

47、容的青年新星研究社区，发挥青年学者之间的协同效应，鼓励青年学者探索面向学科重大问题与挑战的新思想、新方法、新理论的使命，青源会以首批智源青年科学家为内核，逐步向外辐射，已吸引95位海内外一流的青年人才齐聚“青源会”舞台，相互认识，交流合作，打破学科和时空壁垒，产生思想碰撞，在学科融合与交叉中实现原创性成果突破。“青源会”AI青年科学家的俱乐部组织架构青源会围绕开展特色学术活动、开放学术交流平台、和出版智源人工智能丛书三大目标，鼓励青年科学家开心探索智能本质。其中特色学术活动已取得阶段性进展，包括：1.青源学术年会：每年智源大会期间召开，年度优秀青年学者不可缺席的交流活动。2.青源Worksho

48、p：讲述未发表的新内容，封闭专题学术创造性讨论；3.青源Talk：邀请会员定期介绍领域前沿动态，增进学科交叉交流；4.青源Seminar：围绕学术顶会，举办预讲会等青年学者交流活动；5.青源Live：社群成员线上学术日常分享与讨论；6.青源Salon：成员、学生间轻松、深入的线下交流；7.青源Forum：学术与工业界技术专家，与相关领域博硕生参加，青年学生展示舞台。2021智源源创计划青源会发布会员|权利与义务扫描下方二维码，申请加入青源研究组作为对青年学者最为友好的单位之一，智源研究院将成为青源会坚实的后盾，为青源会提供全方位支持，智源就是青年科学家在北京的家。发布智源源创计划，加速人工智能

49、源头创新向源头企业实现跨越人工智能技术应用进入一个新的发展期，各个行业都产生了对AI驱动服务的巨大需求，经过近十年的沉淀，以深度学习为代表的人工智能技术，将会沿着无监督、可解释、自适应、融入知识，以及超大规模多模态融合等方向实现突破，从而带动智慧医疗、智能制造、智能出行、智慧城市等一批用AI重新定义的巨大新兴行业生态。但一项技术从实验室到产品再到创新企业是一项非常艰苦的探索过程。为了更好的帮助这些创新群体，6月3日，智源研究院在2021北京智源大会AI创业论坛上发布了源创计划。面向来自学术界和产业界的创新团队，开放智源AI人才网络、大规模智能模型、数据集和应用场景等生态资源，加速人工智能源头创

50、新向源头企业的跨越。对于来自学术界的AI科学家，源创计划将帮助其对接真实的场景，推动产品加速或技术迭代，同时也会帮助科学家找到一对一的创业导师。对于来自产业界的创业者或者传统企业，源创计划将帮助其对接AI技术、首席科学家及AI工程师资源。2223全体大会在本届智源大会上，从 6 月 1日至 3 日共举办了四个场次的全体大会，分别从机器学习技术、AI经济、科学与智能、脑与智能、自动驾驶、AI伦理与安全等多个角度探讨人工智能的未来发展趋势。在首日全体大会上，图灵奖获得者，加拿大蒙特利尔大学教授Yoshua Bengio探讨了基于“System 2”的机器学习研究思路，清华大学国家金融研究院院长朱民

51、分析了智能时代下数字资产的重要战略意义，中国科学院院士、普林斯顿大学教授、北京大数据研究院院长鄂维南提出传统科学研究领域即将成为人工智能的主战场。在大会第二天上午的全体大会中，滴滴出行联合创始人兼CTO张博与 Udacity创始人、Google X创始人、Google自动驾驶之父Sebastian Thrun从宏观视角探讨了自动驾驶未来发展方向，Numenta首席科学家、美国工程院院士 Jeff Hawkins 提出“千脑理论”指导下的机器智能发展路径，加州大学伯克利分校教授宋晓冬介绍了如何构建负责任的数据经济，2017年图灵奖得主、加州大学伯克利分校教授、RISC-V国际开源（RIOS）实验

52、室主任David Patterson对如何构建RISC-V 开源社区提供了重要建议。在第二天下午的全体大会中，智源研究院理事长张宏江博士与新南威尔士大学教授Toby Walsh、康奈尔大学教授Bart Selman分别就大模型和新型AI组织的意义进行了轻松交流，美团首席科学家、副总裁夏华夏主持的尖峰对话中深刻探讨了自动驾驶的发展趋势，德国图宾根大学和马克斯普朗克脑研究所李兆平教授就融合人类视觉感知与注意选择的机制给出了自己的意见。在大会的最后一场全体大会中，智源研究院理事长张宏江博士与加州大学伯克利分校教授Stuart Russell的尖峰对话中围绕AI对社会的影响做了深刻探讨；大脑奖获得者、

53、马克斯普朗克生物控制论研究所所长Peter Dayan提出借鉴最新的大脑学习机制来发展新一代的人工智能强化学习系统的理念；在整个大会的最后一场报告中，康奈尔大学教授Carla Gomes强调了人工智能在环境保护、可持续发展中的重要作用和进展。6月1日全体大会报告一：Towards Robust Generalization in Machine Learning with System 2 Deep LearningYoshua Bengio|图灵奖获得者，加拿大蒙特利尔大学教授随着深度学习的不断发展，其算力需求大、依赖大量数据训练、缺乏可解释性的问题日益严重。2018年图灵奖得主，“深度学习

54、三巨头”之一，魁北克人工智能研究所（MILA）科学主任约书亚本吉奥（Yoshua Bengio）在本次全体大会的演讲中指出，诺贝尔经济学奖获得者丹尼尔卡尼曼（Daneil Kahneman）在 思考：快与慢 一书中讨论了大脑的两种计算模型，即系统一（System1）和系统二（System2）。System 1是直觉系统，主要负责快速、无意识、非语言的认知，比如当人被问到一个问题的时候，下意识或者习惯性的回答，就属于System 1的范畴。Bengio认为目前深度学习主要就在做System 1的事情。System 2是逻辑分析系统，是有意识的、带逻辑、规划、推理以及可以语言表达的系统。人在通过S

55、ystem 2处理问题的时候，往往要收集相关数据、进行逻辑分析和推理，最终做出决策。目前的绝大多数人工智能系统都还没能实现System 2，Bengio提出这正是未来深度学习需要着重考虑的。基于深度学习实现的System 1，对于OoD（Out-of-Distribution，分布外数据）场景，即训练样本的概率分布和测试样本的概率分布不同的情况,训练出的模型很难在目标域取得良好的表现，造成模型鲁棒性不强、抗攻击能力弱的问题。System 2之所以在新的环境下（分布外数据，OoD）奏效，是因为它擅长于以新的方式重新整合现有的知识。全体大会对于如何用深度学习来实现System 2，Bengio提到

56、对于计算机来说，最关键就是处理数据分布中的变化。System 2的工作和推理方式与对分布外数据（OoD）的泛化能力息息相关。Bengio认为，如果我们拥有一个很好的有关现实世界的因果模型，就可以预测干预（Intervention）的结果。即使面对我们从未见过的场景，也可以预测出将会发生的情况，并作出相应的决策，这与普通的机器学习范式有所不同。现实中的因果关系是相对稳定的（例如，物理定律和人类行为的规律），因果知识在新的环境下仍然适用，是可以复用的新型模型。人工智能研究者正试图使神经网络可以发现好的世界模型，并将其分解为可以根据干预和新的情况重新组合的知识片段。对于System 2来说，基本的要

57、素包括：注意力和意识。注意力（Attention）机制如今已成为了深度学习领域的重要组成部分，并且在2014-2015年间促使机器翻译等领域取得了巨大的飞跃，当下自然语言处理（NLP）领域中最先进的模型大多都是基于Transform-er构建的，而自注意力机制正是Transformer的基石。受此启发，Bengio等人提出了循环独立机制（RIM）。该机制并没有使用同构的网络，而是将网络架构划分为一些小的片段（小模型），这与因果机制相类似。该机制并没有使用全连接的结构，而是使用了类似于人类意识加工过程中“模块内全连接”+“模块间瓶颈”的机制，模块之间只有少量的信息传递，而各个模块之间存在竞争。实

58、验表明，这种机制可以提供更好的分布外泛化性能。报告二：数字资产的时代朱民|清华大学国家金融研究院院长清华大学国家金融研究院院长朱民认为，当前世界正在走出信息时代，进入智能时代，整个物理世界和经济社会生活都在被数字化，数据是智能化时代的基石。从资源到资产，数据资产化具备经济学和社会意义，数据资产化将推动产业发展的重要进程。数据具有资产的属性，数据资源丰富、更新频繁、品种多样、具有有限的排他性和非竞争性，具有准公共物品的特征，以及外部性、自然增值性、多维性，将多种多样的数据汇聚后带来的使用价值更高。朱民指出，当前数据资产化仍面临多重挑战，一是产权问题，数据采集是否侵犯隐私、造成数据泄露等，是值得讨

59、论的法律问题。二是数据安全和隐私问题，包括在个人、企业、社会等层面的安全和隐私问题。三是数据定价和估值困难，数据是长尾的价值链，具有很大的不确定性，数据也会被不断的重复使用，需要一个完全新的定价机制。为了应对数据资产化过程中的产权、安全、隐私、估值等挑战，朱民建议，要构建安全可交易的数据资产生态，需要市场、政府、企业等多方参与，形成具有全球治理特征的监管和法律框架，推动数据资产化的全球治理，在促进数据资产流动的同时，构建完善的法律监管和问责框架机制，形成全球范围内完善的数据贸易体系。中国已经是世界的数据大国，推动数据资产化对中国的科技发展具有重大的经济和社会意义。朱民强调，中国经济的根本转型在

60、于，要从资源型经济转向数字经济。为了实现这一目标，要在全国范围内推动数据资产化工作，助力中国走向高收入发展阶段，改变中国经济发展的历史轨迹。报告三：科学与智能鄂维南|中国科学院院士，普林斯顿大学教授，北京大数据研究院院长鄂维南院士提出传统科学研究领域即将成为人工智能的主战场。传统科学领域的两种科研范式：基于数据的开普勒范式和基于第一性原理的牛顿范式。开普勒范式解释性差但有效，牛顿范式解释性强但模型复杂计算量巨大。将深度机器学习与微观物理模型相结合：由最微观原子物理模型开始，在每一层用机器学习对系统仿真进行学习，并抽象出上一层尺度所需的基础模型，层层递进往上，既可以为解现实问题提供效率保证，另一

61、方面又不失基本物理原理的支撑，保证了求解的精度和可解释性。此种新方法将对各种需要大规模科学计算的传统学科（化学，材料，生物医药，机械，控制等等）提供赋能与加速，发起传统科学研究效率的革命。2425全体大会6月2日随着上世纪五十年代“电子计算机+数值模拟”引入科研工作，科学家可以用大规模超级计算机，采用差分方法、有限元方法等数学计算方法，在超级计算机上第一次大规模地实现了直接用基本原理解决实际问题。但在实际问题中，拟合逼近真实结果的多项式方程维度过多，随着维数的增加，对算力的需求呈指数增长，出现了“维数灾难”的问题。因此，在高维情形下，多项式不是一个有效的计算工具。鄂维南院士认为，在解决高维科学

62、计算问题时，深度学习是一个可行的方案。例如，在分子动力学模拟领域，需要研究原子之间相互作用。传统的方法是由科学家猜测势能函数，存在很大的不确定性。1985年，科学家提出分子第一性原理方法，利用量子力学模型在线计算原子间的相互作用力，为原子模拟提出了可靠的方法，但效率仍比较低，只能处理1000个原子，无法扩展到真实条件下。随着AI超算的发展，以机器学习为主的预测方法快速发展，形成量子力学模型提供数据，机器学习方法提供模型，能够对数十亿数量级的原子相互作用力进行预测，是一种新型的科学研究方法，极大推动了国内科学领域的研究。鄂维南院士认为，传统科研领域应当成为人工智能的主战场，要利用人工智能全面提升

63、科研能力，加快进入“智能化科研”时代，推动对当前的工业和技术升级。过去的科研模式是小作坊模式，虽然能够自给自足，但效率非常低。当前的基础科研工作都可以在统一的大平台上进行，平台将成为科学研究的“安卓”模式，科研工作者可以直接做应用开发，提升科研效率。未来要推动应用数学与机器学习加强结合，让机器学习成为应用数学的一个强有力工具，加快人工智能深入到科学研究和技术创新工作，推动科学研究走上快车道。尖峰对话-1：自动驾驶未来之路张博|滴滴出行联合创始人兼CTOSebastian Thrun|Udacity创始人、Google X创始人、Google自动驾驶之父报告一：The Thousand Brai

64、ns Theory-A roadmap for creating machine intelligenceJeff Hawkins|Numenta首席科学家，美国工程院院士尽管现代人工神经网络十分强大，在诸多领域取得了成功，但是其距离实现真正的智能还有很大的差距；而人脑在感知和认知方面则具有高效、鲁棒性强等特征。美国机器智能公司Numenta首席科学家、美国工程院院士杰夫霍金斯（Jeff Hawkins）认为，人脑在认知陌生物体时，将触觉的位置信息和移动动作的时空信息能够结合起来，对于每一个物体的不同特征，都能在大脑中形成一个模型，为了认知一个物体形成的模型可以有上千个模型，人脑会用多个模型进

65、行快速推理，并根据推理结果进行投票，选择最为合适的认知结果。人工智能应借鉴人脑用于认知真实环境的“千脑模型”理论，助力人工智能认知水平提升。在具体研究上，霍金斯介绍了皮质柱、参考系等概念，指出智能机器的基本构成单元应该像皮质柱一样学习一个有关世界的模型，并且通过投票机制整合数以千记的基本单元的“感觉-运动”过程的结果。霍金斯 通过实验验证了千脑理论的生理学基础，并找到基于千脑理论创造智能机器的方法。霍金斯通过人识别咖啡杯的思维实验引出了千脑理论的体系：皮质柱通过融合感觉输入和运动学习世界模型，并通过投票机制整合皮质柱的感知结果。他以 YCB 数据集上的抓取/识别任务为例，验证了投票机制的有效性

66、。Jeff 援引 Nature、Science 等权威期刊上的文章指出人脑中存在网格细胞、位置细胞等结构，作为千脑理论的生理学基础。Jeff 在此启发之下，给出了创造智能机器的4大基本要素：（1）稀疏性；（2）活跃的树突；（3）参考系；（4）皮质柱。霍金斯从理论分析到实验验证上证明了千脑理论的正确性，他认为，千脑理论有助于构建更为复杂精确的人工智能系统，帮助模型更好地捕捉真实世界的信息，并有助于明晰创造智能机器的路线。全体大会全体大会报告二：Building towards a Responsible Data Economy 宋晓冬|加州大学伯克利分校教授数据是现代经济的重要多功能引擎，也是

67、人工智能和机器学习技术的生命线。网络空间每天会产生海量数据，催生了全球体量巨大的数据经济。然而，其中很大一部分数据包含敏感的隐私信息。对于个人而言，目前的匿名化技术并不能够很好地保护隐私，用户也无法从数据中得到充分的收益。对于企业而言，网络攻击可能会窃取大量的敏感用户数据，数据泄露问题对企业的业务带来了巨大的损害。目前，CCPA 和 GDPR 等数据隐私保护法规相继出炉。但是要落实这些法规需要企业付出巨大的代价。由于缺乏有效的数据保护技术，大量数据无法被用于机器学习应用。特征识别等新技术催生了新的应用，但是往往会以牺牲用户的隐私为代价。如果无法解决该问题，会阻碍社会的进步，损害人类的基本权利。

68、因此，加州大学伯克利分校教授宋晓冬提出，我们迫切需要构建一种负责任的数据经济框架，其目标/原则如下：（1）建立并实施数据的权益保护机制 （2）公平地分配数据产生的价值 （3）实现高效的数据利用，从而使社会、经济效益最大化宋晓冬教授认为，为了实现上述目标，我们需要结合技术和非技术的解决方案。该框架由三个部分组成：技术解决方案、激励模型、法律框架。就技术解决方案而言，我们要求数据在使用过程中能够受到保护，能够在不复制原始数据的条件下控制数据的使用，并且使计算的结果不会泄露敏感信息。目前，可信硬件、安全多方计算、零知识证明、完全同态加密等安全计算技术旨在保证数据在使用过程中也能够被保护；差分隐私保护

69、技术保证了计算结果不会泄露敏感的用户信息；联邦学习技术使数据不会离开数据所有者的机器，模型以一种分布式的方式被训练；区块链等分布式记账技术则提供了不可变的日志，以确保数据使用是兼容的。宋晓冬教授团队基于数据令牌化（Data Tokenization）技术开发了Oasis平台，实现了负责任的数据经济，该平台可以在保护数据权益的情况下使用户从数据中获利。激励模型旨在保证数据产生的价值可以被公平地分配。我们可以将机器学习视为一种联盟博弈，数据的贡献者是联盟中的博弈者，我们可以通过效用函数衡量数据的价值，从而公平地分配数据产生的价值。宋晓冬教授团队尝试使用 Shapley 值来分配联盟博弈中由博弈各方

70、产生的价值，该效用函数具有群体合理性、公平性、可加性等性质，适用于联邦学习场景。在法律框架方面，宋晓冬教授指出，最重要的问题是如何定义并控制数据权益，从而使个体能够从数据中获利，推动经济增长。报告三：The RISC-V International Open Source LaboratoryDavid Patterson|2017年图灵奖得主，加州大学伯克利分校教授，RISC-V国际开源（RIOS）实验室主任近年来，采用RISC-V架构设计的新型芯片引起关注。人工智能研究者期待RISC-V芯片能够具有更高性能和低功耗，一定程度上替代以x86、ARM等架构为主流的芯片。2017年图灵奖得主、加

71、州大学伯克利分校教授、RISC-V国际开源（RIOS）实验室主任大卫帕特森（David Patterson）认为，RISC-V芯片采用开源模式进行研发，发展前景广阔。帕特森指出，RISC-V芯片是全球合作的典型项目，发展伊始就由加州大学伯克利分校、清华大学等全球高校和科研院所通力合作，研发架构简洁、技术先进、易用性强的RISC-V架构，同时制定了技术标准体系。在此基础上，开源对RISC-V技术发展具有重要意义：一是开源有助于吸引全球开发者参与，加快推动底层芯片技术迭代；二是开源技术打破“专利流氓”（Troll Company）企业的IP垄断格局，帮助专利基础薄弱的芯片初创企业研发新产品；三是R

72、ISC-V架构开源便于研发人员开发轻量化，加快在云端、边缘端等多种场景部署。2627全体大会全体大会此外，帕特森教授介绍了科研组织管理模式中的经验，认为成功的研发机构或团队应当做到以下八点，具体如下。1）在团队或机构内部推动跨学科研究；2）谨慎扩张团队规模，要提升研发能力，而不是单纯扩展人员规模；3）研发团队或机构应当在限定的时间内完成科研目标，如果空耗经费就应当停止资助；4）要构建具有重大意义的原型产品或系统，产出具体且深刻的科研成果；5）鼓励团队成员相互交流沟通，通过合作寻找科研解决方案；6）鼓励团队成员和科研机构经常对外交流，寻找合作和创新机会；7）在科研决策中，鼓励发出不同的声音；8）

73、不应当太重视发表论文，要关注好的研究，研发具有重大意义的科研成果。炉边谈话张宏江|智源研究院理事长Toby Walsh|新南威尔士大学教授Bart Selman|康奈尔大学教授核心观点：大模型目前仍采用“数据驱动”为主的方法，存在诸多问题，亟待探索一条与知识结合的可行道路新南威尔士大学教授托比沃什（Toby Walsh）认为，当前以深度神经网络算法为主要架构的超大规模预训练模型取得了举世瞩目的成果，但其主要是“数据驱动”的，背后的理论原理非常简单，不能说已经实现了真正的智能。模型目前仍存在可解释性不够强、存在偏见等问题。沃什教授认为，要实现真正的智能能力，要像人脑一样构建复杂多样的神经模型，通

74、过学习物理定律、数学定律等人类知识，才能获得真正的智能能力。康奈尔大学教授、国际人工智能促进协会（AAAI）主席巴特萨尔曼（Bart Selman）认为，以“数据驱动”为代表的深度学习模型取得了惊人的性能表现，但并不一定在所有场景中都适用。如果某些应用场景没有数据，模型的表现会大幅下降。萨尔曼教授认为，提升训练数据或模型参数量终究会达到极限，届时我们需要探究“学习知识”这一过程背后的机制机理，理解什么是知识，模型怎样学到知识，才能突破目前AI模型智能能力不佳的问题。核心观点：构建公益性AI研究组织，推动探索人工智能前沿研究成为各国关注的战略重点近年来，世界各国积极推动新型研发机构参与人工智能前

75、沿技术研究、产业应用、技术标准制定和社区运营等工作，为研究人员和产业从业者提供科研、政策、资金、人才、投融资等资源和平台，加快推进人工智能发展。巴特萨尔曼表示，他在任内的头等大事是推动美国政府建立一个公益性的AI研究平台，汇聚全美人工智能顶尖人才，保持美国在AI领域的引领地位，这与美国人工智能科学家、斯坦福大学教授李飞飞呼吁的“美国国家科研云”计划不谋而合。智源研究院作为落实“北京智源行动计划”的重要举措，是在科技部和北京市委市政府的指导和支持下，由北京市科委和海淀区政府于2018年11月推动成立的新型研发机构，肩负着建设北京国际科技创新中心的历史使命，对引领我国人工智能发展具有重要意义。全体

76、大会全体大会尖峰对话-2：新机遇 新挑战探讨自动驾驶的趋势主持人：夏华夏|美团首席科学家、副总裁嘉 宾：冉 斌|东南大学-威斯康星大学智能网联交通联合研究院院长 韩 旭|文远知行创始人兼CEO 顾维灏|长城控股毫末智行CEO 安向京|行深智能董事长 核心观点：单车智能、车路协同、智能网联车等技术将实现系统融合，进入“系统定义自动驾驶”时代东南大学-威斯康星大学智能网联交通联合研究院院长冉斌认为，仅通过单车智能实现高级别自动驾驶较为困难，要满足全路网、全天候、全场景的自动驾驶要求。未来我们将进入“系统定义自动驾驶”的新时代，单车智能、车路协同、智能网联车等技术将实现融合，通过汇聚车、路、人、网、

77、云、图等要素融合，形成完整的大规模自动驾驶系统。冉斌认为，在大规模的自动驾驶系统中，可以通过各个要素的自然组合和分配，在一些技术条件不具备的情况下依然实现高等级自动驾驶。例如，要实现L4级别自动驾驶时，可融合L3级别的单车智能和L3级别的道路智能，通过系统有机组合的方式发挥单一组成部分无法达到的能力，这一方法对车、路、网络等要素的需求相对较低，容易实现，能够为车辆提供可靠性和系统冗余。冉斌预测，综合自动驾驶系统将比单车智能更早实现高等级自动驾驶。例如，单车智能的L4级别大规模应用、产业化应用的实现节点可能是2035年，距今需要大概15年左右。而如果用车路协同，在实现时间上可以节省七八年。核心观

78、点：自动驾驶发展应遵循先低速再高速，先载物后载人，先限定场景再开放场景。行深智能董事长安向京认为，深度学习和同时建图与定位的技术，让原来阳春白雪的无人驾驶，变成了可工程化、规模化实施的技术，但不容忽视的是，这两项技术都有着概率问题，因此无法避免长尾效应，解决95%的问题和场景是基础，而解决剩下的5%才是自动驾驶技术持续发展的关键。而在后者没有彻底解决之前，自动驾驶发展应遵循“先低速再高速，先载物后载人，先限定场景再开放场景”的发展规则。核心观点：L4级自动驾驶将很快实现。文远知行创始人兼CEO韩旭表示如果以小巴士来看，L4级别最迟明年年初可以实现，但纯无人巴士预估会在20232025年实现部分

79、区域的接驳。长城控股毫末智行CEO顾维灏认为，无人载物在两三年会很快普及，但有人自动驾驶或限定区域、系统化改造的局部区域L4或者L5应该会更快地到来。安向京认为，L4级无人驾驶在限定场景下会比预期更早到来，但需要更多人、车、路基础设施进行系统化改造。冉斌认为，L4级自动驾驶真正实现的是从低速到高速，从封闭到开放，尽管车路协同的出现大大加快了L4自动驾驶的进程，到2022、2023年中国将会有十几条高速公路中的二十公里、三十公里会按照第三级自动驾驶设计，给车提供更广阔的场景，但L4级自动驾驶至少也需要到2025年、2027年左右才可以实现。报告四：Natural intelligence:Bra

80、in mechanisms that enable us to look and see李兆平|德国图宾根大学教授德国图宾根大学和马克斯普朗克脑研究所的李兆平教授从物理学转向计算神经科学，致力于推进对人类感知觉系统的理解。李兆平教授在其报告中介绍了生物智能如人类大脑视觉系统的工作机理，强调了对视野中央与外周的二分（central-peripheral dichoto-my）加工，并提供了直观的图片样例与丰富的实验证据。现有的深度卷积网络只是在形式上借鉴了人类大脑视觉皮层的层状结构，模拟了大脑的部分视觉功能，却未能深入地理解大脑视觉系统运作背后的机理。人类视觉系统对中央视野的输入存在反馈调节等机

81、制，能在有限输入的环境中兼顾鲁棒性与通用性，并实现视觉理解，而对外周视野的加工则表现出与现有人工智能类似的不稳定性。李兆平教授认为循着视觉皮层的层级结构和反馈机制更加深入地研究人类视觉系统，理解人类视觉系统的运作机制，有利于启发未来人工智能的研究和发展。2829（整理：戴一鸣、熊宇轩、孙晨、沈磊贤、沈林杉、肖健、王光华、蒋宝尚、智源认知神经团队）全体大会全体大会报告一：The Wedding of Neural and Artificial Reinforcement LearningPeter Dayan|马克斯普朗克生物控制论研究所所长Peter Dayan在剑桥大学学习数学，并在爱丁堡大

82、学获得博士学位，曾共同创建盖茨比计算神经科学组并担任该机构主任，同时也是马克斯普朗克/加州大学学院计算精神病学和老龄化研究中心副主任。Peter Dayan指出过去的强化学习研究主要集中在研究生物大脑中的有模型学习，无模型学习，以及简单的巴普洛夫条件下的强化学习行为。近年来，大量新的研究表明，大脑中的经验回放，在生存压力和焦虑条件下对风险的偏好程度等，对于生物体的强化学习行为会产生重要的影响。生物大脑在学习过程中，会产生丰富的经验回放现象，比如老鼠在进行觅食行为前，会产生前向的经验回放，而在完成觅食行为后，会产生反向的经验回放。如果干扰经验回放的进行，最终都会影响老鼠的学习行为。大量的理论假设

83、被提出，比如经验回放为深度强化学习提供了一种记忆缓存机制，对以前的学习经验进行重组，前向经验回放可能是大脑在做在线规划等。除了经验回放现象，最新的研究表明，大脑对风险的偏好程度决定着我们对于奖赏价值的衡量，这对于我们的决策行为有着重要的影响。除了经验回放和风险偏好，近年来，在有限理性、元控制、情境控制、社会互动等方面对生物大脑强化学习系统的研究，也可以对人工智能强化学习系统提供借鉴。Peter Dayan认为大脑学习机制和人工智能有深刻的联系，我们可以从人工智能的算法获得启发解释脑科学机制，也可以从丰富而有效的大脑学习机制中获得启发和学习，发展更多新的人工强化学习方法，人工智能应与大脑“联姻”

84、。尖峰对话-3张宏江|智源研究院理事长Stuart Russell|加州大学伯克利分校教授核心观点：人工智能发展应秉持以人为本的发展原则，避免技术过快发展造成难以挽回的后果人工智能的快速发展带来了一系列经济和社会问题。例如，DeepFake换脸算法被不法分子利用，用于窃取他人隐私数据。智能推荐算法被科技企业垄断，用于向用户定向推荐营销广告。美国加州大学伯克利分校教授、国际人工智能顶尖学者斯图尔特罗素（Stuart Russell）认为，当前在制定 AI 发展目标时，科研工作者和从业者没有明确技术发展的目标，AI 技术快速发展的同时反而伤害了大多数人的利益。对此，罗素教授提出了 AI 发展的三大

85、伦理原则，体现了以人为本的发展思路，一是 AI 只能服务人类的长期福祉；二是通过技术等手段，务必保证 AI 能够理解人类的利益诉求；三是在明确对社会和环境的长期重大影响之前，谨慎应用 AI 技术，如采用 AI 控制气候变暖等。此外，谈及“通用人工智能”实现的具体时间表，罗素教授认为应是在本世纪末。核心观点：人工智能对人类社会和环境的长期影响仍不明确，需要专门设立研究团队持续跟踪罗素教授认为，人工智能对于人类社会和自然环境的长期影响仍是难以预测的，但必须有相应的人员持续跟踪研究，在出现问题之前及时预警。罗素教授赞赏智源研究院在 2019 年提出 人工智能北京共识，针对人工智能研发、使用、治理三方

86、面，提出各个参与方应该遵循的有益于人类命运共同体构建和社会发展的 15 条原则，以及 2020 年发布“面向可持续发展的人工智能(AI4SDGs)公益研究计划”。罗素教授认为伦理研究是未来人类能够完全掌握人工智能技术，为经济社会发展服务的重要保证。6月3日全体大会全体大会报告二：Computational Sustainability:Computing for a Better World and a Sustainable FutureCarla Gomes|康奈尔大学教授可持续发展要求我们平衡环境、经济以及社会的需求。联合国在 2015 年为可持续发展研究提出了 17 项目标，包括消除贫

87、穷、消除饥饿、提升教育和医疗水平等。美国康奈尔大学教授 Carla Gomes 教授认为，计算的可持续性是旨在为可持续发展研发计算方法的交叉研究领域，需要可持续性研究、计算机科学、以及人工智能的多个子学科的共同努力，具有很大的挑战性。Carlas Gomes 教授指出约束优化、动态建模、仿真、机器学习、多智能体系统、公民科学等计算方法可以被用于用于生物多样性保护、平衡环境和社会经济需求、促进材料和可再生能源研发等领域。值得一提的是，在许多科学探索场景下，我们缺乏大量的有标签数据集，此时我们需要进行无监督学习。我们可以将人工智能推理与机器学习相结合，得到有意义、可解释的解决方案。针对生物多样性保

88、护问题，Carlas Gomes 教授将该问题建模为了一种联合物种分布的建模问题，并通过引入先验知识的多实体学习（Multi Entity Learning）技术对其进行求解。Gomes 教授指出，生物多样性保护研究十分关注不同的物种的空间分布随时间的变化情况。我们可以使用来自多种传感器的数据（例如，遥感数据、天气数据、土地覆盖数据），并通过自适应的时空机器学习建模和高性能计算技术，将对环境的预测和观测到的物种涌现的特征在细粒度上联系起来。然而，在构建联合多物种分布模型时，目前被广为使用的 MVP（multivariate probit）模型存在以下不足：（1）特征由人工手动设计（2）MVP

89、模型假设物种之间的交互服从多元高斯分布，这种假设难以估计协方差矩阵的参数。为此，Carlas Gomes 教授团队提出了一种端到端的深度学习模型 DeepMVP，该模型可以预测 41 种鸟类的迁徙模式。此外，该模型是一种通用的多实体依赖学习模型，可以扩展到多目标检测等领域。针对平衡环境和社会经济需求的任务，Carlas Gomes 教授介绍了其团队在亚马逊盆地水力发电大坝选址问题中平衡社会-经济影响的工作。他们将该任务视为一个多目标决策问题，旨在构建更符合人类伦理的决策支持系统，并使用多目标优化、求解帕累托前沿的方式来解决该问题。具体而言，在该任务中，我们需要同时考虑电力、渔业、交通运输业、农

90、业灌溉、气候变化等因素，并找到一种折中的方案。针对促进材料和可再生能源研发的问题，Carlas Gomes 教授介绍了其团队在探索情节能源材料（燃料电池和太阳能燃料）方面的相关研究，他们将该任务建模为无监督的模式解离问题，根据同步 X 射线数据推断晶体结构。具体而言，他们构建了一种深度推理网络来推理有关热力学规则的先验知识，并使用该模型有效提升了高通量材料发现的速度。Carlas Gomes 教授指出，针对现有的带噪声的不完整的数据，以及充满不确定性的数据，我们可以将机器学习技术和符号 AI 技术结合起来，提升模型推理的性能。Carla Gomes 教授联合了来自加州理工学院、康奈尔大学、西北

91、大学等顶尖学府的材料科学家和计算机科学家共同开发了 科学自主推理智能体（SARA），旨在整合材料学实验、理论、以及计算方法。3031报告一：Local Elasticity:A Phenomenological Approach Toward Understanding Deep Learning苏炜杰|宾夕法尼亚大学 助理教授宾夕法尼亚大学助理教授苏炜杰提出了局域弹性（local elasticity）的概念，并作为用来理解深度学习的唯象理论（phenomeno-logical）。苏炜杰指出深度神经网络每一次训练倾向于影响同类型数据的预测，例如用一只猫的图片进行权重迭代使得网络的权重改变后，

92、对另一只猫的预测影响会比较显著，对老虎的的影响一般，对乌龟的影响较小。并通过一系列实验验证了深度神经网络存在局域弹性的现象，即权重更新的影响是局部且衰减的。对于neural tangent kernel模型，苏炜杰将其于局域弹性相结合，提高了模型预测的准确率，这说明局域弹性会帮助学习。另一个角度，苏炜杰指出经典的稳定性决定泛化性的结果直接应用于神经网络是存在问题的，并提出了依赖于数据的局域弹性稳定性的概念。苏炜杰认为一个好的机器学习解释模型应当将层次性（hierarchi-cal），迭代性（iterative），压缩性（compressive）三个特征包含在内，并基于此提出了一个唯象的模型ne

93、urashed model，这个模型间接解释了深度学习局域弹性（local elasticity），隐形正则化（implicit regularization），信息瓶颈（information bottleneck）的现象。苏炜杰的工作为解释深度学习提供了一个新的思路，并指出一个好的深度学习理论应该具备的基本条件。论坛主席:张平文|中国科学院院士，北京大学教授，智源研究院数理基础方向首席科学家报告二：核方法在结构化数据集上的有效性梅松|加州伯克利大学 助理教授加州伯克利大学助理教授梅松的工作主要关注结构化数据集上核方法的有效性，包括泛化与优化上的性质。梅松关注第一个问题是什么时候random

94、 features kernel，neural tangent kernel与神经网络之间存在的差距较大或较小。例如对于图像分类问题，有时卷积神经网络明显优于卷积的random features kernel方法，而对于一些小的数据集有时核方法会比神经网络表现更好。另一个问题是由于图像具有一些不变性，通常卷积核方法会比高斯核方法表现更好，应该如何量化卷积核方法与高斯核方法之间的差距。对于第一个问题，梅松提出了spiked covariates model这样一个toy model进行分析，当协变量信噪比（covariate signal to noise radio）很小的时候，神经网络要比核

95、方法好得多，此时神经网络与核方法之间的差距很大。但是对于各向同性数据集，此时协变量信噪比很大，特征学习是不必要的，核方法也能表现的很好。对于第二个问题，梅松认为当目标函数在某组动作上具有不变性时，例如图像问题的平移不变性旋转不变性，使用具有不变性的核方法（invariant kernel）会比标准核方法如高斯核等表现更好，因此可以通过学习具有不变性的目标函数进行量化。梅松的工作对核方法进行了进一步的理论分析与实验上的验证。人工智能的数理基础论坛当下人工智能面临着可计算性、可解释性、泛化性、稳定性等诸多重大理论挑战，如何打破基于计算机实验和认知神经科学的人工智能传统建模范式，建立起以数学与统计理

96、论为第一原理的新一代人工智能方法论，依然是待开垦的处女地，也是数学家们不可多得的机遇。在本届智源大会“人工智能的数理基础”论坛上，由智源研究院“人工智能的数理基础”重大方向学者分别邀请了来自宾夕法尼亚大学助理教授苏炜杰、加州伯克利大学助理教授梅松、康奈尔大学教授Katya Scheinberg、斯坦福大学助理教授马超等针对他们的有趣研究做了报告分享。在论坛最后，该方向的数位学者以及“机器学习”重大方向学者林宙辰教授等人围绕“人工智能的大统一理论？”这一话题，进行了深度的讨论。人工智能的数理基础论坛报告三：Complexity Analysis Framework of adaptive Sto

97、chastic optimization method via martingalesKatya Scheinberg|康奈尔大学 教授在众多诸如机器学习、深度学习以及强化学习的优化问题中，采样的随机性通常会对目标函数带来近似误差。尽管自适应步长的优化方法在确定性的情形下已经有了深入研究，但在这些带噪声的情形下的算法理论性质依然未知。针对这个问题，Katya Schein-berg等人提出了自适应随机优化方法的复杂度分析框架。她们从经典线搜索方法出发，将其推广至带噪声的线搜索方法，并建立了“True iteration”的概念用于描述梯度近似的精确程度。通过将自适应优化过程建模成鞅，自然地将算

98、法的复杂度问题归结为估计该随机过程的停时问题。在噪声有界以及期望意义下有界的假设条件下，分别给出了停时的估计，从而得到算法复杂度的估计。进一步将这个框架得出的结论运用到具体问题上，得到了非凸问题、凸问题、强凸问题的自适应随机优化的复杂度分析。Katya Schein-berg 基于鞅的停时的估计给出的自适应随机优化算法复杂度分析框架具有较强的适用性，可以进一步推广到其他的一些算法，并为未来随机优化算法的理论分析提供了一条重要的思路。报告四：随机梯度下降法的线性稳定性导致的Sobolev正则化效应马超|斯坦福大学 助理教授斯坦福大学助理教授马超在这次讲演中介绍了随机梯度下降更倾向于选择Sobol

99、ev半范数更小的神经网络。通过利用神经网络具有的乘法结构，当被训练的神经网络在训练集上的误差为零时，两层神经网络的Sobolev半范数可以被参数的平坦性来控制。马超证明了具有线性稳定性的随机梯度下降收敛的极小值的平坦度可以被算法的超参数，如学习率和批量大小控制。通过建立这样一个随机梯度下降法的超参数和极小值的平坦性的关系，我们可以得到一个基于算法的泛化误差的上界。同时，马超还证明了在他的框架下虽然随机梯度下降过拟合（训练误差为零），但仍具有对抗鲁棒性。总结来讲，随机梯度下降会更倾向于选择平坦的极小值，而平坦的极小值会有更好的泛化能力。至于更加深层的神经网络和非插值的情形，可以留作将来研究。圆桌

100、论坛：人工智能的大统一理论？林 伟|北京大学长聘副教授，智源研究院数理基础方向研究员明平兵|中国科学院数学与系统科学研究院研究员，智源研究院数理基础方向研究员邓 柯|清华大学长聘副教授，智源研究院数理基础方向研究员林宙辰|北京大学教授，智源研究院机器学习方向研究员王 涵|北京应用物理与计算数学研究所副研究员，智源研究院青年科学家文再文|北京大学长聘副教授，智源研究院数理基础方向研究员张志华|北京大学教授，智源研究院数理基础方向研究员林伟：今天邀请七位专家，从几个不同的理论的层面来对人工智能数理基础进行讨论。由我先抛砖引玉，做一个引导报告。我们探讨的主题是“人工智能的大统一理论？”现在人工智能的

101、应用已经非常广泛，但美中不足的一点是缺乏一点点理论。何为人工智能的理论呢？它到底有哪些方面？从我个人的角度，我觉得最主要的包括以下侧面。人工智能的数理基础论坛3233第一个侧面是可计算性或可扩展性。可计算性是一个比较基本的要求。一个学习算法能够实现的前提是计算复杂度不大，且能够可扩展至大规模应用场景。这个侧面是运筹学和优化等方面研究的重点。第二个侧面是泛化性或者可预测性。这是一个比较核心的问题，它能够保证有关的学习算法在未观测的数据集上也能表现的很好。这个侧面是统计学等研究的重点。第三个侧面是稳定性或者是稳健性。稳定性在机器学习领域常指算法的稳定性，它关心的问题是当我们对模型或者算法作出一定的

102、扰动时，其输出是否在可控的范围内。另外一方面是统计方面的稳健性，它关心的问题是当我们对分布作出一定的扰动时，我们得到的预测值或者对参数的估计值是否仍然有效。第四个侧面是可解释性。可解释性关心的问题是如何理解我们得到的模型或者算法的工作原理或者机制，甚至理解生成数据背后的机制。可解释性是启发未来人工智能方法的关键之一。其他还有隐私性、安全性等侧面，也很重要，这里我就不多说了。回到我们今天的问题上，实际上我们并不是没有理论，而是有非常多的理论。被大家广泛分享的爱因斯坦说过的一句话：如果我要建立一个新的理论，不是要放火把房子烧了重建一个新的摩天大楼，而是更像爬山。现在人工智能的理论，如果按照四个侧面

103、，那么实际上就有四个小山包，每个小山包基本上都有人占领。但到底哪个小山包更有希望，我们目前并不是很清楚。如果能够建立一个大统一的理论，从更加高、宽泛的视角来看待这些似乎割裂着的理论，进而在这些不同的理论侧面建立一个深刻的联系，这不仅可以帮助我们更本质的理解人工智能现阶段各个方法的本质，还有助于指导我们发展新的更好更“智能”的算法。我简单举几个例子。第一个例子是计算和统计之间的权衡。我们知道，算法需要有多项式算法或更好地复杂度；但另一方面我们希望它在统计上的效率要好一些。这两方面实际上是需要某种程度的平衡。Wang et al.(2016)1这篇工作，介绍了稀疏主成分估计问题中统计和计算之间的权

104、衡。如果不考虑算法的复杂度，估计稀疏的主成分会随着样本量增大发生相变：随着样本量逐渐增大并超过一个阶，从一个平凡的估计误差突变到最优的速率。而如果我们把算法局限在多项式复杂度时，这个相变会发生改变，而且无论样本量如何增加都不能达到最优的估计收敛速度。人工智能的数理基础论坛第二个例子是泛化性和稳定性之间的关系。我们知道稳定性实际上，在某种意义上跟泛化性有很深刻的联系，因为所谓的泛化就是怎样从训练集到测试集之间的结果再现，这相当于你在数据集上做一个小的扰动，所以它实际上跟稳定性是相关的。这里我给一个比较经典的工作Bousquet et al.(2002)2，是怎样用稳定性的几种定义来推泛化的界：一

105、个算法越稳定，那么把训练的样本改变成独立同分布的新样本对输出的影响就越小，那么这个算法就泛化的越好。第三个例子是预测和可解释性之间的权衡关系。Yang(2005)3曾指出，预测和变量选择之间不能同时达到最优：如果想要以最优的预测作为标准选择超参数，那么对应的变量选择（可解释性）的结果就不是最优的；而如果以最准确的变量选择作为标准选择超参数，那么对应模型的预测能力就不是最好的。第四个例子是隐私和效率之间的关系(Duchi et al.,2018)4。该文指出，如果想要实现一定的隐私保护任务，那么算法的效率将会被牺牲。一个世纪以前，物理学发生了天翻地覆的变化，短时间内就出现了相对论和量子力学两种物

106、理学理论。在这一百年的进程中，物理学家们一直在苦苦追求所谓一种万有理论，统一所有的物理现象。但似乎截止目前为止，也只有所谓的“大统一理论”，统一了电磁相互作用、强相互作用和弱相互作用三种，而没有包含引力作用。我们再来看数学，偏微分方程有一些理论，特别是非线性的偏微分方程是否存在一般的理论，目前还存在一些争论。那么人工智能是否能够发展出“大统一理论”呢？这个我也不知道，我列出四个问题供大家讨论：1.人工智能是一个统一的学科亦或一系列相关学科的紧密/松散的联合？2.人工智能的几大研究范式/基础理论/实现手段是否存在统一的可能性？3.现阶段/将来有必要追求人工智能的大统一理论吗？4.当前人工智能的理

107、论研究存在哪些主要困难？问题一：人工智能是一个统一的学科亦或一系列相关学科的紧密/松散的联合？明平兵教授认为，人工智能领域就像数学里的非线性偏微分方程一样，没有一个统一的理论，各个研究主题之间像是一座又一座孤立的小岛。非线性偏微分方程没有一个统一的研究方法，但是有一些一般性的概念、方法和技巧，如适定性和解的正则性等。这些一般但是不普适的方法随着众多数学家的努力推动，已经联系得十分紧密。因此给人工智能领域的启发就是，虽然我们没有一个统一的理论，但是可以发展一些一般性的概念、方法和技巧，并让它们之间深入地交融在一起。文再文教授认为，人工智能有关的问题大多可以转化为一个优化问题，但是具体的问题之间又

108、存在着较强的个人倾向性，因此很难说人工智能是一个统一的学科。邓柯教授认为，目前人工智能距离大统一理论还比较遥远，现状仍是一个比较松散的联合。人工智能的领域十分宽泛，如算法、机器学习、认知科学、神经科学、知识图谱等。大家各自做的工作差异非常大，各具特色。目前机器学习领域发展的非常快，研究范式一直在更新，其理论发展具有非常大的可塑性。从一个统一的观点来看待统计等数据学科和类脑科学是一件十分有意义的事情，但是实现起来还是有很大难度的。林宙辰教授认为，联系的紧密与否需要相对地来看。相邻的两个领域联系紧密，但是传得远了就不紧密了。人工智能领域存在某些链条，链条相邻的上游和下游联系得紧密，链条上离得远的以

109、及链条之外的领域联系就不紧密。比如统计机器学习计算机视觉多媒体信息检索等。上游领域的突破往往会极大地促进下游学科的发展。另外，这个紧密性是动态的，比如计算机视觉和自然语言处理之间是在深度学习兴起之后才紧密联系在一起的。张志华教授认为，目前人工智能主要还在机器学习的范畴里。要想有一个大统一的理论，建立一个大统一的模型是很值得期待的。而要想建立一个大统一的模型，那么首先要从数学上定义什么算智能，就像信息论里的熵一样。王涵教授认为，机器学习的理论方法目前在自然科学里发挥着越来越重要的作用，机器学习也能够解决自然科学里建模遇到的各种各样的困难。但是自然科学领域建立的模型，由于要满足各种各样物理约束，和

110、机器学习常用的模型存在着较大差别。这会给机器学习领域带来各自各样的问题和需求。人工智能的数理基础论坛3435问题四：当前人工智能的理论研究存在哪些主要困难？明平兵教授认为，维数灾难是一个很重要的具体问题。从抽象的角度来讲，如何从一个数学的角度来严格形式化人工智能的问题是很困难的。文再文教授认为，我们可以用的数学工具太少，可能是因为人工智能领域太年轻了。正如20世纪初的物理学一样，后来引入了更多的数学工具取得了十分迅速的发展。邓柯教授认为，我们目前缺少一个整体性的框架。目前我们研究的范式就是最小化一个目标函数。但是如果这个问题具有很复杂的不确定性，只是最小化目标函数难以捕捉到这些不确定性。我们可

111、能在用一个简单的方法来解决一个复杂的问题，故而缺少一个切中要害的理论框架。林伟教授认为，我们目前对非凸优化了解的不够多，如何做非凸优化的算法的泛化性的理论保证还缺乏一个统一的手段。另外一个角度是符号主义和机器学习结合的问题。数理逻辑之间的关系是严格的，确定的。但是在不确定性的影响下，因果关系不总能传递。那么我们只能从一个整体的角度来研究它们之间的关系。邓柯教授认为，不确定性会导致十分深刻的变化，但我们缺乏有效的方法和手段分析它。林宙辰教授认为，我们能用的数学工具还是不够多。从牛顿发明微积分以来，我们都是从局部出发来研究问题。但是每个局部都分析得很好，不代表整体也能分析得很好。唯一的一个从整体角

112、度研究对象的学科可能是统计力学，统计力学是一个整体性分析的代表性例子，它引入了全局的变量，如温度、压力，进而分析整个系统状态的变化，而不是去跟踪每一个粒子的微观状态。这给我们一个启发，就是能否定义一个智能系统的全局参数，然后研究系统整体的性质。张志华教授认为，现状的理论发展还是很丰富的，但是大家对理论不够满意的原因可能在于理论对于实践的指导还不够好。现在有一个新的思路是说，统计和优化之间需要重新看待。之前优化只是统计的一个工具，用来取得全局最小值。但是现在优化不仅仅只是一个计算工具，而更像是一个方法论。那么从这个视角来研究问题或许能取得一些进展。王涵教授指出了一个新的问题。目前机器学习模型落地

113、的时候用的数值的精度都是很低的。之前科学计算的数值精度都是64精度，但是现在单精度都不够，甚至是半精度或二值的。在这种近似下，已有的数学理论是很难指导调参的。这个时候由于精度不够产生的误差怎么建模、怎么分析，可能是一个值得研究的问题。References:1 Wang,T.,Berthet,Q.and Samworth,R.J.(2016).Statistical and computational trade-offs in estimation of sparse principal components.The Annals of Statistics,44(5),1896-1930.2

114、 Bousquet,O.and Elisseeff,A.(2002).Stability and generalization.Journal of Machine Learning Research,2,499-526.3 Yang,Y.(2005).Can the strengths of AIC and BIC be shared?A conflict between model identification and regression estimation.Biometrika,92(4),937-950.4 Duchi,J.C.,Jordan,M.I.and Wainwright,

115、M.J.(2018).Minimax optimal procedures for locally private estimation.Journal of the American Statistical Association,113(521),182-201.（整理：文再文，廖钰蕾，周寅张皓，王惠远）人工智能的数理基础论坛问题二：人工智能的几大研究范式/基础理论/实现手段是否存在统一的可能性？明平兵教授认为统一人工智能或者是机器学习的研究范式目前没有可能实现，其实也没有那么紧迫去做这件事。至于能否把因果推断和机器学习的方法统一在一起，我们还需要看时间、看进展、看将来应用场景对理论研究的

116、推动。文再文教授认为，在比较抽象的层次大统一理论是十分困难的。但如果我们聚焦在一些小领域，比如说强化学习领域，是存在着统一的可能性的。强化学习里有一个十分著名的Bellman方程。基于Bellman方程的policy-iteration在线性规划问题中等价于单纯形法。深度学习和强化学习结合的深度强化学习的很多算法，比如Q-learning，都依赖于Bellman方程。因此小领域之间更容易发展出一个统一的理论。邓柯教授认为，在中观和微观的尺度构建一个统一的理论还是大有可为的。比如在统计学中高维函数的估计是存在着维数灾难的。但在深度学习中普遍的高维数据相关的实践中，我们得到的结果是比传统统计声称的

117、收敛速度要好很多的。这说明机器学习方法用到了传统统计没有假设的特征。我们可以从新的视角来分析经典统计所作的假设。从中观的层次来讲，怎么把数据驱动和知识驱动结合起来，怎么把大规模的知识表示和数据信息结合起来，这都是人工智能领域未来发展的一个重要方向。在更宏观的层次上，把以算法为核心的人工智能和类脑科学、神经科学方面的研究结合在一起。可以畅想未来某一天神经科学和类脑科学取得了重大突破，让我们更本质的理解大脑的运转机制，这一定会对我们算法为核心的方向产生巨大的影响和推动作用。宏观尺度上虽然能保持乐观的期待，但是在微观和中观尺度我们还是能作出一些工作来推进统一理论的发展的。林宙辰教授认为，我们想要统一

118、人工智能，首先要定义什么是大统一、我们要统一什么？在物理学中，人们要统一的目标是十分明确的，就是统一四种作用力。那么在人工智能领域，我们要统一的目标是什么呢？只有把要统一的东西用数学表示或者严格地定义出来，我们才会有建立起统一理论的希望。事实上，物理学的大统一理论也是在各个小领域之间统一的基础之上才逐渐明确的。那么我们也可以先在人工智能各个小领域之间做好统一工作，大家先在较低层次上建立起一个共识。其次，如果要提出一个统一理论，那么就要有一个人或者一个团体把人工智能的各个方面都了解清楚，但目前来讲这是不可能的。从抽象的意义上，我相信大统一理论是一定存在的，因为我们的大脑就是明证，只是我们要把大统

119、一理论给构造出来，这个难度很大。问题三：现阶段/将来有必要追求人工智能的大统一理论吗？林伟教授指出，人工智能最开始是基于符号主义的，而现在大家是基于数据去做机器学习，但基于数据的机器学习很难去做一些常识的推理，所以大家会想往符号主义回归，把符号主义好的东西融合进机器学习里来。因此他提出：机器学习有关的理论和符号逻辑有关的理论能否建立在一个统一的框架中？另外，各个领域之间能否存在一个公共的“语言”，例如邓柯更倾向于贝叶斯学派，林伟偏向频率学派，但是他们之间可以通过Bernstein-von-Mises定理建立联系。林宙辰教授认为大家对“理论”的定义并不一样。林伟所指的理论是“是否存在一个共同的证

120、明的模式”，但林宙辰认为他所倾向的“理论”应该具备演绎功能，即能否通过演绎把整个理论推导出来，是否能够预测一些新的现象和指导我们的实践。前者是从表象的角度来考虑，而后者是从方法论的层面考虑。张志华教授认为，符号主义和基于数据的机器学习理论之间并不矛盾。如果是简单的问题，是可以通过符号主义来解决的，但是对于复杂的问题会存在类似于维数灾难的现象，使得利用符号主义的方法不可行。后来的基于数据的连接主义可以说是对符号主义的一个近似，这样我们就可以来把问题解决。但是如果某一天计算复杂度不需要考虑了，我们完全返回符号主义。所以这个问题本质上还是如何克服维数灾难。关于统一理论，如果我们可以把智能用数学语言定

121、义出来，就像信息论里的熵一样，那么我们就可以通过最大化“智能”来设计算法，进一步把这个最大化智能的算法的稳定性、可解释性等全部解决了。但是目前我们的目标函数还是最小二乘或者交叉熵，但是最小化距离不代表最大化智能。我们说的人工智能其实最关心的是算法。王涵教授认为，如果我们给一个智能体一些基本的知识，那么它能否自己做归纳、实验，乃至于重现人类目前的知识体系，甚至发现新的知识。这个或许就是对智能的终极检验。人工智能的数理基础论坛3637智能体系架构与芯片论坛智能体系架构与芯片论坛智源研究院“智能体系架构与芯片”重大方向的核心目标为：从整机、编程、芯片、方法四个方面探索智能计算系统的发展，研究开源智能

122、芯片设计方法、多类型智能芯片设计、智能计算编程编译方法、智能控制系统设计以及智能超算系统构建等，同时还将探索极具挑战性的非经典冯诺依曼的智能计算系统架构研究。在本届智源大会上，由来自该方向的 5 位智源学者（张悠慧、包云岗、孙广宇、翟季冬、蔡一茂）以及第四范式副总裁郑瞾、寒武纪联合创始人王在分别就智能体系架构与芯片的最新进展做了分享。论坛最后，学者们就“GPT-n需要什么样的智能计算系统？”这一主题进行了探讨。报告一：类脑计算系统基础软件研究张悠慧|清华大学教授，智源研究员清华大学类脑计算研究中心研究员张悠慧指出，类脑计算系统泛指以类脑计算芯片为核心的软硬件系统，主要适配以脉冲神经网络为典型计

123、算范式的智能计算应用，相关计算架构研究是后摩尔时代体系结构的重大发展方向。但当前的类脑计算基础软件研究普遍存在软件平台碎片化、应用建模工具匮缺，以及缺乏计算完备性与通用软件框架研究等问题。张悠慧研究团队前期聚焦类脑计算完备性与通用开发框架做了卓有成效的研究工作。在类脑计算完备性方面，张悠慧研究团队提出“通用计算”+“近似能力”策略，将图灵可计算函数转换为“类脑完备”硬件上的等价模型，并引入“渐进”计算完备性，以放松系统在精度、计算过程上的要求。相关工作被 自然 评价为一种突破性的解决方法，有助于整合领域内应用/系统/芯片多个层面的协调开发与演进。在“通用”的类脑计算基础软件研究方面，张悠慧研究

124、团队综合“通用计算”+“通用近似”编译，在pytorch基础上搭建同时支持深度脉冲神经网络和计算神经学脉冲神经网络仿真的开发框架。该框架具备软硬件去耦合的网络编译功能，并正在进行与之适配的完备的可重构硬件平台开发，可以为类脑硬件计算提供高效的开发与运行环境。报告二：从“事后分析”到“实时决策”：第四范式机器学习数据库设计理念与落地实践郑曌|第四范式副总裁第四范式副总裁郑曌指出随着计算机计算能力越来越强劲，如何应用该优势从海量数据中挖掘规律赋能不同的产业和场景，以充分发挥数据的价值是第四范式的初衷。前三个范式主要是人寻找规律，但是其存在处理数据能力有限、无法实时响应及数据科学家稀缺的不足，而第四

125、范式应用机器找规律可以实现无限理性、实时响应和规律可复制的优点。随着人工智能的快速发展，在决策系统中能否通过机器学习算法分析数据找出规律并做决策是第四范式要解决的核心问题。而在该系统中，机器学习数据供给存在以下关键挑战：1）数据离在线一致性；2）数据时序性正确；3）数据闭环完整性。针对上述挑战，第四范式通过统一的SQL计算引擎、特征计算禁止面向未来时间点的设置的方法和特征计算禁止面向未来的数据使用的方法应对上述挑战。在解决完数据供给正确的问题后，提出了机器学习数据库的业务架构，并通过特征抽取、模型训练、模型部署和在线评估的数据处理范式快速体验数据开发工作。在企业应用中发现该数据库能够低成本、高

126、性能地处理海量数据。此外，在数据库优化方面，将不同的数据分配到非易失性存储中，使系统整体应用成本节省了58.4%，灾备恢复时间减少了99.7%。在机器学习数据库支持下，第四范式面向特定的行业、场景提供给企业和客户更加完整的解决方案（创新算力平台、数据库软件、开发工具等），在智能风控决策场景中，性能提升了15%。未来，第四范式将继续优化机器学习数架构（包括数据处理、模型训练集推理环节）。论坛主席:陈云霁|中科院计算所研究员，智源研究院智能体系架构与芯片重大方向首席科学家报告三：开源芯片与敏捷设计：现状与趋势包云岗|中科院研究员，智源研究员中科院计算所副所长包云岗在报告中介绍了开源芯片的现状和趋势

127、。目前我国优秀处理器芯片人才储备严重不足，加快处理器芯片人才培养规模与速度，迫在眉睫。而构建开源芯片生态，降低芯片设计门槛，是一个可行的解决之道。包云岗希望通过“三步走“的规划，在中国构建开源的芯片生态：从最开始尝试采用开源模式，研制标签化原型芯片；到后面成立开放指令生态联盟；再到启动一生一芯计划，包云岗在开源芯片的道路上越走越远。包云岗认为，开源芯片并不是简单地开源代码，其本身包含三个层次：开源的开放指令集、处理器微架构设计/实现，以及设计流程/工具，里面蕴含着很多的创新机会。包云岗同时介绍了中科院计算所在开源芯片实践方面做的许多工作，包括开源RISC-V处理器核与设计流程、开源EDA工具与

128、云平台、探索芯片敏捷设计开发流程等。团队的最终目标是构建开源芯片的生态，将开放指令集、开源EDA工具链、敏捷模拟仿真验证等要素集成到一起，为开发者提供具有90%基础功能的集成开发平台。通过开源芯片与敏捷开发，达到降低芯片设计的人力、EDA以及IP成本的目的。报告四：ReRAM存内计算加速器的设计挑战孙广宇|北京大学副教授，智源青年科学家北京大学副教授孙广宇对基于ReRAM存内计算加速器面临的设计挑战进行了详细阐述。（1）AI计算算力提升的主要瓶颈之一在于访存带宽不足、访存能量高，也就是存储墙问题，而基于ReRAM这一新型材料的存内计算能够缓解这一问题；（2）虽然ReRAM本身是一种密度高、低功

129、耗的器件，但是其外围电路的开销很大。无论是面积开销还是功率开销，都主要来自模数/数模转换、缓存及互连电路；（3）ReRAM本身面临着误差和噪声问题，包括写入误差、热噪声、随机电报噪声等等。一方面，需要通过设计优化尽量减少噪声的影响，另一方面，可以考虑将存算电路与贝叶斯网络等结合，将噪声的影响变废为宝。针对上述问题与挑战，为了追求精度、能效、面积与可靠性的设计权衡，我们需要从应用层、架构层、电路层和器件层多个层面进行综合考虑，从而能够实现计算性能的提升，也能够减缓数模/模数电路的开销。此外，无论是做架构设计还是做器件、做应用，都需要统计分析和仿真等工具的支持。通过对真实计算数据进行统计分析有助于

130、了解其运算分布、数据分布以及对噪声的影响，再借助于器件级、电路级和架构级模拟进行各个层次的仿真，能够显著地提高存算加速器的效率。报告五：面向人工智能芯片的张量编译优化翟季冬|清华大学长聘副教授，智源青年科学家清华大学副教授翟季冬在报告中首先分析了面向人工智能芯张量编译的研究现状，包括手工编写底层算子库、基于计算和调度的半自动张量编译以及基于多面体模型的自动张量编译。并总结了当前张量编译优化面临的主要挑战：（1）如何把复杂多样的人工智能应用准确地传递给底层编译器系统；（2）如何在具有复杂硬件特征的人工智能芯片上快速生成高效的执行代码；（3）如何对上层应用和下层硬件进行准确抽象，构建全面而高效的求

131、解空间和优化目标。智能体系架构与芯片论坛3839智能体系架构与芯片论坛智能体系架构与芯片论坛最后重点介绍了课题组在张量编译方向的最新研究进展，基于张量变形和局部等价的张量编译优化。该研究成果发表在OSDI 2021上。不同于现有工作在张量的内存布局上只考虑了不同维度间的顺序，如矩阵的行优先和列优先，四维张量的NCHW,NHWC等，该工作提出了张量变形的概念，打破了张量维度间的限制，使得数据可以在张量的不同维度间进行转移（如将N维度的数据转移到W维度）。同时，该工作充分结合的张量程序的应用特征，即张量中往往包含成千上万个元素，提出了局部等价优化的概念，即在优化后只需要保证大部分的元素是正确的，再

132、对少部分的元素进行修正。相比于现有工作都仅仅考虑完全等价的优化，该工作极大的扩展了张量程序的优化空间。为了实现上述优化，翟季冬副教授的团队实现了PET系统，主要由程序划分、局部等价变形生成器、局部等价变形纠错器和代码生成优化四部分组成。实验结果显示，相比较于Tensorflow、Tensorflow-XLA、TensorRT和TASO，PET在常用的DNN模型上可以取得高达2.51倍的加速比。此外，针对DNN中常见的几个算子，PET通过与cuDNN/cuBlas，TVM、Ansor结合，可以达到最多2倍以上的加速比。由于张量形状对算子的执行效率有着显著影响，该工作通过引入张量变形与局部等价优化

133、，能够有效地扩大张量程序的优化搜索空间，并通过不等价变换找到更多优化机会实现显著的性能提升。报告六：基于新型神经形态器件的类脑神经网络蔡一茂|北京大学博雅特聘教授，智源研究员北京大学特聘教授、智源研究员蔡一茂，对人工智能对芯片需求进行了分析，针对面向深度学习、脉冲神经网络等应用的芯片架构和集成电路器件遇到的重大挑战，从神经科学和微电子学等交叉领域的角度，汇报了基于新型神经形态器件的类脑神经网络的研究进展。首先，针对人脸识别算法应对环境光变化的鲁棒性差的问题，蔡一茂提出了利用忆阻器件模拟生物视网膜中的电突触回路，使得忆阻传感器可以对静态图像的光进行自适应预处理，使得在不需要改动算法的情况下，提高

134、了人脸识别系统对环境光的鲁棒性。其次展示了基于新型多功能神经形态器件实现类脑神经网络局域环路模拟信息处理的新概念，利用生物神经网络的适应性、相关性和协同性等特性实现对环境噪声及多维信息的处理。最后，依据神经生物学群编码基础，蔡一茂团队提出了改善器件特性与类脑信号的编码方式，有利于进一步提升神经网络的容量和处理能力，并指出，利用该硬件与编码方式，可以扩展目前人工神经网络的智能度，但仍然面临需要微电子器件和系统算法协同设计等挑战。蔡一茂团队的研究为我们从“智能硬件”的底层新型信息器件的角度，提供了构建仿生信息的感、存、算处理的新思路。同时蔡一茂教授也指出，这个技术路径一个重要的挑战是新型器件不能带

135、来电路设计和制造难度的急剧增加；另外也不应增加算法映射的复杂度或者挑战，这样才能是得更多的智能学习算法可以便捷地应用部署在新型类脑芯片上，而不需要对智能学习算法和数据进行大规模改动，可以获得更鲁棒更高效的智能芯片和系统。高算力AI芯片：使用前沿的设计与领先的工艺，形成了高密度的运算单元，大容量的片上高速缓存。高性能分布式软件栈：集成自适应精度算法，成功突破芯片功耗墙，兼顾高性能和高精度。高速芯片互联与组网技术：横向纵向扩展形成超大规模集群，多机多卡间高速通讯。大规模分布式算力调度平台：细力度分布式调度技术与策略，灵活高效使用海量算力。寒武纪与智源研究院合作的CPM项目中，寒武纪的高性能人工智能

136、计算技术方案，体现出了极强的性能。在CPM大规模分布式训练的多项测试中，与国外的训练产品相比，在同等精度下，寒武纪高性能训练产品方案取得了1.2倍到1.8倍的性能优势，加速实现了高精度CPM中文预训练算法。寒武纪的一整套技术方案，有力的推动了中文通用人工智能的突破，形成了通用人工智能底层基础架构，通过不断的迭代发展，可以持续突破摩尔定律限制，以50倍摩尔定律的增速，驱动通用人工智能技术的发展。圆桌论坛：GPT-n需要什么样的智能计算系统？主持人：郭 崎|中科院计算所研究员，智能处理器研究中心副主任嘉 宾：包云岗|中科院研究员，智源研究员 张悠慧|清华大学教授，智源研究员 郑 曌|第四范式副总裁

137、 王 在|寒武纪联合创始人、执行总裁现有的人工智能预训练模型呈现规模快速增长的趋势，去年发布的GPT-3系统高达1700亿参数，今天上午刚刚发布的悟道2.0模型规模十倍多于GPT-3，参数量高达到1.75万亿。在本次圆桌会谈上，主持人郭崎和嘉宾包云岗、张悠慧、郑曌、王在共同探讨了下一代GPT-4、GPT-5甚至GPT-n需要什么样的计算系统？各位嘉宾就当前大规模预训练模型面临的挑战和如何从计算，设计等层面设计GPT-n系统发表观点。当前大规模预训练模型对算力系统的挑战。王在认为目前大规模预训练模型对系统的内存和运算有较大的冲击，需要搭建更大规模的、通信效率高和容错程度高的训练集群。包云岗提出可

138、以借鉴芯片领域的的发展经验，在通用研究上遇到瓶颈时可以考虑针对具体场景设计专用模型。郑曌的观点是企业需要平衡好业务效果和模型性能之间的关系，并做好容灾系统。张悠慧认为可以从设计新型器件、电路、架构，借鉴类脑科学研究成果的角度来设计新一代智能系统。如何降低系统能耗。王在提出可以在底层进行优化，在应用层对一些场景使用低精度数据存储，在系统设计层设计一个可拓展、易调度的系统降低功耗。包云岗认为需要减少数据移动，使用如光学器件等新型器件来降低系统能耗。郑曌补充道，需要对系统在算法和模型层面进行优化，同时要减少数据拷贝。张悠慧认为需要协同算法、编译、硬件层面的感知来减少能耗。如何为下一代GPT设计分布式

139、训练系统。张悠慧认为在服务器的分布设计上可以借鉴IOT（物联网）的技术进行研究。郑曌提出需要考虑模型并行，设计一个高吞吐的参数服务架构。包云岗认为超算中的很多技术对于分布式的机器学习有借鉴意义，未来的机器学习系统的分布互联能力有机会达到超算的水平。王在认为应设计合理的数据通信机制，让数据通信尽量在同一个节点内进行，同时要避免数据链路的拥堵。如何让终端智能设备能支持大规模模型。王在认为短期内在终端支持大规模训练较难，寒武纪主要在芯片中设计了专门的训练单元来提供支持。包云岗举了“东北野生动物大规模拍摄识别系统”的例子，提出企业在面对实际需求场景时需要快速提出解决方案，要做好技术储备。郑曌认为在终端

140、设备的使用场景中，不仅要面对碎片化场景，还会受限于数据传输环境，需要在终端上布局良好的体系架构，能够独立完成全生命周期的人工智能任务。张悠慧补充总结道，未来的人工智能系统要拥有局部的自适应微调能力，这种能力可以通过考虑通过设计新的算法和新的器件来实现。（整理：王光华、任黎明、李明、沈林杉、赵言、李中梁）报告七：面向人工智能芯片的张量编译优化王在|寒武纪联合创始人、执行总裁随着深度学习的应用，人工智能技术在图像，自然语言处理，语音等领域取得了长足的发展。毫无疑问，接下去需要攻克的技术热点方向是接近人类智慧的通用型人工智能技术。近几年，学术界和业界在通用人工技术领域，也取得了一定的进展。以Tran

141、sformer网络结构为基础，发展出来的BERT，GPT-3等模型可以实现一定的通用型人工智能任务。这类算法的特点是采用无监督或半监督训练方法，可以使用海量无标注的互联网数据训练，模型参数量大，运算量大。通用型人工智能技术，对算力需求的趋势以50倍的摩尔定律的速度增长，当今，在通用人工智能技术领域，已经受制于底层芯片和核心软件技术。针对通用人工智能领域，寒武纪研制了一系列的软硬件尖端技术，形成大规模分布式训练解决方案，以应对算力需求的超高速增长。满足超大模型的算力需求和软件支撑。4041预训练模型论坛预训练模型论坛报告一：全球最大万亿模型的构建唐杰|中清华大学教授在研发超大规模预训练模型的过程

142、中，团队集中力量攻克大模型算法设计、训练环境构建、大规模并行分布式计算方法构建等方面存在的问题，产生一系列国际领先的原创性技术成果。智源研究院学术副院长、清华大学教授唐杰认为，为了打造万亿规模的大模型，模型的数据规模、参数规模都非常大，训练一次需要千万美元。研发效率高、能耗低、环境友好的模型成为关注的重点。在算法框架方面，已有的算法框架（如TensorFlow等）已无法应对如此庞大的模型规模，计算效率较低。为此，悟道团队重写底层算法框架代码，缩短模型的训练时间，在国产CPU集群上实现万亿参数模型的运行，实现国产芯片在大规模AI模型研发的突破。在算法架构方面，为了在提高模型效率的同时保持同样的性

143、能精度，团队需要针对大模型的已有算法（如Transformer）进行改进。例如，悟道团队在GPT-3基础上，自研FastMoE等算法架构，在原有Transformer架构基础上进一步突破，超越国际已有算法的性能和精度。在大规模模型并行计算加速方面，大模型依赖定制化的模型和数据并行方法，实现万亿参数规模的加速训练。报告二：像孩子一样学习：第二代文澜多模态预训练模型文继荣|中国人民大学教授，智源首席科学家智源研究院“智能信息检索与挖掘”首席科学家、中国人民大学教授文继荣表示，研发大模型能够帮助团队探索智能形成的机理，并寻找可以实现通用人工智能的具体路径。在研发悟道文澜模型的过程中，团队提出了“像孩

144、子一样学习”的发展目标，通过给模型提供多模态数据的方式，让模型像孩子一样逐渐获得智能能力。在研究大模型内部智能形成机理过程中，团队发现多模态数据帮助模型形成了“图-文”对应的概念理解能力，如“黄河入海流”文本能够引导模型产生“山川”“河流”等概念，为团队进一步探索多模态预训练方法，构建多模态数据集，以及理解大模型内部智能形成的机制机理提供参考。中国人民大学卢志武教授介绍了基于这种思考研发的 6.5 亿通用图文对+BriVL-2的双塔模型，中国人民大学金琴教授介绍了能够用于 7 种语言的多语言多模态的单塔模型。这些模型目前已经达到应用落地的程度，包括AI心情电台（给定图片配一首音乐）、布灵（纯跨

145、模态检索）、只言片语AI版（图文匹配的图灵测试）等。报告三：CPM-2：面向预训练模型的全流程高效计算框架刘知远|清华大学副教授，智源青年科学家清华大学副教授刘知远指出预训练模型规模近年来迅速增长，计算效率成为制约大模型训练与应用的主要瓶颈。为此“悟道.文源”团队针对词表构建、模型构建、模型预训练、下游任务微调和推理应用等关键步骤，建立了“CPM-2：面向预训练模型的全流程高效计算框架”，关键技术包括：(1)提出具有字形和字音特征的中文编码技术，兼具高效编码和抗噪音特性；（2）提出全双曲表示Trans-former架构，仅用一半参数即可达到欧氏空间模型效果；（3）实现基于DeepSpeed的流

146、水并行，发布支持任意深度学习模型3D加速的TDS工具包，提出知识继承KI的高效预训练技术，训练速度提升37%以上；（4）提出基于少样本对比学习的微调技术CSS-LM，主持人:唐杰|清华大学教授报告四：规模多模态预训练模型M6研发实践与落地应用杨红霞|达摩院智能计算实验室资深算法专家达摩院资深算法专家杨红霞在回顾超大规模多模态预训练模型的发展及M6模型在手机淘宝应用中发现，推荐系统目前存在如何迅速解决冷启动的难题。而多模态预训练万亿参数模型，通过学习泛内容可以够较精准地将商品或短视频推荐给用户，进而解决冷启动问题。该模型主要包括：（1）GreenAI（在有限资源中训练大量模型）；（2）文到图的生

147、成（预训练模型赋予AI创造能力）；（3）M6模型框架（基于自注意力的Transformer模块）。谷歌研究表明万亿参数模型最核心的问题为MoE负载不均衡，而杨红霞通过研究发现万亿参数模型的核心问题为激活专家个数及其capacity，并且激活个数与模型效果成线性关系。但是激活个数的增加会使大规模多模态预训练模型的部署（显存）难度急剧升高，导致下游任务结果较差的难题，针对此挑战，杨红霞提出基于AuxiliaryLoss的Expert prototyping方法，实证研究结果表明了该方法具有较低的loss值和较优的收敛速度。在文本到图像生成能力方面，杨红霞提出Non-Autoregressive方法

148、统一表征文到图的重要信号以提高文到图的生成能力，通过服饰设计和人脸生成的研究表明了该方法的优异性能。最后，M6模型在商业化落地应用方面，其在搜索系统中的recall值相较于bert模型提升了20多倍。并且M6使文本生成到图像的生成能力（商品推荐和广告文案、服饰定制化文案生成及风格设计、模特换装等）也有了显著提高，为制造业提供了前所未有的新机遇。仅使用0.2%数据即可达到完整数据训练90%的效果，提出基于Prompt的微调技术PTR，仅训练0.001%参数实现对复杂下游任务适配；（5）提出基于TensorRT加速、多层存储参数调度和Prompt的高效推理技术InfMoE，可在GPU单卡上实现千亿

149、参数模型推理任务。在该计算框架支持下，团队利用50TB大规模数据和智源算力平台制作发布了CPM-2模型（包含110亿稠密模型和1980亿MoE模型），兼具中英文语言的理解和生成能力，在识记、阅读、分类、推理、跨语、生成、概括等七大机器语言能力测试中，与现有开源预训练模型相比整体性能显著最优。报告五：认知预训练的新进展杨植麟|循环智能联合创始人，智源青年科学家智源青年科学家，循环智能创始人杨植麟在报告中介绍了文汇发布1.0版本至今，团队做出的各项改进，以及取得的新突破。在1.0的版本中，文汇实现了更通用的大型预训练模型，并能将知识融入到模型中。本次的2.0版本取得了更多突破，分别是：（1）少样本

150、学习，（2）鲁棒性，（3）通用性，（4）跨模态。团队提出了FewNLU，结合了FlipDA/P-tuning等方法，实现了在鲁棒的前提下，在三个任务上少样本学习取得与全样本系统相似的性能。跨模态方面，通过提出的CogView架构和训练方法，文汇2.0做到了生成和理解的一体化和不同任务的统一化，并用很多技巧避免了训练过程中的不稳定性，在很多数据集上取得了SOTA结果。文汇从1.0到2.0取得的进展，从易到难，一步一步突破。使得模型能够做到在真正复杂场景下实现应用，并提升了生成理解统一化的思想。同时，团队开发的增广和训练框架是当前在多种困难场景下唯一有效的方法，并在多项任务上取得最优。杨植麟表示，

151、团队接下来还会继续在这个方向前进，实现更强的认知能力。报告六：FastMoE和蛋白质预训练的新进展裘捷中|清华大学 博士生清华大学裘捷中博士等人通过实验证明，在预训练模型规模越来越大的过程中，MOE结构存在的一些问题（比如过载）影响了模型训练。例如训练时有的expert负担是平均负载的15倍，这容易导致显存溢出。针对这一现象，裘捷中等人提出了FastMoE v0.2，通过添加负载均衡模块、专家工厂模式、兼容国产超算、支持半精度等操作缓解了超大模型训练问题。在演讲中团队展示了由其训练的1.75万亿模型的文本续写能力，逻辑性和流畅性较好。同时裘捷中等人还发布了ProteinLM模型，这是一个基于M

152、egatronLM实现的蛋白质预训练框架，拥有30亿参数和24层Transformer，在TAPE的32M条蛋白序列上训练，在以Contact预测为首的蛋白结构/功能预测任务上效果优秀。两部分的工作都深有影响，FastMoE后续会探索更多负载均衡策略和进行更大模型训练，目前已经在阿里平台部署，并将探索在支付宝智能化服务体系中的应用。ProteinLM将探索MSA的蛋白质预训练以及与ESM，ProtTrans模型比较，并将模型应用于蛋白质折叠。预训练模型论坛作为走向强人工智能的一条可行路径，在最近两年内预训练大模型的研究如火如荼。智源研究院在这方面发布的最新工作“悟道2.0”目前已经处于全球领先

153、的水平。在“预训练模型”专题论坛中，由悟道团队的牵头人唐杰教授以及数位相关研究学者（包括文继荣、刘知远、杨红霞、杨植麟以及裘捷中等）分别从各自负责的领域详细汇报了“悟道2.0”的研究进展。论坛最后，在AI TIME的合作下，五位研究者围绕“大规模预训练模型：离通用人工智能还有多远？”这一主题进行了辩论。4243预训练模型论坛预训练模型论坛【AI TIME论道】大规模预训练模型：离通用人工智能还有多远？主持人：何 芸|AI TIME负责人嘉 宾：李文珏|智源研究院 成果转化部 投资总监 杨红霞|阿里巴巴达摩院资深算法专家 黄民烈|清华大学长聘副教授 武 威|美团NLP中心负责人 邓亚峰|360集

154、团副总裁，人工智能研究院及搜索事业部负责人 卢志武|中国人民大学高瓴人工智能学院教授第25期AI TIME论道在智源大会“预训练模型论坛”展开，此次活动特别邀请了中国人民大学高瓴人工智能研究院教授卢志武；阿里巴巴达摩院智能计算实验室资深算法专家杨红霞；360集团副总裁、人工智能研究院及搜索事业部负责人邓亚峰；清华大学长聘副教授黄民烈；美团NLP中心负责人武威；活动由智源研究院成果转化部投资总监李文珏、AI TIME负责人何芸主持。自BERT发布以来，预训练模型大放光彩，各种变种层出不穷，研究的方向也多种多样。预训练模型规模近两年来以每年约10倍的速度增长，计算效率成为制约大模型的主要瓶颈。在此

155、背景下，了解预训练模型的方方面面就变得尤其重要。（下图来自 https:/ariv.iv.org/pdf/2106.07139.pdf）问题：一个高质量的大规模预训练模型拥有哪些特质？各大研究机构的大规模预训练模型在技术路线、应用领域等方面有何共性和区别？黄民烈认为，一个好的大规模预训练模型首先应该在通用智能上具有一定的能力，能力要既有广度又有深度，这对数据有一定的要求，跟泛化性能有一定的关系。卢志武认为理想的模型应该具备：（1）通用；（2）有效；（3）可解释；（4）可用可落地。杨红霞指出高质量的预训练大模型应该有三个特质：（1）Green AI；（2）有认知创新能力；（3）可以商业化落地。武

156、威认为高质量的痛点是可解释性，知道模型什么时候犯错，可以极大地拓宽模型的应用场景。邓亚峰首先梳理了大规模预训练模型的发展，认为各大机构的思路、基础组件在趋同，大家找到了一个主方向并向其迈进。问题：大规模预训练模型在产业中有哪些落地的场景？是否有激发新产业的可能？就落地场景而言，未来大规模预训练模型需要在哪些方面探索或提升？现在讲大规模预训练模型通常是指千亿级的模型，但是产业界的模型通常在几十亿规模上，并已经有很多的应用场景，如搜索、推荐等。邓亚峰介绍了自己的亲身经历，并指出千亿级的模型距离实用还是存在差距，因为产业界要考虑效率和投入产出比，他期望（1）打破现有的产品的架构，使架构更简单、更数据

157、驱动；（2）大规模预模型变成AI的基础设施。杨红霞表示多模态预训练模型在手机淘宝、支付宝已经开始落地，在产品推荐中特别是冷启动中的效果非常好，并且在时尚设计上已经产生了变革。卢志武建议借助大规模预训练模型去创业，可以尝试寻找新的方向，重新生长，如虚拟主播就是今年的投资人追捧的热点。黄民烈认为大规模预训练模型可以替换一些看起来有门槛但没有那么复杂的事情，如设计LOGO等。现阶段大规模预训练模型进行商业落地要考虑：（1）可控性；（2）模型的小型化、绿色化、经济化。问题：在模型训练过程中如何确保数据真实有效又保护隐私？黄民烈认为这方面工作还比较少，并举例指出数据会给模型训练带来挑战，因为模型会记录数

158、据，一些攻击方法可以把数据集重新抽取出来，这也是很新的研究方向。邓亚峰指出传统上认为只要获得一个群体统计意义上的信息而不暴露个体的信息就不会有隐私的问题，在这种情况下，联邦学习可以很好地保护隐私。但是深度模型提出了更大的问题，因为它可能记录并输出预料中的信息，面对于这种情况，邓亚峰认为可以在产品设计、运营中采取一些可行的方式。杨红霞认为大家可以考虑端云协同，思考Model Over Model的范式。问题：大规模预训练模型是否是实现通用人工智能的必由之路？还有多远？卢志武表示，大规模预训练模型是实现通用人工智能很重要的一步，在模型中可以看到AI已经觉醒。黄民烈认为通用人工智能目前还没有准确的定

159、义，从大脑智能的角度来类比，模型要够大，要有一定的基础，但模型不是越大越智能，我们应该关注模型还欠缺什么能力。语言的学习要与客观世界的知识和物理世界相匹配，在这个基础上去做大模型可能才是通向通用人工智能的道路。人的认知系统包括两个部分：（1）映射；（2）逻辑、推理、情感等。邓亚峰认为要做一个接近人的通用人工智能需要非常复杂的系统，今天AI的能力和它的距离还很远，但在由输入到输出这样一个非线性映射问题上，今天的预训练、跨模态模型已经做得非常好，而且呈现出非常多的优点和价值，大家可以从技术和应用的角度去挖掘。杨红霞回顾了自己团队做这件事的过程，并谈到有没有可能把数据抽象成知识，从大数据时代跨越到大

160、知识时代，她认为大规模预训练模型可以具备推理、创新能力，这是下一代AI应该具备的能力。武威简单梳理了NLP的研究历史，并指出不同的流派有不同的方法，而大规模预训练模型用一个模型把这些事情都解决了，从这个角度来看，大规模预训练模型已经有了一定的通用人工智能的能力，但如果提高标准，大规模预训练模型离通用人工智能还很远。（整理：贾伟、德周、刘知远、任黎明、周寅张皓、翟珂、AI TIME）4445AI科技女性论坛AI科技女性论坛圆桌论坛李涓子|清华大学计算机系教授贾 珈|清华大学计算机系副教授冯 洋|中科院计算所研究员刘世霞|清华大学软件学院副教授史元春|清华大学计算机系教授宋丹丹|北京理工大学计算机

161、学院教授徐志伟|中科院计算所研究员庄 莉|镁佳科技 谈到职业发展的问题，作为国家人机交互领域的学科带头人，史元春教授讲到了自己走上人机交互研究道路的经历。她提出，AI领域国内学者的贡献大概超过三分之一以上，但是人机交互还不到2%。她认为，人机交互非常重要，它基于当今很多AI的数据处理的能力，同时关注如何将人的能力的可计算性带入到接口和系统的交互过程当中。今天，人机交互在大量手持穿戴、车、家居中应用广泛，交互接口的自然、高效、可靠，为研究扩展了空间以及方法论。AI科技女性论坛报告一：我的AI之旅Wendy Hall|英国南安普敦大学教授英国南安普顿大学教授Wendy Hall 从个人的亲身经历出

162、发讲述了自己的工作如何促进了万维网的诞生。早在硕士期间，她为了学习第二语言用Prolog编程开发了一个智能系统。1984年，Wendy回到南安普敦大学加入新成立的计算机科学小组，致力于多媒体和超媒体领域。她的团队发明了 Microcosm 超媒体系统(在万维网出现之前)，这个系统中的各种链接保存在数据库中，点击就可以查找到对应的多媒体资源。她的工作对现代互联网的发展具有很重要的意义，构建了当今互联网的雏形。在1999年的一篇论文中，Wendy提出了associative link的概念，指的是信息元素之间语义关系的实例化。语义关系可以是简单的某个概念的“定义”，也可以是更加复杂的东西。万维网最

163、初追求的是一个互相链接的超文本文件系统，这些文件通过浏览器来查看。随着万维网的发展，人们希望机器能理解和集成万维网上的数据。语义网是 W3C 进一步发展万维网的愿景，它提供一个公共框架，使得数据的共享和复用可以跨越应用系统、企业和社区的边界。2006年，Wendy与几位计算机科学家一道，成为网络科学研究计划(WSRI)的创始人之一，也就是如今的Web Science Trust，旨在协调和支持万维网的研究。Wendy认为，互联网是历史上最成功的信息架构，它包含很多通信和传输协议，通过这些协议各种复杂的信息得以在全世界范围内传播。正像许多其他学科一样，在人工智能领域，有无数的女性留下了自己的身影

164、，为人工智能的研究带来不一样的色彩和温度。“AI科技女性”专题论坛从女性视角出发，聚焦女性科学家的职业发展以及人生选择，勾勒了当代女性AI研究者的研究风貌。其中Wendy Hall从个人经历出发讲述了万维网的早期历程，清华大学计算机系教授史元春、清华大学软件学院副教授刘世霞、中科院计算所研究员冯洋、北京理工大学计算机学院教授宋丹丹、中科院计算所研究员徐志伟，以及工业界代表镁佳科技庄莉等就职业道路选择、科研人员如何平衡事业与家庭、学术界和工业界的区别、AI人才培养中男女比例等问题进行了深入探讨。对于刚入行的女性AI从业者，史元春教授提出，CS人要与时俱进，不要一辈子 吃老本儿。计算机专业的特点就

165、是会带着你进步，带着你看不同的风景。清华大学软件学院刘世霞教授也讲到自己研究方向的转变，在多年的自然语言处理工作后，她发现想让复杂的信息为人所理解，还是需要用直观的方式展示，让人和模型能够交互，于是研究重点逐渐转向了文本可视分析，以及可视化。刘教授认为，研究方向一成不变是不现实的。关于如何平衡家庭和事业，宋丹丹教授提到，双科研人员的家庭各有利弊，少了很多神秘感的同时，彼此有更多共同语言。而工作中遇到的问题，包括指导学生和教学内容，双方都可以做深入的交流。兼顾事业和家庭，找到适合自己的平衡点最重要。冯洋研究员也从自己的亲身经历出发分享了，女性在平衡家庭和工作的过程中，要懂得取舍，精力管理和时间管

166、理很重要。作为女性的科研工作者，如果在工作上是有一定追求的话，需要付出很多。只要付出就会有收获。工业界代表镁佳科技CEO庄莉博士表示，计算机科学虽然叫做Computer Science，但本质上是一个工程学科。工程学科最根本的是动手能力，有两件事是最重要的，第一点就是编程。能否用编程的方式解决实际问题，决定了在这条路上能走多远。第二点，不断学习，适应变化。庄莉博士讲到工业界和学术界的区别。学术界的任务是探索人类对于整个世界理解的边界，追求世界上很多与计算相关的方法变得更先进。而工业界的目标是寻找技术的边界，把边界藏起来，做成对大家日常生活真正有价值的东西。最后，中科院计算所研究员徐志伟强调了A

167、I人才培养的重要性，他提出，人工智能是算法+算力+数据。这当中的+代表系统，AI生态系统当中最重要的就是教育。数据显示，全世界有几百万AI人才缺口，中国有几十万，培养人才的同时更要重视女性AI人才的比例。、他列举了计算所的真实故事SIGMA特别兴趣组，该小组以数学和计算机科学为主，教育孩子从小学习编程。组内成员训练了 阿尔法小狗，在游戏过程中教会小朋友编写 Tic-Tac-Toe 的AI程序。分享最后，徐志伟研究员提出，现在从事计算机的研究人员，男女比例在全国大概是1：7。我们期望到2035年或者2040年，这个比例能向着1：1发展。（整理：李梦佳）4647AI人才培养论坛AI人才培养论坛论坛

168、主席:马艳军|博士、百度深度学习技术平台高级总监主 持 人:赵 斌|百度飞桨教育生态高校运营负责人报告一：基于人工智能角度的计算机专业人才培养王宇新|大连理工大学计算机科学与技术学院副院长大连理工大学计算机科学与技术学院副院长王宇新针对人工智能时代的复合型人才缺口现状，分享基于人工智能角度的计算机专业人才培养。王宇新的演讲共分四个方面，包含大连理工大学计算机学院的简要介绍，AI人才培养的三阶段，百度与大连理工大学的深入合作以及人工智能未来发展。大连理工大学作为国家“211工程”和“985工程”重点建设高校，其计算机科学技术学院成立很早，有一定的学科影响力，专业建设也卓有成效。王院长回顾了自20

169、16年“一门必修课+两门综合实训课+多门选修课”的人工智能专业方向培养，到“X+人工智能专业”的人工智能创新特色班，最后到“建设人工智能学院、增设人工智能新专业”的学校经历，并总结出从把人工智能作为“方向模块课培养”，到“X+人工智能”专业方向建设，最后打造“人工智能新专业”的AI人才培养三阶段。同时王院长着重强调百度与大连理工大学在校企共建方面的合作：参与百度深度学习师资培训、基于百度飞桨开设系列课程，签订人工智能人才培养协议，并在近期双方联合开展电类创新实践创意大赛。“计算+”时代的到来，让社会面临人才缺口的现状，未来百度与大连理工大学将继续深入合作，助力人工智能教育。报告二：人工智能在中

170、医院校中的教学及应用实践韩爱庆|北京中医药大学管理学院副教授北京中医药大学管理学院副教授韩爱庆以北京中医药大学为例，探索人工智能在中医院校中的教学及应用实践。韩爱庆的分享分为问题提出及问题解决两部分。从2018年开始，北京中医药大学就在探索在中医院校开设人工智能或大数据类课程，但是感觉困难比较大。学校有8家附属医院，应该是大数据产生单位，但是在数据应用方面相对较弱。学校专业全部都是中医中药、护理、管理，所以开展人工智能课程有很大的疑虑。在接触百度飞桨深度学习平台之后，问题得以很好的解决。首先，百度提供足够的算力，充足的Tesla V100 GPU算例支持相当于建立了一个实验室。其次是师资培训，

171、百度提供免费的师资培训，培训每年都有新的东西加进来。在算法上，使用飞桨深度学习框架以后，即可以从底层开发深度学习算法，也可以使用高度封装的Paddle Hub或PaddleX来降低学习和应用难度。算力、算法、数据和项目案例被有机整合到了AI Studio这个平台上，开设人工智能课程所面临的的各项困难都得以解决，为开设人工智能课程铺平了道路。基于Aistudio平台开展的理论+小组实践+班级竞赛的模式激发了学生的兴趣，在课程结束后，学校举办了第一届数据分析大赛，学生可以自选作品提交，也可以做指定的案例。其中有一个学生，就选了中药材识别领域，爬取了70类中药材搭建了模型，还做出了小程序，效果非常好

172、，当时获得了全校的唯一一个一等奖。这门课确实给学生带来很大的提升，学生学习完课程后，学生还参加全国的比赛，拿了全国的二等奖，收获也是很大。AI人才培养论坛报告三：产教融合培育人工智能创新人才刘倩|百度AI技术生态部总经理百度AI技术生态部总经理刘倩从产教融合角度畅谈了企业与高校如何共同培育人工智能创新人才。从诸多实际产业案例以及社会发展趋势中得知，目前业界最急需的是既懂AI技术，又懂应用场景的复合型AI人才。从这个角度来看，培养人工智能人才，更加需要高校和企业一起努力，校企合作、产教融合。根据高校需求，百度在5月20日正式发布了 AI人才产教融合培养方案，从内容、服务、专项合作等方面，提供全方

173、位、立体化的内容和服务支持。同时，百度提出了“大航海”计划，未来3年，在高校合作、产业落地、师资培训、联合培养等方向投入更多资源，最后，也希望与高校一起携手努力，为未来科技自主创新，一起贡献自己的力量。报告四：人工智能人才培养要从娃娃抓起：我国人工智能人才培养思考徐俊刚|中国科学院大学计算机科学与技术学院教授、博导如何加快人工智能人才培养？如何应对中国人工智能产业变革和升级？中国科学院大学专业学位培养指导委员会委员，计算机学院教学委员会秘书长，深度学习 课程首席教授徐俊刚针对这些问题的探索大概分为以下几方面：一方面要把人才分层次，不能所有的人才都去做算法工程师。需要自动机器学习算法工程师，给A

174、I应用开发工程师赋能，同时和算法工程师进行交流合作，共同把AI的应用支撑好。此外，需要产学研结合，学校和科研机构跟产业界紧密结合起来。学校可以和科研机构做科教融合，产业界给科研机构提供一些应用场景，高校和产业界可以共同进行人才培养和应用结合。怎么样能够培养孩子人工智能思维呢？首先要学习数理思维，还要培养人工智能思维，培养的时候可以采用寓教于乐的方式，比如采用漫画的方式给孩子讲解人工智能的知识点。希望从事AI的老师，产业界的朋友们，能够为孩子们，为AI的人才培养做一些事情。先做一些中小学的教材；产业界朋友们如果有兴趣可以建立一个平台，长远来说可以建立一个生态，为青少年和AI人才培养贡献出我们的一

175、些力量。圆桌论坛：如何培养优秀的人工智能人才马艳军|博士、百度深度学习技术平台高级总监胡清华|天津大学智能与计算学部副主任、人工智能学院院长王宇新|大连理工大学计算机科学与技术学院副院长韩爱庆|北京中医药大学管理学院副教授徐俊刚|中国科学院大学计算机科学与技术学院教授 （整理：赵斌）6月1日下午，由百度承办的“AI人才培养”专题论坛围绕如何培养优秀的人工智能人才，从多个角度进行探究。4849科学智能论坛科学智能论坛论坛主席:鄂维南-中科院院士，普林斯顿大学教授，北京大数据研究院院长报告一：Machine Learning Based Ab-initio Molecular DynamicsRo

176、berto Car|普林斯顿大学教授Roberto Car在报告中提到，在计算材料领域，基于第一性原理势的分子动力学（MD）能准确描述多种材料体系，但是计算量惊人，可模拟的体系尺寸和MD时间长度严重受限。经验势计算量小、速度快，但是准确度和可迁移性差，计算结果不可靠。计算精度和速度或计算量的矛盾一直是科学计算领域最大的挑战之一。针对这一挑战，Car基于深度势模型的MD（DPMD）用神经网络来模拟材料的势能面，在达到第一性原理精度的同时，计算速度接近经验势。此外，由于静电作用的长程性，计算介电系数往往需要非常大的模型体系，第一性原理无法承载。通过用神经网络学习瓦尼尔函数，即电子轨道中心的坐标（M

177、LWF），实现对电子极化率的准确预测。将DPMD与MLWF结合，实现对铁电相变等特殊反应过程准确高效的模拟。以水作为测试案例，训练出能准确描述包括液态、过冷液态、玻璃态、晶态、有序多晶、无序多晶等多种相结构的水相图的深度势模型，覆盖温度范围02400K，压强范围050GPa。深度势模型已被成功用于多种材料体系，包括金属、半导体、分子体系；规则、表面、无定形体系；激发态、反应体系等等。深度势与DPGEN等数据库构建算法的结合，让第一性原理精度的大规模材料模拟成为可能。深度势的广泛应用将大力加速材料科学的发展。报告二：Scientific machine learning without data

178、王磊|中科院物理研究所研究员中科院物理研究所研究员王磊介绍了如何使用机器学习技术解决物理学研究中数据缺失的问题，分享了在量子力学和统计物理中的应用，并展望了未来的研究发展。王磊发现，由于部分物理问题在计算上的复杂性，应用机器学习方法时存在数据集缺失的问题。在微观尺度上，由于无法精确求解多电子的薛定谔方程，因此无法制备大量的可靠的数据集；在微观和宏观过渡的尺度上，对于复杂的能量函数，由于面对不可解的高维积分，因此无法从玻尔兹曼分布中提取样本形成数据集。报告三：分子光谱与材料构效关系的机器学习研究江俊|中国科学技术大学教授量子力学理论发展史，是一部谱学信号解读并推演规律的历史。对原子/分子谱学信号

179、的解读，带来了能量量子化、轨道理论等基本概念的突破。随着现代科学研究进入复杂体系，物质结构、性质与光谱的数学映射关系变得极其复杂或模糊，通过解读谱学揭示规律并发展理论的研究逐渐变为“无人区”。江俊教授带领团队开展交叉研究，利用人工智能突破传统计算瓶颈、实现谱学信号自动化反演。开发了特色的电偶极矩算法和相关描述符，建立了材料结构、化学特性与光谱数据库，发展了机器学习预测软件。建立光谱信号和重要的材料性质（如催化活性、键能、分子团聚等）的数学映射关系，超越计算与实验光谱比对确定结构的传统模式。这或将打破谱学仅用于辅助指认结构的格局，帮助光谱获得难以直接测量的物理量、跟踪复杂体系演化、揭示复杂体系的

180、构效关系。而构效关系将带领我们走通数据驱动的新材料研发范式，目前江俊教授的团队已开发了初步的化学知识图谱，建立了包含5千万化合物、1千万化学反应等资源的数据库和检索引擎（http:/）,助力航天、太阳能、微电子器件等行业的新材料研发，为改变低效的材料“试错”开发方式提供了数据平台。王磊从原则、应用和挑战三个角度分享了他的研究工作：（1）在原则上，王磊提出应该基于最小作用量原理，寻找描述问题的关键，并最小化作用量。以伯努利最速降线为例，基于神经网络微分方程来最小化损失函数，可以得到逼近解析解的数值解；（2）在应用上，王磊介绍了基于张量网络的微分编程应用：在量子力学领域，使用微分编程方法优化张量网

181、络表示的无穷大海森堡模型，在1个GPU上得到的误差接近10-5，远优于用神经网络求解有限海森堡模型的精度；在统计物理领域，使用变分自回归网络解决玻尔兹曼分布的样本采集问题，与传统的平均场方法相比，归一化过程简单，采样过程清晰，且模型表达能力强；（3）最后，王磊总结了未来研究的挑战，包括寻求全局最优解；随机优化和确定优化的权衡；纠正变分偏差等。王磊将机器学习方法引入物理学领域，有效解决了不同尺度下数据集缺失的问题，并详细比较了“从数据学习”和“从模型学习”之间的差异，从物理学角度给机器学习的研究带来了新的见解。报告四：分子模拟的开源社区张林峰|北京大数据研究院研究员；北京深势科技有限公司首席科学

182、家当下科学计算面临两大问题：1）新一代的科学计算软件，适配迭代效率远高于从前，应用场景远宽于从前；2）科学计算需要大量算力，虽然新一代GPU、TPU云平台提供了大量的剩余算力，但科学计算算法和软件长期以来采取封闭式的开发模式，导致算法与基础设施的通配性差。为了解决这些问题，我们建立了DeepModeling开源社区。开源是一种去中心化协同开发、分布式同行评审的合作方式。通过这样的方式，调动包括科学计算、计算机科学等多领域专家的力量，推动科学计算的发展。在合作方面，我们已建立dpgen、rid-kit、dpti等科学计算工作流，实现流程化的机器学习势模型构建和性质预测。并建立了上下游计算引擎、算

183、法工具和相应的数据集散平台DPLibrary。在成果方面，2020年，基于深度势的分子模拟案例获得高性能计算最高奖项戈登贝尔奖。2021年，通过与百度飞桨合作，实现飞桨机器学习框架与DeePMD-kit的结合，及DeePMD-kit在ROCm硬件平台上的高效运行。2021年，正积极推进科学计算流程在云平台上的高效稳定部署。机器学习与物理建模的结合正在改变着科学研究的范式。那些希望通过计算建模突破科学边界、解决困难问题的人们正在以前所未有的新方式集结起来。DeepModeling社区致力于为他们提供了这样一个全新的协作平台。科学智能论坛过去十年中，人工智能主要战场发生在计算机视觉、自然语言处理、

184、游戏AI等领域，然而随着机器学习技术的广泛应用，传统的科学领域逐渐成为人工智能的主战场，“AI for Science”正在以及将要带动生物、化学、材料、工程甚至物理等学科进入一个新的发展模式。由中科院院士、普林斯顿大学教授、北京大数据研究院院长鄂维南主持召开的“科学智能”专题论坛中，普林斯顿大学教授Roberto Car、中科院物理研究所研究员王磊、中国科学技术大学教授江俊、北京大数据研究院研究员&北京深势科技有限公司首席科学家张林峰分别从各自的研究讲述了AI在传统学科中的进展。论坛最后由鄂维南等人对科学人工智能的现状与未来做了讨论。圆桌论坛：科学人工智能鄂维南|中科院院士，普林斯顿大学教授

185、，北京大数据研究院院长王 磊|中科院物理研究所研究员江 俊|中国科学技术大学教授张林峰|北京大数据研究院研究员；北京深势科技有限公司首席科学家王 涵|北京应用物理与计算数学研究所副研究员，智源青年科学家5051科学智能论坛智能信息检索与挖掘论坛“AI for Science”是一个非常顶尖的话题，中国科学院院士、北京大学教授鄂维南认为中国在“AI for Science”方面是比较领先的，得益于国内优秀学者在凝聚态物理、量子物理，化学中多数据融合和开源社区建设所开展的研究，这也是未来非常重要的三个方向。各位嘉宾就如何建立更好的科研环境，如何建立中国自己的以原始创新为驱动力的科研机构和一条产学研

186、道路，进行了深刻的交流讨论。中科院物理研究所研究员王磊认为一个好的成果不是一个人能做出来的，需要具有不同科研背景的研究者相互结合起来。AlphaFold2算法的发明就是很好的例子，既要好的指挥也要每个人专注各自领域。中国科学技术大学教授江俊认为科研需要很好的生态，学科之间的交叉非常重要，很多复杂的系统不是单一学科能够解决的。项目各方参与者发表的论文并不是很重要，大家相互配合把问题解决才是最重要的。北京应用物理与计算数学研究所副研究员、智源青年科学家王涵认为科研环境的建立也是评价体系建立的问题，很多非常重要和有意义的事情在现有的评价体系里面，得不到很好的确认或者不能得到很好的激励，发表学术论文和

187、进行开源社区的建立都很重要，但目前对非论文的一些工作并没有很好的确认和评价，也没有更好的解决办法。北京大数据研究院研究员、北京深势科技有限公司首席科学家张林峰认为开源社区背后最主要的是礼物文化，而不是交换性质的激励，平衡与现有评价体系间的矛盾是比较重要的事情，以更好的激励个体创新。（整理：张林峰、江俊、孙晨、肖健）论坛主席:文继荣|中国人民大学高瓴人工智能学院院长，智源研究院“智能信息检索与挖掘”重大方向首席科学家主 持 人:窦志成|中国人民大学高瓴人工智能学院副院长，智源研究院“智能信息检索与挖掘”重大方向项目经理报告一：问答系统的一体方法聂建云|蒙特利尔大学计算机系教授聂建云教授是蒙特利尔

188、大学计算机系教授和计算语言应用实验室的负责人，他认为，智能问答是未来智能信息检索领域的一个重要研究方向。和现在的搜索引擎仅提供检索结果列表，用户仍然需要去逐个阅读结果来找到自己想要的答案的模式不同，智能问答系统的目标是直接返回给用户想要的答案，因此对于算法和模型的要求更高。目前的问答系统主要是分为两个环节，首先，通过检索器(Retriever)，检索出答案可能出现的文本片段；然后，再采用抽取器(Reader)从候选文本片段中抽取或者判断出正确答案。现有的工作分开优化检索器和抽取器，这种方式可能会导致检索器检索回来的文本片段从字面上和问题很相关，但实际上并不包含和问题相关的正确答案。简单的通过判

189、断文本片段中是否包含答案来训练检索器会带来很多噪声。聂建云教授详细讲解了他们为了解决这个问题而开展的工作：通过生成对抗网络（GAN）来融合搜索器和抽取器的，进而实现端到端一体化的问答模型。报告二：SparTerm：基于预训练语言模型的面向快速文本检索的词项稀疏表示学习方法刘群|华为诺亚方舟实验室语音语义首席科学家华为诺亚方舟实验室语音语义首席科学家刘群作了题为 SparTerm：基于预训练语言模型的面向快速文本检索的词项稀疏表示学习方法 的报告。基于词项的稀疏表示方法在效率，可解释性和精确匹配方面有很大的优势，因此在工业应用的文本检索中占据着主导地位。华为诺亚方舟实验室研究了将预训练语言模型（

190、PLM）的深层知识转换为基于术语的稀疏表示的问题，旨在提高用于语义匹配的词袋（BoW）模型的表示能力。具体来说，他们提出了一个新颖的框架SparTerm来直接学习整个词汇空间中的稀疏文本表示形式。SparTerm包含一个重要性预测器和一个门控控制器。重要性预测器将原始输入文本映射到整个词表上的重要性分布，门控控制器用来生成词项维度的二进制稀疏门控信号，指示哪些词项需要被激活，从而保证最终表示的稀疏性和灵活性。这两个模块根据输入文本与词汇表中每个术语的语义关系，共同产生基于词项的稀疏表示。SparTerm在MS MARCO数据集的评估结果表明其性能明显优于传统的稀疏方法，并且在所有基于PLM的稀

191、疏模型中均达到了最好的排名，同时在企业级实际应用中超越了原有的基于词项的检索模型。智能信息检索与挖掘论坛智源研究院“智能信息检索与挖掘”重大方向的核心目标为：围绕构建“个人智能信息助手”的关键科学和技术问题，联合北京地区高校和科研机构的优秀学者联合攻关，显著推进智能信息检索与挖掘的研究，逐渐形成该领域的“北京学派”。由智源研究院“智能信息检索与挖掘”重大方向首席科学家文继荣主导，该方向研究项目经理窦志成主持的“智能信息检索与挖掘”专题论坛中，蒙特利尔大学计算机系教授聂建云，华为诺亚方舟实验室语音语义首席科学家刘群，智源首席科学家文继荣、中科院计算技术研究所研究员郭嘉丰，中国科学技术大学大数据学

192、院教授何向南，快手技术副总裁王仲远等分别从各自的视角对信息检索与挖掘的未来给出了自己的答案。（整理：白鹏、沈磊贤、路啸秋、任黎明）报告三：搜索：从相关性到有用性文继荣|中国人民大学，智源首席科学家智源首席科学家、中国人民大学高瓴人工智能学院执行院长文继荣教授对搜索技术的未来进行了展望。他认为，在深度学习的支撑下，搜索引擎的核心技术，已经从过去的语法匹配过渡到今天的语义匹配。但是未来，需要向语用匹配发展。语用匹配的核心特点是：（1）循因果、可解释、公平，要知其然也要知其所以然。搜索的结果要可解释，并且兼具公平性。（2）多轮交互，搜索引擎可以像人一样，通过多轮询问和确认来回答问题。（3）多模态、泛

193、在环境，搜索的范围不应该仅仅是网页，而是生活中由更多模态构成的内容。搜索不仅可以在电脑上完成，还应该在手机上、穿戴设备、自动驾驶等环境中使用。文继荣教授系统讲解了在这三个方向上取得的初步成果：通过反事实学习来提升搜索和推荐结果的公平性和可解释性、交互式智能政务助手、大规模多模态预训练模型及应用。5253机器学习论坛智能信息检索与挖掘论坛论坛主席:朱军|清华大学教授，智源研究院“机器学习”重大方向首席科学家报告一：Opening the Black Box of Deep Learning:Some Lessons and Take-awaysSanjeev Arora|普林斯顿大学计算机科学C

194、harles C.Fitzmorris教授普林斯顿大学计算机科学Charles C.Fitzmorris教授Sanjeev Arora通过数学分析和实例验证，打开了深度学习理论的“黑盒”，对深度学习的复杂特性进行了详细的分析和阐释。过去十年里，深度学习迅速占据了人工智能和机器学习的主导地位，在图像分类等领域获得了极大的成功。但Sanjeev Arora教授认为，我们对于深度学习的认知仍然停留在“黑盒”阶段，这种简单的视角无法在其他复杂问题上设计出灵活的模型。（1）针对常见“模型结构+数据集+目标函数”的研究范式，Sanjeev Arora教授在常见机器学习数据集上设计“特殊结构”模型，如线性深

195、度模型、隐藏层为“无限”宽的全连接网络等，使用随机梯度下降指导模型训练。结果表明，“特殊结构”模型的性能优于常见机器学习模型。因此，Sanjeev Arora教授指出，模型结构、数据集、目标函数，不足以决定深度模型的表现性能，需要深入探索优化函数的动态特性。（2）针对GAN网络在训练过程中的模式坍塌问题，Sanjeev Arora教授设计了基于“生日悖论”的实验，证明了问题的原因不在于训练样本的数量，而在于辨别器的大小。因此，Sanjeev Arora教授指出，在目标函数在深度网络的训练上可能无法达到预期，在执行多目标和多模型任务时需要特别注意。（3）针对大规模语言模型，Sanjeev Aro

196、ra教授从数学角度进行建模，分析大模型可以在下游任务上获得好的效果的原因。常见的下游任务，多为分类问题，如情感倾向等，可以被投射为对下一个词的预测任务，由此将词嵌入与预测概率关联，很好地发挥了大模型的性能。Sanjeev Arora教授阐释了深度模型的性质来自于模型结构、数据、目标函数和训练算法的复杂交互关系，逐步打开了深度学习的黑盒。同时，他也对未来AI研究进行了展望：未来想要设计出灵活可靠的AI模型，需要超越传统的机器学习研究框架，探索新的理论和技术。报告二：Deep(Convolution)Networks from First Principles马毅|加州大学伯克利分校教授加利福尼亚

197、大学伯克利分校电子工程与计算机科学系马毅教授作了题为 Deep(Convolution)Networks from First Principles的报告。深度学习的兴起对学术界和工业界产生了深远的影响，业界也不断提出新型网络结构。但从学术理论的角度出发，当下迫切需要思考的问题是如何判断网络结构的好坏，深度网络的本质是什么，可否通过严格的数学理论推导得出完整的过程，从而理解网络内部的机理，为深度网络的性能提供理论支撑。马毅教授指出，数学上目前对数据所做的绝大部分任务只是以下三者之一：1.Interpolation（内插）：利用数据之间相似性，对数据进行聚类；2.Extrapolation（外插

198、）：利用数据的结构，对新样本进行归类和分；3.Representation（表示）：依据数据内在结构，对数据进行最简略的建模得到最有用的表示。机器学习论坛报告四：面向信息检索的预训练方法郭嘉丰|中科院计算技术研究所研究员中科院计算机所郭嘉丰研究员介绍了面向信息检索的预训练方法。郭嘉丰研究员认为，统一的预训练模型与下游任务微调组合的方式，目前已经成为很多自然语言处理任务的主流。但目前，也逐渐有学者开始探索特定任务类型驱动的预训练任务。例如，针对信息检索的特点，定向地设计预训练任务，能够使得训练出来的预训练模型更符合信息检索任务的需求，进而模型的效果和学习效率都能得到进一步的提升。特别是在低资源和

199、零资源场景下，这样得到的预训练模型能够直接被作为通用检索模型使用，而且其性能可以超越传统的检索方法。郭嘉丰研究员介绍了在面向信息检索任务的预训练模型研发上的一些尝试。他认为，面向信息检索的预训练将会是下一个重要的预训练模型的研究方向。报告五：面向反馈回路和数据偏差的因果推荐系统何向南|中国科学技术大学大数据学院教授中国科学技术大学何向南教授围绕着推荐系统的因果性发表了自己的观点。他认为，推荐是信息爆炸时代和搜索并驾齐驱的解决信息爆炸问题的两辆马车。目前大部分推荐系统的工作，主要是依赖于用户的反馈数据。推荐模型把内容推荐给用户，用在在这些内容上的行为会被记录下来，用于完善下一次推荐的模型。在这个

200、回路中，现有推荐模型的主要任务是建立用户的行为与被推荐内容的相关性。何向南教授认为，推荐模型应该进一步考虑因果性，而不是单纯的相关性。把因果和传统的相关性结合在一起，才能解决用户行为数据中的位置偏差等问题。他详细的介绍了在建模因果性上的几项工作：IPS（样本赋权）、融合用户兴趣和推荐内容的流行度、基于反事实推理消除流行度偏差、因果干预。报告六：基于多模态Embedding及检索的短视频内容理解技术王仲远|快手技术副总裁快手副总裁王仲远博士聚焦快手平台短视频内容理解和个性化推荐的应用场景，针对自监督Embedding在短视频理解中遇到的瓶颈，提出将自监督和有监督学习结合，利用包括Hashtag，

201、搜索Query以及用户评论的群体智慧作为监督信号，实现多模态Embedding。团队针对多模态Embedding模型，采用视觉Transformer、多尺度特征融合、特征层融入图卷积神经网络等模型优化方法，将多模态Embedding应用在辅助视频创作、帮助优质视频尽快获得流量、将内容理解与推荐结合、相关视频推荐以及实体检索等场景。王博士提出未来的多模态Embedding模型发展将生成更大规模的模型并强化在线学习，支持跨域内容理解Embedding，同时能够实现向量检索平台的高级特性。本届大会“机器学习”专题论坛由智源研究院“机器学习”重大方向首席科学家朱军主持，普林斯顿大学教授Sanjeev

202、Arora、加州大学伯克利分校教授马毅、南京大学教授周志华、清华大学教授张长水分别作了四场深度报告。（整理：孙晨，沈磊贤，肖健，路啸秋）5455决策智能科学场景暨滴滴决策智能仿真开放平台机器学习论坛报告二：Ride-hailing Marketplace Optimization:Reinforcement Learning Approaches秦志伟|滴滴出行首席研究员滴滴出行AI Labs 首席研究员秦志伟（Tony）博士介绍强化学习决策智能在车联网调度问题上的研究工作取得的成就，包括时空状态价值构建学习，以及针对大数据场景和优化群体层面指标的调度算法；通过价值函数快速自适应，并且将派单和

203、调度策略在一个统一的框架内实现优化的这种新一代的方法为V1D3，如何解决当前网约车决策智能的研究瓶颈；滴滴公开的决策智能仿真平台。滴滴传统的解决网约车调度的方法是：（1）用状态价值网络来量化表示供给的需求，在时间和空间上共存的关系，这也是直接影响到司机收入的因素；（2）用强化学习来考量调度策略的长期价值，构建状态价值网络，解决派单问题。（3）最后在决策时间点上，我们运用规划来调度车辆到一个最优未来收入期望。传统思维是基于离线学习的，在实际的使用当中，主要的群体是在线上模型，在SARSA部署前不被更新，而且部署也不是一件频繁发生的事情。新的派单和调度方法V1D3主要优势，只需要学习和更新一个价值

204、函数，就能取得派单和调度两个问题的最优策略。因为两个任务高度关联，可以实现了派单和调度的联动优化，高度适合司机的部署。同时还可以有效结合离线学习和在线学习共同策略，使得价值函数能适应瞬息万变的环境。决策优化算法的迭代离不开评估环境，特别是网约车算法研究，经常需要开放模拟器来做算法评估，今天发布的决策智能仿真开放平台也是滴滴公司解决决策优化算法迭代的一个尝试。报告一：决策智能仿真开放平台吴国斌|滴滴出行科技生态与发展总监在发布会上，滴滴出行科技生态与发展总监吴国斌博士首先介绍了滴滴的科技战略。随后由吴国斌博士与智源研究院副院长刘江共同发布了“决策智能仿真平台”。该平台为基于真实的网约车派单调度场

205、景的大规模工业级算法仿真平台，具有非常可靠的测试基准。吴国斌提出，平台具有易用性，支持Python接口，同时支持算法即插即用，可直接下载开发包。介绍中，吴国斌强调，整个平台是滴滴AI Labs的硅谷，期待更多人在决策智能仿真平台上探索决策智能，挑战其中的科学问题。报告三：环境模型学习让强化学习走出游戏俞扬|南京大学人工智能学院教授南京大学人工智能学院教授俞扬指出，强化学习范式目前在各种游戏领域中取得了成功。然而，将基于试错机制的强化学习技术应用于真实环境下有时是不可行的（例如，控制锅炉的温度），过高的试错计算成本可能也令人无法承受。为此，研究者们将目光投向了离线强化学习。具体的技术路线分为两类

206、：（1）直接根据数据学习策略；（2）根据数据还原仿真环境，进而学习如何做决策。由于训练数据的限制，技术路线 1 收效甚微。因此，俞扬教授团队重点研究技术路线 2。决策智能科学场景暨滴滴决策智能仿真开放平台报告三：开放环境机器学习周志华|南京大学教授南京大学周志华教授做了题为“开放环境机器学习”的报告，旨在拓宽机器学习边界，使机器学习在开放环境下仍有较好的鲁棒性。开放环境下一切都可能是变的，关注流式数据需要界定哪些问题可做、哪些不能。周教授首先从算法角度出发，针对类别增加、属性变动、分布变化和目标多样报告了相关研究工作。（1）对于类别增加问题采取三步策略：从流式数据检测异常，判断异常是否为新类别

207、，若是新类别则更新模型；（2）对于属性变动问题，利用原属性空间学到的信息帮助模型在新属性空间中处理新数据，充分利用原模型学到的信息；（3）对于分布变化问题，关键是使训练好的模型适应新数据的同时避免丢掉以前学到的有用信息；（4）对于目标多样问题，利用多目标优化算法进行求解，并为其建立相关理论基础。周教授随后报告了理论方面的一些进展，开放环境很重要的特点是“遇到的事情以前很少遇到或不会遇到，新遇到的事情虽然很少但很重要”。因此对开放环境建模需要考虑重尾分布，困难是中心极限定理不再成立，常用的统计量也失去了意义。周教授团队输入和输出都是重尾分布的情况下从L1回归问题出发进行了理论探索。基于此，马毅教

208、授从数据压缩以及群不变性的角度来构造和阐释深度神经网络，认为现代深度层次架构、线性算子和非线性激活等，都能用数据压缩中最大编码率衰减（Maximal Coding Rate Reduction,MCR2）的原理进行解释。网络所有层次结构、算子以及算子的参数值都能利用前向传播算法显式构造得出，无需反向传播算法进行学习。在此基础上通过对 MCR2 目标进行梯度下降优化，可以利用这一原理构造一个新的深层网络ReduNet，该网络具备严格精确的基于几何、统计以及优化的意义。报告四：可解释性定义与可解释模型的学习张长水|清华大学教授，智源研究员清华大学教授、智源研究员张长水针对当前神经网络可解释性差的难

209、题，提出将神经网络的可解释性研究转化为系统之间互相解释的一致性问题，给出了可解释性的定义，以及可解释模型的学习的思路。具体上，张长水教授从黑盒的结果一致性和白盒的过程序列一致性两方面进行了可解释性定义的探讨。在系统可解释的基础之上，张教授将可解释性定义扩充到人与神经网络的可解释研究，提出一种迭代交互式的可解释模型的学习方法，从而使得神经网络中间的部分节点具有可解释性；同时采用交互方式加入人工干预进行模型训练，从而识别神经网络中具有解释性的特征节点。张教授还提出神经网络的可解释性与鲁棒性关系密切，一个可解释性较强的模型往往鲁棒性也更强，进而通过MNIST数据集验证了加入人工干预后的神经网络可以识

210、别特征节点以及模型的的可解释性和鲁棒性呈现正相关的猜想。在“决策智能科学场景暨滴滴决策智能仿真开放平台”专题论坛中，首先由滴滴发布了“决策智能仿真开放平台”。随后，滴滴出行AI Labs 首席研究员秦志伟博士介绍了强化学习决策智能在车联网调度问题上取得的成就，南京大学人工智能学院教授俞扬介绍了环境模型学习让强化学习走出游戏。安波（新加坡南洋理工大学校长委员会讲席副教授，南洋理工大学人工智能研究院联席院长）和张崇洁（清华大学交叉信息研究院助理教授）也分别发表了主题演讲。（整理：任黎明、熊宇轩）（整理：孙会峰）5657产业画像和精准治理中的AI创新应用论坛决策智能科学场景暨滴滴决策智能仿真开放平台

211、报告一：发展人工智能，赋能中国产业胡本钢|国务院参事室公共政策研究中心理事长胡本钢：中国正处于新一轮科技革命和产业变革的重要时期，发展机遇空前。其中，人工智能是推动科技革命和产业变革的重要引擎，对于国家发展和安全至关重要，是国家治理现代化的重要战略抓手之一。目前，产业治理缺乏全口径数据，难以挖掘产业背后更深层次的关系，倘若将人工智能应用于产业治理，对产业进行精准画像，就能摸清家底，做出全局性决策。未来，中国要充分发挥人工智能引领新一轮科技革命和产业变革的“头雁”效应，推动人工智能应用的落地：首先，牢牢掌握人工智能发展趋势，推动大数据智能、自主智能、混合增强智能、群体智能等相关领域的发展；其次，

212、布局人工智能产业，从基础研究、应用开发、市场推广等方面，做好相关基地、人才、项目的整体规划；最后，政府要充分发挥规划引领、政策支持、标准建立的作用，同时发挥市场作用，引导人工智能企业与产业相结合、与中国民生相结合，为国家发展和安全做出应有贡献。报告三：人工智能的六个赛道吕本富|中国科学院大学网络经济与知识管理研究中心主任、教授决策是人类智慧的基础，是创造力和生产力增长的核心。随着人工智能的发展，机器参与到决策中来，通过优化预测部分，辅助人类做出决策。机器进行预测时首先要对整个决策流程进行拆解，分解为目标、判断、行动、结果四个步骤，同时需要输入、训练、反馈三类数据，这四个行动和三类数据构成了构成

213、决策模型的七要素。根据决策模型建立AI画布分解人工智能应用场景的工具，这一创新应用可以识别任务决策中各部分的具体操作路径、现实可能和未来远景，通过填补缺失信息，利用已掌握的信息，减少决策不确定性，降低预测成本，提高判断价值。人工智能是通用技术，能改变组织运行的要素和环境，构建组织智能化应用场景。未来，拥有算法的企业、数据的企业或行动的企业就掌握了核心竞争力，能在新一轮产业变革中脱颖而出。全球首款“产业知识计算引擎”发布报告二：知识图谱和计算引擎创新应用孙会峰|北京智源研究院知识引擎创新中心主任、上奇数科创始人习近平总书记在两院院士大会中国科协第十次全国代表大会上指出要“提升我国产业基础能力和产

214、业链现代化水平。”而由于决策评价缺依据、监测预警缺手段、精准治理缺工具、量化评估缺维度、要素可视缺平台，无法实现“数据+算法”驱动的产业治理。基于数据、知识、算法、算力的第三代人工智能，为用技术手段和技术视野去解决任务问题提供了强有力的支撑，支持在一定数据的基础上，融入专家知识，进行产业服务的快速建立。为此，上奇数科从产业数字化治理出发，进行了全样本、全维度、全链条的数据的汇集，历时一年多时间，研发出全球首款“产业知识计算引擎”，实现数据资产化、知识组件化、交付模块化。并根据实际应用场景，依托“产业知识计算引擎”，推出算法驱动的知识平台面向各类从事决策支撑的高端智库、行研机构、研究院所等，提供

215、强大的数据深度搜索、专业分析工具、内容自动生成等一站式行研服务。报告四：深度学习求解大规模博弈问题安波|新加坡南洋理工大学校长委员会讲席副教授，南洋理工大学人工智能研究院联席院长安波教授针对人工智能应用场景下的博弈问题，分别从基于博弈算法模型、基于强化学习的角度展开了一系列研究，开发了帮助警察追捕歹徒的博弈算法，通过深度学习技术提升了博弈算法的性能和计算效率。目前该领域还有很广阔的研究空间。新加坡南洋理工大学副教授安波认为，博弈问题广泛存在于各种人工智能应用场景下。目前研究博弈问题的方法基本可以分为两类：（1）基于算法求解的方法（2）基于强化学习的方法。对于数据量极少的情况，我们需要将复杂问题

216、进行适度的抽象，使用基于算法的技术。然而，面对大规模复杂博弈，特别是具有大量不确定性的情况以及无法进行精确建模的时候，需要用到深度学习技术来解决博弈问题。在基于算法求解博弈问题方面，安波教授团队基于大规模优化技术，研制了一套能求解适度规模序贯多方博弈的算法，这些算法可能应用于警察跟犯罪分子的实时对抗以及多人德朴的问题上。在基于深度学习求解博弈问题的任务中，安波教授团队提出了基于Counterfactual Regret和多智能体强化学习的算法CFR-MIX来求解大规模复杂博弈问题，并提出了证明该算法一致性关系的理论，能够应对更大的规模的博弈问题。此外，安波教授团队提出了一种新基于Fictiti

217、ous Self-Play的框架NSG-NFSP，用于处理大规模的、离散化的博弈问题。他们利用表征学习、图学习等技术提升了在大规模策略空间中的 Self-Play 类型算法的性能和计算效率。安波教授团队针对有对抗的人工智能应用场景，分别从基于博弈算法和强化学习的角度展开了一系列研究，通过深度学习技术提升了算法的性能和计算效率。目前该领域还处于起步阶段，有很广阔的研究空间。在根据数据还原仿真环境，进而进行强化学习的任务中，使用监督学习方式生成环境会由于多步决策过程中的误差复合造成较大的泛化误差。为此，俞扬教授团队提出了一种基于分布匹配目标的环境生成策略，使用对抗生成技术，使生成环境中做出的决策与

218、真实情况下做出的决策效果一致。同时，俞扬教授团队还提出了降低这种对抗生成模型样本复杂度的方法，可以通过少量数据学习环境模拟器。针对根据数据还原仿真环境，进而做出决策的任务，俞扬教授团队利用对抗生成技术，研发了基于分步匹配的仿真环境生成方法，有效降低了多步决策中的泛化误差，能够利用少量数据学习出与真实环境相匹配的仿真环境。报告五：Artificial Intelligence Beyond Pattern Recognition:Decision Making and Control张崇洁|清华大学交叉信息研究院助理教授清华大学交叉信息研究院助理教授张崇洁指出近年来人工智能领域如模式识别、计算机

219、视觉、自然语言处理等的研究较为前沿。但人工智能系统在智能决策方面仍然面临着根本性的挑战。目前，决策问题主要通过深度学习（通用的知识表达）和强化学习（解决决策问题的通用框架），将模式识别和决策策略的网络联合起来以同时优化决策策略和模式识别，最终使深度强化学习解决更复杂的问题。深度强化学习在算法层面难以应用于真实应用中的问题主要有：（1）样本学习效率较低。产生该问题的主要原因有三个方面：一是泛化能力弱，二是真实环境（自动驾驶、医疗等）中样本获取成本较高，三是基于梯度的方法更新神经网络具有增量性、缓慢性及全局性。张崇洁教授团队根据不同的原因提出基于模型（分别为表征模型、动力学模型、记忆力模型）的深度

220、强化学习方法解决此问题，研究结果表明该方法具有较佳的性能及较强的决策速率；（2）多智能体决策。多智能体包含大量交互的智能体，并且每个智能体采取某一策略后带来的环境改变和奖励大小都将影响其他智能体。多智能体主要有三种类型：一是合作型（协同合作使收益最大化），二是竞争型（个体收益最大化，收益对立），三是混合型（拥有不同个体收益但收益不对立）。张崇洁教授主要论述合作型多智能体系决策，此类型存在的挑战主要有复杂大规模问题（拥有诸多智能体）、信用评估（每个智能体对团队的贡献）、不确定性（部分可观测的环境有噪音）、异构性（智能体的行为具有多样化）、难以探索（协同探索不同的智能体）。针对上述挑战，张崇洁教授

221、团队提出了基于值分解、学习交流、学习动态共享（支持大规模学习）方法及基于影响探索方法，通过足球和星际争霸的研究结果表明该方法具有较强的优越性。产业画像和精准治理中的AI创新应用论坛“产业画像和精准治理中的AI创新应用”专题论坛聚焦产业要素的数据化、模型化和服务化，探讨如何应用NLP、机器学习、深度搜索、群体智能、知识演化建模等人工智能技术，研发支撑多维度产业画像的算法模型、知识图谱、场景应用等AI工具和计算平台。国务院参事室公共政策研究中心理事长胡本钢、北京智源研究院知识引擎创新中心主任、上奇数科创始人孙会峰、中国科学院大学网络经济与知识管理研究中心主任、教授吕本富分别针对人工智能如何赋能产业

222、，知识图谱和计算引擎的创新应用，以及人工智能的六个赛道等主题进行了报告演讲。（整理：梁堉）5859论坛主席:吴文峻|北京航空航天大学教授报告一：面向高效快速深度学习的数据管理陈雷|香港科技大学讲席教授数据管理水平很大程度影响了深度学习模型的有效性和训练过程的效率，提升数据管理水平是加速深度学习技术广泛应用的重要途径。近年来，深度学习（DL）已得到广泛渗透，并已广泛应用于各种应用领域，包括面部识别，策略游戏和问题解答。但是，模型的有效性和训练过程的效率在很大程度上取决于相关数据的管理水平。在没有正确标记训练数据的情况下，训练有效的基于深度学习的图像分类器非常具有挑战性。此外，大量的训练数据，模型

223、的复杂结构和超参数的调试会严重影响训练效率。缺乏对结果数据的验证和解释也严重影响了模型的适用性。香港科技大学陈雷教授从三个层面对管理数据以进行快速和高效的深度学习进行解读：1.通过数据提取、集成和数据标记为有效的DL准备数据；2.通过数据压缩和计算图优化优化DL训练；3.利用模型训练过程中路径分析描述增强模型可解释性，以使模型更加健壮和透明。安波教授团队针对有对抗的人工智能应用场景，分别从基于博弈算法和强化学习的角度展开了一系列研究，通过深度学习技术提升了算法的性能和计算效率。目前该领域还处于起步阶段，有很广阔的研究空间。报告二：大规模共享出行中的群智计算童咏昕|北京航空航天大学计算机学院教授

224、由智能出行到共享经济，任务分配都是群智计算的核心。近年来随着移动互联网与共享经济模式的普及，以网约车为代表的共享出行类服务得以快速发展，同时其也为大规模群智计算带来全新挑战，即如何将线上大规模动态出行任务智能地分配给线下出行服务群体。北京航空航天大学童咏昕教授介绍了群智计算的背景与特点，并通过近年来其团队与产业界的合作案例，重点介绍了一种结合组合优化与强化学习的新思路，并详细分享了基于该思路的共享出行任务分配方法。该方法在最大化平台收益的同时兼顾了司机收益公平，有效提升了平台效用及司乘体验。报告三：分布式联邦学习中的群体智能及其应用范力欣|深圳前海微众银行人工智能首席科学家联邦学习以数据不动模

225、型动,数据可用不可见的方式解决数据使用及隐私保护的两难困境，并在金融服务领域实现多项实际应用。在大多数行业中，数据是以孤岛的形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，如何在满足数据隐私、安全和监管要求的前提下，让人工智能系统能够更加高效、准确的共同使用各自的数据，是当前人工智能发展的一个重要课题。联邦学习以数据不动模型动，数据可用不可见的方式解决数据使用及隐私保护的两难困境。微众银行人工智能首席科学家范力欣博士介绍了联邦学习的基本思想、核心技术及其应用领域，剖析了联邦学习在营销、信贷、资产管理等金融服务中的实际应用。并且指出成本是普惠金融实现的关键，AI算法通过闭环的自动学习机制

226、可以持续降低服务成本。报告四;群体智能在机器人物流场景中的应用谭文哲|北京极智嘉科技有限公司副总裁群体机器人的物流场景应用是新时代运输供应链条的基础，是提升社会运行效率的重要保障。物流是现代社会生产的基本环节，近年来互联网经济的发展正对大规模物流提出端到端服务，个性化需求，快速分拣等新的需求。在智能拣选、智能分拣、智能搬运、智能存取等物流领域中，基于多机器人协同的智能物流模式具备高智能、高效率、高柔性的特点，是未来的发展新趋势。极智嘉（Geek+）副总裁、AI研究院负责人谭文哲博士介绍了将机器智能、系统智能以及数据智能结合所搭建出的RaaS（Robot as a service）机器人服务网络

227、，并结合案例重点介绍了在小批量、多品种、快翻单模式的智能柔性生产中群体智能机器以工人为中心，根据其技能特点进行工作的分配优化，提高了生产效率以及工人的工作满意度；以及应用同质异步多智能体深度强化学习进行路线规划和交通管理的新型决策规划，可以错开时间的因素，通过预测避免拥堵。大大提高了仓库分拣效率。群体智能论坛群体智能论坛群体智能论坛群体智能（Swarm Intelligence）原本是生物概念，指在集体层面表现的分散的、去中心化的自组织行为。目前，群体智能在大规模共享出行、机器人物流场景中都有很广泛的应用。在“群体智能”论坛上，论坛主席北京航空航天大学教授吴文峻，以及来自学界和产业界的专家针对

228、群体智能的应用和实践进行了报告分享。10:30-10:40 休息6061主席和主持人:刘知远|清华大学，智源青年科学家主席和主持人:黄 高|清华大学，智源青年科学家主席和主持人:兰艳艳|清华大学，智源青年科学家青年兴则国家兴，青年强则国家强。青年科学家作为科研界未来的中流砥柱，引领着一国乃至世界未来的科技创新和发展。如何更加有效地帮助青年科学家，将更多精力投入到真正感兴趣的科研当中，一直以来都是北京智源人工智能研究院（以下简称“智源研究院”）积极探索和实践的方向。在过去两年多的时间里，智源研究院通过“智源学者计划”先后支持了近百位AI青年学者，助力他们在所感兴趣的领域开疆拓土。但这远远不够，A

229、I领域的优秀青年人才千千万万，他们广泛分布在海内外，研究方向千差万别，缺乏广泛交叉合作，面临早期学术生涯压力，多数在以“单枪匹马之姿”探索智能的本质。智源研究院认为，未来人工智能领域的重大突破极有可能产生于交叉领域，广泛促进这些各方向最充满干劲的青年科学家进行深度交流和合作，在一定程度上减轻他们的学术压力，推动学者间的协同合作，将对整个人工智能社区产生极大意义。基于此种思考，在近日举办的 2021 北京智源大会上，智源研究院正式发布成立了AI青年科学家俱乐部“青源会”。它以“智源青年科学家”为核心，为海内外AI青年科学家和技术人员打造一个开放包容的研究社区，建立一个适合青年人才进行学术研讨和思

230、想碰撞的平台。围绕这一目的，青源会将积极探索四大使命：1、增进青年学者交叉方向交流合作，孕育有引领意义的创新成果；2、帮助青年学者克服早期生涯压力，提供展示才华与风貌的平台；3、构建开放、包容的新型研究社区，发挥青年学者间的协同效应；4、鼓励探索面向学科重大问题与挑战的新思想、新方法、新途径。青源会将采用“同行会员邀请入会”制度，入会资格仅有一条：“认同青源会理念与使命，国内外在相关领域取得过重要原创成果、有一定学术影响力的人工智能领域青年科学家”。这一要求使得青源会将成为一个不限地域、不限国别、不限单位的开放社区和平台，成为全球最优秀的AI青年科学家的聚集地和交流社区。入会成员将享有一系列相

231、应支持和权益。除了提名邀请新会员之外，还包括：青源学术年会青源学术年会青源学术年会在首届“青源学术年会”中，由智源研究院理事长张宏江博士发布，正式成立了AI青年科学家俱乐部“青源会”，致力于尽一切所能帮助AI青年科学家，开心探索智能本质。随后由清华大学计算机系教授、智能产业研究院副院长刘洋以及数位青源会会员，包括华为诺亚方舟实验室研究员黄维然、西湖大学助理教授蓝振忠、微软亚洲研究院研究员胡瀚、北京邮电大学助理教授王啸、腾讯微信模式识别中心高级研究员林衍凯、中国人民大学高瓴人工智能学院长聘副教授赵鑫、北京大学计算机系研究员施柏鑫等人，分别围绕自监督学习、图神经网络、青年科研人员成长之路等方面做分

232、享报告和圆桌讨论。支持会员共同发起创新研究和创业项目。青源会将不定期开展成员深入访谈，以促进创新想法的落地，推动成员之间在研究和创业等方面的协作。例如我们基于已开展的成员访谈，已经或即将落地的协作项目包括中文开放评论平台（Open Review+PeerPub）、基于Web技术的新一代论文发表与期刊出版平台、新兴研究领域（动态神经网络等）、交叉领域研究（AI+心理学、计算甲骨文等）、开源基础软件（基础编译器等）等。智源研究院提供学术空间与资源支持。举例来说，所有会员，无论当下在哪里就职，智源研究院将永远为他在北京留有工位；只要他来到北京，进行交流也好，访问也好，组织活动也好，即将落成的“智源大

233、厦”将永远为其开放相应的空间。发起和参与会员专属活动。经过前期的探索，目前青源会已经建立起一整套成熟的活动体系，包括青源Talk、Seminar、Live、Salon、Forum、Workshop以及学术年会等。所有青源会成员都有权益去发起和参与相应的活动，智源研究院将为这些活动提供相应的支持。学术研讨和学术出版支持。青年学者们在出版学术著作的过程中，往往需要处理一系列琐碎且自己不擅长的工作，这耗费了大量的精力。为缓解青年学者在这方面的压力，智源研究院将筹集“智源人工智能丛书”，为青源会成员提供相关教材和专著出版的支持工作，做到“学者只需把书写好”。青源会是一个开放的社区，其整体架构包括：1、

234、顾问委员会。青源会将邀请致力于构建全球科研社区，支持青年学者协同合作的国际专家担任顾问。2、青源会执委会。为维护青源会的日常服务工作，青源会设执委会主席1名，执委会成员 8 名左右。首届执委会成员通过邀请方式（后续将采取选举机制），共有6名。首届执委会主席为清华大学长聘副教授刘知远。其他几位执委会成员包括：清华大学助理教授黄高（机器学习与感知方向召集人），负责组织各类学术活动；中科院自动化所研究员张家俊（自然语言处理方向召集人），负责交叉研究的支持；清华大学研究员兰艳艳（信息检索与挖掘方向召集人），负责学术出版的合作工作；清华大学副教授翟季冬（体系架构与芯片方向召集人），负责荣誉和激励体系构建

235、工作；宾夕法尼亚大学助理教授苏炜杰（数理基础方向召集人），负责海外成员发展。3、青源会会员。首批会员共有 95 位。包括 37 位智源青年科学家以及 58 位海内外的优秀青年学者。6263青源学术年会青源学术年会6465青源学术年会青源学术年会4、荣誉会员。所有会员，40岁后转为荣誉会员。5、青源研究组。在要求比较“严格”的会员之外，为扩大“群众基础”，吸纳更多人工智能领域的老师和学生共同促进人工智能研究和社区的发展，青源会设立了“青源研究组”。青源研究组通过“申请-审核-邀请”制度加入，其成员有权益参加青源会各类活动，并有机会成为青源会正式成员。作为对青年学者最为友好的单位之一，智源研究院将

236、成为青源会坚实的后盾，为青源会提供全方位的支持。正如智源研究院理事长张宏江博士在发布会上所提：“对智源研究院来说，青源会让我们走出了北京，走到了全国，走向了全世界。智源研究院未来会大力支持，尽我们所能，来为大家争取更多的资源，让大家能够把精力更多地投入到科研里面去，投入到大家感兴趣的题目里面去。我想只要我们智源存在一天，我们就会努力支持青源会，支持它的发展和活动。”尽一切所能帮助AI青年科学家，开心探索智能本质。6667胡瀚梳理了前MoCo时代（2006年-2019.11），后MoCo时代（2019.12-2020.8），以及当前时代（2020.9-至今）各自的研究重点和主要代表性工作。胡瀚提

237、到，在前MoCo时代（2006年-2019.11）自监督任务百花齐放，但是最终脱颖而出的是2014年提出，在很长一段时间并没有引起广泛关注的基于实例区分的任务（Examplar CNN），并被MoCo发扬光大。在后MoCo时代（2019.12-2020.8），大家的主要关注点在于提升ImageNet-1K线性评估的准确率，短短8个月的时间，从MoCo的60.6%的top-1准确率提升到了75.3%，提升幅度达到14.7个百分点，涌现了SimCLR，BYOL，SwaV等经典方法，所在小组也提出了一个相比主流的两分支方法更简单但同样有效的单分支算法PIC。在当前时代（2020.9-至今），领域关注

238、的问题更加多元化，主要的研究热点包括：1）将自监督学习的重心回到更重要的下游任务迁移性能上来，研究如何提升下游任务的准确性。这方面所在小组贡献了像素级的自监督预训练方法PixPro以及物体级的自监督预训练方法SoCo；2）Transformer有望取代CNN成为视觉基本建模的主流模型，研究在Transformer模型基础上如何进行自监督学习。特别是自监督学习能消化更大的表示能力，以及Transformer拥有更强的表示能力，使得两者的结合非常有潜力。这方面的研究刚刚开始，已有MoCo v3和DINO等优秀方法，所在小组也贡献了一个相关的codebase(https:/ LeCun的蛋糕类比，认

239、为在众多学习范式中，自监督学习是比较接近婴儿认知过程的一种学习范式。最近两年，随着何恺明等研究员的MoCo方法证明自监督预训练在多个视觉任务中可以超越有监督学习后，自监督学习成为计算机视觉领域最火热的研究问题之一。报告四：图神经网络的两面性：特性与问题王啸|北京邮电大学，助理教授对图数据的研究是数据科学的重要基石。当下的深度图神经网络已经在节点分类等任务上取得了较好的泛化性能。一方面在消息传递机制的框架下，GNN 能够通过叠加图神经网络层很好地利用图的拓扑结构信息，从而使节点表征能够保留共性的低频信息。然而另一方面，我们应该如何进一步利用图中数据节点的特征结构？如何充分利用除了低频信息之外的其

240、他信息？是否能够找到图神经网络计算机制的统一公式？王啸的研究表明单纯利用特征信息，而不利用图的拓扑信息会使GNN性能下降，因此考虑同时构造拓扑图和特征图，并通过注意力机制学习更好的嵌入。此外，为了避免人为构造的拓扑图结构存在缺陷，王啸团队基于贝叶斯计算框架提出了一种自动学习图结构的网络。王啸团队发现，低频信号在同配性图上表现较好，在异配性高的图上表现较差，因此他们基于图信号处理技术设计了一种能够利用广义图注意力机制自适应地利用低频、高频信号的图神经网络。最后，王啸团队发现众多的GNN传播机制背后，本质上可以用一个统一的目标函数解释。在本次演讲中，王啸团队分析了当下图神经网络取得较好性能的原因，

241、分析了现代图神经网络在特征利用、滤波方式、传播机制等方面的不足。针对上述问题，其团队提出了多种解决方案，并给出了将各种 GNN 统一起来的理论框架。报告五：考虑拓扑结构的图神经网络学习林衍凯|腾讯微信模式识别中心高级研究员微信模式识别中心的林衍凯研究员分享了其研究团队在图神经网络学习方面的工作。如何更好地建模图拓扑结构信息对于图神经网络（GNN）学习至关重要，是一个非常值得研究但被已有GNN工作忽略的问题。在报告中，林衍凯针对图神经网络学习的三个重要研究问题，讨论了如何从图拓扑结构的角度对其进行思考：1）如何从拓扑的角度环节GNN存在的过平滑问题：林衍凯团队发现图的拓扑结构（同配性与异配性）会

242、影响图节点的信噪比，而这种信噪比与GNN的过平滑现象息息相关。根据这个发现，他们提出了一种衡量GCN网络学习是否存在过平滑现象的指标MADGap，并以此作为正则项帮助图神经网络在学习学习中修正过平滑现象。青源学术年会青源学术年会报告一：下游数据能帮助提升自监督学习吗？黄维然|华为诺亚方舟实验室研究员华为诺亚方舟实验室研究员黄维然博士分享了其研究团队在自监督学习理论方面的工作，并从理论角度分析了前置任务（pretext task）和下游任务（downstream task）的联系。自监督学习是无监督学习的一种，它通过自监督任务在无标签数据上学习通用的表征，学到的表征可以用于各种下游任务。目前，主

243、流自监督学习方法通常有三种：一种是基于生成模型的方法，一种是基于对比学习的方法，还有一种是基于前置任务的方法。在基于前置任务的方法中，前置任务设置的好坏通常会影响下游任务的性能。有研究表明，当上下游数据满足某种条件独立性的时候，自监督学习可以达到最好的性能，但是通常这种条件独立性很难被满足。一个自然而有趣的想法是，我们能否通过引入部分下游任务的数据，使得条件独立性成立，从而改善自监督学习的性能？研究者从理论上对该问题进行了分析，与通常的直觉不同的是，在某些情况下，引入下游任务数据不但不会提升，反而还会导致自监督学习性能的下降。具体来说，当下游数据较少时，使用下游数据进行训练反而会让自监督学习性

244、能变差。同时，研究者给出了两种下游任务样本数的下界，分别为依赖模型结构的下界和不依赖模型结构的下界。最后，研究者通过实验验证了上述的理论结果。报告二：预训练语言模型的前沿发展趋势蓝振忠|西湖大学助理教授西湖大学的蓝振忠助理教授在报告中主要从以下三个方面展开：第一方面，为什么全网络预训练模型如此重要？预训练语言模型在最新的研究和应用中表现出强大的语言理解能力，为自然语言处理打开了全新的局面，并推动了整个人工智能领域在预训练方法上的发展。第二方面，为什么语言预训练模型诞生得如此之迟？一是因为相比于CV，NLP有太多的任务，所以很难把它整合起来，现有的研究大多都旨在为不同的任务设置不同的网络。二是因

245、为预训练需要很多的资源，是一个很难的工作。第三方面，如何预训练一个有效的模型？（1）网络规模：越大越好，因为预训练学的是一些非常复杂的基础知识，现如今的数据量非常庞大，从神经网络角度来说，基本上是网络越大，其学习过程就越容易。（2）网络架构：现如今普遍使用encoder-decoder架构。如果是做理解类的任务，推荐使用类似于BERT的架构；如果是做生成类的任务，推荐使用类似于Pegasus的架构。除此之外，还有一些训练技巧，包括使用small word embedding，跨层的参数共享，取消dropout，使用talking-head attention等。（3）目标函数：Mask lan

246、guage modeling优于language modeling，span making优于random masking,SOP优于NSP，MLM+LM效果更佳。（4）预训练时长：持续长时间训练效果更好。68692）如何在图对比学习中考虑图中拓扑信息：林衍凯团队发现图对比学习的效果会受到类别信息在图拓扑结构分布的影响。针对这个问题，他们提出了一种基于 Group PageRank 的TIG方法来衡量节点获取的类别信息的清晰度和强度。基于TIG指标，他们动态地调整图对比学习在图上节点的强度，分别从损失函数、对比样例选取、对比样例构造入手，提出了一种考虑拓扑信息的自适应图对比学习方法。3）如何解

247、决图数据的拓扑分布不平衡的问题：林衍凯团队发现图节点分类任务中存在类边界漂移现象，这一现象是由于图数据的拓扑分布造成的。因此，他们提出根据图节点的拓扑不平衡程度对图数据进行重采样，可以有效降低类边界漂移现象对图神经网络学习的影响。报告六：基于图神经网络的知识信息建模与利用赵鑫|中国人民大学高瓴人工智能学院长聘副教授，智源青年科学家近年来，图神经网络技术逐渐被引入到知识图谱和推荐系统等研究领域中。在将图神经网络应用于推荐系统中时，直接对每个用户节点的偏好进行解离会使参数增多，受到数据稀疏的影响。其次，无监督的图神经网络使数据的可解释性较差。在评论生成任务中，如果有额外信息的约束，就会涉及到内容一

248、致性问题。在知识图谱融合方面，赵鑫团队讨论了会话式推荐任务中文本语义空间和结构化知识空间的融合问题，以及知识图谱与弱结构化信息的融合问题。为了解决用户偏好解离问题，并提升用于推荐系统的图神经网络的可解释性。赵鑫团队对人物交互图和知识图谱同时进行解离，使物体既可以与用户交互也可以在知识图谱中与各种实体交互。接着，赵鑫团队设计了一种结构化表征对齐方法，融合了这两种语义图。为了解决评论生成任务中的内容一致性问题，赵鑫团队借助知识图谱中的结构化语义信息，首先生成句子方案，进而生成句子中的内容，从而将该任务自顶向下分解。在会话式推荐的知识图谱融合任务中，赵鑫团队利用图神经网络对具有上下位结构的词进行编码

249、，并且基于互信息最大化融合两个图。在知识图谱与弱结构化信息的融合问题问题中，赵鑫团队基于用户行为数据的知识挖掘技术利用了弱结构化数据对知识图谱进行补全。赵鑫在演讲中首先对图神经网络在知识图谱上的应用进行了简要的介绍，并进一步分析了如何利用知识信息增强推荐系统的可解释性、如何融合知识信息从而更好地实现会话式推荐以及如何利用弱结构化数据进行知识图谱补全。报告七：科研技能提升讲座：如何撰写高质量科技论文刘洋|清华大学教授，智能产业研究院副院长，智源研究员清华大学计算机系教授、智能产业研究院副院长刘洋老师提出“信息为表，逻辑为骨，思想为心”的撰写高质量论文这一方法论。“信息为表”指信息传递，即读者看到

250、的是论文；“逻辑为骨”指信息的传递需要按照逻辑来进行组织，逻辑就是全文的骨架；“思想为心”指在论文中最本质最深层的应当是能够反映出作者的思想。针对行文布局，刘洋教授也提出了一些写作技巧：（1）摘要部分需要用语简单，让外行能看懂；（2）介绍部分需要对信息元素精心布局，行文逻辑严密，论证充分；（3）方法部分要掌握好 Running Example 这把利器，并且善用图或表；（4）实验设计部分需要先辅后主，采用公认的标准数据和state-of-the-art系统，同时不辞辛劳，做到极致；（5）相关工作部分需要把握传承与创新。撰写论文的本质就是分享思想、呈现信息。信息的呈现应当符合读者的认知惯性：深入

251、浅出，引人入胜；从而使得读者能够提高阅读时的愉悦感，快速获取认知。报告八：科研技能提升讲座：审稿视角下的计算机视觉论文从投稿到接收施柏鑫|北京大学计算机系研究员、智源青年科学家北京大学计算机系研究员、智源青年科学家施柏鑫老师介绍了审稿视角下计算机视觉会议论文从投稿到接收的整个流程。主要包括以下7个步骤：（1）投稿论文分发：由负责该会议的程序主席将投稿论文分发给各个领域主席;（2）推荐审稿人：各个领域主席一般推荐10名左右审稿人（参考论文匹配系统的推荐排序、作者的主页等），其中需要考虑有资历的学者和年轻审稿人在数量上的平衡，系统根据领域主席的推荐通过算法将论文分发给匹配的审稿人（一般每篇文章3-

252、4人）；（3）审稿人审稿：审稿人根据分配到的论文，对每篇论文给出有质量的评阅意见。在审稿阶段，领域主席会在临近截止日期的时候向审稿人催稿，同时查阅审稿人给出的评阅意见，在每篇文章收到至少三份合格的审稿意见后统一通知作者；（4）论文申辩环节：作者有一周的时间根据审稿意见，就审稿人对文章的一些误解进行有理有据的申辩；（5）审稿人讨论：在收到作者的申辩之后，审稿人将参考其他审稿人的意见和作者的申辩对每篇论文进行讨论，并及时更新最终审稿意见；（6）领域主席决策：领域主席根据审稿人的最终分数对论文的录取与拒稿做出推荐（每篇论文的决议需要至少两名领域主席的确认），对于评价具有分歧的每篇论文需要在领域主席会

253、议上进行讨论，统计好的论文录取结果上报给程序主席；（7）公布结果：程序主席汇总各领域主席的论文推荐意见、进行统计并公布录取结果。圆桌论坛：自监督学习黄维然|华为诺亚方舟实验室研究员蓝振忠|西湖大学助理教授胡 瀚|微软亚洲研究院研究员问题1：对比学习是CV领域自监督学习的主流方法，而在NLP领域中主流的做法是设置各种代理任务，为什么会存在这种训练方式的差异？是否可以通过一种通用框架将两者统一起来？胡瀚：NLP领域基于代理任务进行自监督学习是自然而然从对语言模型的研究发展而来。而在CV领域中，使用对比学习方式进行自监督学习主要是因为其最终的效果较好，但并不自然。未来可能出现将二者统一起来的框架。蓝

254、振忠：各种数据的形式和语义存在差异。NLP 数据往往是线性的，CV 数据是非线性的，而蛋白质数据则还包括三维空间信息。针对各种数据的自监督学习主要还是要考虑数据本身的特性。黄维然：在CV领域中，利用人的经验是十分重要的。对比学习本质是最大化互信息，而这样可以得到不同图片之间的共性特征。目前 在NLP领域如何更有效地使用对比学习进行自监督学习还有待研究。问题2：自监督学习和半监督学习有何异同？二者都采用预训练+微调的模式连接上下游任务。未来会延续使用这一范式，还是有所改变？黄维然：半监督学习也会用到大量无标签数据，但是在半监督学习场景下我们已知下游任务。而自监督学习可以在无监督的情况下，学习到一

255、个对多种下游任务都有效的模型。针对特定下游任务设计预训练模型可能并不是一种好的方式。蓝振忠：当预训练任务与下游任务较为接近时，预训练模型在下游任务上的拟合情况较好。未来，在获取预训练数据时可以使数据尽可能覆盖下游任务。胡瀚：自监督学习本质是在不考虑具体下游任务的情况下，学习出普适性的模型。而在半监督环境下，预训练过程和针对下游任务微调的过程交互性更强。未来，视觉领域也可能出现GPT-3这样的大模型，面对新任务无需进行微调。此外，自监督学习也需要将预训练过程与下游任务结合地更好。黄高：人类在大多数情况下不会针对具体任务重新调整神经元连接，使用通用的大模型是比较自然的方式。青源学术年会青源学术年会

256、（整理：沈林杉、沈磊贤、孙晨、熊宇轩、张虎、李向南）7071问题 3：在 NLP、CV 领域和理论层面上，自监督学习目前面临哪些难点和挑战？胡瀚：从CV 角度来说，当自监督学习面临千万级以上的数据时会遇到性能瓶颈，这与 NLP 领域的情况有一定差别。蓝振忠：CV 领域目前还不能使用与 NLP 领域相同的超大规模模型，目前还没有很好的方法可以让模型持续学习。而在 NLP 领域中，学到的知识的通用性并没有 CV 领域那么高。黄维然：目前自监督学习领域仍然是算法先行，尚未形成指导算法设计的系统理论。就难点而言，由于自监督学习的上下游任务关系很难建立，因此在训练时缺乏评价模型泛化能力的指标。目前一般需

257、要假设上下游任务中数据分布相同，才能进一步做理论分析，得到泛化误差。此外，需要从优化的角度分析自监督学习的收敛性。从来理论的角度来说，目前我们还没有能够将最简单的自监督算法分析透彻，我们需要能够对这些算法进行理论解释。问题 4：Transformer 的提出对自监督学习会带来哪些变化？胡瀚：二者是黄金交叉，Transformer 具有很强的表达能力，而自监督学习正好需要利用这种表达能力。蓝振忠：随着数据量的增长，将 Transformer 引入自监督学习领域可以得到更好的效果。主要的好处在于可以优势互补，将 CV 和 NLP 的研究更好地融合。黄维然：究竟怎样的网络架构更适合自监督学习仍然有待

258、探究，未来也许可以借助 NAS 等手段，设计专门服务于自监督学习的网络架构。问题 5：悟道 2.0 等大规模模型的成功对自监督学习有和启示和影响？蓝振忠：在 CV 领域中，我们可以借鉴 NLP 领域的做法，向网络中注入更多的知识。胡瀚：目前 CV 领域的研究可以借鉴很多 NLP 领域的思想。在自监督学习任务中，我们希望模型能够理解所有的视觉信号，包括图片、视频，需要将视觉信号与自然语言建立联系，并且增大其对语义的覆盖面。比较看好视觉大模型是未来 CV 研究的必经之路。问题 6：实现跨模态自监督学习有哪些技术路线？如何让人工智能像人一样学习？胡瀚：人类在学习视觉和语言的过程中，最终会将二者耦合起

259、来，但是对不同模态的学习往往存在先后顺序（例如，先视觉后语言）。而机器可以同时具备对多种模态的信息处理能力。黄维然：在对比学习范式下，使用语义信息可以有效帮助机器理解图像。然而，是否能够利用图像信息帮助 NLP 理解还有待探究。圆桌论坛：青年科研人员成长之路与经验分享主持人：兰艳艳|清华大学智能产业研究院研究员，智源青年科学家嘉 宾：赵 鑫|中国人民大学高瓴人工智能学院长聘副教授，智源青年科学家 施柏鑫|北京大学计算机系研究员，智源青年科学家 刘知远|清华大学副教授，智源青年科学家科研创新是当代社会进步的重要推动力量，需要一代代科研人员持续奋斗。在以“青年科研人员成长之路与经验分享”为主题的圆

260、桌论坛上，主持人兰艳艳（清华大学智能产业研究院研究员，智源青年科学家）和嘉宾赵鑫（中国人民大学高瓴人工智能学院长聘副教授，智源青年科学家）、施柏鑫（北京大学计算机系研究员，智源青年科学家）、刘知远（清华大学副教授，智源青年科学家）围绕着青年科研人员的成长与发展，讲述了各自的科研经历并分享经验教训；然后就职业规划、研究方向以及创新与灵感的挖掘等方面，对观众提出的问题给予了答复；最后展望了未来的技术发展趋势。分享科研经历刘知远认为学生与老师的互动要具有积极性、主动性，并以老师的角色指出老师希望学生主动抓住一切机会和自己研讨问题。施柏鑫提出科研要有提前量，从而留给学生和指导老师充分的时间完善文章。赵

261、鑫指出科研过程中的焦虑是由于对整个科研过程掌握不全面造成的，并进一步指出解决焦虑的方法是将科研过程中的方方面面做到标准。发现科研兴趣赵鑫讲述大四期间自己经常在图书馆阅读英文书籍，逐渐产生了对科研的兴趣。施柏鑫指出要想清楚自己感兴趣和不感兴趣的方向。刘知远通过对比自己的实习经历和科研经历，确定了自己的方向，并提出从激发热情、发挥潜力两个方面来选择适合自己的舞台。确定科研方向刘知远指出科研是一个厚积薄发的过程，初始阶段要敢于探索，不断接受外界的反馈促进自己的思考，进而调整自己的方向。施柏鑫同样认为科研先找到一个主题做下去比较重要。赵鑫提到科研要开放眼界，顺应科技发展的潮流，勇于接受新技术。兰艳艳补

262、充了对趋势的理解，指出不建议选择当下的热门方向，而是更多关注未来趋势的发展。挖掘科研创新赵鑫指出科研工作需要更多地关注数据，从数据中发现问题。施柏鑫提到在文献阅读中进行归纳和总结，并从中找到突破口。刘知远指出科学研究要有类比的思维，在相同的方法应用到不同的领域过程中发现创新的思路。探索学生培养刘知远认为在指导学生进行课题选择时，不去扎堆研究热门课题，而是倾向于研究新的有价值的课题。施柏鑫指出研究初期会帮助学生快速建立信心，逐渐培养学生研究具有挑战的课题。赵鑫指出学生在科研过程中要学会判断自身工作的意义与价值。分享未来趋势刘知远表达了他对P-tuning强烈的兴趣，并进一步指出大模型和P-tun

263、ing的结合是未来的一个方向。施柏鑫从计算机视觉的角度出发，认为未来视觉感知技术的进步需要传感器侧、图像获取侧、算法侧共同努力才能实现。赵鑫同样关注预训练的方向，关注大模型在具体任务中的表现。兰艳艳更关注AI+生命科学，并呼吁大家关注新兴学科、交叉学科的发展。青源学术年会青源学术年会报告一：AI for ChildrenSteven Vosloo|联合国儿童基金会数字政策专家7273人工智能伦理、治理与可持续发展论坛人工智能伦理、治理与可持续发展论坛2019年北京智源人工智能研究院联合北京大学、清华大学、中国科学院自动化研究所、中国科学院计算技术研究所、新一代人工智能产业技术创新战略联盟等高校

264、、科研院所和产业联盟，共同发布 人工智能北京共识 以来已整两年。共识 作为人工智能产学研界的共同理念向全国和全世界发声，得到了广泛的关注。两年来我们通过前两届的智源大会AI伦理与可持续发展论坛为全球人工智能伦理、治理与可持续发展前沿创造了国际化的交流平台，并将来自中国产学研界的声音与实践融入全球蓝图。近两年各国政府和政府间组织、联合国相关机构发布的人工智能伦理相关原则已使全球人工智能伦理逐步形成重要共识。通过敏捷自适应治理使人工智能赋能可持续发展目标的实现，不但作为核心理念写入 国家新一代人工智能治理原则，更逐步成为全球共识。然而，从原则到实践与实现必将经历艰辛的探索，如何在实践中平衡发展与治

265、理不仅仅是政策制定者关心的核心议题，更是人工智能相关学者、从业者面临的重要抉择。在此背景下，本届智源大会将召开“第三届人工智能伦理、治理与可持续发展论坛”，由智源人工智能伦理与可持续发展研究中心主办，中科院自动化所中英人工智能伦理与治理研究中心、清华大学人工智能国际治理研究院协办。集结国内外学者，聚焦人工智能伦理与治理的核心理念如何进行技术与社会双落地的探讨，如何实现可持续发展与治理的深度协同。通过会议学术报告和圆桌论坛两种形式，从全球进展和中国贡献等不同视角分享并推进人工智能赋能全球可持续发展，助力实现人与人工智能、环境的和谐共生。Responsible AI:Deep Coordinati

266、on on Sustainable Development and Governance（负责任的人工智能:可持续发展与治理的深层协调）报告二：主题报告Wendell Wallach|耶鲁大学技术与伦理研究组负责人，卡内基国际事务伦理委员会高级研究员报告三：主题报告Danit Gal|剑桥大学未来智能研究中心研究员报告四：从原则 到实践，构建AI治理生态系统Arisa Emma|东京大学副教授，日本人工智能学会伦理委员会委员人工智能伦理、治理与可持续发展论坛报告五：从伦理清洗到伦理评估王国豫|复旦大学教授，应用伦理学研究中心报告六：人工智能伦理和治理的若干议题陈小平|中国科技大学教授，机器人实

267、验室主任报告七：人工智能治理：从正式规制到负责任研究与创新梁正|清华大学教授，人工智能国际治理研究院副院长报告八：人工智能技术赋能全球疫情防控朱旭峰|清华大学教授，清华大学全球可持续发展研究院执行院长报告九：联合国开发计划署的可持续发展目标张薇|联合国开发计划署助理驻华代表报告十：可持续发展视野中的人工治理郭锐|人民大学副教授，未来法治研究院社会责任与治理研究中心主任报告十一：智联社会：发展与治理的双螺旋段伟文|中国社科院研究员，科学技术哲学研究室主任7475人工智能的认知神经基础论坛报告一：History and recent advances of deep learning theori

268、es甘利俊一|帝京大学综合科学研究机构特任教授、理化学研究所荣誉研究员利用信息几何方法理解深度学习的泛化行为，解释深度神经网络的学习机制。日本理化学所荣休教授甘利俊一（Shun-ichi Amari）先生在人工神经网络的发展历程做出了大量跨时代的工作，其在1967年就提出了随机梯度下降算法，并首次将其用于多层感知机训练（类似工作深度学习之父Hinton等人在1986年才提出），在1972年就提出了联想式记忆模型（类似的工作由Hopfiel 1982年提出）。甘利先生用微分几何方法来解释概率模型学习，提出并发展了著名的信息几何理论来研究深度学习网络。在深度网络学习中，可训练参数数量远多于训练样本

269、数量，但是训练得到的网络却依然可以在测试集上表现出良好的泛化性能，而不是过拟合到有限的训练数据上去。如何理解这一泛化行为？甘利先生梳理了近年来领域内发展的一些重要的理论方法，如信号变换方法，神经正切核方法等，进而介绍了其自己基于信息几何方法对此问题的研究，从理论上证明了在一个超大的随机网络权值空间中，总可以找到拟合任意目标函数的权值点，该方法为我们理解深度神经网络的学习机制提供了核心的理论工具。报告二：Data-driven Simulations of Basal Ganglia MicrocircuitsJeanette Hellgren Kotaleski|瑞典皇家理工学院教授，卡洛琳斯

270、卡学院教授在高精度模型上探索大脑的通用智能，从大脑结构和功能入手探索通用人工智能的新方向。瑞典皇家理工学院Jeanette Hellgren Kotaleski 教授是欧盟人类脑计划的负责人，也是欧洲神经信息学领域的领导者。Jeanette教授在此次报告中详细介绍了欧盟脑计划中建立一个高精度基底核脑区模型的相关标准，以及如何在高精度模型上探索大脑的通用智能。基底核是大脑中多巴胺分泌最丰富的核团，在医学上和帕金森症密切相关，而人工智能领域目前最热的强化学习理论也来源自基底核的工作原理。Jeanette教授展现了如何从分子，细胞和神经回路的尺度上，精巧的还原了大脑运动和感知相结合的工作原理，成功模

271、拟了鳗鱼在复杂水流的情况下，以无监督学习的方式，实现自感知、自适应、自驱动，同时进行躲避障碍与向目标物体游动的行为。Jeanette的一系列工作均发表在顶刊PNAS上，代表了欧洲神经学界的大脑精细模拟学派如何从大脑的结构和功能入手，探索通用人工智能的方向。“大数据”、“大算力”和“大模型”，是近些年人工智能领域的热点词汇。在本届智源大会上发布的超大规模人工智能模型-“悟道2.0”，是目前全球最搭的超大规模人工智能模型，代表了通过“大数据+大算力+强算法”探索通用智能的最新成果。与此同时，在这个追求“大”的时代，是否还存在其他道路和途径，来促进人工智能的发展和迈向通用智能的前沿探索？生命是智能的

272、第一载体，在自然已经过亿万年的进化。作为代表自然界拥有最通用智能的生物大脑，可以通过低功耗和少量后天数据就能实现比现有人工智能更加通用及实现复杂环境下复杂任务的智能行为。因此，探索生物大脑智能认知的底层机理和复杂行为背后的神经科学基础，对于探索智能的本质、揭示心智的奥秘，迈向未来的通用人工智能研究具有重要意义。在智源重大研究方向“人工智能的认知神经基础”专题论坛上，该方向的科学家邀请了来自于美国、瑞典、德国和日本的四位国际顶尖科学家分享了他们在类脑研究领域的经验和最新成果，以及人工智能未来发展可能存在什么样的瓶颈及相应的解决思路。人工智能的认知神经基础论坛人工智能的认知神经基础论坛报告三：Hu

273、man brain works differently from Deep Learning technologyDanko Nikolic|Evocenta 人工智能和数据科学主管借鉴人类大脑在概念表征、情境信息处理等方面的工作机理，提高机器智能的感知和认知能力。曾任职德国马克斯普朗克脑研究所和法兰克福高等研究院，目前在人工智能领域创业的Danko Nikolic博士通过多个方面的对比研究阐述了大脑的工作机理和与深度学习的差异。这些差异使得一些对人来说很简单的事情对人工智能却很困难，也使得人工智能只能胜任特定任务，而不具备通用智能。Danko Nikolic对比了人工智能在所犯错误类型、对概

274、念的表征和理解、对情境的感知能力、学习的方式等各个方面与人脑的不同。指出这些不同使得人工智能在灵活性和泛化性上远远不如大脑，很难适应开放和未知的环境。另外，在智能的可扩展性方面，人类大脑与类人猿大脑相似，但在智能水平上有极大的提升，体现了生物智能系统良好的可扩展性。而当前人工智能水平的提升则需要巨量的资源投入，并且随着资源投入的增大其边际效益快速下降。类脑智能的研究需要进一步深入理解这些本质差异并提出有效的解决方案，才能在可预见的未来让机器达到人类的智能水平。报告四：Challenging Artificial Intelligence Vision Algorithms to achieve

275、 human level perfor-manceAlan Yuille|Bloomberg 特聘教授基于人类视觉感知机理设计和评估机器视觉算法，促进类脑视觉系统的创新研究。约翰霍普金斯大学认知科学系和计算机科学系Bloomberg特聘教授Alan Yuille教授师从霍金获理论物理学学位，后转向计算机视觉领域，曾获计算机视觉领域最高奖马尔奖（Marr Prize），是计算机视觉领域的权威。Alan Yuille教授认为，虽然当前AI视觉算法在特定数据集上超过了人类水平，但这是因为人工智能是非常好的应试者，能够利用数据集里面的统计规律性来提高在特定数据集上的性能，但这样的解决方案缺乏人类视觉感

276、知的鲁棒性和通用性。这在一定程度上由计算机视觉和机器学习领域当前普遍使用的研究范式造成。目前，人工智能视觉算法主要是基于有限的数据量并对其进行标注来训练和实现的，显然无法适应现实世界各种视觉认知任务的复杂性，相关算法对不常见的但后果严重的情况经常缺乏足够的鲁棒性和泛化能力，也对其他场景不具有可推广性。同时，传统的机器视觉算法和模型对标注数据的依赖让大家倾向于解决容易标注而不是真实场景下重要的问题。Alan Yuille教授认为，我们应该通过研究人类视觉感知的规律并使用更严格的性能指标来挑战和评估算法，例如采用与训练数据具有较大不同的分布外（out-of-distribution）测试集、探索新

277、的神经网络架构等策略，解决对抗性攻击、对环境信息过于敏感等算法弱点。尤其是向人类视觉学习，开发具有组合性的模型，这将有助于鼓励研究界开发出性能与人类视觉系统一样好或更好的算法。报告五：高精度模拟-生物智能涌现之基石马雷|智源生命模拟中心部门负责人通过高精度生物大脑模拟仿真，构建生命智能模型，探索新一代人工智能发展的可行路径。在此次论坛上，智源研究院生命模拟研究中心负责人马雷首次公开介绍了智源三大模型之一，“天演”生命模型。结合来自神经科学、信息科学等交叉科学的前沿技术，智源的“天演”生命模型旨在模拟仿真经历亿万年进化演进的生物神经系统和身体。通过搭建高精度模拟仿真软硬件系统，构建生命智能模型并

278、挖掘生物智能机制机理，逐步启发和探索新一代人工智能。大脑模型的规模越大精细程度越高，越能表征生物智能性，而当今大规模高精度仿真依然存在诸多瓶颈，其中最关键的挑战要数计算的复杂性，现有的超级计算系统难以承担大脑突触级别的超微精细计算。智源研究院充分发挥身为新型研发机构人才众多、机制灵活的优势，组建“天演“团队，勇闯这一人工智能研究前沿的无人区，开展原创性、非共识的探索性研究。智源“天演”团队已构建了一整套完善的工作流程，从数据、分析、计算、建模各个方面推动大规模高精度模拟仿真的实现，相关工作已取得重要进展：第一，推动神经结构重建的高精度电镜细胞膜标注数据集U-RISC开源开放；第二，研发了适用于

279、神经建模的通用神经模拟调优工具General Neural Estimator；第三，基于“天演”构建了超大规模的生物大脑模型（一百万神经元的小鼠纹状体），为欧盟脑计划已发表模型的6倍。7677新一轮科技革命和产业变革正在萌发，以深度学习和大数据为基础，以 AlphaGo 等为典型应用场景掀起了人工智能的第 3 次高潮。传统的基于统计线性化动态建模的人工智能，在处理复杂对象时遇到了可解释性、泛化性和可复现性等发展瓶颈,迫切需要建立基于复杂性与多尺度分析的新一代人工智能理论，我们称之为精准智能。论坛主席吕金虎（北京航空航天大学自动化科学与电气工程学院院长），嘉宾郑志明（北京航空航天大学教授，中科

280、院院士）、徐波（中国科学院自动化研究所所长，研究员）、吕卫锋（北京航空航天大学教授）和孙富春（清华大学教授）分别就各自领域下关注的问题进行了深入解读。人工智能的认知神经基础论坛对于大脑的大规模高精度仿真，可以类比于信息模型领域GPT-3对人工智能的推动，是未来新一代人工智能的重要发展方向。简单举例来讲，2019年，美国谷歌公司首次成功重建了果蝇大脑神经元3D模型。2020年，谷歌公布了果蝇“半脑”连接组。恰在论坛举办的当天（2021年6月2日），谷歌发布了史上最强人类大脑“地图”。智源在黄铁军院长的领导下，提前布局，组织精英科研团队，成立生命模拟研究中心，通过构建“天演”模拟仿真平台，使得大规

281、模生物神经网络的精细仿真逐步变得切实可行。在不久的将来，“天演”平台上将会孕育各式各样的生命模型，这将推动人类对于智能本质的探索，成为发展新一代人工智能的不竭源泉。圆桌论坛：AI与脑科学的错位 此认知非彼认知刘 嘉|清华大学教授，智源首席科学家陈良怡|北京大学教授，智源研究员杜 凯|北京大学人工智能研究院，助理研究员宋 森|清华大学研究员，智源研究员吴 思|北京大学教授，智源研究员余 山|中科院自动化所研究员，智源研究员建设生物智能开源开放平台，基于认知神经科学的研究理论、方法、数据和开源工具，探索实现新一代通用人工智能的可行路径。人工智能的发展得益于神经科学、认知科学等领域的重大发现，而目前

282、的人工智能与脑科学之间还存在一些错位，弥合这些缺口可能是解决当前人工智能某些不足的关键。在此次论坛的圆桌环节，来自智源研究院人工智能的认知神经基础方向的刘嘉、宋森、余山、吴思、陈良怡等智源学者及北京大学人工智能研究院的杜凯一致认为，当前的人工智能与大脑的神经计算还差距非常大，例如在在处理基本的视觉信息输入时，人工神经网络还依赖于对静态图像的学习，而人类视觉系统的神经网络处理信息是一个动态的过程。通过对认知科学、神经科学与计算科学等多学科的交叉研究，将现有认知神经科学等领域的最新成果、技术、研究工具和理论方法应用到人工智能中，模拟生物大脑，利用人工网络研究生物大脑的特性等，可以推动脑启发的人工智

283、能的发展，借鉴生物智能的研究，开辟通用智能研究的新路径。为了促使这一目标的尽早实现，专家们介绍了依托智源研究院平台资源建设的生物智能开源开放平台及相关研发进程：其中有包含斑马鱼全脑结构及功能像数据和人脑视觉认知的神经活动数据的生物基础数据库BioDB，涵盖众多不同人类认知行为任务数据的CogNet数据库，以及用于进行神经计算建模的BrainPy、DNNBrain等类脑计算开源工具箱等。相比于传统神经网络研发，智源生物智能开源开放平台将为从神经计算模拟，到类脑算法与模型研发，到实现特定认知实现等一个完整的多层面、多尺度的生物基础数据库和人类认知行为范式库。相关领域的研究人员、从业者可以通过对生物

284、脑内部认知过程的探索，比较生物智能与神经网络的异同，帮助我们了解大脑在实现特定认知功能的神经机理和认知范式，完善和革新现有的人工神经网络模型与算法，探索智能的边界和脑启发/类脑的通用智能研究新路径。编辑整理：智源“人工智能的认知神经基础”方向团队，生命模拟研究中心负责人马雷审核校对：智源“人工智能的认知神经基础”方向智源学者，生命模拟研究中心马雷、杜凯论坛主席:吕金虎|北京航空航天大学自动化科学与电气工程学院院长报告一：精准智能理论前沿与进展郑志明|北京航空航天大学教授，中科院院士以深度学习方法为代表的人工智能可解释性已成为制约当前人工智能发展的核心关键科学问题，这一瓶颈根源于复杂系统基本要素

285、之间的非线性关联关系，传统的统计与动态线性化框架无法准确有效捕获问题的数理本质，由非线性所导致的系统复杂性是当前人工智能发展的科学挑战。北京航空航天大学郑志明院士经过长期深入探索研究，提出面向复杂动态对象的人工智能精准智能理论方法，发展内嵌底层逻辑和数学物理内涵、融合非线性分析和复杂性科学的智能理论体系，对复杂数据系统建立内嵌数理的系统学习方法，研究数据系统的演化规律和科学发现。郑志明院士在本次大会上详细介绍精准智能的理论框架和成功应用，包括面向国际大型合作暗物质探测计划AMS-02所建立的内嵌扩散机理的复杂系统耦合解耦和演化学习方法，面向信息突发涌现的爆炸式渗流现象所建立的内嵌渗流系统的分支

286、性态发现和突变学习方法，面向网络信息超级传播者精准搜索所建立的内嵌局部拓扑形态特征的全局结构学习方法等。精准智能从复杂动态系统感知、认知和决策三个层次给出人工智能新的研究范式和系统主义理论框架，对于突破人工智能可解释性瓶颈、推动新一代人工智能纵深发展具有重要意义。报告二：类脑神经网络展望及相关数理问题的讨论徐波|中国科学院自动化研究所所长，研究员中科院自动化研究所所长，徐波研究员研究类脑神经网络及相关数理问题。围绕三大主义，已经提出了很多高效的人工智能算法，如“图神经网络”，融合了连接主义的“神经网络”和符号主义的“图计算”，同时实现了高维抽象和推理。目前人工智能距离人类智能水平还有巨大差距。

287、如连接主义的深度学习等仍然面临诸多待解决问题，如灾难性遗忘问题、无推理问题、大数据依赖问题。实现人类水平的人工智能，人脑是最直接的参照物，它很好的融合了几乎全部的人工智能理论学派，因此是绕过目前机器学习诸多困难问题的捷径。通过生物机制启发的类脑智能模型包括：类脑脉冲神经网络，希望在脉冲编码及生物学习等方面产生突破。类脑人工神经网络，希望在网络结构和学习优化方法上产生新突破。类脑脉冲神经网络可以从多尺度的生物结构、功能模拟中得到启发，构建满足生物合理性的类脑神经网络模型，如脉冲神经网络模型。脉冲网络深度借鉴了动力学突触模型，提高了信息复杂表征的同时，帮助快速学习、稳态信息保持等。脉冲网络的优势包

288、括：监督学习和非监督学习紧密融合、脉冲门控多尺度信息路由、丰富的多类时序信息处理。生物基础研究提供了可能的智能机制发现，类脑模型研究提供了“生物机制”好不好的实验验证，数学基础研究为深入理解类脑模型提供理论和工具保障。精准智能论坛精准智能论坛（整理：王田）如今，人工智能技术在智能感知领域已经取得了巨大的成功，基于深度学习的人工智能系统在计算机视觉、自然语言处理、语音识别等领域的感知问题上纷纷达到了超越人类的水平。然而，在推荐系统、问答系统等应用场景下，仅仅依赖于具备感知智能的机器仍然无法完全满足人类的真实业务需求。因此，认知智能 作为人工智能技术发展的高级阶段，旨在赋予机器数据理解、知识表达、

289、逻辑推理、自主学习的能力，使机器能够拥有类似人类的智慧，是颇有前景的研究方向，有望成为新的人工智能研究 主战场。在“认知智能”专题论坛中，来自阿里巴巴的林俊旸博士，清华大学戴国浩研究员和岑宇阔博士，搜狗搜索陈炜鹏博士，智谱AI张鹏博士，浙江大学杨洋教授分别介绍了其工作中 认知智能 的相关研究。在论坛之后，由AI TIME组织了第 26 期 AI TIME 论道，主题为：让机器像人一样“思考”还有多远？7879分布式社会治理智能系统初探吕卫锋|北京航空航天大学教授北京航空航天大学吕卫锋教授的研究，促进了分布式智能治理系统的进展。应对2020年突发新冠疫情，北航软件开发环境国家重点实验室进行了重大

290、公卫事件监测、预警、应急及产业分析，包括大数据疫情感知、大数据疫情预测、大数据仿真决策，为国家决策多部门、全链条任务提供支撑。存在的挑战在于，复杂系统随机性强，现有智能的可预测性大幅受限。数据基础设施薄弱，协同化受限于固有惯性。集中管控可以强效管控疫情，但成本巨大。需要构建符合我国社会治理现代化模式的新一代信息基础设施，实现协同化、智能化、分布式，降低治理成本，实现精准治理。社会治理现代化面临的主要挑战包括资源竞争矛盾，无序发展矛盾。社会参与者之间缺乏协作，形成囚徒困境，导致社会运行效率的下降，这种竞争不会随着社会发展而自动改善。社会组织条块分割过于零散，自扫自家门前雪，导致自身有序发展而自身

291、之外的部分无序发展。因此，基层治理单元需求可信协作，政府治理部门需求一网通管，群体治理演化需求群体智能，精准社会治理需求精准智能。相关的技术包括基于区块链的隐私保护和可信安全访问协作、以迭代精化为核心的群体智能度量计算原理和激发汇聚、基于分布式智能的新一代社会治理基础设施。在此基础上，构建基于区块链和精准智能技术的分布式社会治理智能框架，以治理单元为基础，共识机制组结构，迭代优化适时间。技能迁移与增强的基础问题及应用孙富春|清华大学教授清华大学孙富春教授研究了技能迁移与增强的基础问题。从心理学角度，迁移学习指人们利用先前经验知识进行的推理和学习。从机器学习角度，迁移学习指一个系统将其它领域相关

292、知识应用到本领域的学习模式。从数据角度分析，数据量大但标注数据成本高昂、训练一对一模型繁琐；从模型角度分析，个性化模型复杂、“云+端”的模型需作具体化适配、独立同分布假设不再适用、快速构建和强泛化能力要求高。如何基于已有的不同分布数据，快速构建模型，实现数据标定，是一个重要问题。机器人操作领域数据收集困难、学习算法样本利用率低、硬件损耗造成训练成本高昂等，因此需要迁移学习。核心是衡量并降低两个领域（源域和目标域）之间的分布差异，使在源域上学习得到的模型可以泛化到目标域。迁移学习的方法包括基于实例的迁移、基于特征的迁移、基于模型的迁移、基于关系的迁移等。技能直接迁移指的是将在源域任务训练所得策略

293、直接迁移应用到目标源任务。可通过真实场景图像语义分割、环境深度信息及坐标变化在线构建与任务相关的仿真环境，实现真实场景的等效虚拟化，并基于此仿真环境完成策略技能的自主学习。央视10套“透视新科技”节目采访展示清华大学机器人“多模态感知”的灵巧弹奏。未来的研究中，可以发展融入人类知识进行迁移、远域迁移学习、少数据迁移学习、终身迁移学习、在线迁移学习、域相似度衡量研究等。精准智能论坛论坛主席:袁莎|智源研究院副研究员报告一：超大规模多模态预训练林俊旸|阿里巴巴算法专家阿里巴巴达摩院智能计算实验室算法专家林俊旸介绍了超大规模多模态预训练模型M6（Multi-Modality to MultiModa

294、lity Multi-task Mega-transformer）的架构、应用及探索。（1）在架构方面，M6模型采用MoE技术路线，在中文多模态预训练方面已取得重要的进展，如今研究人员正在对模型进行改进，以探索将它扩展到英文领域。研究人员使用阿里内部自研框架Whale实现MoE层，并加入Gradient checkpointing、XLA优化、通信优化等系列优化后，模型在128张A100上测试速度能达到1440个Samples/s。（2）应用方面，M6在下游任务主要聚焦于生成任务，例如文本到图像的生成、图到文生成（描述、VQA等）及其他用法。沿用M6范式在Image Captioning上对英

295、文处理进行了一些尝试，M6已经取得了非常大的提升，目前在MSCOCO Image Caotioning Challenge榜单名列第一。研究人员发现，目前M6在生成任务方面还有很大的进步空间。（3）在探索方面，林俊旸及其研究团队从负载均衡、Top-k routing策略及capacity设计、超大规模模型验证及万亿M6实验方面，探索了M6 MoE模型效果的影响因素。测试发现，负载均衡可能不是一个非常重要的效果影响因素，Top-K routing策略中k的取值以及capacity设置对效果影响很大。研究团队经过分析后提出了简单的expert prototyping方案，则能在保证效率的同时提升效

296、果，尤其在大规模的模型上优势更为明显。在万亿M6的探索上，研究团队采用480 NVIDIA V100-32GB GPUs实现了万亿参数规模模型的训练，林俊旸也分享了相关的预训练经验，并提到上述方法能实现模型收敛的3倍加速林俊旸表示，MoE的探索目前还比较初步，后续值得做大模型的同学进一步研究。报告二：CogDL:图深度学习工具包岑宇阔|清华大学计算机系博士生戴国浩|清华大学电子工程系助理研究员清华大学计算机系博士生岑宇阔介绍了清华KEG、NICS实验室联合阿里巴巴、智谱AI、北京智源研究院等联合开发的开源图深度学习工具包CogDL。认知智能论坛认知智能论坛8081报告三：语义计算在搜索的实践陈

297、炜鹏|搜狗搜索研发总经理搜狗搜索研发总经理陈炜鹏指出为用户提供有价值的搜索看似简单，但背后的技术原理却并不简单。在开放的自然语言处理环境受语言复杂性和多样性影响，用户的查询和页面的描述之间通常都会存在着很大差异，对相关性计算提出了重大挑战。另外语言的含义也在动态变化，例如，大家搜索“斜杠”或“躺平”时，更多关注的是引申含义。为此，搜狗搜索将搜索问题分成召回、粗排、精排和问答四个阶段，通过语义计算和预训练技术来支撑。（1）预训练模型在样本受限的场景下，通过知识迁移，得到了较好的结果。在搜索场景中，利用用户点击行为，样本获取并不稀缺。搜索场景下预训练主要为了解决知识的冷启动和扩展的问题，为此搜狗开

298、启了大规模预训练的工作。依赖内容质量判断，大规模聚类去重的数据处理技术，基于对比学习和Cross Thought，搜狗在clue上实现了百亿参数规模模型对千亿参数模型的领先，在Clue总榜、分类榜、阅读理解榜、小模型榜四项第一名。（2）在语义召回方面，搜狗搜索更加关注向量模型能否更好的满足高时效的需求，以及建库和索引效率的平衡。针对语义召回容易产生的意图漂移问题，在模型和架构上做了针对性的设计。模型层面，主要采用距离度量和共享编码器。架构层面，融合倒排召回方式和语义召回方式得到的召回结果，从而保证结果的特征性和完整性。（3）在精排阶段，利用ATTENTION关系捕捉相关性的信号。在搜索场景里面

299、，依靠用户的点击或消费行为，建立非常海量的重要度、紧密度，同义词信息，采用多目标训练的方式，把这些信息融合到模型里面。（4）在阅读理解方面，分事实型问答和非事实问答，非事实问答居多，考虑到原始的HTML的页面里面有很强的HTML结构的标签，搜狗搜索模型利用HTML标签或标点符号把一个页面文本分段或分句，利用BERT模型做句子的表示，应用层次图网络的方式，进一步建模句子和句子之间的关系，从而取得更好的结果。陈炜鹏表示语义搜索仍有非常大的开阔空间。报告四：面向大规模知识图谱的预训练模型张鹏|智谱AI CTO智源AI的CTO张鹏介绍了一种面向大规模知识图谱的预训练模型相关工作。当前较火的预训练模型B

300、ERT、悟道、GPT-3等在自然语言任务处理上表现出了优越的性能，但在开放式问答场景中，有时机器会出现违反人类常识和知识的回答。针对这一问题，研究者们在预训练模型训练过程中引入知识图谱，帮助预训练模型掌握更多知识。基于以上思想，张鹏介绍了三个方面的工作：（1）异构实体网络的预训练模型OAG-BERT。该模型在训练过程中加入大规模学术知识图谱中的异构实体信息，在BERT训练过程中，将位置信息转换为二维，以助理解。在BERT模型基础上增加学术知识图谱中的实体语义表示，帮助模型学习更多实体知识；将BERT模型的一维位置信息转换为二维，以助模型学习实体上下文和位置信息；实现跨度感知实体屏蔽策略提升模型

301、对实体的预测能力。更进一步地，研究团队在原生OAG-BERT基础上做微调，提高模型在关注句子或篇章级语义表示的能力、长文本序列生成的能力和中文支持的能力。（2）预训练模型支撑的大规模知识图谱链接。研究团队基于自监督对比学习方法实现了多语言多源大规模异构知识图谱上的概念语义表示学习，获得了预训练模型SelfLinKG。通过优化，该模型在一些同义词链接、消歧等等问题上性能可提升25%以上。通过该模型研究团队在OAG（Open Academic Graph）图谱上链接融合了14个异构知识图谱数据，形成OAGknow知识图谱。OAGknow包含9300万学术概念、4200万跨源链接。（3）在学术和科技

302、情报方面做的工作。基于包括前述研究成果在内的核心技术，AMiner向用户提供了学术搜索、评审指派、期刊推荐、订阅推送、科技趋势分析等一系列服务，服务的底层是包括超过1亿科技人员的信息和4亿科技文献的科技知识图谱。张鹏表示，该研究团队的目标是希望运用这些研究，让机器像人一样思考。认知智能论坛现实生活中很多数据都是以网络形式存在，例如微信亿级规模的社交网络数据，如何设计一种高效的统计学习算法，来实现从超大规模的社交网络数据中挖掘出我们所需的知识便成为一个突出的问题。目前，在模型评估方面，图机器学习领域还没有特别完整的、统一的以及多类任务的评测数据集和相应的评估方式。针对这一问题，岑宇阔及其研究团队

303、研发出了CogDL图深度学习工具包。CogDL的核心逻辑是假设每种不同的任务都有一个统一的训练逻辑是假设每种不同的任务都有一个统一的训练逻辑，从数据准备、模型搭建、模型训练到模型评估，并提供experiment接口，用户输入参数即可直接进行测试，也可以加入自己的模型或数据集来运行。研究团队增加了一些图自监督学习算法，对数据集进行测试发现，在无监督表示学习的训练模式下，方法的结果已经接近有监督学习的效果，表明图自监督学习可能也是未来的一个重要的方向。在海量数据挖掘方面，研究团队通过Mini-batch方式训练图神经网络，并进行多卡拓展，4个GPU可达3倍以上的加速。在图神经网络的底层算力优化方面

304、，主要采用GCN和GAT两种模型，CogDL中GCN/CAT模型的核心部分只有几行，但是可以享受非常快的稀疏算子加速。CogDL图深度学习工具包的设计愿景是实现“易用接口、可复现性、高效计算”。清华大学电子工程系戴国浩老师指出CogDL面向图机器学习的工具包主要是针对图深度学习的场景。这里我们希望能够从底层计算的角度（特别是稀疏算子）为CogDL底层做高效算子支撑。但图本身具有稀疏特性，因此图深度学习系统与现有的深度学习系统存在差异。为此，该团队正在对三方面进行积极的积极尝试，一是在GPU上以图深度学习或者典型的图计算算子做稀疏算子支撑，较明显地提升了稀疏算子在GPU上的性能；二是为解决现有稀

305、疏算子和框架间存在的鸿沟问题，研究团队提出dgSPARSE wrapper，并在此基础上提供dgNN库，用来对图神经网络所使用的模块进行封装，从而大大简化图神经网络以及图深度学习开发者的代码量，提升开发效率；三是为保证在稀疏问题上持续具有性能优势，研究团队采取在并行中通过负载均衡的方式来保持优势。认知智能论坛报告五：Time2Graph:Revisiting Time Series Modeling from Perspective of Graphs杨洋|浙江大学计算机科学与技术学院副教授浙江大学计算机科学与技术学院副教授杨洋介绍了如何运用图结构对时间序列进行更好的表达，该研究名为Time2

306、Graph。对于医学等领域的图序列（如脑电波），如何刻画图序列背后的时序基因与每段时间序列数据的关联？针对这一问题，杨洋及其研究团队在Time2Graph中使用Shapelets的方案，来增强模型的可解释性。已有的工作更多关注静态Shapelets，为识别动态的、不同时段的Shapelets的物理意义，Time2Graph使用图来描述的方式来识别Shapelets的变化过程。Time2Graph更加擅长处理不平衡的场景，与传统时间序列模型和深度学习方法对比发现，在三个UCR公开数据集上性能提升不是特别明显，但在两个真实数据集上性能提升非常明显。Time2Graph工作分三步：挖掘Shapele

307、ts、构建图、图表学习。杨洋在最后介绍了三个Time2Graph的真实应用场景，其一是应用于国家电网窃电检测的场景，去年在国家电网的反窃电检测场景中，在浙江范围内检测到5800多个窃电案例，补交了大概624万的电费。其二是部署在阿里云上，用来监测阿里云上的常规服务是否会发生端口流量的异常。其三是与国家电网合作，通过用户用电量来判断该户是否有空巢老人。发布面向认知的搜狗学术-AMiner合作（整理：寇建超、AI TIME）8283【AI TIME论道】让机器像人一样“思考”还有多远？主持人：何 芸|AI TIME负责人主持人：袁 莎|智源研究院副研究员 许静芳|搜狗公司高级副总裁 杨 洋|浙江大

308、学计算机科学与技术学院副教授 林俊旸|阿里巴巴高级算法专家 张 鹏|智谱AI CTO由 AI TIME 举办的第 26 期 AI TIME 论道以 让机器像人一样“思考”还有多远？，作为 2021 智源北京大会 认知智能论坛 的压轴环节登场。此次活动由 AI TIME 负责人何芸与智源研究院副研究员袁莎老师联袂主持，特别邀请了搜狗公司高级副总裁许静芳、浙江大学计算机科学与技术学院副教授杨洋、阿里巴巴算法专家林俊旸、智谱AI CTO张鹏等相关领域的专家参与论道。与会嘉宾就 机器认知的定义、机器认知的能力、机器认知中算力、算法、数据、知识的角色、实现人类水平的机器认知的标志性事件 等问题展开了精彩

309、绝伦的讨论。何为机器认知？机器认知应该具备怎样的能力？作为搜狗集团的高级副总裁，许静芳从搜索的应用场景出发讨论了自己对认知智能的看法。在她看来，认知智能一直是搜索业务追求的目标。随着人工智能技术的发展，我们可以准确地识别语音、图像、文字，然而如果要想让搜索结果真正解决用户的问题，就需要理解用户的真正意图，这有赖于认知智能的发展。杨洋同样认为认知是相对于感知而言，人工系统不仅应该识别出当前接触到的信息，还应该根据以往所积累的经验和知识进行更深层次的联想和思考。林俊旸指出，机器认知主要需要具备逻辑推理能力。即使是 GPT-3 这种强大的模型生成的对话也有很多不合逻辑的地方，未来的机器认知技术需要在

310、算法层面上做到逻辑推理。在张鹏看来，我们不应该脱离于感知能力来讨论机器认知，感知是认知的基础，而推理能力是对知识的延续。此外，机器认知除了需要具备知识推理的能力，还需要具备学习能力。杨洋再一次谈到自己对机器的学习能力的看法。具体而言，具有认知智能的机器应该像人一样，具有归纳总结的能力，其学习的效率也应该最值得到提升，从而发展出边际效应不断递减的积累式的学习能力。在未来，集群中的机器需要能够提出一个目标，综合利用自身资源和其它相关资源，与其它机器协作完成既定的目标。机器认知是否需要常识和逻辑能力？张鹏首先发表了观点，他认为对于机器认知来说，包括常识在内的所有知识和逻辑推理能力是十分必要的。许静芳

311、对张鹏的观点表示了赞同。在她看来，人类在解决问题时，针对具体的输入，需要应用自身通过不断的学习积累的知识，通过 输入+常识逻辑推理 的方式来解决问题。同时，许静芳抛出了一个值得探讨的观点：机器需要常识和逻辑解决问题，然而对于机器而言，其解决问题的路径和方法是否应该和人一致，这种路径是否是最优的？杨洋认为机器并不一定需要我们人类所理解的 常识和逻辑。这是因为，常识和逻辑是人类对自己思维过程的一种翻译。机器在完成任务的过程中的思考方式可以与人类有所区别。人类之所以需要通过常识和逻辑将思维模式翻译出来是因为人与人之间需要协作，实现知识的传承。如果机器不需要与人类进行协作，也就不需要人类所理解的常识和

312、逻辑。林俊旸从推荐系统的角度出发，指出常识和逻辑推理能力对于当下的人工智能算法研究是十分重要的。推荐系统、自然语言处理领域的问答系统等应用都需要依赖于常识和推理技术实现可解释性。在机器认知领域，算力、算法、数据、知识将分别扮演怎样的角色？机器认知与人类认知达到同一水平的标志性事件将会是什么？林俊旸认为，数据本身对认知智能的影响是巨大的，例如在训练问答系统的过程中，高质量的训练数据可以有效提升生成对话的质量。在拥有了好的数据之后，能够有效利用大规模高质量数据的算法也至关重要。而在知识方面，我们需要探索如何将知识图谱与预训练模式更好地结合起来。此外，面对万亿级别大规模模型的训练，强大的算力基础十分

313、必要的。杨洋将算力比作机器认知的骨架、算法比作大脑、而数据则是机器所处的环境。他还畅想道，未来我们可能将知识、数据统一起来。而如果我们所创造出来的智能机器能够顺利通过图灵测试，则标志着机器认知与人类认知达到了同一个水平。许静芳通过生动的例子阐述了自己的观点。她将算力比作人的食物，数据比作人学习的素材，知识则是人类过去总结出来的有助于解题的规律。算力的竞争是人工智能发展的初级阶段，而优秀的算法需要能够利用数据举一反三，不断总结、创造知识。我们不应机械地将知识与学习过程分离开来，在学习的过程中应该动态地总结出知识。许静芳认为，机器自我意识的觉醒 将标志着它们具备了与人类相一致的智能。张鹏另举一例，

314、将机器认知比作一辆汽车，数据则是汽车的燃料，算力是车基本的机械结构。此时，算法是车的核心发动机，它与算力相辅相成。最后，要想使汽车正常行驶，还需要知识系统将数据、算法、算力融合起来。至于实现与人类同等水平的认知智能的标志性事件，张鹏老师同样也认为图灵测试是一个很好的标准。然而，在他看来，随着时代的发展，这种图灵测试应该更加严格，它需要能够应对不限场景、不限条件的开放式环境。认知智能论坛认知智能论坛8485主席和主持人:马维英|清华大学智能产业研究院 惠妍讲席教授、首席科学家报告一：人工智能赋能个体化癌症免疫治疗李明|滑铁卢大学计算机科学系教授滑铁卢大学计算机科学系教授，百蓁生物董事长李明做了题

315、为“人工智能赋能个体化癌症免疫治疗”的报告，阐述了用人工智能技术服务癌症免疫化治疗的创新。传统的个体化癌症免疫治疗流程中，寻找新抗原的阶段，存在周期长、准确性低、遗漏多、成本高等问题。针对这些问题，李教授发表了一系列工作。李教授团队首次将深度学习引入蛋白组学，提出了DeepNovo，实现了数据依赖采集（DDA）的肽段从头测序。在DeepNovo的基础上，针对数据非依赖采集（DIA）的肽段从头测序分析中，李教授团队提出了DeepNovo-DIA，展现出了高准确度和可靠性。为了有效地利用高分辨率数据而不大幅增加计算的复杂性，李教授团队提出了PointNovo，首次不依赖质谱仪精度，稳健地处理任何分

316、辨率的质谱数据同时保持计算复杂度不变。李明教授团队在此前工作的基础上继续推进，提出了个体化新抗原发现方法，对于不同的病人采取个性化的分析。针对已经发现的新抗原是否有效问题，李教授团队提出了DeepGenic，检测其免疫原性。李教授团队还推出了DeepImmu平台，使用质谱仪即可进行更为准确、快捷且价格更为低廉的抗原表位鉴定。李教授同时表示人工智能在癌症免疫化治疗方面有很大的潜力，人工智能方法将更广泛地走入传统湿实验室。报告二：结构性和功能性基因组学的机器学习算法马剑竹|北京大学教授北京大学教授马剑竹做了题为“结构性和功能性基因组学的机器学习算法”的报告，阐述了将人工智能技术用于蛋白质结构和功能

317、预测的相关工作。近年来，从氨基酸序列预测蛋白质空间结构成为主流的研究。基于同源蛋白模板匹配预测空间结构，是较为可靠的方法。与进化过程蛋白质序列变化相比，蛋白质空间结构的变化更具有保守性，存在多种蛋白质序列对应相似的空间结构。因此，如何表征蛋白质序列空间距离对于蛋白质空间结构预测非常重要。马教授提出了一种条件随机场的概率图模型实现更准确地进行蛋白质序列与模板匹配方法。该方法将已知结构的蛋白做堆叠，得到真实的联配方式，以真实联配方式的分值最大化为目标来训练神经网络。在原有方法的基础上，马教授继续做了改进，将现有的联配与真实的联配的距离用两种联配对应表格中路径围成的面积来度量，以面积最小为目标来训练

318、神经网络。对于蛋白质功能预测问题，马教授提出了一种基于元学习的蛋白质功能预测方法。该方法利用元学习的方式在多种同源蛋白质族中学习一种通用的数据表示，当一种只有少量已知肽链的新蛋白质族出现时，利用少样本学习，学习针对该蛋白质族的特征表示。报告四：以计算之矛攻新冠之盾刘铁岩|微软亚洲研究院副院长微软亚洲研究院副院长刘铁岩从机器学习的角度，通过构建新的模型探讨了如何运用计算的手段对新冠疫情的发展情况进行预测和治疗分析。面对新冠疫情，很多单位提供了预测的模型，基于经典的SEIR模型，通过简单的微分方程的定义，尝试对新冠疫情进行预测，但这些模型没有较好的机制处理复杂的数据，无法考虑管控措施、医疗设备的运

319、用状况，也没有考虑各个疫情相关地区之间的关系。基于之前模型的不足，从流行病学和病毒学角度入手对新冠疫情进行分析，刘铁岩等人构建了更为复杂的模型。该模型有以下几个特点：为了更好预测新冠疫情，使用contextual parallelization，以达到数据多样性和充分性的平衡；引入了空域建模，使用Sparsely-Connected Graph Network，自动化地决定各个地区之间在疫情方面的连接强度，并反映各 个地区之间疫情共进化、共变化的作用；考虑到面对疫情时政府执行力度和强度的不同，引入Intervention and Hospitalization Modeling,研究同一个管控

320、措施在不 同区域的不同执行程度。刘铁岩还从病毒学方面介绍了新冠病毒感染人体的路径，以及spike蛋白的三聚体：RBD、NTD、S2。此外，通过构建大型分子动力学系统，得出了“有效控制NTD会对RBD的运动有影响，NTD作为有效靶点，有利于抗击疫情的制药研究”的结论。刘铁岩等人建的新模型在所有的模型中表现最好，有很高的解释性，为未来的深度学习以及对新冠疫情未来的走势和管控提供了一定的思路。报告三：Decoding the Human Genome Structure and Function马坚|卡耐基梅隆大学教授机器学习技术可以促进对分子生物学、生物医学的理解。其中，基因组学有潜力促进高精度的

321、个性化医学诊疗。然而，基因组学分析存在以下难点：需要处理高维、多模态数据；需要理解生物系统相互关联的本质；基因组的组织结构和功能存在动态性和异构性；我们对基因组起作用的方式还不够了解。因此，我们在实现基因组学的自动化、整合多模态数据、利用基因组学进行预测等方面有很大的研究空间。人体内有超过 200 种不同的细胞，马坚教授团队试图利用机器学习技术识别基因组组织的模式、分子机理、功能影响，从点突变、大规模变异、染色体组织，细胞-细胞间的通信、组织环境等方面理解基因在不同细胞中的结构和功能。近年来，许多科学家基于 Hi-C技术得到的数据分析染色体的空间结构。然而，马坚教授团队认为 Hi-C 子隔间并

322、不能显式地识别多个亚核结构的隔间模式。为此，他们提出了名为 SPIN 的基于概率图模型的方法来推断细胞核中染色体的空间定位模式，该模型的输入为基因组学数据和 Hi-C 数据，输出为三维的染色体空间位置。文章今年发表在Genome Biology。为了探究染色体和其它细胞核组成部分之间的交互，马坚教授团队去年在 Genome Research 杂志上发表的封面文章探讨了异构互作用组模块（HIM），提出了 MOCHI 算法，基于网络模体（motif）聚类技术挖掘异构互作用组中的基因和转录因子之间的 HIM 模式。此外，为了研究单核、单细胞级别的三维基因结构，马坚教授团队基于超图表征学习技术提出了

323、Higashi 模型，将单细胞 Hi-C 数据建模为超图，生成不同类型细胞的嵌入，综合利用嵌入和归因图（imputation）生成基因组空间结构。该模型被用于分析人类额叶皮层的单细胞 Hi-C 数据。马坚教授团队将概率图模型、图神经网络、超图学习等技术用于基因组学分析，探究了染色体空间分隔模式、异构互作用组模块交互模式、单细胞三维基因结构建模等问题。AI赋能生命健康与生物医药论坛AI赋能生命健康与生物医药论坛AI赋能生命健康与生物医药论坛过去一年，防疫为全世界的研究者带来了关乎生命健康的大考，AI在生命科学、生物制药、基因工程、健康计算、个体化精准医疗等领域的应用已经深入人心。在AI赋能生命健

324、康与生物医药论坛上，主持人马维英（清华大学智能产业研究院 惠妍讲席教授、首席科学家），李明（滑铁卢大学计算机科学系教授），马剑竹（北京大学教授），马坚（卡耐基梅隆大学教授），刘铁岩（微软亚洲研究院副院长），闫峻（医渡云首席科学家），袁洋（清华大学助理教授，智源青年科学家）等国内外知名嘉宾共同探讨相关领域面临的机遇和挑战。（整理：袁洋、路孟康、熊宇轩、蒋宝尚）8687报告五：数据与知识驱动的AI赋能生命健康研究闫峻|医渡云首席科学家医渡云首席人工智能科学家闫峻做了题为“数据与知识驱动的AI赋能生命健康研究”的报告，阐述了人工智能在医疗文本数据的相关研究与应用。针对医院系统数据的多源、杂、乱等问题

325、，医渡云构建医院智能集成系统，对接医院全系统对接并整合异源异构数据，同时构建患者的跨系统唯一识别标识，以保证患者数据准确性及快速检索，助力分诊转诊的实施。医渡云利用知识图谱提出了“因数健康”的服务模式，以效果导向的五维数字疗法，通过医疗人工智能平台的核心能力，以患者疾病指征为中心，搭建五维保障服务。五维保障服务包括（1）AI溯源：通过AI精准溯源病因，评估风险因子，精准诊断分型；（2）一人一策：根据诊断结果，定制个性化营养、运动、行为疗法；（3）三师共管：资深营养师、全职医生、健康管理师三师团队，构建数字疗法服务新生态；（4）人性服务：每日膳食处方建议、运动处方、患教内容、打卡点评以及个人的每

326、周总结报告；（5）收益量化：对用户的疾病指标达标率、疾病逆转率、合理用药依从性等综合分析，根据用户的具体情况评估诊疗效果。主持人:曹岗|智源研究院常务副院长主持人:李强|高瓴创投合伙人报告一：智源源创计划发布张宏江|智源研究院理事长智源研究院张宏江理事长发布“源创计划”，旨在支持人工智能领域创业项目加速，促进AI原创成果转化落地。“源创计划”通过整合技术、人才、场景、资金等资源，为AI创业团队开放大规模智能模型和数据集等生态资源，使AI创业之路更加平坦，实现从AI源头创新到源头创业的跨越！科学家创业之路。张宏江提到，受益于中国广阔市场及一系列支持政策，当今中国是科技创业最好时代，真正进入技术创

327、新和技术创业时代。在智能化时代，AI会像电力一样为各行业赋能，使得产业决策机制产生了根本变化，智能变成中间一个非常核心的能力，这为AI科学家创业带来巨大机会。科学家们需要把握住这种机会，使这些资源能够变成创业资源。同时，他提出，对于科学家创业，需要注意客户需求、技术与产品鸿沟、尊重商业规律、了解自己能力边界、把握创业节奏等方面，这些也可能适用于任何创业者。“源创计划”：加速从AI源头创新到源头创业的实现路径。“源创计划”将发挥智源研究院独有的AI生态优势，提供资金、空间、AI人才网络、智能模型、数据集等资源，为学术界和产业界的AI创业团队提供最专业的加速服务。其中，为学界AI科学家提供一对一的

328、创业导师辅导、对接应用场景，推动产品加速或者加速产品技术迭代；为产业界创业者或者传统企业，对接AI技术、首席科学家及AI工程师等资源，加速企业智能化发展。“源创计划”首批成员招募开启。“源创计划”面向有融资需求拥有AI核心技术的研究人员，或者需要AI赋能的传统企业，开启首批成员招募。申请时间从6月3日开始，7月30日结束。官网投递项目地址：https:/ 的AI创业与投资李强|智源研究院理事长高瓴创投合伙人李强介绍了他们在“超摩尔时代”的AI投资理念及实践。李强表示，高瓴作为一家“total solution capital”，覆盖了早期、VC、PE、Buyout等全阶段，可以为投资企业提供全

329、周期、全阶段的资金和解决方案。科技创新是高瓴现阶段最重要的投资主题。去年高瓴推出了独立VC品牌高瓴创投，希望能够更加专注寻找和支持技术产业的创新方向，激励更早期的创业者。李强提到，人工智能在现阶段有两个变化值得关注：一是从“天上”到落地，人工智能赋能实体经济的场景在快速增长，这就要求创业公司更快地具备技术落地应用场景的工程化能力；第二个变化则来自底层核心技术的持续突破，在“超摩尔时代”，感知智能向更高阶的决策智能跃迁，越来越多的跨学科突破正在被实现。在高瓴看来，人工智能生产和服务的各个节点，比如数据工程、训练框架、打包部署、推理框架等都有投资机会出现，对此高瓴也在做持续的投资布局。除了提供不同

330、阶段的资金，高瓴还将自身定位为AI创业的连接器、催化剂、加速器，能提供帮助科学家拎包入住式创业服务，希望能支持到更多人工智能领域创业者。报告六：AI医疗的基础设施建设袁洋|清华大学助理教授，智源青年科学家清华大学助理教授袁洋认为，AI交叉落地困难，很大程度是因为人们的思维定式。工业革命刚开始时，很多人已经可以看到机器将替代人，但是大家对汽车是否会替代马匹却并不确定。汽车需要铺设大量的公路网，这并不是一件简单的事情。而马匹，却可以走任何道路，包括石子路、泥路、山路、崎岖的小路，等等。所以，马匹是否会被机器替代？如果替代，会是什么形式？是一匹能够适应各种地形的机器马（所以自动适应各种地形），还是一

331、辆只能在公路上开的汽车（所以必须进行基础设施建设）？历史选择了后者。袁洋教授认为，AI+X也将是一样的故事。现在很多人想象的AI医疗，所有的场景都没有变化，只是某一些部分使用机器替代了，例如AI读片，AI挂号等等。换句话说，医疗系统的基础设施没有发生本质变化，革命并不彻底。未来真正的AI医疗，应该是对医疗系统进行彻底地变革，使之非常适应AI算法，因此看病流程与模式将会很不一样。比如说，医生可能会花更多的时间与当前患者的相似病历打交道，机器可能会负责与患者进行交互式问诊，快速定位患者可能的问题。要搭建适合AI算法的基础设施并不简单。这样的基础设施建设不会发生在现有的医院，一定是在新生的医疗机构中

332、产生的。AI赋能生命健康与生物医药论坛AI创业论坛AI创业论坛人工智能经过十年的发展，如今已经成为经济发展的新引擎，AI创业的大环境也日渐成熟。智源研究院除了在基础研究上有重要支持，也同样在加快推进AI原创成果的落地，加快人工智能的深度应用，孵化AI创新企业，在人工智能产业发展中发挥智源力量。在智源大会AI创业论坛上，由智源研究院理事长张宏江发布了“智源源创计划”，意在挖掘、支持和扶持AI创业。主持人曹岗（智源研究院常务副院长）、李强（高瓴创投合伙人）以及嘉宾魏凡杰（北京科创基金投资部执行总经理）、李笛（小冰公司CEO）、星爵（Zilliz创始人兼CEO）、李戈（北京大学副教授 硅心科技创始人

333、）和胡渊鸣（太极图形联合创始人兼CEO）等针对AI创业投资的前景与挑战进行了深入的探讨和交流。8889报告三：北京科创基金在人工智能领域投资的布局及思考魏凡杰|北京科创基金投资部执行总经理魏凡杰是北京科创基金投资部执行总经理，他提到科创基金创业的初衷是通过引导投向高端硬技术、引导图像原始创新、引导落地从而帮助科学家创业，支持科技成果转化。科创基金集中于投入早期科研项目，为其对接产业资源，并与北京市的各大高校、院所合作，引导市场化的投资机构与知名投资人参与高校的成果转化，以在原始创新、人工智能领域不断加强与CVC合作为投资战略。科创基金的投资策略包含“2+4+X”，2指新兴技术，包括人工智能、半导体、生物医药、医药健康。4是装备材料，X是新兴技术探索、量子科技等。在人工智能领域，科创与中科院、联想创投、北大等合作发起和深度参与了人工智能基金、北京大学科技成果转化基金等。截止至2020年12月