《人工智能技术应用的网信安全新挑战-陈钟-北京大学计算机学院教授.pdf》由会员分享,可在线阅读,更多相关《人工智能技术应用的网信安全新挑战-陈钟-北京大学计算机学院教授.pdf(31页珍藏版)》请在三个皮匠报告上搜索。
1、人工智能技术应用的网信安全新挑战S&S Challenges with AI and Cybermatics陈钟Chen Zhong北京大学计算机学院 教授、元宇宙技术研究所所长Professor,Peking University,Director of MTI,School of CSCONTENTS目 录01.世界大变局下的安全与发展“网信事业”概念的提出,体现了互联网对于国家经济和社会发展的重要意义网络安全和信息化是一体之两翼、驱动之双轮,没有网络安全就没有国家安全,没有信息化就没有现代化02.人工智能案例分析与赛博学(Cybermatics:Safety&Security)人工智能自
2、动驾驶的两座大山:致命的L4和算法伦理道德与法律03.重塑数字信任、直面问题与挑战数字化转型需要新型数字信任理念与机制区块链引发的记账科技演进才刚刚开始,将促使商业协作和组织形态发生变革2 0 2 3 W E S T L A K ED I G I TA L S E C U R I T YC O N F E R E N C E01世界大变局下的安全与发展01.习总书记:我们正处在世界百年未有之大变局 习总书记主持第十九届中央政治局集体学习,2017年10月27日以来已经四十一次。第二次:2017年12月8日,主题:实施国家大数据战略加快建设数字中国 第九次:2018年10月31日,主题:人工智能
3、发展现状与趋势 第十八次:2019年10月24日,主题:区块链技术发展现状和趋势 第二十四次:2020年10月16日,主题:量子科技研究和应用前景 第三十四次:2021年10月18日,主题:推动我国数字经济健康发展 形势:世界百年未有之大变局 挑战:新科技革命和产业变革的时代浪潮奔腾而至,如果我们不应变、不求变,将错失发展机遇,甚至错过整个时代 机遇:新科技革命和产业变革是一次全方位变革,将对人类生产模式、生活方式、价值理念产生深刻影响。信息化为中华民族带来了千载难逢的机遇网络安全和信息化对一个国家很多领域都是牵一发而动全身的网络安全和信息化是一体之两翼、驱动之双轮,必须统一谋划、统一部署、统
4、一推进、统一实施。做好网络安全和信息化工作,要处理好安全和发展的关系没有网络安全就没有国家安全,没有信息化就没有现代化。超前识变超前识变积极应变积极应变主动求变主动求变01.党中央高度重视网络安全与信息化网信事业、数字中国 2014年2月27日,中央网络安全与信息化领导小组中央网络安全与信息化领导小组成立并召开第一次会议。习近平任组长,李克强、刘云山任副组长。十八届四中全会上决定完善网络安全保护方面的法律法规 2015年7月1日,中华人民共和国国家安全法正式生效(由第十二届全国人民代表大会常务委员第十五次会议通过的,国家主席习近平签署第29号主席令予以公布)将“建设网络与信息安全保障体系,提升
5、网络与信息安全保护能力”作为维护国家安全的重要职责。2016年11月7日中华人民共和国网络安全法于第十二届全国人民代表大会常务委员会第二十四次会议通过,2017年6月1日起正式实施。2016年12月27日,经中央网络安全和信息化领导小组批准,国家互联网信息办公室发布国家网络空间安全战略国家网络空间安全战略相较于2007年实施的信息安全等级保护管理办法所确立的等级保护1.0体系,为了适应现阶段网络安全的新形势、新变化以及新技术、新应用发展的要求,2018年公安部正式发布网络安全等级保护条例(征求意见稿),国家对信息安全技术与网络安全保护迈入等保2.0时代。2019年10月26日中华人民共和国密码
6、法于第十三届全国人民代表大会常务委员会第十四次会议通过,自2020年1月1日起施行。2021年6月10日中华人民共和国数据安全法于第十三届全国人民代表大会常务委员会第二十九次会议通过,自2021年9月1日起执行。2021年8月20日中华人民共和国个人信息保护法于第十三届全国人大常委会第三十次会议通过,自2021年11月1日施行。2021年7月30日中华人民共和国国务院第745号令,发布关键信息基础设施安全保护条例,自2021年9月1日起施行。01.网络安全标准化与制度建设快速跟进 2007年实施的信息安全等级保护管理办法所确立的等级保护1.0体系 2018年公安部正式发布网络安全等级保护条例(
7、征求意见稿),国家对信息安全技术与网络安全保护迈入等级保护2.0时代。适应现阶段网络安全的新形势、新变化以及新技术、新应用发展的要求。2021年7月30日中华人民共和国国务院第745号令,发布关键信息基础设施安全保护条例,自2021年9月1日起施行。(关基保护一周年)02人工智能案例分析与赛博学(Cybermatics:Safety&Security)02.赛博空间(Cyberspace)与赛博安全(Cyber Security)最早见于加拿大作家威廉 吉布森在其1982年发表的短篇小说融化的铬合金,并在1984年发表的小说神经漫游者中普及:将电脑直接移植入大脑的漫游者,实际上面临的就是全球的
8、计算机网络化,把人、机器和信息源联结起来的虚拟空间 美国国防部:赛博空间是通过网络化系统及相关的物理基础设施,利用电子和电磁频谱存储、修改和交换数据的领域 赛博空间是一个非常真实的物理领域,该领域由使用电磁能量的电子装置和网络化系统组成,并贯穿于陆、海、空、天领域而同时存在,通过对数据的存储、修改或交换连接各领域处理器传感器控制器赛博空间现实空间网络空间02.计算科学演进:计算机科学、信息科学、赛博科学m m-toto-1 1MCMC1 1-toto-m mUCUC主要目的主要目的(Main Purpose)Main Purpose)处理内容处理内容(Proc.Content)Proc.Con
9、tent)计算计算(Computation)Computation)信息信息(Information)Information)赛博赛博(CyberizationCyberization)数值/数据(Numbers/Data)媒体/流数据(Media/Stream Data)物+云(Things+Cloud/Edge)大型主机(Mainframes)个人计算机(Personal Computers)计算单元计算单元(Comp Element)Comp Element)内容/大数据(Context/Big Data)存在形式存在形式(Existing Form)Existing Form)Mark
10、 WeisersThree Relationsin ThreeComputing Eras基本行为基本行为(Basic Behavior)Basic Behavior)被动(Passive)主动(Active)交互(Interactive)大型(Large/Stationary)小型/便携(Small/Portable)不可见/泛在(Invisible/Ubiquitous)研究领域研究领域(Field of Study)Field of Study)计算科学计算科学=计算机科学Computer ScienceCS/CE/SE/IS/IT信息科学Information Science(Info
11、rmatics)赛博科学Cyber ScienceCyber Science-CybermaticsCybermatics-中心目标中心目标(Central Goal)Central Goal)快速精确(Fast/Precise)丰富即时(Rich/On-demand)感知自动(Aware/Autonomic)人 与 计算机的关系1 1-toto-1 1PCPC1991年马克 维瑟(Mark Weiser)在Scientific American上发表章“21 世纪的计算机”(The Computer for the 21st Century)02.Cyber Space vs Cyber C
12、ommand02.Panel DiscussionCybermatics is a holistic field for the systematic study of cyber entitiesand cyber-enabled worlds.Cyberization is the process for conjugationsof cyber entities with entities in conventional worlds with a suite ofCyber sciences including theories/technologies/engineering.AI
13、and Blockchain are two of the recent technology trends that arecatalyzing the pace of innovation and introducing radical shifts ineveryday life and every industry.How will they and other mergingCybertechnologiesimpactonCyber-XfieldsandaccelerateCyberization?This panel aims at providing an academic r
14、oundtable for scholars tobrain storming and discuss the topics include but not limited to:(1)Fundamental Problems of Cyber Sciences(2)Emerging and Promising Cyber Technologies(3)Disruptive Cyber-EnabledApplications(4)Governance and Evolutionary of the Cyber EcosystemThe Future of Cybermatics:AI and
15、Blockchain Empowered CyberizationVincenzo Piuri,University of Milan,ItalyFrank Hsu,Fordham University,USAQun Jin,Waseda University,JapanYanchun Zhang,Victoria University,AustraliaValerio Pascucci,University of Utah,USAPaulo Pires,Federal University of Rio de Janeiro,Brazil02.举例一:Cyber-Health 他/她是谁?人
16、 有 心脏和大脑(Natural human-being peoplewith hearts and brains)机器人 只有 AI/程序(Man-made/Artificial peoplemade by human without hearts and brains butAI/programs)混合人呢?半人/半机(Mixtures:partial human/partial machine)数字克隆人?(Digital Clone:Body&Mind)谷歌首席未来学家库兹韦尔(Ray Kurzweil):2030年后人类将逐渐永生02.举例二:人脸识别欺骗 清华大学研究小组运用GAN
17、对抗手机人脸识别攻击进行测试,19款主流品牌手机及数款银行应用被破解。据介绍,研究人员选取了20款手机进行测试,除了苹果以外,还涉及到国内五大主流手机品牌的不同价位机型。经过测试,除了一台iPhone11,其余安卓机型全部被成功解锁。攻击者进入手机系统后,可以任意翻阅机主的微信、短信、照片等私密信息。他们测试了一款2020年12月发布的国产品牌旗舰机,也是“一下子就打开了”。02.举例三:对话机器人的伦理、道德、法律负责任的AI马斯克创立的OpenAI实验室预训练大模型:GPT-2 15亿个参数,GPT-3 1750亿个参数。GPT-3.5、GPT-4、GPT-5Nvidia Megatron
18、 80亿个参数,Microsoft 图灵NLG 170亿个参数。ChatGPT,10 billions USD investment into OpenAI by Microsoft in 2023,Bing+ChatGPT,after 1 billion investment in 2019如何应对:美国/欧洲:提出人工智能发展战略和Safety and Responsible AI我国:算法治理互联网信息服务算法推荐管理规定2022年3月1日起施行;互联网信息服务深度合成管理规定自2023年1月10日起施行生成式人工智能服务管理办法(征求意见稿)2023.4.11-5.10意见征集。石黑浩
19、教授02.GB/T信息安全技术 机器学习算法安全评估规范02.举例:数字人的算法与AIGC02.AIGC:Midjourney V5上线用Mid journeyV5 画出一对中国情侣A pair of young Chinese lovers,wearing jackets and jeans,sitting on the roof,the background is Beijing in the 1990s,and the opposite building can be seen-v 5-s 250-q 202.AI创作:真假难辨02.美国版权局:AI自动生成的作品,不受版权法保护 在美国
20、政府发布的3月16日联邦公告中显示,美国版权局(USCO)发布的美国法规第202部分,通过ChatGPT、Midjourney等AI自动生成的作品,不受版权法保护。USCO表示,作者通过Photoshop进行创作的图片作品是受保护的,这是因为在整个过程中有人工参与进行创作,从最初的构思到最终作品完成。02.国际自动机工程学会SAE分级标准02.GB/T 40429-2021 汽车驾驶自动化分级分级名称持续的车辆横向和纵向运动控制目标和事件探测与相应动态驾驶任务后援设计运行范围0级应急辅助驾驶员驾驶员及系统驾驶员有限制1级部分驾驶辅助驾驶员和系统驾驶员及系统驾驶员有限制2级组合驾驶辅助系统驾驶员
21、及系统驾驶员有限制3级有条件自动驾驶系统系统动态驾驶任务后援用户(执行接管后成为驾驶员)有限制4级高度自动驾驶系统系统系统有限制5级完全自动驾驶系统系统系统无限制*排除商业和法律因素等限制02.血的教训:“自动驾驶”“自动辅助驾驶”,过度营销得以纠偏2016年1月20日,京港澳高速河北邯郸段发生一起追尾事故,一辆特斯拉轿车直接撞上一辆正在作业的道路清扫车,特斯拉轿车当场损坏,司机高雅宁不幸身亡。经交警认定,在这起追尾事故中驾驶特斯拉的司机高雅宁负主要责任。然而时隔半年之后,高雅宁的家人却把特斯拉的经销商告上了法庭。高雅宁早在2011年刚满十八岁的时候就考取了驾照,驾驶技术很好。而且,2013年
22、,高雅宁以在校大学生的身份参军入伍,在部队中也是担任大型军用车辆的驾驶员,一直表现优秀。在事故发生前的2015年9月,刚刚复员回家。02.致命的L4:翻过一座山02.致命的L4:翻过一座山、还有一座山世界各国人民评选出无人驾驶汽车饶命顺序:世界各国人民评选出无人驾驶汽车饶命顺序:婴儿车婴儿车女孩女孩男孩男孩孕妇孕妇男医生男医生女医生女医生女运动员女运动员男运动员男运动员男高管男高管胖女人胖女人胖男人胖男人无家可归者无家可归者男老人男老人女老人女老人狗狗罪犯罪犯猫猫03重塑数字信任、直面问题与挑战03.人类社会的进步:农业社会、工业社会、信息社会世界经济论坛创始人Klaus Schwab:区块链
23、是第四次工业革命的核心成果:互联网已经解决了分布式场景下传递 信息 的问题。分布式账本科技可能会解决传递 可信信息 的问题(价值互联网)。区块链引发的记账科技的演进,将促使商业协作和组织形态发生变革。核心价值在于为(通过合约为)多方协同关系提供 可信基础03.信任理论与数字信任传统信任理论信任(Trust)理论的研究是一个多学科交叉综合的复杂议题。最早的信任理论是在哲学和政治学领域作为道德和政治关系的组成,20世纪以来,信任被各国学者广泛引入到社会学、经济学、心理学、博弈论和国际关系等多个学科中,形成不同范式的信任理论模型并在政府的公共治理实践和企业的市场商业行为中大量应用。新型数字信任概念信
24、任关系会受到行为主体、信息沟通机制、社会依存关系和社会主要风险四种因素的影响。当人类文明进入以数字技术和数字经济为基础的数字文明时,这四种约束条件都发生了颠覆性变化,传统社会的信任关系必然演变为新特点、新内涵的数字信任(Digital Trust)关系数字信任定义与作用基于网络安全学科视域将数字信任(Digital Trust)定义为:链入/映射到数字空间的两个网络实体,基于可信数字身份和对对方网络安全能力、数据活动的稳定预期,形成持续数字交互的过程和关系。数字信任的核心基石数字身份、数字信任关注的主要风险网络安全和数据安全 数字信任基于数字技术和应用场景动态变化 数字信任是数字经济市场的基础
25、、现代政府数字治理的关键 数字信任能加快新兴技术的创新应用、弥合国际/区域数字鸿沟当前亟需从可信数字身份出发,借助密码技术、区块链、大数据、人工智能等技术,打造面向数字经济时代的新型数字信任体系,为政府和企业的数字化转型奠定数字安全基础设施,赋能数字经济发展和智慧城市建设。03.数字化转型需要新型数字信任理念农业文明(农业社会)工业文明(工业社会)数字文明(信息社会)主要信任模式人际信任:基于人机关系构建的信任关系,具备较强的情感性、信任传递性较低制度信任:基于政府监管和市场契约形成的信任关系,稳定性较强,信任传递性有限数字信任:基于数字技术在虚拟数字空间形成的信任关系,高度依赖于数字技术和数
26、字应用行为主体类型社会个体企业、各种社会组织所有链接/映射到数字空间的组织、人和物信息沟通机制通过熟人关系网络(宗族、村落)和书信进行信息传递通过印刷术、电报、电话进行信息传递通过互联网、移动设备进行信息传递社会依存关系以自给自足的农业生产为主,商业化水平、社会分工和依存度整体较低以社会化工业生产为主,依靠高商业化水平下发达市场经济形成社会化分工,社会依存关系较高依靠互联网平台企业和跨国互联网公司形成了技术数字经济的精细化社会分工、社会依存关系极高社会主要风险自然灾害、社会动乱为主工程灾害、环境污染为主网络安全、数据安全为主崔久强等.数字经济时代新型数字信任体系构建J.信息安全与通信保密,20
27、20(10):10-1603.人类社会的进步:农业社会、工业社会、信息社会生产力:利用工具 AI-BigData-Cloud骑马马车汽车 火车 动车飞机飞船算盘计算器电脑手机电报电话互联网软件程序数据算法?生产关系:Blockchain共同参与、共识机制代码即法律法律即代码Code is Law03.关注人工智能应用安全新挑战:互联互信03.关注人工智能应用安全新挑战:互联互信物理物理世界世界社交世界心灵心灵世界世界Cyber-Social(CS)Cyber-Mental(CM)Cyber-Physical(CP)Cyber-enabledWorldsCyber-PSM(CPSM)CyberWorld03.关注人工智能应用安全新挑战:互联互信2023 WEST LAKEDIGITAL SECURITYCONFERENCE谢 谢THANK U愿中国网信事业安全发展走在世界前列!陈钟北京大学计算机学院网络与信息安全实验室100871