《【上海交通大学应忍冬】大模型浪潮下的电子信息教学探讨.pdf》由会员分享,可在线阅读,更多相关《【上海交通大学应忍冬】大模型浪潮下的电子信息教学探讨.pdf(44页珍藏版)》请在三个皮匠报告上搜索。
1、大模型浪潮下的电子信息教学探讨应忍冬上海交通大学类脑智能应用与技术中心内容概要 大模型时代改变了AI认知方法 大模型技术拓展了教学内容 AI神经网络蓬勃发展下的嵌入式系统教学信息领域技术正在经历AI的变革 80486的时代32b总线、100MHz主频 2小时的神经网络训练,如果没有效果,就不再坚持信息领域技术正在经历AI的变革 现代GPU 1秒的训练 过去1小时的训练为期1周的GPU集群训练成为常规AI语言模型1995 ALICEArtificial Linguistic Internet Computer Entity 逻辑结构简单 对话“精炼”容易“聊死”AI语言模型2023 ChatGP
2、T 段落式的对话 有一定逻辑结构 内容的信息量不足AI智能的涌现系统中个体间预设的简单互动行为所造就的无法预知的复杂样态的现象涌现:从混沌到秩序约翰霍兰,“涌现”理论的主要奠基人AI智能的涌现蚂蚁个体头脑简单、没有欲望,没有计划蚁群集体分工协作,多样化的“社会”行为真菌农场、蜜蚜虫“饲养”、蚁巢建设、协作搬运食物、协作捕猎、不同种族蚁群战争对于AI的认知方法改变白盒灰盒黑盒对于AI的认知方法改变白盒灰盒黑盒对于AI的认知方法改变白盒灰盒黑盒局部视野的分析方法面临挑战 面向单一神经元行为的分析 面向低维度代价函数的分析 面向浅层神经网络非线性特性的分析对于AI的认知方法改变白盒灰盒黑盒 端对端的
3、视角神经网络的(损失)代价函数选择和设计成为理论的关注终点 概率/统计/信息论的视角神经网络的节点的统计模型成为分析关注内容对于AI的认知方法改变白盒灰盒黑盒基于神经网络的AI教学挑战精确定量的数学模型方向传播方程、各个算子原理线性化解释宏观的定性的分析海量参数神经网络架构设计训练过程中损失函数的宏观变化规律超参数调整?未知的中间地带AI大模型时代改变了认知方法多样性的大自然观察、归纳、假设、模型验证、数学化推广人造的AI“黑盒”是从源头出发,以逐步推导方式理解他,还是反过来,以认识自然的方式理解它?对于AI的认知方法改变 曾经的重点内容被新加入的信息所“挤压”需要我们思考,如何在培养学生扎实
4、的基本功 和 培养创新探索/尝试未知/快速响应前沿科技 这两方面能力上平衡和取舍内容概要 大模型时代改变了AI认知方法 大模型技术拓展了教学内容 AI神经网络蓬勃发展下的嵌入式系统教学大模型时代拓展了教学内容小模型看结构 大模型看架构训练模式 小模型:数据集中/参数同步/局部小集群计算性能为单一优化指标 大模型:数据分布/参数异步/大规模集群计算训练时间/总能耗/经费预算/性能联合优化推理模式 小模型:单一服务对象/单任务、单一运算流端侧推理、端侧模型参数推理数据和计算模型合并 大模型:多个服务对象/并行多任务、多运算流远程推理、服务端模型参数推理任务和计算模型分离数据科学和管理科学的融合,运
5、筹学和统计优化相互合作工程化的AI大模型GPT4 规模:120层网络、1.5万亿参数、16个“专家”模型,每个111B参数 训练时间:25,000 个 A100 GPU,100 天 训练运算量:2.15 1025FLOPS。推理运算量:560 TFLOP 训练成本:6300万美元(不考虑数据标注成本)大模型时代拓展了教学内容 训练函数设计 融合概率统计的模型解释 优化理论信息处理技术、统计分析技术 极高算力大规模分布式计算 计算可靠性问题 工程规划和优化理论 AI大模型的行为/能力边界分析 AI模型的社会影响/道德伦理分析AI成为人的信息交互、思维交流和陪伴规模化、“工业化”AI系统构建技术A
6、I与社会互动的影响分析AI作为个人的工具的设计开发“工业化”的AI“生产”技术大模型时代改变了教与学的关系AI作为被教学对象,本身也会成为教学资源的贡献者 AI教学可行吗?AI教学的内容可信吗?AI教学对学生认知模式有怎样的影响?学生为成为未来的AI构建者,AI教学间接成为AI构建AI的进化链它的未来走向是怎样的?软件学习AI生成代码例程英语教学AI批改英语作文考卷内容概要 大模型时代改变了AI认知方法 大模型技术拓展了教学内容 AI神经网络蓬勃发展下的嵌入式系统教学嵌入式系统教学传统嵌入式系统是低功耗、低运算量、高可靠性、高实时性嵌入式系统教学 越来越多的嵌入式系统面临AI计算的要求 将AI
7、嵌入算力有效、存储资源有限、功耗有限、体积有限的嵌入式系统智能感知智能决策智能交互嵌入式智能系统嵌入式系统教学 底层运算的嵌入式系统高效实现 AI基本算子的嵌入式系统计算优化技术 近似AI算法 面向嵌入式系统的神经网络剪枝优化ISBN:9787111693253https:/ 无乘法器的矩阵乘法运算123=44892嵌入式系统教学神经网络计算的轻量化技术 拓展到浮点数格式,在不使用浮点指令的前提下实现整数矩阵乘法/通过指数字段操作,计算浮点数 2float float_shift(float x,int s)unsigned long*y=(unsigned long*)
8、&x;*y+=s 23;/对应域:2330-bit return*(float*)y;符号S1-bit指数E8-bit尾数M23-bit单精度浮点数(float32)32-bit仅仅修改将移位操作替换成移位加法操作嵌入式系统教学神经网络轻量化技术定点数量化 仿射映射量化嵌入式系统教学快速卷积算法0101+-+-+0120=001=10+012=11传统卷积需要4次乘法,优化后需要3次乘法FIR快速滤波结构平均每输出一个数据需要的运算量是1.5次乘法和2次加法传统的FIR滤波器架构,平均每输出一个样本需要2次乘法和1次加法嵌入式系统教学快速矩阵乘法1990 2.3754772014 2.3728
9、639O(NO(N2 2)?)?嵌入式系统教学快速矩阵乘法嵌入式系统教学快速矩阵乘法=(=+=+=(=(+(+=(+=(+=5+4 2+61+23+41+5 3 7Strassen矩阵相乘算法,(2.81嵌入式系统教学近似快速卷积算法嵌入式系统教学近似快速矩阵乘法嵌入式系统教学神经网络剪枝算法嵌入式系统教学 底层运算的嵌入式系统高效实现 AI基本算子的嵌入式系统计算优化技术 近似AI算法 面向嵌入式系统的神经网络剪枝优化大模型的出现进一步加剧AI应用和嵌入式系统中间的鸿沟嵌入式系统教学 底层运算的嵌入式系统高效实现 AI基本算子的嵌入式系统计算优化技术 近似AI算法 面向嵌入式系统的神经网络剪
10、枝优化大模型的出现进一步加剧AI应用和嵌入式系统中间的鸿沟嵌入式系统教学基于本身的设计优化2022 AlphaTensor嵌入式系统教学基于AI的设计优化中科院计算所,2023,Pushing the Limits of Machine Design:Automated CPU Design with AI内容回顾 AI系统认知方法的改变 规模化、工业化的AI系统构建 AI在嵌入式领域的应用需求 白盒分析法黑盒分析法 带来教学新内容 要求嵌入式教学补充新内容,将传统GPU平台的AI模型嵌入功耗、算力、内存受限的应用系统在大模型时代,电子信息教学需要进行一系列改革来适应新的教育需求和技术发展。以
11、下是一些可能的改革方向:1.引入大模型技术:将大型模型(如人工智能模型)引入电子信息教学中,利用其智能化分析和处理能力,为学生提供个性化的学习资源和指导。通过与模型的交互,学生可以更好地理解和掌握知识。2.融合虚拟现实和增强现实技术:利用虚拟现实(VR)和增强现实(AR)等技术,创造更加沉浸式的学习环境。学生可以通过虚拟现实技术亲身体验电子信息领域的实际操作和应用场景,提高学习的实践性和趣味性。3.强调实践和项目驱动教学:电子信息领域的知识和技能更加注重实践应用。教学应注重培养学生的实际操作能力,通过项目驱动的教学方法,让学生参与实际的电子信息项目,锻炼解决问题的能力。4.强调跨学科融合:电子
12、信息领域与其他学科(如计算机科学、物理学等)密切相关。教学应强调跨学科融合,将电子信息知识与其他学科的知识相结合,培养学生的综合能力和创新思维。5.提供在线学习平台和资源:借助互联网和在线学习平台,为学生提供便捷的学习途径和丰富的学习资源。学生可以通过在线学习平台进行自主学习和交流,与其他学生和教师进行互动和合作。6.培养创新和团队合作能力:电子信息领域处于不断发展和创新的前沿,教学应注重培养学生的创新思维和团队合作能力。通过项目合作、竞赛等形式,激发学生的创新潜力和团队合作精神。这些改革方向可以帮助电子信息教学更好地适应大模型时代的需求,提高学生的学习效果和兴趣,推动电子信息教育的发展。同时
13、,教育机构和教师也需要不断更新教学理念和方法,提升自身的教育技能,以适应这一新的教学模式。关于本次演讲的题目,ChatGPT是怎么想的?在大模型时代,电子信息教学需要进行一系列改革来适应新的教育需求和技术发展。以下是一些可能的改革方向:1.引入大模型技术:将大型模型(如人工智能模型)引入电子信息教学中,利用其智能化分析和处理能力,为学生提供个性化的学习资源和指导。通过与模型的交互,学生可以更好地理解和掌握知识。2.融合虚拟现实和增强现实技术:利用虚拟现实(VR)和增强现实(AR)等技术,创造更加沉浸式的学习环境。学生可以通过虚拟现实技术亲身体验电子信息领域的实际操作和应用场景,提高学习的实践性
14、和趣味性。3.强调实践和项目驱动教学:电子信息领域的知识和技能更加注重实践应用。教学应注重培养学生的实际操作能力,通过项目驱动的教学方法,让学生参与实际的电子信息项目,锻炼解决问题的能力。4.强调跨学科融合:电子信息领域与其他学科(如计算机科学、物理学等)密切相关。教学应强调跨学科融合,将电子信息知识与其他学科的知识相结合,培养学生的综合能力和创新思维。5.提供在线学习平台和资源:借助互联网和在线学习平台,为学生提供便捷的学习途径和丰富的学习资源。学生可以通过在线学习平台进行自主学习和交流,与其他学生和教师进行互动和合作。6.培养创新和团队合作能力:电子信息领域处于不断发展和创新的前沿,教学应注重培养学生的创新思维和团队合作能力。通过项目合作、竞赛等形式,激发学生的创新潜力和团队合作精神。这些改革方向可以帮助电子信息教学更好地适应大模型时代的需求,提高学生的学习效果和兴趣,推动电子信息教育的发展。同时,教育机构和教师也需要不断更新教学理念和方法,提升自身的教育技能,以适应这一新的教学模式。谢谢!附录极低功耗神经网络推理港科大2层全光学神经网络