《林会杰-多模态生成式AI的应用与挑战.pdf》由会员分享,可在线阅读,更多相关《林会杰-多模态生成式AI的应用与挑战.pdf(8页珍藏版)》请在三个皮匠报告上搜索。
多模态生成式AI的应用与挑战林会杰 2024/03/30多模态生成式AI 从LLM(Large Language Model)到LVM(Large Vision Model)从ChatGPT到Sora 从数字世界到物理世界多模态生成式AI的应用 内容生产,传播,交互 数字仿真 物理模拟 各行各业多模态生成式AI的挑战 巨大数据量 巨大计算量 巨大交换量 传输、计算、存储带来的资源挑战多模态生成式AI的挑战 数据压缩和表达上可能可行的一条路径:tokenization 将各自模态的数据分别tokenize 模型框架上Diffusion with Transformer已表现出可行性 芯片指令集和操作系统调度逻辑针对性优化多模态生成式AI的展望 通用数字仿真可以作为物理世界通用模拟器 以“数字人”为例 理想的数字世界的“数字人”,应当具备模拟物理世界人的所有能力 Talking Head、Speech2Gesture、Motion Generation Content Capture&Understanding Interaction,Voice Engine 从数字人到人形机器人Digital Human to Figure1欢迎交流