HunYuan协同了腾讯预训练研发力量,旨在打造业界领先的AI预训练大模型和解决方案 原图定位 根据量子位,混元团队集合腾讯计算集群、超算网络、机器学习平台的技术实力,并在MoE模型结构、热启动和课程学习、注意力权重复制、词向量路由机制等方面研究优化,大幅降低万亿大模型的训练成本,彰显全套技术体系的实力。