表3.Llama-13B与GPT-3数据对比 原图定位

竞争焦点从参数规模的竞争到数据质量的竞争。如大模型诞生初期，主流观点是参数规模是模型效果增强的核心要素，模型参数越大，性能表现越好，当前这一观点正逐渐被打破。如 Llama-13B 参数规模为 GPT-3 的 1/13，依靠模型训练数据规模，最终常识推理、闭卷问答、阅读理解等方面表现略优于 GPT-3。