一些观点认为深度神经网络往往存在参数数倍于数据量的情况,从而出现模型在训练集上表现很好,但在实际应用中泛化能力不强,这对应下方(a)图,但俄亥俄州立大学、哥伦比亚大学的研究团队在 2018 年 12 月《Reconciling modern machine learning practice and the bias-variance trade-of》指出随着复杂度提升,模型存在一个二次下降风险曲线(Double descent risk curve),对应下方(b)图。
一些观点认为深度神经网络往往存在参数数倍于数据量的情况,从而出现模型在训练集上表现很好,但在实际应用中泛化能力不强,这对应下方(a)图,但俄亥俄州立大学、哥伦比亚大学的研究团队在 2018 年 12 月《Reconciling modern machine learning practice and the bias-variance trade-of》指出随着复杂度提升,模型存在一个二次下降风险曲线(Double descent risk curve),对应下方(b)图。