上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

高阶信息如何加速神经网络训练?.pdf

编号:29545 PDF 35页 1.38MB 下载积分:VIP专享
下载报告请您先登录!

高阶信息如何加速神经网络训练?.pdf

1、How high-order information accelerates the neural network training? Xunpeng Huang Bytedance AILab MLNLC Nov 2020 Outline Preliminaries Accelerate neural network training with second moments Approximate Hessian with a low computational complexity Summary References Preliminaries Accelerate neural net

2、work training with second moments Approximate Hessian with a low computational complexity Summary References Anbriefintroductiontooptimizersandtheirapplications Figure: Logistic regression and SVM classification Most optimization problems are solved by different optimizers. Many tasks in CV and NLP

3、can be formulated as some optimization problems. Anbriefintroductiontooptimizersandtheirapplications Optimization problems Stochastic problems: argminxf(x) = EF(x,) Finite sum problems: argminxf(x) = 1/n Pn i=1fi(x) where x, f(x) denote the parameters and the objective functions. OptimizersUpdate rules GDxt+1= xt tf(xt) Newton methodxt+1= xt 2f(xt)f(xt) Table: Deterministic optimizers OptimizersUp

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(高阶信息如何加速神经网络训练?.pdf)为本站 (X-iao) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部