位置: IT常识 - 正文
【小记】BatchSize的数值是设置的越大越好吗(batchsize1)
编辑：rootadmin推荐整理分享【小记】BatchSize的数值是设置的越大越好吗(batchsize1)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:batch size step,batchsize定义,batch size,batchsize定义,batch size step,batch size step,batch size,batch size,内容如对您有帮助，希望把文章链接给更多的朋友！
通常我们可能会认为设置较大的batchsize时，模型的训练效果会比较好。原因有以下几点：
1、模型由于每次得到较多的训练数据，模型的下降方向会更加准确，模型训练曲线会更加平滑。
2、减少了训练时间。同样的epoch时，batchsize需要的batch数目减少了，所以处理速度变快了。
但是啊但是，
较大的batchsize有以下几点问题需要注意：
1、内存问题。较大的batch可能会造成内存/显存溢出
2、泛化能力下降。这一点是我之前没有考虑到的一点。使用太大的批处理大小可能会在训练期间对网络的准确性产生负面影响，因为它减少了梯度下降的随机性。
使用较小的批处理大小产生更不稳定、更随机的权重更新。这有两个积极的影响。首先，它可以帮助训练“跳出”之前可能陷入的局部最小值，其次，它可以使训练稳定在“更平坦”的最小值，这通常表明泛化性能更好。
怎么选取训练神经网络时的Batch size? - 知乎 (zhihu.com)
上面这篇链接里(侵删)指出：
当有足够算力时，选取batch size为32或更小一些。算力不够时，在效率和泛化性之间做trade-off，尽量选择更小的batch size。当模型训练到尾声，想更精细化地提高成绩（比如论文实验/比赛到最后），有一个有用的trick，就是设置batch size为1，即做纯SGD，慢慢把error磨低。上一篇：TypeScript系列, 通过vue3实例说说declare module语法怎么用[模块声明篇](typescript ??)
下一篇：大溪地海岸附近的乌翅真鲨，法属波利尼西亚 (© Paul Mckenzie/Minden Pictures)(大溪地海岛在什么地方)
