本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com
预防过拟合是RBF神经网络在建模时需要解决的核心问题,调整spread是其中的手段之一
本文讲解和探索spread和RBF神经网络过拟合的关系,展示调整spread是如何解决RBF神经网络过拟合的
通过本文,可以加深理解spread对RBF神经网络泛化能力的影响,以及建模中应该如何调整spread
本节探讨如何调整spread来避免RBF神经网络过拟合
通过增大spread避免RBF神经网络过拟合
预防过拟合是RBF神经网络在建模时需要解决的核心问题,调整spread是其中的手段之一
过拟合的表现就是"训练数据误差小,但没经训练的数据预测误差大"
这主要是由模型的跌宕引起的,而spread刚好就在某种程度上控制了RBF神经网络的平滑性
使用小spread时,RBF神经网络的效果
如下图所示,我们使用一个较小的spread来拟合样本数据点,效果如下:
可看到,在spread较小的时候,RBF神经网络拟合出来的曲线在数据点的过渡上会坍塌下去
这也就导致预测时没训练过的数据(即训练样本点之间的数据)会极为不准确
增大spread后,RBF神经网络效的果
要避免过拟合,就必须让模型坍塌下去的地方撑起来,
要达到这效果,只需要加大spread就可以了
如下图所示,在上述例子中,只需将spread增大为1,网络就比原网络的泛化能力要强很多
✍️补充说明: spread过大也可能会降低泛化能力
较大的spread可以增加曲线的平滑性,从而避免过拟合
但是,spread过大的时候会难以拟合网络的一些细节
从而失去本应拟合到的一些细节,导致RBF神经网络在泛化能力上受损
如果是这种情况,则需要减小spread,来加强RBF神经网络的细节拟合能力
老饼的经验
spread的设置不当往往正是RBF神经网络过拟合的主要原因
因此调整spread是减缓RBF神经网络过拟合的主要手段之一
由于spread过大或者过小都会造成过拟合,
所以在调整前,可以基于对径向基神经网络的认识和数据的范围,
先判断spread是过大还是过小,再适当调大或调小spread来减缓RBF神经网络的过拟合
好了,以上就是通过调整spread解决RBF神经网络过拟合的方法了~
End