RBF神经网络

【调优】解决RBF神经网络过拟合的手段(一)

作者 : 老饼 发表日期 : 2022-06-26 10:38:54 更新日期 : 2024-12-12 00:12:44
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com



预防过拟合是RBF神经网络在建模时需要解决的核心问题,调整spread是其中的手段之一

本文讲解和探索spread和RBF神经网络过拟合的关系,展示调整spread是如何解决RBF神经网络过拟合的

通过本文,可以加深理解spread对RBF神经网络泛化能力的影响,以及建模中应该如何调整spread





   01. 解决RBF过拟合的手段一:调整spread   




本节探讨如何调整spread来避免RBF神经网络过拟合




    通过增大spread避免RBF神经网络过拟合    


预防过拟合是RBF神经网络在建模时需要解决的核心问题,调整spread是其中的手段之一
过拟合的表现就是"训练数据误差小,但没经训练的数据预测误差大"
这主要是由模型的跌宕引起的,而spread刚好就在某种程度上控制了RBF神经网络的平滑性

使用小spread时,RBF神经网络的效果
 如下图所示,我们使用一个较小的spread来拟合样本数据点,效果如下:
 
使用小spread导致RBF神经网络过拟合  
可看到,在spread较小的时候,RBF神经网络拟合出来的曲线在数据点的过渡上会坍塌下去
这也就导致预测时没训练过的数据(即训练样本点之间的数据)会极为不准确
增大spread后,RBF神经网络效的果
要避免过拟合,就必须让模型坍塌下去的地方撑起来,
要达到这效果,只需要加大spread就可以了
如下图所示,在上述例子中,只需将spread增大为1,网络就比原网络的泛化能力要强很多
 增大spread解决RBF神经网络过拟合
 ✍️补充说明: spread过大也可能会降低泛化能力  
较大的spread可以增加曲线的平滑性,从而避免过拟合
但是,spread过大的时候会难以拟合网络的一些细节
从而失去本应拟合到的一些细节,导致RBF神经网络在泛化能力上受损
如果是这种情况,则需要减小spread,来加强RBF神经网络的细节拟合能力





   老饼的经验   


spread的设置不当往往正是RBF神经网络过拟合的主要原因
因此调整spread是减缓RBF神经网络过拟合的主要手段之一
由于spread过大或者过小都会造成过拟合,
所以在调整前,可以基于对径向基神经网络的认识和数据的范围,
先判断spread是过大还是过小,再适当调大或调小spread来减缓RBF神经网络的过拟合







好了,以上就是通过调整spread解决RBF神经网络过拟合的方法了~








 End 






联系老饼