怎样减少神经元网络的参数个数？

怎样减少神经元网络的参数个数？
研究这个问题应该有意义吧？
鉴于自己的计算资源的限制，我想研究这个问题：
在规定了正确率下限的情况下，怎么得到一个尽可能小的神经元网络？
怎么减少隐藏层的神经元数目？
就用mnist数据集做
要求在测试集上95%以上的正确率
bp结构的网络
至少要多少个参数？

可以改进训练方法，预训练，数据加噪音和扭曲
改进激活函数

这个实验门槛低，大家都可以试试啊，
我觉得应该很有意义啊
减少参数的个数，参数个数少的模型才是好模型
奥卡姆剃刀原则，防止过拟合，得到更好的特征

想实验一个想法：
先训练一个200个隐藏层神经元的网络，满足准确率了
去掉一个隐藏层的神经元
相应的权重矩阵会减少一行或者一列，但是还可以用啊
再训练一下，虽然权重矩阵减少了一行或者一列，但一训练，很快就收敛了
就这样逐步的减少神经元个数或者说参数个数
是否可行啊？
类似dropout 的思路

甚至可以先用非常多的参数，过拟合，只要正确率高，训练好
再逐步的减少参数个数
这样是否有利于发现更好的极小值点？
@click4i

或者反过来
先训练一个很少参数的网络
逐步的增加神经元个数
直到满足正确率
小网络训练起来快，
训练好的网络增加一个神经元也很快会收敛

下载贴吧APP
看高清直播、视频！

分享到: