怎样减少神经元网络的参数个数？

可以改进训练方法，预训练，数据加噪音和扭曲
改进激活函数

这个实验门槛低，大家都可以试试啊，
我觉得应该很有意义啊
减少参数的个数，参数个数少的模型才是好模型
奥卡姆剃刀原则，防止过拟合，得到更好的特征

我在弄的是脉冲神经网络实现生物智能，输出的参数在方式上有区别就不说了，其他的参数，只要某个参数的作用是可以用多个单元之间的关系共同作用实现的，或者是可以由其他的参数组合实现，就取消它。

我来说说我的理解。对于3层的bp网络隐藏层神经元个数好像多几个少几个影响不大，但至少应该为多少呢，我觉得其实就是分类数量决定的，就拿mnist数据集来说分类为10类是吧，隐藏层神经元最少应该为4个，怎么来的呢，2的4次方=16（S形函数处理后就１或０两种可能输出），意思就说4个隐藏层神经元最多可以将数据集分为16类，3个隐藏层神经元则不行，因为最多只能分将数据集分为8类则达不到mnist数据集要求的10类。以此类推可知，如果只分为是或者不是两类的话，1个神经元作为隐藏层都可以，这样一来输出层就没有多大意义了也可以省去。对于手写汉字的话也可算出来，假如常用汉字为6800个，则有2的12次方=4096,2的13次方=8192，所以最少需要隐藏层神经元13个

想实验一个想法：
先训练一个200个隐藏层神经元的网络，满足准确率了
去掉一个隐藏层的神经元
相应的权重矩阵会减少一行或者一列，但是还可以用啊
再训练一下，虽然权重矩阵减少了一行或者一列，但一训练，很快就收敛了
就这样逐步的减少神经元个数或者说参数个数
是否可行啊？
类似dropout 的思路

甚至可以先用非常多的参数，过拟合，只要正确率高，训练好
再逐步的减少参数个数
这样是否有利于发现更好的极小值点？
@click4i

或者反过来
先训练一个很少参数的网络
逐步的增加神经元个数
直到满足正确率
小网络训练起来快，
训练好的网络增加一个神经元也很快会收敛

很久很久以前，有个算法叫epnet，不知道符不符合楼主的需求

Kuremoto, Takashi, et al. "Time series forecasting using a deep belief network with restricted Boltzmann machines." Neurocomputing 137 (2014): 47-56.
这篇的想法挺暴力的
如果优化条件再加个最小化节点个数的话那就是多目标优化的问题了
训练时将数据分成2份，一份用来找pareto前沿面，另一份找出前沿面中最符合要求的粒子
但这样做就有几个问题
1.每个粒子就代表一个神经网络，那么要评价这个粒子的优略性就要训练一次，这样太耗时了
2.优化节点个数这个是整数的优化，进化计算在实数上能被证明是可以收敛到最优，整数就不知道了
3.整数的话很有可能有重复粒子进行了重复运算，而且搜索空间比较小？ 极端情况下跟for循环没什么区别把？