是否可能用有性生殖的思路改善迁移学习

生物演化（达尔文式）的原理是随机突变和重组，由于环境总会产生一些细微变化，它所解决的并不是单一的最优化问题，而是在loss function不断产生细微变化时的优化问题（即一种极端快速变化的且目标极多样化的迁移学习）。研究这类在工程中并不常见的优化问题是否对机器学习有所帮助？
P = f(G,E)
loss = e(P,E)
其中G为基因型，P为表现型，E为环境，函数f不可微分
模型间重组（有性生殖或杂交）之所以有效也是针对随机突变而言的，在局部最优解附近，99.9%的随机突变都是有害的，有性生殖的最主要优势是在将这些有害突变滤出出去。
其次还有消除不同基因之间的依赖关系（dropout），dropout 利用了有性生殖的少部分思想，但我们讨论的不仅仅是这个问题。
其次，基因隐藏表达可以造成隐形基因库的存储能力，应对loss function在时间轴上的反复变化
还有哪些优势漏了？
-------------------------------------------------------------------
深度学习（拉马克式）的原理是层级梯度下降，它在解决单一最优化问题时（即有监督学习）短期内似乎总是优于达尔文式算法？
梯度下降的每个解都是局部最优，是否破坏了它在不同loss function状况下的泛化能力？是否对迁移学习时有害的？如何抵消这种危害？在深度学习中直接使用有性生殖对高层表征进行杂交是否有意义？

人工智能里面有一个分支是主攻用演化的方式来演化出人工智能的。
他们建立一个各种限制的环境，然后用数百个随机生成的程式在这个环境里面比赛，然后让各个优秀的程式生成保有优势的，数百个下一代，然后经过许多代，就可以生成在那个环境里做得最好的程式。

如果是光谈迁移学习里头求取 disentangled representation 的这一点的话，我的直觉是基于一般的 discriminative CNN 做所谓的有性生殖（网络的高层表征替换或组合）并没有什么指望，而 generative 一类的方法要合适得多。 例如 GAN (generative adversarial networks) 可以看成是在执行一种微观的进化，其中依赖GAN 里头的discriminator 做筛选的工作。那里并没有交配的主意在里头，不过整体而言大致等于是一种演化 loss function 的过程。
迁移学习的一大目标是要找到一个disentangled representation。举例来说，一个系统如果能够以无监督学习从人脸图片导出可分别操纵的各种高级元素，如脸的朝向，阴影，脸的宽度，等等（见下图），我们就可以说这系统学到了一个不错的 disentangled representation. 而这样的一个 representation 已经不似一般CNN导出来的各层表征,而是一种高层次级别在观念上类似坐标轴的东西了。这里有意思的一点是新一代的GAN如 InfoGAN 可以导出这样的 disentangled representation.

早就有了，那叫遗传算法