关于running as fast as it can的来源：
http://cns-web.bu.edu/Profiles/Grossberg/GroCisek2007.pdf
段落Feedforward and Feedback, Speed and Uncertainty, Digital and Analog

Hopfield J J. Searching for memories, Sudoku, implicit check bits, and the iterative use of not-always-correct rapid neural computation.[J]. Neural Computation, 1989, 20(5):1119-64.
https://arxiv.org/ftp/q-bio/papers/0609/0609006.pdf

value iteration networks
https://arxiv.org/pdf/1602.02867v2.pdf
A neuromorphic model of spatial lookahead
http://cns.bu.edu/Profiles/Grossberg/IveBulGro2011.pdf

一个很自然的问题就是：难道我们真的要像VIN或者spatial lookahead那样为每一个状态分配一个local编码来做值迭代（扩散）吗？
如果迭代的目的是更新q/V场，而这个场的目的是算某个状态下动作的价值，我们当然可以用分布式表征来参数化q/V场，再和动作一起输入到另一个神经网络，输出价值。迭代的每一个“像素”并不需要只表示一个状态的q/V值。

@8L
简单来说就是，VIN plan模块直接迭代的是场，将reward扩散得到每个点的V值，并根据这个场来指导行为，因此将训练如何扩散，即状态转移矩阵的作用如何用神经网络来等价(grid world恰好对应CNN)。而DQN直接迭代的是某个状态的q，并不保证整个场被同步更新，其是用神经网络来拟合q(s,a)，输入s,a,输出一实数q值。
值迭代是输入一个场，输出一个场。

8L的想法实际上是用神经网络的输出来拟合q(S,A)场
但事实上并不需要让神经网络输出成显式的q(S,A)场，只要再经过后续的神经网络，最终指导行为时表现得像是使用了显式的q(S,A)场一样就行。我们将期望q(s,a)是被稀疏编码的，即s,a的q值并不对应场中某一点的值，而是对应少数几个点的值的综合。

这个想法已经卡在我脑里好几年了，一直没静下心来深入探索，等我最近论文弄完一定把这个摆在第一位。

为什么Aπ展开后Es’~P就没了呢？Es’~P对应等号里面是要对s（t+1）加权求和的，怎么就没了呢

http://tieba.baidu.com/p/4910758140?share=9105&fr=share&see_lz=0&sfc=copy&client_type=2&client_version=9.7.8.3&st=1536509491&unique=4A8E499E15E01E846F831678CC58B208

为什么人类能够通过直觉联想快速提出候选解而不用序列地遍历解空间的每一个点？
狗在复杂地形中是否能通过思考来进行路径规划？

https://arxiv.org/pdf/1906.00855.pdf
Deep Reasoning Networks:Thinking Fast and Slow