我们以一个迷宫寻宝的游戏为例来看什么是 Q-learning。
在这个游戏中，agent 从一个给定的位置开始，即起始状态。
在不穿越迷宫墙壁的前提下，在每个状态时，都可以选择上下左右四个方向走一步，或者原地不动，
上下左右这四个动作的每一个都会将 agent 带到网格的一个新的单元格，即新的状态，
在迷宫中有一个网格处有宝箱，这个网格就是目标状态，
此外，在某些网格处还有一些炸弹，
我们的目标是找到一条没有炸弹的路径，以最快的速度从起始状态到达目标状态。
这个迷宫就是 environment，
将 agent 放在里面时，它首先需要探索，因为它不知道炸弹是什么在哪里，也不知道宝藏是什么在哪里，
我们通过给它 rewards 来告诉它炸弹和宝藏的概念，
遇到炸弹就 -10，
遇到宝藏就 +10，
为了让 agent 找到最短路径，我们可以给其他状态的奖励为 -1，
告诉 agent 它的目标是使奖励最大化，
然后 agent 就可以开始探索了，过程中它会学习到炸弹是有害的，宝藏是好的，还能找到最短路径。
Q-Learning 就是要学习在一个给定的 state 时，采取了一个特定的行动后，能得到的奖励是什么。
这时可以用一个表格来记录每组 state 和 action 时的值，
这个表，首先被初始化为 0，
然后每走一步，都相应地更新表格，
其中更新的方法是用 Bellman Equation：
其中，
S 代表当前的状态，a 代表当前状态所采取的行动，
S’ 代表这个行动所引起的下一个状态，a’ 是这个新状态时采取的行动，
r 代表采取这个行动所得到的奖励 reward，γ 是 discount 因子，
由公式可以看出 s，a 对的 Q 值等于 即时奖励 + 未来奖励的 discount。
γ 决定了未来奖励的重要性有多大，
比如说，我们到了一个状态，它虽然离目标状态远了一些，但是却离炸弹远了一些，那这个状态的即时奖励就很小，但是未来奖励就很多。
算法是：
- 初始化 Q table 为 0
- 每一次遍历，随机选择一个状态作为起点
- 在当前状态 (S) 的所有可选的行动中选择一个 (a)
- 移动到下一个状态 (S’)
- 在新状态上选择 Q 值最大的那个行动 (a’)
- 用 Bellman Equation 更新 Q-table
- 将新状态设置为当前状态重复第 2～6 步
- 如果已经到了目标状态就结束
下面来将上面的算法实际计算一下：
用一个最简单的例子，两行两列，每个格子代表一个状态，有一个炸弹和宝藏，并设置 alpha = 1：
reward 表如下：
1. 初始的 Q-table 的值全是 0
每一行代表一个状态，每一列代表每个状态时可以有 5 种行动，上下左右和原地不动：
首先将 γ 设置为 0.8，
2. 例如我们从状态 1 开始走，可以向下或者向右
3. 我们先选择向下
4. 这时到达了状态 3
5. 在状态 3 可以向上, 或者向右
6. 用 Bellman Equation 更新 Q-table:
Q(1,D) = R(1,D) + γ * [ max( Q(3,U) & Q(3,R) ) ] = -10 + 0.8 * 0 = -10
R(1,D) = -10 是从状态 1 向下走到了炸弹处，
Q(3,U) 和 Q(3,R) 都是 0，因为初始表格都还是 0，
于是更新后的表格变成了这样：
7. 然后将状态 3 变成当前状态，
这时假设我们选择向右，就走到了 4，
在 4 处可以选择向上或者向左，
于是再根据公式计算 Q 值：
Q(3,R) = R(3,R) + 0.8 * [ max( Q(4,U) & Q(4,L) ) ] = 10 + 0.8 * 0 = 10
更新后的表格为：
这时我们走到了 4 也就是目标状态了，就可以结束这条路径了。
接下来可以重复上面的过程，走更多次，让 agent 尝试完所有可能的 state-action 组合，直到表格的值保持不变了，它也就学会了所有状态和行为的 Q 值：
学习资料：
https://towardsdatascience.com/introduction-to-q-learning-88d1c4f2b49c
http://mnemstudio.org/path-finding-q-learning-tutorial.htm
推荐阅读 历史技术博文链接汇总
http://www.jianshu.com/p/28f02bb59fe5
也许可以找到你想要的：
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]
