随机性
- 动作随机性$\pi(a | s)$
- 状态转移随机性 $p(s' | s, a)$
- 价值随机性 $p(r | s, a)$
马尔可夫假设
t + 1时刻的状态的只依赖于t时刻的状态,而与t之前的状态无关.
Bellman方程
$$V_{\pi}(t) = r_t + \gamma V_{\pi}(t + 1)$$
状态价值函数
$$V_{\pi}(s) = E(G_t | S_t = s)$$
Bellman公式
用来描述不同状态价值函数之间的关系
$$V_{\pi}(s) = E[R_{t + 1} + \gamma V_{\pi}（S_{t + 1}） | S = s)]$$
向量形式的Bellman方程
求解
解析表达式方法
迭代方法
