強化学習

2017-12-16 (Sat.)

教科書

「これからの強化学習」

略

$r (s, a, s^{'})$ で表される関数

例えば

という収益に対して、

割引報酬和 (discounted total reward) とは、定数 $0 < γ < 1$ に対して

G_{t} = \sum_{i = 0}^{\infty} γ^{i} R_{t + 1} = R_{t} + γ R_{t + 1} + γ^{2} R_{t + 2} + \dots

というもので、これがよく使われる.

アクション $a$ の選び方のルールのこと. 便宜上、アクション集合の上の確率分布として与える.

状態 $s$ の良さを収益 $G$ 及び方策 $π$ の下で計るもの.

V^{π} (s) = E^{π} [G_{t} : s_{t} = s]

すなわち、状態が $s$ の時点での $G_{t}$ の平均で、ただし方策として $π$ を採用したもの.

状態 $s$ の時点でアクション $a$ を採用することの良さを、 $V$ と同様に計るもの.

Q^{π} (s, a) = E^{π} [G_{t} : s_{t} = s, a_{t} = a]

$V, Q$ は共に方策 $π$ を取る. 値を最大化するような $π$ を採用するものを、最適状態価値、最適行動価値という.

V^{*} (s) = max_{π} V^{π} (s)

Q^{*} (s, a) = max_{π} Q^{π} (s, a)