code2-6 遷移先の価値の計算について

[tamura-up]

指摘事項

code2-6 遷移先の価値の計算について、

baby-steps-of-rl-ja/DP/planner.py

Line 59 in 1dadc20

V[s] = max_reward

上記箇所において、V を更新してしまうと、同じ iteration 内の後続の V(s) の計算に影響がでてしまうと思います。
(V_{i+1}(s_k) の算出に、すでに計算済の s_j の価値 V_{i+1}(s_j) が反映される場合がある)

P.44 の式の通りの計算をするならば、
next_V[s] = max_reward として、iteration の最後で V を更新(V=next_V) のようにするなど、同一 iteration 内で V を更新しないようにすべきだと思いました。

指摘箇所

• Day1: 強化学習の位置づけを知る
• Day2: 強化学習の解法(1): 環境から計画を立てる
• Day3: 強化学習の解法(2): 経験から計画を立てる
• Day4: 強化学習に対するニューラルネットワークの適用
• Day5: 強化学習の弱点
• Day6: 強化学習の弱点を克服するための手法
• Day7: 強化学習の活用領域

ページ番号: p45

実行環境

• OS:
• Python version:
• pip freezeの実行結果 (下に添付)

エラー内容

(例外のメッセージ、ログ、画面ショットなどを添付)

[icoxfog417]

@tanakanotarou2 さん、ご指摘ありがとうございます。V[s]を修正しているとV[next_state]の値が更新途中で変更されてしまうということですね。ご指摘の通り、更新後のVを別途変数として作成しておき最後に入れ替えるのが適切ですね。

[tamura-up]

ご確認いただきありがとうございました。認識が合っていたようで安心しました。