こんにちは､ 人工知能の講座にようこそ｡
今日は生前退位についてです｡
わかりました｡
ここで､ ベルマン方程式が出来上がりました｡
そして､ このコースを進めていくうちに､ 少しずつ複雑になってきました｡
ここまでで､ すでにこの確率は追加されています｡
また､ 値引き要素も加えています｡
では､ 報酬があるこちら側をもう少し詳しく見ていきましょう｡
さて､ 以前､ 強化学習の仕組みについてお話したときに､ エージェントがいて､
それが環境中で行動を起こし､ その対価として､ あるいは結果として､ 新しい状態を獲得し､
その行動に対する報酬を得るという話をしましたね｡
さて､ これまでの例では､ 最後の最後に報酬を得るだけでした｡ ゴールするか､
エージェントが火の海になったら､ プラス1かマイナス1の報酬を得ることができます｡
しかし､ それは強化学習に対する非常に単純なアプローチです｡
また､ より現実的なシナリオでは､ 最後の最後だけでなく､ 旅の途中でも報酬が得られる可能性が高いでしょう｡
旅の途中でご褒美があるかもしれませんね｡
例えば､ ゲームの中でのAIのプレイで､ 例えば「Doom」で誰かを撃つような場合､ その敵を倒すとポイントが入るかもしれませんし､
別の別のゲームで､ 他の車を追い抜くとか､ そういうことがあるかもしれませんね｡
ただ､ ゲームのルールのせいで､ その分析方法が違うだけです｡
でも､ 実はこのゲームは､ ゲームオーバーになる前から､ ある行動をするとポイントがもらえるという仕組みが強化されているんです｡
だから､ そういうシナリオはゲームだけでなく､ 現実の世界でもよくあることなんです｡
そのため､ 今回の例でも同じようなものを導入します｡ 簡略化したものですが､
それでも､ ゲームの最後だけでなく､ ずっとエージェントに与え続けられる報酬です｡
そして､ その方法は､ 他のタイルを見ることです｡
だから､ 今は最終牌で報酬プラス1､ もう一つの最終牌である火床で報酬マイナス1しかないんだ｡
でも､ これからは毎回､ とても小さな報酬を追加して､ それが-0になるようにします｡ 04.
そして､ ご覧の通り､ ネガティブです｡
つまり､ エージェントが動くたびに､ マイナスの報酬が発生するわけです｡
だからリビング・ペナルティと呼ばれるんだ｡ どこに行っても､ この最後の牌以外は必ずこのマイナスの報酬を得ることになるからね｡
そして､ このタイルでも報酬が-0であることがおわかりいただけると思います｡ 04.
しかし､ だからといって､ その報酬でスタートするわけではありません｡
彼はこの報酬を得るだけです｡
そして､ これは重要なことです｡
この報酬は､ 牌に入ったときだけもらえる｡
だから､ 彼が何かアクションを起こすと､ 必ずここに行くんです｡
そうすれば､ この報酬-0を手に入れることができるのです｡ 04.
そして､ このタイルに戻ってきたら､ また-0をする｡ 04報酬
そうして､ 歩き回れば歩き回るほど､ この負の報酬が蓄積されていくのです｡
それゆえ､ 少しでも早く､ ゲームを終わらせようというインセンティブになる｡
では､ この報酬に設定する値によって､ 私たちのポリシーやエージェントのポリシーがどのように変化するかを見てみましょう｡
そこで､ 4つの環境を紹介します｡ それぞれの環境で､ 異なる報酬を探っていきます｡
今は計算をするのではなく､ 結果を投影するだけなので､ 直感的に分かると思います｡
まったくもって理にかなっています｡
つまり､ どんなステップでも､ どんな状態でも､ その報酬はゼロに等しいということです｡
ただ､ ここで以前見たように､ 報酬は-0になりそうです｡ 04.
今､ 紹介したもの｡
さてここで､ 報酬は-0となる｡ 5またはリビングペナルティが-0になる｡ 5.
これだけ高いと､ ここよりも10倍以上高いことがわかります｡
そして､ ここでは生前退位がマイナス2になる｡
つまり､ ジャンプして得られる報酬よりもさらに多く､ あるいは､ あなたやエージェントが火刑台で終わることによって得られる報酬よりもさらに少なくなるのです｡
では､ この報酬によって､ この環境を通過するための行動や最適な方針がどのように変わるかを見てみましょう｡
これが私たちの本来のポリシーなんですね｡
そして､ ご記憶の通り､ この2つの非常に興味深く､ ちょっと奇妙な捜査官の決断がありましたが､
彼が好きなだけ生きられるのであれば､ まったく納得がいきますね｡
もし､ あなたがただ､ 非常に長く生きているためにペナルティを受けることなく､ 彼が望む限り旅行することができるなら､
彼はなぜそうしないのですか？
なぜ､ ここでコーナーに入り､ 壁にぶつかり､ それが起きるまでやり続けないのか？
たまたま､ この道を通ると､ 歩き回ることになるのです｡
そして､ ここでも同じことが言える｡
この2つの行動を選べば､ 火の海になるリスクはないので､ いずれどちらかが出てくることを期待して壁に飛び込み､
とにかくゴールまで行く方がよほど安全なのです｡
では､ 生きていること､ 一歩を踏み出すことに､ 報酬､ つまりマイナスの報酬を加えたらどうなるか見てみましょう｡
そうですね｡
あなたが動いてください｡
ここで､ この2つが瞬時に変化したことがわかると思います｡
今､ エージェントは壁に飛び込むことを望んでいない｡
危険を冒してでも焚き火台に行く方が多いのだ｡
その10％の確率で､ ここに飛び込んでくるということ｡
でも､ 彼はここで壁を飛び越えるたびに､ もしやここでもやっているのではと思い､ 前に進みます｡
壁に飛び込むたびに､ 80％の確率でこの状態になるアクションを行う｡
そして､ 80％の確率で-0が出るということです｡ 04報酬､ つまり多くの時間､ 彼はこの蓄積されたこの負の報酬を得ることになるのです｡
こちらも同じです｡
もし彼が壁に飛び込んで､ 実際にランダムに右に移動する瞬間を待っていたら､
もしそれを続けていたら､ この負の報酬が蓄積され､ その結果､
計算を実行すれば､ 壁に飛び込むアプローチの期待値は､ 前進して実際に火の海になるリスクを取るより悪いことがわかります｡
この2つのブロックでは､ 火の海に飛び込む危険性があるにもかかわらず､ 前進し､ ここでは左に移動するように判断を変えています｡
これは､ 単に､ 彼が生きている時間が長ければ長いほど､ 次の環境ではこのリビングペナルティを蓄積することになるからです｡
今､ 私たちは生前退位制度をさらに大きくして､ -0. 5､ ここで何が変わるか見てみましょう｡
この環境と比較して､ この矢印が右を向いていることだけが変わったことがおわかりいただけると思います｡
それがどういうことかというと､ 今はもうエージェントにとって良い選択肢ではなくなったということです｡
あ､ 実は､ この矢印も､ 以前は左向きだったのが､ 今は上向きになっているんですよ｡
だから､ 今はもう､ エージェントがここから回り込んで､ ずっと回り込むのはよくない｡
だって､ ずっと回っていれば､ そう､ 安全なんだもの｡
焚き火台まで行ける可能性が低くなった｡
しかし､ 同時に､ 火床に入る可能性が低くなったところで､ 歩き回るので､
かなりのマイナス報酬が蓄積されることになる｡
だから､ その道が長すぎるだけなんです｡
そうすると､ ここにいてもここにいなくても､ 火床に入る危険性がずっと高いのに､
ここに来るために短いルートを取らざるを得ない｡ 広場に行き着いた時点で､
計算上､ 火床に入る可能性が10％あるわけですから｡
ただ､ この生き方のペナルティを増やしただけで､ 回りくどいやり方よりも期待値が高くなるのです｡
そして､ いよいよ生前退位ペナルティ-2での例題に入ります｡ 0.
ではここで､ 生前退位制度を強化することで政策がどのように変化したかをご覧いただきましたので､
ビデオを一時停止して､ このシナリオでは何が起こるのか､ ご自身で考えていただくことをお勧めします｡
リビングペナルティが高いことを考えると､ 最適な政策はどのようになると思いますか？
それでは､ ビデオを一時停止して､ 解決策をお見せしましょう｡
つまり､ この場合､ ペナルティを-2に増やすと｡ 0だと高いので､ ここでのペナルティは-1だけと覚えておいてください｡
0.
あまりに高いので､ エージェントが火だるまになってでも､ どんな方法でもいいからゲームを抜け出したいと思ってしまうのです｡
彼はきっとやってくれる｡
彼は､ 私が一歩踏み出すたびに､ 新しい状態になるたびに､ あるいは行動を起こすたびに､ マイナス2の報酬をもらって終わる､
というようになるのです｡
だから､ ここからだと2歩余計にかかるから､ ここへ行ってそのまま火刑台へ行く､
そうすると報酬が少なくなるから､ ゴールまで頑張る意味がないんです｡
ただ手を加えるだけでは､ ネガティブな報酬は得られない｡
ですから､ このリビングリワードを追加し､ 追加するリビングリワードの値によって､ 結果が異なり､ エージェントは異なるポリシーを選択することになることがおわかりいただけると思います｡
そしてそれは､ ゴールやゲーム終了時だけでなく､ ゲーム中であっても､ 基本的にはベルマン方程式によって報酬価値がどのようになり得るかが組み込まれているのです｡
そして､ もう一度言いますが､ 環境そのものによって､ すべての州ですべてのシングルに搭載する必要はないのです｡
すべての状態ではなく､ ある特定の状態でエージェントに与えられるかもしれませんが､ この単純化した例では､
この概念を説明するために､ すべての状態での報酬を使用しているだけです｡
それでは､ 今日のチュートリアルを楽しんでいただけたら幸いです｡
このように､ ベルマン方程式はすでにかなり洗練されたものになっており､ さまざまな場面で応用できるようになっています｡
そして､ 次のチュートリアルでお会いできるのが楽しみです｡
そしてそれまで､ お楽しみに｡
I.