こんにちは､ 人工知能のコースにようこそ｡
今日のチュートリアルでは､ 資格トレースやステップQの学習と呼ばれるかなり複雑なチュートリアルをカバーするつもりです｡
そして､ これは実用面で実装していくものです｡
だから､ それをカバーする必要があるんです｡
そして同時に､ かなり複雑なテーマでもあるのです｡
そこで､ その直感を生かすために､ とても面白いアプローチをしているんです｡
だから､ 今までとは違うアプローチを意識しているのがいいんです｡
では､ その様子をご覧いただきましょう｡
そこで､ まずは例を挙げて説明します｡
このチュートリアルでは､ ある例を挙げて､ 適格性選択の威力を示し､ 物事の背後にある直感を与えてくれるでしょう｡
それから､ 資格特性についてさらに掘り下げたい方は､ それについて読める最高の場所をお教えしましょう｡
本の参考にはなるけど､ それ以外は｡
なぜ､ 今までと違うかというと､ 最初にやるからです｡
直感を掘り下げるというより､ 例を見て､ 話しているうちに直感がわかってくるという感じです｡
というのが､ このチュートリアルへの私の希望です｡
では､ 見てみましょう｡
さてと､ こんな感じでいいかな｡
ここでは､ 2つのエージェントが同じ環境をナビゲートしているわけですが､ この2つのエージェントがどのように機能するかを見ていきましょう｡
まず1つ目は､ 当社のエリクシアトレイと連携することです｡
2枚目は適格性トレースと連携し､ 1枚目より2枚目がパワーアップする理由がわかるといいんですけどね｡
では､ 見てみましょう｡
まずはこのエージェントから見ていきます｡
そして､ その操作方法は､ これまでディープラーニングについて議論してきた方法と全く同じなのです｡
つまり､ エージェントが一歩を踏み出す､ あるいは移動する､ アクションを起こす､ 新しい状態に移動する､ ということです｡
一定の報酬を得ることになる｡
その報酬をアルゴリズムにかけ､ このエージェントを動かしている､ あるいはこのエージェントの心の中で動いているニューラルネットワークを更新するのです｡
基本的にはそうやって､ 新しい一歩を踏み出そうとする環境から学んでいるわけですね｡
この新しい状態から､ ニューラルネットワークの指示に基づいて新しい行動を起こし､
報酬を得て､ 更新を繰り返し､ それを続けていくわけです｡
このエージェントは明らかに良い仕事をしてくれるでしょうし､ 以前の実用的なスコアのチュートリアルで見たように､
ここではかなり良い結果を得ることができるでしょう｡
さて､ このエージェントナンバー2､ ここにいる男ですが､ 彼は同じ環境をナビゲートします｡ しかし､
彼は適格性追跡を使用します｡
彼がやることは､ この場合､ どんなステップを踏んでも､ 4つのステップをファイルすることだ｡
4つのステップを踏むそうです｡
そして､ そのステップを踏んで初めて､ そのステップで得た報酬の合計を計算することになる｡
そして､ 彼はそれを自分のネットワークに通す｡
彼はそれを､ 意思決定プロセスを司るニューラルネットワークに通し､ そこからニューラルネットワークが学習していくのです｡
では､ すぐにどれを？
どっちが強いと思うとか｡
一歩一歩､ ブラインドや暗闇をつつくような感じでやっている人｡
そして､ 「よし､ 一歩踏み出してみよう､ どうなるか見てみよう」ということになるのです｡
一歩踏み出して､ 何が起こるか見てみる｡
そして､ それが良いステップであったかどうかを判断するのです｡
最初の人は､ このステップが良いか悪いかを判断するとき､ 自分が得る報酬だけを見ている｡
だから､ 彼は環境が与えてくれる報酬によってのみ導かれるのです｡
こちらも同じです｡
彼は､ この環境がここで与えてくれる報酬によってのみ導かれているのです｡
だから毎回､ 報酬､ 報酬､ 報酬というのが彼の唯一の羅針盤になっているんです｡
しかし､ ここでは､ これらのすべてのステップを踏んだ後に､ 実際に評価することができます｡
あ､ そうか｡
だから､ ゴールまでたどり着いたんです｡
このステップの組み合わせが良かったのか､ 全部良かったのか､ いやいや､ 火床に落ちてしまったのか､ いやいや､
僕は､ 僕は､ 僕の車はゴールまで行けなかったのか､ 砂の壁を越えてしまったのか､ ドゥームのゲームに負けたのか､
そんなところです｡
そして､ このステップの組み合わせ全体が悪いと自分で判断し､ それよりも前のステップについては､
より多くの情報を持っていて､ より多くの洞察力を持っている､ 非常に直感的なアプローチのようなものです｡
これはまた､ ここで描いているよりもずっと複雑なテーマですが､ 直感的に理解できるようにしました｡
例えば､ このステップを踏むと､ このステップには更新するための情報があるだけです｡
この報酬から戻ってくる情報は､ ここにしかないんですね｡
そして､ 今回のステップでは､ 2番目の正確なステップに､ より多くの情報があります｡
わざわざ情報が入っているのですから｡
では､ 4段階､ 5段階､ あるいはその他の段階を経て､ どのような結果になったのでしょうか？
そうですね｡
つまり､ これがその仕組みで､ なぜ適格性追跡と呼ばれるかというと､ このプロセスの間､ 彼はこの､
何が起こっているかという累積報酬を見るだけでなく､ 累積損失､ そしてそのすべてがそこに伝搬されるからです｡
でも実は､ 資格の痕跡があるんです｡
だから､ エリフィカルトレースと呼ばれるのです｡
アルゴリズムには痕跡が残されていて､ 「もし､ 罰が与えられて､ 負の報酬を得たとしたら､ どのステップがその罰の対象になる可能性が高いか」ということがわかります｡
ですから､ この全体のパターンやステップの組み合わせが全体としてどうなっているかを知るだけでなく､
資格の痕跡を残しておくのです｡
ご褒美をもらったらどのステップを更新するのか？
例えば､ ネガティブな報酬であれば､ 最終的に得たものに最も責任があるのはこのステップであることを示す適格性トレースがあるかもしれませんし､
ポジティブな報酬であれば､ そのようなトレースがあるかもしれません｡
繰り返しになりますが､ 私たちはアルゴリズムが追跡を助けてくれることを知っているかもしれません｡
この適格性追跡アルゴリズムは､ 私たちが得たその報酬に基づいて､ どのようなステップやどのようなアクションが必要なのかが適格に更新されるように追跡するのに役立ちます｡
だから､ エリフィカルトレースと呼ばれるのです｡
それが､ エリフィケーショントレースの基本的な直感です｡
そして願わくば､ この2つのエージェントの例から､ なぜ資格特性がそれほど強力になり得るのか､ かなり明白に､ あるいはかなり直感的に理解できるようになればと思います｡
そして､ 約束通り､ もしあなたが適格性追跡やステップ学習の話題をさらに掘り下げたいのであれば､ 「Reinforcement
Learning and Introduction」という素晴らしい本があります（Richard Sutton
と Andrew Barto 著､ 1998年）｡
第2版を作っている最中か､ もう認知度が上がっていると思いますが､
強化学習の本としては一番一般的というか､ 一番人気というか､ 一番参照されているのはこれですね｡
引用回数がとんでもなく多いんですよ､ 確か何万回とか｡
そしてまた､ このために必要な章は第7章です｡
そこで､ エリフィカシー・トレースを見るために､ それに関する章が設けられているのです｡
第7章では､ フォワード､ バックワード､ エリフィカルトレース､
そして時間的な差異について詳しく説明されています｡
モンテカルロ法があるじゃないですか｡
その間に資格の痕跡があるのです｡
つまり､ 時間差からモンテカルロ法へのリンクが適格トレースなのです｡
とても興味深いです｡
たくさんの写真を読んで､ 私は本当に､ 本当に感謝しています｡
とても直感的な説明です｡
だから､ この本から人工知能や強化学習について学べることはたくさんあるんだ｡
でも､ 具体的に言うと､ エリフィカルトレースは､ この本がエリフィカルトレースのための本なのか､ とても良いところみたいです｡
そして､ 今日の2つ目の参考資料は､ アドロンが実践資料で紹介する､ ディープラーニング､ つまりGoogle Deep Mindの研究論文「Asynchronous
Method for a deep reinforcement learning」のことです｡
はい､ その紙です｡
それは､ この講座のさらに下にあるa3cの論文がそうです｡
だんだん近づいてきましたね｡
そして､ お分かりのように､ 私たちはかなり興奮しています｡
そこで､ この論文では､ 彼らがどのように適格性追跡を実装したのかについて､ 少し見ていきたいと思います｡
だから､ もっと実用的な使い方をすることになるんです｡
今日のチュートリアルを楽しんでいただき､ 適格性トレースに少し慣れていただけたなら幸いです｡
それまではお楽しみに｡
I.