こんにちは､ 人工知能の講座にようこそ｡
今日はa3cの最初のパート､ 俳優の批評パートについてです｡
ここでは､ 同期優位アクター批判アルゴリズムと､ 下線部のアクターについて説明します｡
そこからスタートです｡
技術的にはどこからでも始められますが､
演技から評論家になる方が､ より理にかなっています｡
しかし､ この略語の末尾にあるtheから意外と始めると｡
さて､ ここまでの講座で､ 深い畳み込み学習について説明しましたが､ その図解はこちらです｡
つまり､ コンピュータに画素を見させるわけです｡
つまり､ ベクトルだけでなく､ 実際の画像やピクセルも｡
だから､ ズルくないんです｡
実は､ 人間が見ているものをそのまま見ているのです｡
モンスターが見える､ 体力が見える､ 底のパラメータが見える､ 通路が見える､ 銃が見える｡
このゲームをプレイするときに､ 人間が見るのとまったく同じものを見ているのです｡
そして､ その画像は畳み込み層に通され､ プーリング層に通され､ 平坦化されてニューラルネットワークに入るのです｡
そして､ 出力には､ 覚えているように､ キュー値というアクションがあります｡
そして､ それらに行動選択ポリシーを適用する｡
例えば､ ソフトマックスを適用して､ どのような行動を取りたいかを調べるわけです｡
つまり､ 探査と搾取の両方が行われているのです｡
つまり､ 深層学習はそういう仕組みだったんですね｡
でも､ 今度はこれをどうするか｡
この画像を調整したり移動させたりするので､ 簡単に操作できるように､
丸を四角に､ 四角いボックスをこのように置き換えることにします｡
そして､ その間にある線も消していくのです｡
矢印に変えればいいんです｡
だから､ これで本質が変わるわけではありません｡
これはあくまで､ このチャート上の表現です｡
この表現もまだ深い､ 畳み込むような表現です｡
Q 学習は､ 私たちが修正し､ 3つの鍵を正確に示すことが容易になるだけです｡
というわけで､ ここからは3つのキーが何をするのか､ あるいはこの特定の部分をどう表現するのか､ ということになります｡
だから､ 一歩一歩､ 思い出してはじめているんです｡
まずはアクティブクリティックの部分から｡
そこで､ 深い畳み込み学習からどのように3つのキーになるのか､ ステップバイステップ､ ファーストステップで見ていきたいと思います｡
ここでは､ このアクティブクリティックの部分を取り上げて紹介します｡
そこで､ そのことについてお話します｡
ですから､ まずこの最後のビット､ 出力は実はこのように再描画するだけなのです｡
つまり､ まったく同じ出力､ まったく同じキュー値､ あるいはまったく同じ動作なのです｡
だから､ もし彼が......8つの可能性を持っていたとしても､ 8つの可能性を持っていることになるんだ｡
場所を取らないように､ 一番上に配置するだけです｡
だから､ 今のところ何も変わっていない｡
ここまでは､ これと全く同じです｡
しかし､ ここからが現役の評論家の出番です｡
私たちは､ 私たちが持っている2番目の出力を持つつもりです｡
つまり､ 1つ目は出力のセットです｡
そして､ ここでは個別に出力することにしています｡
では､ 技術的には､ ニューラルネットワークを使うのでしょうか？
それで､ 一度､ 画像と値のようなものは､ こちらの左から右へネットワークを通過していきます｡
一つの価値観を吐き出すだけではないのです｡
実際に2組に分かれた｡
それで､ トップ・セットというのは､ もうわかっているんです｡
それは､ 可能な限りの行動です｡
しかし､ ここでは実はもう一つ､ おまけ的な価値があるのです｡
では､ その様子を見てみましょう｡
その価値とは何なのか？
それでは､ どうぞ｡
それがトップです｡
そこで､ このイラストのサイズを小さくするような感じです｡
一番上の出力は､ 前にアクションについて説明したように､ Q値です｡
つまり､ 同じものなんですね｡
すべて同じです｡
でもって､ 今度はこの下の部分｡
あ､ 実は一番上の部分はアクターと呼ばれています｡
名前をつけるんです｡
それは､ エージェントが演技をしているように見えるように､ やりたいことを選択する部分だから､ 俳優なのです｡
まるでステージで演奏しているかのようで､ 2人目の名前もスクリーンに映し出されると､ より意味が深まるでしょう｡
そして､ 2番目の出力はちょうど1つの値のようなもので､ それはSEのVですから､ 状態の値です｡
つまり､ SのQがある行動のQ値で､ Aがある行動のQ値だとすると
そのため､ アクション1､ アクション2､ アクション3からアクション6まで､ その状態でのアクションがいくつもあるわけです｡
だから､ ある状態では
SE 行動を起こすことのQ値とは？
Aアクションからアクション1､ アクション2といった具合に｡
そして､ ここではニューラルネットワークを使って､ 実際に置かれている状態の値を予測することも行っています｡
そして､ この部分を評論家と呼びます｡
それが直感的というか､ 完全には直感的でないところですね｡
アクター評論家の直感は､ ニューラルネットワークの出力が1つだけでなく2つになったこと､ そして以前は1つの出力だけだったが､
今はそれをアクターと呼んでいることにありますね｡
しかし､ 今は俳優と批評家という2つのアウトプットがあります｡
とかありそう｡
両者の間にあるダイナミックな関係､ それはこれから探っていくことにしましょう｡
しかし､ 今は､ ある状態からエージェントが取ることのできる行動のQ値だけを予測しているのではないことを理解することが重要です｡
しかし､ 同じニューラルネットワークを使って､ 今のこの状態の価値を予測することもできるのです｡
それが実際の評論家への第一歩の核となるわけですね｡
そして今度は､ アクション理論の間で何が起こっているのかを正確に理解するために､ 次のチュートリアルで行う､
シンクロナスについて話す必要があります｡
そして､ 今日の最後は､ これらのキーバリューはすべて､ ご存知のように､ それはポリシーとも呼ばれるものだということです｡
だから､ ある文献やあるブログ､ 現役の批評家に見られるような議論では､ 著者が俳優のこちら側のQ値について話しているのを見つけることができるかもしれません｡
他の文献やブログ記事､ 議論では､ 著者が方針について話しているのを見かけることがあります｡
ギリシャ文字の「P」を使って政策を表現したり､ 「policy of state」と言ったりします｡
というのも､ ポリシーとは､ すべてのアクション､ 可能性のあるアクションをまとめたものであり､
その後､ どのアクションを取るかを決定するものだからです｡
つまり､ それぞれの行動をとる確率のようなものになるわけです｡
そういう方針なんですね｡
だから､ どちらか一方を見たとしても､ 基本的には同じ意味なので､ がっかりしないでください｡
つまり､ 一方にはポリシーやQ値があり､ 他方には実際の状態の値があり､
それらはニューラルネットワークから予測されているのです｡
それがアクティブクリティックの始まりなんですね｡
この続きは､ 次回のチュートリアルで､ 同期についてお話します｡
それまでは､ Iをお楽しみください｡