こんにちは､ 人工知能のコースにようこそ｡
前回､ マルコフ決定過程のチュートリアルをかなり長くやりましたが､ 皆さんはそれに慣れていて､
私が親しみやすく､ 魅力的な方法で説明できたと思います｡
そして今日は､ ポリシーとプランの比較についてお話します｡
これから新しい世界に入るので､ 手っ取り早く楽しいチュートリアルになりそうです｡
確率的探索､ 非決定論的探索の世界に入りつつあり､ 単に迷路を通り抜けるだけでなく､
この迷路を通るときに頭を打つかもしれないランダムな要因も考慮し､
それに対する備えが必要なのです｡
それが､ 私たちエージェントの生きる世界です｡
そして､ その方が楽しいのですが､ 危険でもあるのです｡
それ以上です｡
予測しにくくなる｡
では､ エージェントはどのように行動するのでしょうか？
見てみよう｡
マルコフ決定過程のフレームワークがありますが､ これもまた私たちの大好きなベルマン方程式です｡
しかし､ 我々が扱っていたベルマン方程式は､ より高度なものであった｡
だから､ これからはこれを開発方程式と呼ぶことにしよう｡
そして､ ここですべてのアクションの中で最大値を得ることができました｡
つまり､ ある状態とその状態の値は､ エージェントがその状態で実行しうるすべての行動にわたる最大値なのです｡
そして､ その最大値は､ エージェントが状態において行動aを行うことによって得られる報酬に､
新しい状態の期待値を乗じた割引率を加えたものである｡
どのような状態になるか正確には分からないので､ ここで期待値を取っておく｡
環境には､ 状態を変化させるランダムな効果が存在し､ 目的の状態にならない可能性があります｡
違う状態になってしまうかもしれません｡
だから､ この期待値､ この合計をとっているのです｡
では､ これを例として､ あるいは迷路の例で見てみましょう｡
以前はこんな感じだったんですね｡
つまり､ 以前は決定論的な探索を扱っていたわけですから､ それは分かっていたのです｡
よし､ じゃあここにいたら絶対行かなきゃいけないね｡
ここにいたら､ 絶対に行かなきゃいけない｡
ここにいれば､ ここにいる｡
だから､ すべてがわかりやすかったんです｡
この地図ができたら､ 私たちはこれを「プラン」と呼んでいましたね｡
プランが決まれば､ あとは何をすればいいのか､ とてもわかりやすいですね｡
エラーがあります｡
矢を使ったプランなんですね｡
そして､ ここから先は非常にわかりやすかったです｡
これらは､ エージェントが通る道です｡
このブルーラインのどこからスタートしても､ それはそれとして｡
しかし､ 今はもうプランがない｡
計画を立てられないのは､ 計画したことが実現しないかもしれないからです｡
私たちの手には負えません｡
計画とは､ 次に何をすべきかが明確に分かっている状態です｡
手順はわかっているはずだ｡
つまり､ スタート地点があり､ ゴールがあり､ すべてのステップがわかっているので､ 計画を立てることができるのです｡
これをやる､ これをやる､ これをやる､ みたいな感じなんですね｡
自分の人生のように､ 計画のように｡
でも同時に､ ランダム性がすごくあるんです｡
ここまで来て､ 右をクリックして実際にダウンさせたらどうするんだ､ という計画性がないんですね｡
それは計画には含まれていないのですね｡
だから､ もうプランとは呼ばないんです｡
そしてここでは､ この同じ問題に対して､ 値を計算したり､ 実際に計算された値を見たりすることになります｡
しかし､ 基本的には､ 内部にランダム性があることを前提にしているので､ これが新しい値です｡
それで､ なぜその価値観が違うのか｡
では､ 以前と比較してみましょう｡
以前はこんな感じでした｡
これが新しい価値観です｡
もう一度言いますが､ 以前は10と表示されていました｡ 9, 0. 81､ 73､ 66､ そしてこれが今ある86です｡
だからレッスン1､ 74､ 71､ 63という具合に｡
ちなみに､ これは私の頭の中の正確な値ではありませんが､ エージェントを実行するとしたら､
値はこのようなものになるでしょう｡
また､ 0を選択するガンマによって､ 値が変わる可能性があるからです｡ 9 などの値を設定する｡
しかし､ それでも､ 議論のために､ 今､ 私たちが扱っているのは､ このような価値観なのです｡
しかも､ おおよそである｡
その中で､ 全体のイメージを正しく伝える｡
では､ 見てみましょう｡
なぜ変わったのでしょうか？
さて､ なぜここに......まずはこの一枚から｡
ここで､ 値は1である｡
なんでいきなり0なんだ｡ 86?
なぜ1より少ないのですか？
ここから先は？
ここで？
というのも､ ここから右に進むと､ つまり我々の意図したとおりに進むと､ 10％の確率でここにたどり着けるからです｡
つまり､ 壁にぶつかると､ この状態に戻ってしまうのです｡ ガンマがあるので､ 値は割引かれ､
あるいは10%の確率でこの状態に戻ってしまうことを思い出してください｡
だから､ 100％の確率でここに来るわけではないんです｡
したがって､ この値はもはや1ではありえない｡
何か少なくて､ 仮に0とします｡ 86.
だから､ こうなっているんだという例です｡
そして､ 今あるベルモント方程式､ 完全なベルモント方程式を計算すれば､ 正確な値を得ることができるのです｡
唯一の問題は､ この値を知っている必要があり､ さらにこの値も知っている必要があるため､
再帰性があることです｡
かなり複雑なので､ ここでは手計算をしないようにしています｡
だからこそのa but the｡
このまま通せばいいんです｡
AIがこういうことを計算するのは､ あまり複雑なことはないような気がするんです｡
それが､ 私たちの価値です｡
でも､ いろいろなものを見てみましょう｡
だからここでは､ 以前は0だったんです｡ 9 ただ､ 割引率の関係で
ここからまたここへ､ 今度はここから､ 単純にここからここへジャンプすることはできない｡ なぜなら､
このようにジャンプしても､ 結局はここに戻ってしまうかもしれないからだ｡
この奥､ 右側です｡
壁にぶつかったり､ またぶつかったりして､ まだ広場にとどまる可能性が20％あるんです｡
だから､ ここにいることの価値は0なんです｡ 71.
繰り返しになりますが､ この割引率､ あなたにはこれが割引率でも高すぎるというのは変に見えるかもしれません｡
もしかしたら､ この例の割引率は0ではないかもしれません｡ 9､ もしかしたら0かもしれない｡ 99とかそんな感じ｡
だから､ そんなことは気にしなくていいんです｡
ただ､ そこに集中するような感じです｡
値が小さくなったのは確かに､ 得たい状態になる確率が100％でないことがほとんどです｡
そして､ 興味深いのは､ ここでは､ 以前は0だったということです｡ 9 と､ 実はとても下がっているのです｡
大幅に低下しています｡
それはなぜでしょうか？
まあ､ ここから上に行くと､ 我々の意図するところでは､ 壁にぶつかる確率は10％ですが､
実際に火床に落ちて報酬がマイナス1になる確率も10％ですからね｡
そして基本的に､ エージェントにとっては､ それでゲームオーバーということになる｡
それで､ これは非常にまずい状態なんです｡
それで､ 突然ですが､ 思い出してください､ 私たちは0だったのです｡ 9ここで一点｡
つまり､ 同等だったわけです｡
あなたがここにいようが､ ここにいようが､ それぞれの州にいる価値はほぼ同じです｡
でも､ 突然､ この州がこの州のほぼ2倍の性能を持つようになったんです｡
単純に､ ここで､ あなたに直行したら､ 行きたいところに直行する､ ということだけです｡
ランダム性が発生した結果､ あなたはここにとどまることになります｡
これです｡
その結果､ 10％の確率で落とし穴に落ちてしまうのです｡
このように､ 何か変動が起きるというだけで､ もうそんなに良い状態ではないのです｡
見ての通り､ こちらもit'sは10%の確率でしか終わらない､ 10%の確率で壁になってしまうという点では､
こちらと同様に非常に悪いですから｡
しかし同時に､ ディスカウントの要素もある｡
だから､ まず値引き要素､ そしてこの後､ ここに行く必要があります｡
それに､ 仮にここに行ったとしても､ また落とし穴に落ちてしまうかもしれない｡
つまり､ この値はこの値から導き出され､ この値はこの値から導き出される､ ということを思い出して､
その偶然性も考慮されるでしょう｡
それゆえ､ 小さいのです｡
しかし､ 実際には､ 私がそこで言ったことは間違っていたのです｡
この値から派生したものではありません｡
だから､ 今見てみると､ この値V0は､ 実はこの値よりも大きいことがわかると思います｡
エージェントにとっては､ こっちよりこっちで回った方がいいということに気がつくはずです｡
そして､ それは理にかなっているのですね｡
この方法なら負けないから｡
ピットを手に入れるチャンスはない｡
はい､ 少し長くなりました｡
したがって､ 割引率はより大きな効果をもたらします｡
でも同時に､ ここでピットに入る可能性があるから､ まっすぐ行けば､ ジャンプを超える可能性もある｡
だから､ むしろじっくりと時間をかけて､ その方が手に入る確率がずっと低いから､ 回りくどいことをするのでしょう｡
今でもありますよ｡
ここから先は､ そこに向かっていくわけです｡
ここから先が本番です｡
ピットの中に入ってしまう可能性もありますし､ ピットの中に入ってしまう可能性もあるからです｡
だから､ そんな感じで回ってしまうんです｡
だから､ それらがどのように変化しているのか､ とても興味深い｡
以前は､ ここからこのように進んでいたのを覚えていますか？
ここからはああやって､ ここからはこうやってと｡
そして今､ 突然の変化を目の当たりにしているのです｡
では､ 矢印を描いて､ 今どんな感じか見てみましょう｡
そして､ ほら､ さらにランダムなものが見えるでしょう？
そうそう､ これは本当なんです｡
しかし､ ここで起きたことを見てください｡
これを見てください｡
それを期待しているのでしょうか？
それは､ 初めて見たときに､ とても感動したことです｡
私は驚きを隠せませんでした｡
私は......驚きませんでした｡
そして､ まったく期待していなかった｡
そして､ これは......私が人間を出し抜くことができる例です｡
自分でも予測できないようなこととは違う｡
しかし､ そのA． I. 強化学習によって､ 犬が､
現実の犬やあらかじめプログラムされたロボット犬よりもうまく動いたり､ サッカーをしたりできることがありますが､ それは単に､
私たちにも見えないようなアイデアを思いつくからです｡
というわけで､ いい例ですね｡
そうですね｡
だから､ あなたも予想外だったでしょう｡ エージェントが､ 上に行く代わりに､ 「上に行ったら､
10％の確率で落とし穴に飛び込むことになるんだ」と｡
しかし､ 壁の中に入っていくことで､ 何が実現されるのでしょうか｡
まあ､ 8割はぶり返してこの状態のままですが､ 1割はここに行き､ 1割はここに行くということですね｡
突然ですが､ 実は今､ 壁に飛び込むという新しいアプローチになっていることがおわかりいただけると思います｡
この場所から焚き火台に入る可能性は0％です｡
それで､ どうしても焚き火台に入りたくないみたいなんです｡
だから､ 何度か壁にバウンドしてボンドを描くんです｡
そのランダムが起こるので､ ある時点で右か左のどちらかに行ってください｡
そして､ それを実験を通して学んでいったのです｡
前に進むと､ 壁にぶつかると結果が出ないことを学びました｡
そして､ このロボット､ 焚き火台のように考えてみると､ まさにこの四角いものが､
とても小さな棚板のようなものなのです｡
そして､ これは山のような､ 崖のようなものです｡
このロボットは崖を抱きしめて､ 崖を右か左に押すまで待っているようなものです｡
そんな向きで立っているわけがない｡
そうすると､ 崖に抱きつくような形になるじゃないですか｡
とか､ そんな感じです｡
そして､ 願わくば､ そのような状況に陥ることがないようにしたいものです｡
でも､ ビジュアル的に､ ただビジュアル的に､ 考えてみれば､ ここも同じこと｡
という感じで､ かなり強烈なんですね｡
そこで思いついたのが､ 左に行って喧嘩になるリスクを冒す代わりに､ 壁を跳ね返したり､
壁に抱きついたり､ どこかのタイミングで壁に飛び込んでみようと思ったことです｡
確率があるだけに10％の可能性もあることは分かっている｡
そのたびに､ ここに行ってみよう､ たまにはこうしてみよう､ 無事に終わってみよう､
そんな感じで進めています｡
このように､ 非常に興味深いアプローチで､ 根っこはこのようになっています｡
ここから右に行き､ 出口まで右に行くかもしれないし､ ここはこのように左に行き､
ここはある時点で左に行き､ また同じように行くかもしれません｡
このことを理解することが重要です｡
ポリシーがないんです｡
だから､ ここからジャンプしても､ もしかしたらここに行くかもしれない｡
そして､ ここから先は直進するのではなく､ 実際には右に戻るかもしれませんし､
ここから先は左へ行くかもしれません｡
わかりました｡
だから､ いろいろな選択肢があるんです｡
だから､ この通りにはいかないかもしれません｡
私は逆になるかもしれません｡
これは､ あくまでも自ら設計した希望通りのルートです｡
しかし､ その方法は実は違う可能性があるのです｡
現実の世界次第です｡
そうそう､ そうなんです｡
それが人工知能の世界です｡
それがポリシー対プランというものです｡
そして､ AIに何ができるのか､ 特にここで見たようなことを考えると､ 徐々にワクワクしてきたのではないでしょうか｡
これらは､ AIが考え出した非常に名人芸的な判断です｡
そして､ この小さな例からもわかるように､ AIを応用すると､ 実世界でAIをプレイしたときに､
もしかしたら､ 時には人間でも思いつかないようなアイデアや判断が生まれるかもしれません｡
これはまさに､ Google AlphaGoが囲碁の世界チャンピオンに返り咲いた､
韓国の囲碁チャンピオン､ イ・セドル氏と対局した時のようなものです｡
そして､ 彼らが韓国で演奏していたのは､ 2016年当時､ 3月だったと思います｡
3000年間人類がやったことがない､ あるいは人類がやり慣れていないような技が出てきたのです｡
そして､ これはまさにその一例です｡
ですから､ もう一度､ このコースと私たちが作るものに対して､ ワクワク､ ドキドキしていただけたらと思います｡
そして､ 次回お会いできるのを楽しみにしています｡
それまではお楽しみに｡
I.