こんにちは､ 人工知能の講座にようこそ｡
そして今日は､ マルコフ決定過程（MDP）の話をします｡
それでは､ 本日の内容をご覧ください｡
さて､ 前回は地図の概念に止まりました｡
つまり､ ベルモント方程式に基づいて値を計算したからこそ､ この迷路のエージェントのマップを導き出すことができるのです｡
そして基本的には､ チェンジエージェントがどこからでも始められるということです｡
どのようなステップを踏めばゴールにたどり着けるのかが明確なのです｡
だから､ そのまま上がっていく｡
上､ 右､ 右
そして完了｡
ここで疑問なのは､ それは本当に簡単なことなのか､ ということです｡
強化学習はそんなに､ あの､ 言葉は悪いですが､ つまらないものなのでしょうか？
それは､ 地図を手に入れたらそれで終わりです｡
あとは､ あなたがやるだけです｡
地図に従うだけでいいんです｡
まあ､ 実際はそんなに単純な話ではないのですが｡
そしてそれは､ 私たちにとってこのコースがより興味深いものになり､ 実際にもっと複雑な問題を解決できるようになるからです｡
そこで登場するのがマルコフ過程です｡
その前に､ 2つのことをお話しします｡
決定論的な検索と非決定論的な検索についてお話します｡
そこで､ 決定論的探索の概念についてお話ししましょう｡
これが､ 迷路の中のエージェントです｡
そして､ 決定論的探索とは､ エージェントが上がると決めたら､ 100%の確率で上がることが起こるということです｡
まさにその通りです｡
他に選択肢はない｡
一度､ 上に行くというか､ 上矢印をクリックすると､ 上に行くようになります｡
他に選択肢はない｡
一方､ 非決定論的探索とは､ エージェントが「上に行きたい」と言ったときのことです｡
実は2つほど選択肢があるのです｡
例えば､ 選択肢が3つある例を見てみますが､ 3つに限定する必要はありません｡
それは4つかもしれないし､ 問題によって違うかもしれません｡
ランダム性は違うかもしれませんが､ この場合､ 80％の確率で上に行くが､ 10％の確率で､
上に行きたいときに､ 環境がそうなっているからという理由で､ 実際には左に行くという3つの選択肢があり得ます｡
それが､ 彼の生きる世界です｡
そして､ さらに10％の確率で､ 彼は実際に右に行くだろう｡
そしてこの場合､ 焚き火台に落ちます｡
そういうことなんですね｡
これは非決定論的探索の一例で､ 確率的なプロセスです｡
そして､ このポイントは､ 現実の世界で実際に起こりうる問題に対して､ より現実的なモデルを作るということなのです｡
なぜなら､ 何かをしたらその通りになる､ というような状況はごく稀にしかないからです｡
また､ ゲームで考えても､ 例えばエージェントが『パックマン』で遊んでいたとします｡
まあ､ いつもというわけではありませんが｡
広場に立っている人が上に行くと､ 毎回まったく同じ結果になるかというと､
確かに上に行きますが､ 幽霊に食われない場合もあれば､ 幽霊に食われる場合もあるわけです｡
そのため､ ゴーストの動き方によってランダム性があり､ いつも同じように動くとは限りません｡
いつも同じ場所からスタートするわけではありません｡
だから､ とても論理的なんです｡
ランダム性があるのは非常にフェアだと思います｡
エージェントのコントロール下にないものがあり､ それをどう扱うか､ それがベルマン方程式や強化学習プロセス全体にどう影響するかを学ぶために､
これを表現する方法に過ぎません｡
しかし同時に､ ランダム性はもちろん､ 上に行けば右に行く確率が10％､ 左に行く確率が10％という限定的なものではありません｡
あるいは､ 下に行けば､ 10％の確率で右か左に行くんです｡
あるいは､ 右に行けば､ 10％の確率で上か下に行く｡
行き着く先は限定されない｡
ということもあるかもしれません｡
それこそ､ 確率が違う場合もあるかもしれません｡
時にはランダムが煮詰まることもあるかもしれません｡
パックマンの例のように､ 幽霊に食べられるか食べられないかで煮詰まってしまうかもしれません｡
あるいは､ もっと別のところに集約されるかもしれません｡
例えば､ エージェントがドゥームをプレイしているときに､ モンスターみたいなのが出てきて､ ある場合は彼を撃ってしまうとか､
別のゲームの場合とかね｡
撃たれる確率と撃たれない確率があるようなものですからね｡
つまり､ エージェントがコントロールできないもの､ 予測できないもの｡
それが､ ここでの非決定論的探索のモデルなのです｡
そして､ ここでマルコフ過程と､ あるいはマーク付きマルコフ決定過程という､ 2つの新しい概念に直接アプローチしたのです｡
私は定義やたくさんの文章をスライドに載せるのが好きではありませんが､
今回は必要なので見てみましょう｡
では､ 見てみましょう｡
確率過程には特性のマークがあります｡
過去と現在の両方の状態を条件とするプロセスの将来の状態の条件付き確率分布が､
現在の状態のみに依存し､ それ以前の一連のイベントには依存しない場合｡
この性質を持つプロセスをマークアッププロセスと呼ぶ｡
非常に複雑な定義で､ ちょっとでも矛盾していないような､ 矛盾しているような感じがします｡
つまり､ ここでは､ 私の過去と現在の状態の両方が条件となるが､ 同時に現在の状態だけが条件となる､
と書かれているのです｡
だから､ あまりそれにとらわれないでください｡
わかりやすく分解してみる｡
つまり､ 財産の目印は､ 自分の将来の状態がどうなっているかということです｡
だから､ 自分の選択だけでなく､ 全体として､ 自分の選択と環境｡
それは､ その環境の中であなたが取る行動の結果が､ あなたが今いる場所に依存するだけであるようになります｡
それは､ どうやってそこにたどり着いたかによるものではないでしょう｡
そして､ それだけです｡
それが財産の市場であり､ このような性質を持つプロセスを市場プロセスと呼ぶわけです｡
だから､ 例えるなら､ あなたのエージェントがここにいて､ もし彼が行くとしたら､ 彼が上に行くと決めたら､ 行くかもしれないわけです｡
今回の非決定論的探索の例では､ 実際に左右に動くかもしれません｡
わかりました｡
それは､ 私たちの環境の中に､ その確率論があるからです｡
私たちの環境の中にも､ そのランダム性があります｡
だから､ この3つのうち､ どれかが起こるかもしれない｡
しかし､ ここで重要なのは､ 彼がどうやってここに来たかは気にしないので､ これはプロセスのマークであるということです｡
彼は､ 上から来てここに行き着いたかもしれないし､ 左から来たかもしれない｡
そして､ ここまで来ると､ 底辺からやってきて､ ここにたどり着いたのかもしれません｡
彼はこの辺りを10万回くらい移動して､ ここにたどり着いたのかもしれませんね｡
以前のことは関係ない｡
重要なのは､ 彼が今どの状態にあるかということだけだ｡
だから､ 右にも左にも上にも行く確率は､ 今の状態なら常に同じなのです｡
つまり､ 私たちが今ここにいるのは､ その前に何があったかは関係ない､ ということです｡
こんな状態なんですね｡
忘れてはならないのは､ その状態とは､ 彼が立っている場所だけを意味するのではないということです｡
状態とは､ 環境におけるエージェントの全体の状態のことである｡
では､ 右側にモンスターがいるようなものなのか､ 左側にモンスターがいるようなものなのか｡
それとも､ ゴーストは下から上に向かって出ているのでしょうか？
あなたが今どんな状態であろうと､ そこに至るまでの経緯は関係ないのです｡
その状態でそこにいるのは､ どういう経緯でそうなったかは関係ない｡
さて､ 未来に何が起こるかは､ 今の状態と､ その時に取る行動､ それにもちろん､
その上に重なるランダム性によってのみ決定される｡
つまり､ これはプロセスのマークであり､ 決定プロセスのマーク､ あるいはMDP､ マルコフ決定過程は､ 結果が部分的にランダムで部分的に意思決定者のコントロール下にある状況での意思決定をモデル化するための数学的枠組みを提供するものです｡
マルコフ決定過程は､ マルコフ過程とは異なる概念であり､ 数学的な枠組みのようなものだと理解してください｡
だから､ でも同時に､ マルコフ過程がどういうものかを理解することは､
やはり意思決定過程のマークの理解に役立つと思ったのです｡
つまり､ 意思決定プロセスとは､ まさにこれまで議論してきたような､ エージェントがコントロールできる環境に身を置くことなのです｡
例えば､ 以前は何が起こっているのかを完全に制御していたのに､ 今は少し制御が効かなくなっていることを思い出してください｡
上がると決めることはできても､ 実はわかっている｡
なるほど､ 上がれば80％の確率で上がるんですね｡
左の確率が10％､ 右に行く確率が10％｡
ですから､ すべてが完全にコントロール下にあるわけではありません｡
この環境には､ ランダム性があります｡
それこそが､ 意思決定プロセスのマークなのです｡
マルコフ決定過程は､ エージェントがこの環境で何をすべきかを理解するために使用するフレームワークである｡
つまり､ 確率的な､ ランダムな環境があり､ エージェントは､ 例えば､
上か下か､ 左か右か､ といった選択をしなければならないのです｡
どうしたらいいのかわからない｡
そして､ その決定をするために､ マルコフ決定過程のフレームワークを適用して､
何が起こるのか､ どこに行くのかを決定します｡
そして､ 基本的にこの問題を引き起こす環境は､ 意思決定プロセスのマークと呼ばれています｡
つまり､ エージェントが使っているフレームワークですね｡
同時に､ エージェントはマルコフ決定過程の環境下で動作していることが参照される｡
このように､ 基本的に2つのコンセプトがあります｡
マルコフプロセスは､ この環境の設計の仕方で､ 今いる場所から何が起こるかを過去に依存しないようにします｡
そして同時に､ この環境を解決するためにエージェントが使用するフレームワークである「意思決定プロセス」のマークが表示されます｡
そして良いニュースは､ 私たちが話している決定プロセスのマークやフレームワークは､ 実はベルマン方程式に追加しただけのもので､
ベルマン方程式をもう少し洗練させたものだということです｡
では､ その様子をご覧いただきましょう｡
これが我々のベルマン方程式である｡
ここまでは､ あらゆる可能性を秘めた最大限の行動です｡
つまり､ ある状態にあることの価値は､ その状態から取り得るすべてのアクションの最大値ということになります｡
その状態でその行動をとることで得られる報酬から最大値をとり､ それに割引率×次の状態の値である素数を加えたものである｡
今までは､ 全体の流れにランダム性があったので､ そうなっていたんですね｡
この､ どの状態が終わるのか､ プライムがどうなるのか､ 実はわからないからこそ､ この部分は変わってくる｡
上がるなら上がる､ 残るなら残るとなるのでしょうか｡
果たして､ 私たちは正しいのだろうか？
ですから､ 実際にはこれを次の状態の期待値で配置する必要があります｡
そこで､ ここではこれを置き換えることにします｡
つまり､ 3つの状態が考えられるということです｡
そして､ それを何らかの価値に置き換えるわけです｡
その状態は1素数として､ その状態は2素数として､ この状態はS3素数のVという値を持っています｡
つまり､ その状態になる確率と､ この状態になる確率10％､ さらにその状態になるための法案あたりを足したものですから､
実際に入るつもりの状態を80％掛け算することになります｡
つまり､ これはあくまで私たちの期待値なのです｡
だから､ 統計学から､ その状態になる期待値をとれば､ 入るということです｡
つまり､ 平均的なものは何なのか､ それをこちらに置き換えるという感じです｡
すると､ このような式が得られます｡
この方程式が大きくなっただけで､ とても速くジャンプするようになりました｡
でも､ よく見ると､ まったく同じことなんです｡
ここにマックがあり､ ここに良いマックがあり､ それからSのRとAがあり､ SEのRがあり､ ここにガンマがあるわけです｡
そして､ 最後にここにVがある｡
つまり､ 決定論的な探索であることを正確に知っていたわけです｡
どの状態になるのか､ わかっていたんですね｡
今はどの州に入るかわからない｡
つまり､ Vを取るのではなく､ 自分が入る状態の期待値､ あるいは将来の状態の期待値､
もっと簡単に言えば､ 自分が入る状態の平均値を取っているに過ぎないのです｡
ということは､ 33％の確率で､ これとこれとこれを足して3で割ったような形になるわけです｡
しかし､ この場合､ It's not exactly like average average.
これは確率の加重平均です｡
つまり､ この状態にあるときに､ この状態になる行動をとる確率を､ 素数×素数の値として､
こっちで入る可能性のあるすべての素数で合計したものがありますね｡
つまり､ まさにここに3つあったということです｡
1､ 2､ 3
確率で掛け合わせたものを足す｡
足し算してください｡
こちらも同じです｡
1､ 2､ 3
確率で掛け合わせ､ 足し算をする｡
そして､ これが新しいベルモントの方程式です｡
おめでとうございます｡
これが今後の課題であり､ マルコフ意思決定プロセスで使われるフレームワークです｡
このように､ 自分ではコントロールできないランダムな事象が発生する確率的､ 非決定論的探索問題を解決するために､
エージェントが使用するフレームワークがあるのです｡
だから､ もっと複雑なんです｡
しかし､ ご覧のように､ 今までに少しずつ積み上げてきたため､ 私たちはすでにこのことを知り､ このことについて読み､
このことについて知り､ このことについて知っているのです｡
つまり､ 行動やその結果には確率が伴うので､ この部分を紹介しただけなのです｡
そして決定論的には､ ある確率に基づくものである｡
そして､ こうなりました｡
それが市場の意思決定プロセスの仕組みであり､ その背後にある方程式なのです｡
もう一度言いますが､ すべてが一筋縄ではいかないからこそ､ より現実の問題､ 現実のシナリオ､
あるいはゲームのシナリオに近いものがあるのです｡
すべての関係者のランダム性があり､ 常にある状態でアクションを起こすとは限りません｡
常にそうでないだろう｡
まあ､ いつも同じ結果になるとは限りませんが｡
そして､ これが今後の課題であり､ 事態をより面白くすることになるのです｡
だから､ それを楽しみにしていてほしいし､ 次に何が来るか楽しみにしていてほしい｡
そんな中､ 今回はとてもかっこいい紙を見つけたので､ ぜひ見てみてください｡
非常に応用的な論文なので､ 実はこれ､ 読み進めるとすごく面白いんです｡
A Survey of Applications of Markov Decision Processes Processesというタイトルで､
1993年にホワイトが書いたものです｡
リンク先には､ マルコフ決定プロセスが実際のシナリオのモデルとして使われている例が紹介されています｡
これには､ とても興奮したと思います｡
いくつかの例に感銘を受けました｡
例えば､ 人口収穫ですね｡
では､ 魚がある程度いて､ その魚の個体数がどうなっているかというと､ 今年は何匹を釣り上げることができるのか､
何をするのかを決める必要があるのです｡
それが今の状態なんですね｡
それが､ あなたの行動です｡
今年は何本撮影できたので､ その結果､ 何が考えられるか？
来年は何匹になるんだろう？
再来年､ 再々々年と､ 何匹になるのだろう？
しかも､ 抜いて90%になったら翌年には100%に戻るというようなことはないので､
決定論的ではありません｡
正確には決定論的ではないのです｡
私たちがコントロールできない､ ある種のランダムな要因が関係しています｡
それゆえ､ 何が起こるのかを理解しなければなりません｡
何が起こるかをモデル化する必要があるのです｡
そこで使われるのがマルコフ決定過程です｡
農業も同じで､ 作物を収穫するような例もありますね｡
どれくらいの作物を収穫するのか？
いくらですか？
どれだけ収穫がないのか？
もう1つは､ 保険会社が資金をどの程度投資するかを決めるような金融・投資を見ていました｡
与えられた､ 1日とか1年とか､ ある程度の期間があると思うんです｡
そして､ どうしようもない要因もあります｡
例えば､ 市場の動き､ それは何が起こるかわからない｡
そのため､ 実際に何らかの方法でそれをモデル化する必要があり､ そのために市場の意思決定プロセスが利用されるのです｡
このように､ たくさんの事例が紹介されていますが､ これは､ それぞれの事例が与えられた数だと思います｡
そして､ スポーツでも､ スポーツと疫病､ 自動車保険の請求､ 点検や整備､ 修理などで2つの例があります｡
とても興味深いです｡
見てみてください｡
ただ､ これは作り話でも､ 仮説でも､ マトリックスのようなものでもない､ ということを理解していただきたいのです｡
これは､ 実は現実の世界での話です｡
だから､ より理解が深まるのです｡
そして､ これはこの講座のプロモーションビデオで話していたことですが､ あるいは講座の説明で､
あなたとあなたの直感を刺激して､ 実生活でAIをどのように使うかのアイデアを提供します｡
これはチャンスです｡
この論文を見て､ そうか､ これからはマルコフ決定過程を扱うんだな､ と理解してください｡
本当にかっこいいですね｡
実際のところはどうなんでしょうか？
そして､ このことがきっかけとなり､ 将来的にAIを活用して世界をより良くするためのアイデアを得ることができるかもしれません｡
そうなれば､ 私たちは超嬉しいです｡
この講座で学んだことを活かして､ AIで世の中をより良くしていってくれたら､ 超嬉しいです｡
それはどんなに素晴らしいことでしょう？
さて､ 今日のチュートリアルを楽しんでいただけたでしょうか？
次回お会いできるのを楽しみにしています｡
そしてそれまで､ iを楽しんでください｡