こんにちは､ 人工知能の講座にようこそ｡
ベルモント方程式について話し､ 私たちの小さな迷路を分析したわけです｡
それでは､ 企画をご覧ください｡
どのような計画ですか？
さて､ ここからは迷路の分析です｡
そして､ 実際に状態､ 各状態の値を見ることができることもわかっています｡
あらゆる状態にあることの価値を見出すことができるのです｡
それゆえ､ 「私」は､ あるいは「エージェント」は､ この迷路をナビゲートすることができるのです｡
では､ どのような計画なのでしょうか｡
まあ､ この計画は､ 簡単に言えば人工知能の宝の地図のようなものなんですけどね｡
これらの値を見る代わりに､ その値を知っているためにエージェントがどの方向に進むべきかを示す矢印に置き換えてみましょう｡
つまり､ 理想的なシナリオは､ この環境を探索した後､ それぞれの状態にあることの価値を知り､ その結果､ このマップを導き出すことができるのです｡
では､ 見てみましょう｡
ここでも､ 価値は1つであることがわかる｡
だから､ この2つのうちここにいるのなら､ より良いのはこっちの方だ｡
2つのうち､ ここから右に行くわけですね｡
こっちの方がいいんじゃない？
というか､ 実はここから先は2つの選択肢があるんですね｡
だから､ ここはネクタイみたいなものです｡
だから､ 適当に1つ選べばいいんです｡ どっちでもいいんですよ､ これの価値は同じですから｡
ましてや､ 目を通したとしても､ 同じだけの手順､ 同じ数のステップを踏んで､ 最後にたどり着きます｡
ここからは3つの選択肢がありますが､ ここからはこちらの方がお得です｡
ここからはこちらの方がお得です｡
明らかに､ こちらの方がお得です｡ なぜなら､ こちらはすぐにマイナス1の報酬が得られるからです｡
そしてここから先は､ 実際に3つほどあります｡
だから､ でも､ これはその中で一番いいもの､ 州のベストバリューなんです｡
ですから､ 矢印に置き換えると､ エージェントがここから出発した場合､ あるいは何らかの理由でこの広場に行き着いた場合､
ここから出る方法を知っているので､ 広場から出発することになる､ という理屈になります｡
ここから出る方法などを知っている｡
それがプランというものなんですね｡
また､ プランとポリシーを混同しないように｡ この先､ ポリシーの話も出てきますから｡
ポリシーはプランと非常によく似ていますが､ 環境が少し変わってくるので､
ちょっとしたトリックがあります｡
だから､ 早く次の作品でお会いしたいです｡
そしてそれまで､ お楽しみに｡
I.