皆さんこんにちは､ そしてお帰りなさい｡
この講義では､ 環境を整え､ 自力で解決しようとする方のために､ このようなよりハイレベルな概要を紹介したいと思います｡
そして､ これは前回の講義で見覚えがあるかと思います｡
というわけで､ 読み切った方､ 失礼しました｡
本当にすぐに終わりますよ｡
まずはじめに
このプロジェクトでは､ あまり多くのライブラリをインポートする必要がないという意味で､ できるだけシンプルにすることを目標としています｡
基本的にはNumPyを使うことになるんですけどね｡
通常numpyの共通参照先であるNPとしてNumPyをインポートすれば良いのです｡
そして､ ここにあるように､ 環境も整えたいと思います｡
もう一度､ 概要を簡単に説明します｡
Qの学習の最初のステップは､ 郵便配達人が移動しなければならない環境を定義することです｡
その環境を整え､ 実際に反復して進めていく必要があるのです｡
この講義では､ 環境は､ 状態､ 行動､ 報酬で構成されることになります｡
状態とアクションはQ学習エージェントの入力であり､ 可能なアクションはエージェント､ 出力は我々が考えることができる状態であり､
この画像を我々の表現として見ることができます｡
この環境における状態とは､ この例の都市と呼ぶことのできる､ 都市内のすべての可能な場所のことである｡
その中には､ 黒マスになる街の境界線もあれば､ 郵便配達人が街中を移動するのに使う小島もあります｡
それが白い四角になります｡
緑色の四角は､ 商品の梱包と発送場所を示しています｡
黒と緑の四角は､ これからターミナルステートと呼ぶものです｡
つまり､ 私たちの目標､ あるいはエージェントの目標は､ 最短経路を使うことなのです｡
我々のエージェントは､ 品物の包装場所､ 瓶､ 緑､ そして郵便配達人が移動できる市内の他のすべての場所の間の最短経路を学習するようにしたいのです｡
上の画像では､ 都市内の121の州または場所の可能性を示しています｡
これらの状態は､ 11×11のグリッドに配置されています｡
したがって､ 各位置はその行と列のインデックスによって識別できる｡
では､ 最初の一歩は何でしょうか｡
そして､ これをどのように定義するかということを考え始めてほしいのです｡
私たちの環境を定義する必要があります｡
これは､ 私たちのイメージやアプローチ方法をよく表しています｡
では､ それをどのようにモデル化するのか｡
我々はNumPyを使用しているので､ これらの境界を定義する必要があることを忘れないでください｡ そして､ 我々の表現を見るように､
各状態と行動のペアの現在のQ値を保持するために3d numpy配列を定義することができます｡
そして､ 慣れていない人､ あるいはこれが初めてという人､ あるいは復習をしたいという人には､
この講座のi a zハンドブックが非常に役に立ちますので､ ぜひおすすめします｡
では､ ここで何をしなければならないか？
実はできるんです｡
もう少し見やすくするために､ 簡単に説明します｡
コードセルを追加させてください｡
3次元のnumpy配列を定義することにします｡
あなたならどうする？
そこで､ いくつかのオプションがありますが､ 最もわかりやすくシンプルなオプションは､ 環境列と呼ぶことにしましょう｡
ローズ そして､ 11に設定しましょう｡
11×11の大きさです｡
それから､ 環境､ アンダースコアの列もできます｡
そして､ これを11に設定することも可能です｡
最後に､ 環境行､ 環境列でnumpyを追加する必要があるため､ Q値を設定します｡
そして､ これをQ値としてNumPyのゼロに等しく設定し､ 環境の行､ 環境の列を使用する必要があります｡
そして､ 3D numpy配列と3D環境表現が環境に設定されました｡
すごい｡
さて､ ここで一旦離れますが､ 皆さんはすでに環境を整えているので､ これをどう解決するか考え始めてほしいのです｡
次に､ ヒントとしてやっておきたいのは､ アクションの設定です｡
エージェントが環境内を移動できる必要があります｡
では､ それをどう表現するのか｡
この問題では､ どのように書き込むのでしょうか？
ここで見切り発車しましょう｡
次回のビデオでは､ これらのアクションを再確認していきます｡
すごい｡
次のビデオでお会いしましょう｡