こんにちは､ このチュートリアルにようこそ｡
さて､ エージェントは探索を終えて､ これから行うのは共有ネットワークの更新です｡
そこで､ まず最初に累積報酬を初期化します｡
これを我々の資本Rと呼ぶことにし､ トーチテンソルとして初期化することにする｡
しかし､ それは単なる値なので､ 1つ1つ次元があることになります｡
しかし､ 私たちはそれをテンソルにしたいのです｡
それで､ ここではドット・ゼロと､ 1つの1を使用しています｡
つまり､ 基本的に累積報酬はゼロに初期化され､ OC後､ まだ終わっていなければ同じです｡
ゲームが終わっていなければの話ですが｡
今欲しいのは､ 累積報酬が､ 共有ネットワークが最後に到達したセットの値に等しくなることです｡
そこで､ モデルのV関数出力の値であるバリューアウトプットを取得し､ これが累積報酬に与える値となります｡
では､ まずこの値を取得してみましょう｡
このように値を得ることができます｡ それから､ 値だけが欲しいので､ ここにアンダースコアを追加して､
もう一度アンダースコアを追加すれば､ この値が出力されるので､ モデルを得ることができます｡
この二重のアンダースコアのおかげで､ ここにあるものをコピーペーストするだけでいいのです｡
それが､ 入力と画像と隠れ状態のすべてとセルの状態を持つモデルの入力である｡
だから､ それを貼り付けて､ そこで､ 値を取得するのです｡
そして､ これから行うことは､ この値を私たちに与えることです｡
だから､ すべての人が価値と価値へのアクセスについて平等である｡
このデータをここに追加します｡
わかりました｡
さて､ if条件は完了しました｡ これから行うことは､ モデルの出力､ つまりモデルの最初の出力を取得することによって新しい値を得たので､
この新しい値をすでに値リストに追加しておきましょう｡
従って､ 値リストを直接取得し､ ドットを付加して､ 変数を入力することができる｡
ああ､ 私たちはこの最後の価値を含んでいるので､ それは行われる偉大な｡
あとは損失を初期化して､ 直観講義を覚えていく｡
2敗しているんですね｡
保険の損失がある
それが､ エージェントの予測に関連する最後のものです｡
そして､ 評論家の予測に関連する損失である価値の喪失があります｡
そこで､ この2つの変数を導入し､ 0に初期化することにします｡
したがって､ ここにpolicy first変数policy lossを取り､ ゼロに初期化し､ 次にvalue
loss､ 価値の損失､ 同じようにゼロに初期化することにします｡
それから､ 累積報酬は値損失の項になるので､ それに関する勾配を計算するため､
合計変数にする必要があるので､ トーチ変数として設定することを忘れないようにしましょう｡
この変数で､ ダイナミックグラフにグラデーションが付くようになったわけです｡
そして最後に､ 大きな学習ループを始める前にしなければならないことですが､
予測値と目標値の間の損失を減らすために､ この意味で確率的グリッドを適用する場合､
一般化された優位性推定を初期化する必要があります｡
その点には注意が必要です｡
J 今､ 初期化しようとしている変数は､ 一般化された優位性推定です｡
そこで､ 注意点として､ 一般化された優位性推定とは､ 定義上､ 状態を観察して行動Aを行うことの優位性である｡
つまり､ アクションの機能ですね｡
A そして､ 国も｡
S そして､ それはQ値q a sとV関数の値との差に等しい｡
だから実はここに書いてもいいんです｡
一般化された優位性推定は､ 行動と状態sの関数aであり､ 行動のQ値に等しいものである｡
A そして､ 国家｡
Sからその状態に適用されるV関数の値を差し引いたもの｡
S それが一般化された優位性推定で､ 今すぐ初期化したいものです｡
そして､ それをゼロに初期化します｡
でも､ 聖火台でないとダメなんです｡
そこで､ 先ほどと同じ要領で､ ここにあるものを使用します｡
これから､ トーチライブラリをゼロの関数を適用して､ ゼロという1つの値だけのテンソルとして設定します｡
そして､ この新しい変数､ Gを導入します｡ これは､ ゼロに初期化されたトーチと同じになります｡
そのため､ これはゼロに初期化されます｡
そのため､ アクションのQ値も
A そして､ ステータスのVファンクションの値と等しくなります｡
わかりました｡
そして､ これでforループを開始する準備が整いました｡
だから､ ここで冒険をすることになるんです｡
では､ しっかり休んで､ 次のチュートリアルでその攻略をしましょう｡
それまではお楽しみに｡
I.