Hallo und herzlich willkommen im Statoil.
Nun hat der Agent seine Erkundungen durchgeführt und wenn er dabei ist, das gemeinsam genutzte Netzwerk zu aktualisieren.
Das erste, was wir tun werden, ist, das kumulative, was wir es als unser Kapital R bezeichnen, zu
initialisieren, und wir werden es als Fackel-Tensor initialisieren, aber das wird Dimensionen nacheinander haben, weil es nur ein Wert ist, den
wir aber wollten ein Tensor sein
Und so benutze ich hier aber Nullen und dann 1 1.
Grundsätzlich wird die kumulative Belohnung auf 0 gesetzt.
OK und dann sagen, wenn wir noch nicht fertig sind, ist das Spiel nicht zu Ende.
Was wir jetzt wollen, ist die kumulative Belohnung, die dem Wert des letzten Handels entspricht, den das
gemeinsame Netzwerk erreicht hat.
Wir werden also die Werteausgabe erhalten.
Sie kennen den Wert der Funktionsausgaben unseres Modells. Dies ist der Wert, den wir der Gemeinschaft geben, in der wir
arbeiten.
Lassen Sie uns zuerst diesen Wert erhalten, den wir auf diese Weise erhalten können.
Wert Sie wissen, da wir nur den Wert wollen, den wir hier hinzufügen können, unterstreichen und dann erneut unterstreichen, und dann
erhalten wir unser Modell, weil es diesen Wert ausgeben wird, aber nur die erste Ausgabe der moralischen Sache, die
hier und hier gemacht wird, ist doppelt wir können einfach einfügen, was wir hier haben.
Das ist die Eingabe des Modells mit den Eingabebildern und dem Zug der Bundesstaaten und der Südstaaten.
Also füge ich das nur ein und los geht's.
Wir werden den Wert bekommen.
Also, was wir jetzt tun werden, ist unseren Wert zu geben, so dass alle gleichwertig sind und auf den Wert zugreifen können, den wir
an dieser Stelle dort beginnen.
Gut.
Nun ist die if-Bedingung erledigt, und was wir jetzt tun werden, da wir gerade einen neuen Wert haben, indem Sie
wissen, dass die Ausgabe des Modells die erste Ausgabe des Modells ist, die diesen neuen Wert bereits an
die Werteliste anfügt.
Deshalb können wir unsere Werteliste dann direkt in Richtung eines Zeltes bringen und wir setzen Variable weil unser.
Dieser letzte Wert ist so groß, dass jetzt getan wird.
Wir werden die Verluste initialisieren und uns an Intuitionsvorlesungen erinnern.
Sie haben zwei Verluste.
Sie haben die letzte der letzten Richtlinie, die sich auf die Vorhersagen des Agenten bezieht.
Und dann haben Sie den letzten Wert, der weniger mit den Vorhersagen des Kritikers zusammenhängt.
Wir werden also diese beiden Variablen auf null setzen, und diese Politik
wird für uns ein schrecklicher Politikverlust sein.
Initialisieren Sie den Wert auf Null, und der Wert hat einen großen Wert verloren. Sagen Sie, dass der Wert auf Null gesetzt wurde.
Lassen Sie uns nicht vergessen, die kumulative Belohnung als Fackelvariable festzulegen, da wir es als Fackel Roybal
benötigen werden, da wir einen Gradienten mit berechnen diesbezüglich, weil die kumulierte Belohnung eine Bezeichnung
für den Wertverlust sein wird.
Ist diese Möglichkeit nun mit einem Farbverlauf an die dynamischen Graphen angehängt.
Und zum Schluss noch das letzte, was wir tun müssen, bevor wir die große Trendschleife beginnen, die Sie kennen, wenn wir uns
für die Gaszersetzung in der Sonne entschieden haben, um diese zwischen den Vorhersagen und Zielen zu reduzieren.
Nun, wir müssen die GAAP mit einer allgemeinen Vorteilsschätzung initialisieren und nicht erhalten oder unbeschichtet.
Seien Sie vorsichtig mit diesem GAAP. Die Variable, die wir gerade initialisieren, ist die
allgemeine Vorteilsschätzung.
Zur Erinnerung ist eine generalisierte Vorteilsschätzung per definitionem der Vorteil, die Aktion a durch Beobachtung
des Zustandes s zu spielen.
Es ist also eine Funktion der Aktion und des Zustands s und ist gleich der Differenz zwischen den
q-Werten Q A S und dem Wert der V-Funktion.
Also kann ich es eigentlich hier schreiben.
Die verallgemeinerte Vorteilsschätzung ist eine Funktion der Aktion und des Zustands s und ist gleich den q-Werten der
Aktion A und des Zustands S minus dem Wert der V-Funktion, die auf den Zustand s angewendet
wird.
Das sind die allgemeinen Vorteile, die zu erwähnen sind und die wir jetzt initialisieren möchten.
Und wir werden es auf Null initialisieren.
Aber es muss sich um Tänzer handeln, die den gleichen Trick anwenden würden wie das, was wir
gerade hier gemacht haben. Wir werden die Fackel-Bibliothek nehmen und auf die Funktion von Zebra anwenden, um sie als Tensor mit nur einem Wert
festzulegen, der Null ist.
Und wir werden diese neue Variable g verwenden, und diese wird gleich dem Brenner sein, der die Nullen eins eins
initialisiert.
Dies wird also auf Null initialisiert, und daher sind die q-Werte der Aktion s der Zustand s gleich
dem Wert der V-Funktion des Zustands s.
Gut.
Nun können wir die for-Schleife starten.
Also werden wir hier ein Abenteuer haben.
Also machen Sie eine gute Pause und wir sehen uns im nächsten Tutorial, um das anzugreifen.
Und so dann ich