Hallo und herzlich willkommen zu diesem Tutorial im heutigen Statoil.
Wir werden also natürlich immer noch die Funktion senden und dann die Länge einer Episode
initialisieren.
Wir werden also die Länge einer Episode nennen und diese Kernlängen, die wir gehen, und wir werden sie
auf Null initialisieren.
Dann wird diese gegenwärtige Länge jedoch inkrementell sein.
Apropos Inkremente sind genau das, was wir tun werden.
Wir werden also eine while-Schleife verwenden und mit diesem Trick sagen, während True Kallen wiederholt, was jetzt passiert,
was in dieser Welt passiert.
Das Erste, was in dieser Schleife passieren wird, ist also die Inkrementierung der Länge einer
Episode.
Das erste, was wir tun werden, wird um 1 erhöht. Um dies zu tun,
können wir einfach Episodenlängen nehmen und hier plus gleich 1 hinzufügen.
Und jetzt werden wir mit der Aktie mehr synchronisieren.
Das bedeutet, dass der Agent jetzt das gemeinsam genutzte Modell verwenden wird, um eine kleine Anzahl von
Schritten zu untersuchen, und wie das Modell dieses gemeinsam genutzte Modell erhält.
Nun, wir müssen unsere Moral als die nehmen und dann die Dick-Methode des Ladezustands verwenden, da wir sie dazu verwenden
werden, das Zustandswörterbuch unseres gemeinsam genutzten Modells abzurufen, also müssen wir das gemeinsam genutzte Modell zuerst setzen und dann die statische Methode
anwenden Rufen Sie die Parameter des gemeinsam genutzten Modells ab.
Und so wird unser Modell hier das gemeinsame Modell zu seiner kleinen Erkundung bringen.
Wenn das Modell nun dieses gemeinsame Modell erhält, müssen wir zwei Fälle unterscheiden.
Die erste ist wenn erledigt, was bedeutet, wenn das Spiel erledigt ist, dann ist das Spiel erledigt, was dann passiert.
Nun, wir müssen die verborgenen Zustände und die Zellzustände der LSD und des Einkaufszentrums neu initialisieren.
Aus diesem Grund nehme ich X die Zellzustände und altern auch X die verborgenen Zustände. Ich werde sie
neu initialisieren und wie werden sie neu initialisiert.
Nun, mit nur Nullen wird es einen Vektor von 256 Nullen geben, da sich die Ausgaben der übrigen erinnern.
Wie ich 1 und 256 erwähnte.
Also, los geht's, wir initialisieren sie mit der Brennerbibliothek und dann mit der Nullfunktion.
Und da wir einen Vektor von 256 Nullen haben wollen, hören wir die Dimensionen Eins für den Vektor und 256 für
die Anzahl der Elemente, die Nullen sein werden, und dann gehen wir weiter.
Aber dann werden wir das in einen Fackel-Voivode umwandeln, da dann einige Gradienten berechnet werden.
Also müssen wir dies mit einem Farbverlauf integrieren.
Gut.
Und wir werden das Gleiche für die versteckten Zustände gleich unten tun und sie auf die gleiche Weise analysieren.
Da gehen wir.
Das heißt, wenn das Spiel fertig ist.
Und nun der andere Fall, auf den wir mit Else zugreifen können, als in diesem Fall.
Nun, wir werden die alten Zellzustände und die versteckten Einsätze beibehalten, und so können wir
die alten auf diese Weise sehr leicht beibehalten, indem Sie X gleich der Variable cx eingeben. Diese Daten und das gleiche für die Zustände in den Staaten
können wir hier einfach H x gleich hinzufügen Variable xx, in der sich die Daten befinden.
Gut gemacht.
Jetzt können wir aus dem Anderen herauskommen, weil wir im Grunde mit diesen beiden Fällen fertig sind, unabhängig davon, ob das Spiel
zu Ende ist oder nicht, aber wir bleiben in der While-Schleife, weil wir jetzt einige weitere Dinge tun werden,
die im Grunde alles Training sind verarbeiten.
Wir initialisieren also einige Variablen, die im Mittelpunkt der Berechnungen des
Trainings stehen werden.
Lasst uns dies tun, brauchen wir die Werte, an die sich der Kritiker denkt.
Das ist die Funktion.
Und wir werden sie als leeres Nest initialisieren.
Auf diese Weise müssen wir die Wahrscheinlichkeiten mitnehmen.
Glück probs und wir werden es auch als leere Liste initialisieren.
Dann brauchen wir natürlich alle Wörter, die wir auch als leere Liste initialisieren.
Und schließlich brauchen wir die Entropie, etwas Neues.
Dies ist jedoch in der Tat das Herzstück der Trainingsbedingungen.
Also bis genauso gut.
Nun, da wir diese vier Variablen initialisieren, können wir eine neue FOR-Schleife starten und dieser Nymphal
aktualisiert dann die Werte dieser vier Variablen.
Und so wird diese neue Foluke über die Ablaufschritte ein volles Maß sein, und daher wird
die Schleifenvariable unsere Schritte sein.
Für einen Schritt innerhalb und innerhalb des Bereichs können wir also möglicherweise Punkte ohne Unterbrechungen direkt einfügen, da Parameter in einigen
Schritten genau die Anzahl der Beschleunigungsschritte ist.
Also für alle Schritte in der Beschleunigung Was machen wir?
Nun, wir werden die Vorhersagen des Modells erhalten.
Was nun vom Modell zurückgegeben wird, und um diese Vorhersagen zu erhalten, können wir das Modell
einfach auf die Eingänge anwenden, deren Eingangssignal durch die Gehirne des Modells geht.
Und das gibt uns die Ausgaben, aber es werden mehrere Ausgaben erhalten. Sie wissen, dass es uns die
Werte der Funktion liefert, die die Ausgabe des Kritikers ist.
Dann ist der Q-Wert QSA, der die Ausgabe des Schauspielers ist. Vergessen
Sie jedoch nicht, dass er auch den Umsturz von Doheny-Zuständen und kleinen
Zuständen ausgibt es gibt die Ausgabe des Kritikers zurück.
Das ist der Wert der Funktion ja, dann die Ausgabe des Aktors, welcher der Würfelwerte QSA und auch
die Ausgabe des CM, die diese doppelt überprüft, überprüft und X, dann Zustände und Zellzustände.
Wir müssen also vorsichtig sein.
Dies ist etwas anderes als das, was vorher passiert ist, und deshalb werden wir sie jetzt alle auf
die Eingänge anwenden, was der Zustand ist.
Aber jetzt gibt es mehrere Dinge zu tun, die mit Folter zusammenhängen.
Aber das gibt natürlich Kraft für das, was wir tun.
Als erstes müssen wir die Zustände zusammendrücken, um diese Dimension hinzuzufügen, die den Index 0 haben
muss.
Dies liegt daran, dass das Modell nur einen Stapel von Eingaben akzeptieren kann und nicht ein selbstständiges Ende in einem Vektor oder Intensivierer.
Das ist das erste, was wir tun und drücken müssen, aber dann ist das nicht alles, was
wir brauchen, um unsere Eingangszustände in eine Fackel umzuwandeln, und so bin ich hier.
Jetzt sind wir bei der Landespolizei, aber denken Sie daran, dass die Eingaben der vier Funktionen tatsächlich
das Eingabebild sind.
Das ist es, was wir gerade gemacht haben, aber auch für diese Art von Alter X, die Zustände und die Zellzustände, und deshalb
müssen wir hier hinzufügen.
Dieser zweite Teil des Beitrags mit seinem Aufruf zum Alter von X und 6 Jahren.
Gut.
Und wir müssen die Klammer aufnehmen.
Nun haben wir unsere zwei Eingaben. Der erste ist der Eingabezustand, bei dem alle Eingabebilder in variable
konvertiert und zusammengedrückt werden, um diese falsche Dimension des Stapels hinzuzufügen, und sie stoppen alle Zustände und
die südlichen Zustände.
Also sind wir alle gut zu gehen.
Wir sind bereit, unsere Vorhersagen zu erhalten.
Und jetzt seit dieser Rückkehr.
Nun, unsere drei Vorhersagen, der Ausgang des Kritikers, bis zum Schauspieler und die Spitze aller von
der CME erforderlichen Wiederherstellungen.
Nun, wir werden jetzt drei neue Variablen einführen, die drei Ausgaben freigeben.
Dann erhalten wir als ersten Ausgang den Wert der V-Funktion, der den Ausgang des Kritikers darstellt.
Wir werden es also so nennen.
Also los geht's.
Das ist die erste Ausgabe.
Dann wird die zweite Ausgabe die Ausgabe des Schauspielers sein.
Und das ist die Q-Werte von QSA.
Da die q-Werte jedoch den Aktionen zugeordnet sind, können wir sie auch Aktionswerte nennen.
Gut.
Und dann eine Ausgabe finden, die vom Morgen zurückgegeben wird.
Das ist das Doppelte der versteckten Umsatzsteuer und die Zellzustände siehe X, und dann haben wir drei Ergebnisse,
die alle perfekt zurückgegeben werden.
Nun, da wir die Voraussetzungen haben, müssen wir einen weichen Max verwenden, um die richtige Aktion zu spielen.
Und jetzt wird das genauso sein wie vorher.
Der nächste Schritt besteht darin, unsere Wahrscheinlichkeiten herbeizuführen, aus denen wir sie abrufen können. Dort haben wir die Max-Methode verwendet,
die wir von dem Funktionsmodul nehmen, das einen Schuss auf ff hat, der auf Max gerichtet ist und
eine Verteilung der Wahrscheinlichkeiten der Eingabe erzeugt dass wir gerade dabei sind, und natürlich
die tatsächlichen Werte, die die q-Werte sind, die die Ausgänge des Aktors im Modell sind.
Gelegentlich haben wir unsere Wahrscheinlichkeiten, aber wie Sie bemerkt haben, arbeiten wir mit der Entropie
und zusammen würde Entropie nicht nur die Wahrscheinlichkeiten, sondern auch die LUGG-Wahrscheinlichkeiten führen, da die Entropie
die Summe des Produkts Lucke prob ist. mal trub all dies multipliziert mit minus 1.
Und so müssen wir auch unsere Liebe dazu bekommen, welche von LUGG soft max erzeugt wird.
Anstatt eine Verteilung der Wahrscheinlichkeiten vorzunehmen, nehmen wir eine Verteilung der Wahrscheinlichkeiten
auf, und das tun wir mit LUGG Soughed Kocks der Optimax-Funktion, um zu sagen, dass wir den Cube anwenden und verwenden, was
wir die Aktionswerte nennen.
Also gut, jetzt haben wir das Problem und die Schließung.
Und so sind wir bereit, die Entropie und die Entropie zu erhalten.
Wie lautet die Formel dafür?
Nun, wie ich gerade erwähnte, nehmen wir das Glück, dass wir mit dem Produkt multiplizieren.
Dann nehmen wir die Summe von all dem und wir können hier hinzufügen, dass wir die Straße
jetzt oft benutzen.
Und wie gesagt, multiplizieren wir dies mit minus 1.
Es ist also das Minus der Summe des Produkts.
Viele Male
Perfekt.
Und jetzt speichern wir diese gerade berechnete Entropie in unserer Entropieliste.
Da haben wir die letzte Berechnung der Entropie.
Deshalb müssen wir es in der Entropies-Liste speichern. Um dies einfacher zu machen, werden
wir natürlich die Append-Funktion verwenden, da Entropies eine Liste sind.
Also nehmen wir unsere Entropieliste, beginnen dann und fügen mit der Anfügefunktion die Entropie
der berechneten hinzu.
Also gut, also machen wir jetzt eine Pause.
Wir werden dies Schritt für Schritt in der nächsten Geschichte tun und die Aktion spielen, indem
sie die erzeugte Wahrscheinlichkeitsverteilung zufällig zieht.
Und nachdem wir die Aktion gespielt haben, werden wir den Wert dieses Zustands erhalten und schließlich die
Belohnung für unsere neuen Übergangszustände speichern.
Damit ist ein neuer großer Schritt getan und wir werden das in der nächsten Hürde vollenden.
Bis dahin ich