Hallo und herzlich willkommen zur Geschichte.
Jetzt machen wir die for-Schleife, um den Politikverlust und den Wertverlust zu berechnen, und sobald wir diese
zwei Lektionen haben, können wir unseren Optimierer verwenden, um Zigarette in den Sand zu bekommen, um
die Verluste zu reduzieren.
In Ordnung, also gehen wir.
Wir fangen hier übrigens im vorherigen Tutorial an, dass wir diesen Abschnitt implementiert haben, und ich habe vergessen,
die Einrückungen zu entfernen.
Also von hier aus geht es nicht im Herbst.
Und jetzt beginnen wir eine neue vollständige Schleife, also fange ich hier mit vier an.
Jetzt werden wir mit dem letzten Schritt der Erkundung beginnen und in
der Zeit zurückgehen.
Das ist der Grund, warum ich für die Landbelohnungen mit umgekehrter Reichweite die größten Belohnungen am wenigsten mache.
Und da jeder Schritt der Erkundung damit zusammenhängt, wo wir arbeiten, weil wir bei jedem Schritt eine Belohnung erhalten, wenn
wir dann Worte sagen.
Ist diese Anzahl von Schritten und diese Umkehrung wird hier verwendet, damit wir uns in der Zeit zurückbewegen können, damit wir gehen.
Jetzt aktualisieren wir die kumulative Belohnung, die weit ist, und wir werden sie auf diese Weise
aktualisieren.
Das ist eigentlich dasselbe, was wir für Doom gemacht haben.
Es ist gleich dem Gamma, das wir aus unseren Parametern erhalten und aus ersten Programmen, die nicht weit entfernt sind, und der
Belohnung davon, die wir erhalten können, wenn wir die geringste Belohnung nehmen und den Index nehmen.
Für uns wird dies also die Arbeit des Letzten sein und dann die Belohnung des Vortages usw.
und jedes Mal aktualisieren wir unsere durch Multiplikation mit gamma und fügen diese Belohnung dann am Set hinzu.
Wenn wir dies tun, werden wir am Ende kommen.
Also werde ich es schreiben, sobald sie kommen, und wir werden unsere Community-Belohnung erhalten, die am Ende
der Schleife zu unserer Null kühlen wird.
Die Belohnung von Schritt Null plus Gammazeiten ist eins.
Wir waren die ersten, die plus Gamma-Quadratzeiten zu Wort kommen.
Der zweite Schritt plus das plus Gamma bei der Potenz von und minus einmal die in Schritt und Minus 1 erreichte Belohnung,
wobei eine beliebige Anzahl von Schritten vorhanden ist. Am Ende sollten Sie jedoch vorsichtig
sein.
Male den Wert der Funktion ab, die auf den letzten Status angewendet wurde.
Darauf sollten wir uns noch einlassen.
Und das werden wir bekommen, weil wir wissen, hier haben wir diesen Wert und den letzten Schritt, weil dies am Ende
dieser for-Schleife hier gemacht wurde.
Und so haben wir den Wert bekommen und setzen diesen Wert gleich.
Also gerade jetzt am Anfang der zweiten vollen Schleife ist hier dieser Wert des letzten Datums
gleich.
Aber dann, wenn wir dies tun, bekommen wir am Ende gleich oder null Prozent oder ein oder zwei
Tennisplätze und können die Leistung und das Minus addieren, die wir bei Schritt und minus eins plus
Spiel bei der Potenz hatten Schritt mal diesen Wert der Lastings.
Das ist also die Hauptsache zu verstehen, und dies kann die Wirkung der kumulierten Belohnung sein.
Aus diesem Grund ist es wichtig, mit der Initialisierung oder mit dem Here und dem Ausführen dieser umgekehrten Schleife
zu beginnen, um diese endgültige Gleichung zu perfektionieren.
Und jetzt haben wir den richtigen Wert für die kumulierte Belohnung. Nun, wir werden den Vorteil berechnen und
der Vorteil hier ist nur der Vorteil, diese Belohnung im Vergleich zu ihnen zu erhalten.
Ich werde also einen evolvierbaren Vorteil einführen und daher dieser kumulativen Belohnung minus dem Wert der
V-Funktion entsprechen, die auf der Stufe erhalten wurde.
Das sind also unsere Minuswerte.
Perfekt.
Und jetzt haben wir die Gemeinschaft, in der wir arbeiten, und den Vorteil, dann können wir den Wertverlust erzielen.
Dies ist der erste, den wir jetzt bekommen können.
Also werden wir unseren Wert sehr gut machen und dies wird auf folgende Weise aktualisiert.
Denken Sie daran, dass uns die Abwertung auf null zurückgesetzt wurde.
Und so nehmen wir den Wertverlust wieder auf und bei 0. 5 x das Quadrat zum Vorteil, damit wir es so bekommen
können.
Vorteil auch gedacht.
Das bedeutet also, den Vorteil der Leistung gegenüber auszugleichen und das ist genau der Wert plus
den Verlust, der durch die Vorhersagen des Wertes der Funktionsausgaben des Baches erzeugt wird.
Und so macht es Sinn, dass dies abgewertet wird, nur weil sich der Vorteil der Aktion im Zustand
s in der Differenz zwischen dem Q-Wert und dem Wert der B-Funktion befindet.
Wenn wir also die optimale Aktion spielen Nun, wir bekommen den stationären Zustand mit Q optimal von der optimalen
Aktion, in der ein Starspieler den optimalen Wert hat.
Vistar des Staates s.
Es ist also ganz intuitiv zu verstehen, dass es einen Unterschied zwischen diesen beiden gibt, wenn der Vorteil
nicht gleich Null ist.
Und so wird das Letzte gemessen.
OK.
Also ganz zuletzt ein letztes down down berechnet.
Wir haben jetzt noch einen Schritt vor uns.
Es ist der Politikverlust, und das ist es, was wir jetzt berechnen werden, und
um das zu berechnen, müssen wir die allgemeine Vorteilsschätzung noch einmal in Betracht ziehen, denn um den Politikverlust zu berechnen,
müssen wir eine allgemeine Vorteilsschätzung machen und die allgemeinen Vorteile der Nation erzielen Wir brauchen zuerst die zeitliche
Differenz der Stufenventile.
Wir haben also mehrere Dinge zu berechnen, und wir werden mit dieser zeitlichen Differenz beginnen, sobald wir die
zeitliche Differenz erhalten.
Wir werden die allgemeine Vorteilsschätzung erhalten und sobald wir die allgemeinen Vorteile erhalten haben, werden
wir die Halbinseln erhalten.
Gut.
Beginnen wir also mit der zeitlichen Differenz T. G. DD ist gleich der Belohnung von Schritt
I plus Ghana, die wir in unsere Programmliste aufnehmen. Bromstad gamma multipliziert den Wert dieser Schuld plus eins,
und wir fügen diese Daten hinzu, um darauf zuzugreifen, abzüglich des Wertes von Schritt I und der Addition die Daten.
Gut.
Das ist die Formel der zeitlichen Differenz und der Zustandswerte.
Und jetzt können wir die allgemeine Vorteilsschätzung aktualisieren und wie ist sie datiert.
Nun, wir nehmen R-GA und multiplizieren es mit Gamma-Parametern, so dass wir auch auf unsere Parameter zugreifen
können.
Also nehmen wir Programme Zelle und addieren diese zeitliche Differenz der Zustandswerte.
Also sei vorsichtig.
Wir sind auf dem Laufenden.
Und jedes Mal multiplizieren wir das Nach und nach und fügen einen zeitlichen Unterschied hinzu.
Daher ist es wichtig zu verstehen, dass am Ende dieser Schleife die allgemeine
Vorteilsschätzung gleich der Summe aller Schritte der Gamma-Zeiten ist, so dass die Potenz von i-mal der zeitlichen Differenz im Schritt durch so wichtig
ist, um dies zu halten im Verstand
Und jetzt, da wir die allgemeine Vorteilsschätzung und den allgemeinen Unterschied haben, können wir
die Richtlinie schließlich berechnen.
Also lass uns das tun.
Wir werden unsere Richtliniengesetze folgendermaßen aktualisieren, indem wir die alte Richtlinie für uns übernehmen, und wir ziehen die LUGG-Wahrscheinlichkeiten
ab, die in dem Schritt erhalten werden, den wir mit dieser verallgemeinerten Vorteilsschätzung multiplizieren, die wir in eine Variable eingeben
müssen, da wir dann berechnen die Farbverläufe
Es muss also an Gradienten in der Grafik angehängt werden und wir fügen dann minus 0 hinzu. 1 mal die Entropie.
Die Entropie, die bei der Stufe im Fall erhalten wird.
Und wieder.
Nun sei vorsichtig.
Dies ist das Innere der Schleife, was bedeutet, dass Sie am Ende der Grippe eine Richtlinie
plus einige Minuspunkte über die Schritte des Produktaufkommens der Richtlinie zu den Schrittzeiten zu einer allgemeinen Vorteilsschätzung
erhalten.
Plus diese 0. 01 mal macht die Entropie das so dass wir bekommen.
Und was ist nun die Politik des Ich
Nun, das sind die weichen Max-Wahrscheinlichkeiten der Aktionen und die Entropie davon, dass ich Sie wissen werde, was es
ist, wo wir früher berechnet haben.
Und was wollten wir auflisten.
Das haben wir also schon.
Aber dieses Jahr höre ich die weiche Max-Wahrscheinlichkeit der Aktionen.
Und warum setzen wir hier ein Minus.
Das liegt daran, dass das Glück der Wahrscheinlichkeit und der Entropie negative Werte sind.
Und da wir ihren absoluten Wert minimieren wollen, müssen wir dies als LUGG-Wahrscheinlichkeit und nicht als
Distanz betrachten.
Nein, wir möchten die Wahrscheinlichkeit der Aktion maximieren, die den Vorteil maximiert.
Das ist die ganze Idee dahinter.
Wir möchten die Wahrscheinlichkeit maximieren, die Aktion zu spielen, die den Vorteil maximiert, und für diejenigen
von Ihnen, die sich fragen, was der Zweck dieser Entropieeffizienz ist.
Es gibt diesen Faktor 0. 01 hier.
Nun, es ist nur der Zweck, zu verhindern, dass es zu schnell in eine Falle fällt, in der wir eine
Wahrscheinlichkeitsverteilung mit Nullen für alle Aktionen haben, außer einer, die eine Wahrscheinlichkeit von Eins hat.
Und wenn das passiert, würde dies die Entropie verringern.
Deshalb fügen wir diese kleine Version 0 hinzu. 01 Jahr, das die Entropie im Großen in
dem Sinne erhöhen wird.
OK, jetzt ist die gute Nachricht, dass der schwierigste Teil getan wird.
Wir haben die beiden Verluste, und deshalb müssen wir jetzt nur noch etwas tun, und wir wissen bereits, wie man das macht, wenn
wir nur eine Note in dem Sinne erhalten, um diese beiden Klassen zu reduzieren.
Also, was wir jetzt tun werden, ist diese Schleife zu verlassen und wir werden unseren Optimierer nehmen.
Das, was wir separat gemacht haben, erinnert uns daran, dass wir als Erstes
alle Grading-Parameter auf Null initialisieren müssen. Dazu addieren wir das dann zu Null und nennen uns Grad-Methode.
Also gut, das ist dann erledigt.
Jetzt führen wir eine Rückwärtsausbreitung durch, aber wir werden der Richtlinie zuletzt doppelt so viel
Bedeutung beimessen wie der Wertverlust, da die Richtlinie kleiner ist.
Um dies zu tun, setzen wir die Richtlinien in Klammern und die Punktzahl plus plus 0. 5 Wertverlust also 0. 5-mal mehr Wert für uns, und wir werden
hier hinzufügen, dass wir die Rückwärtsmethode anwenden, um eine Rückwärtsausbreitung durchzuführen, und dank dieses Tricks hier, mit
weniger als der Hälfte des Wertes, den wir doppelt so wichtig für
die Richtlinie haben als die Vaness.
OK, dann werden wir einen anderen Trick anwenden, nämlich zu verhindern, dass der Gradient extrem große
Werte annimmt und somit den Algorithmus generiert.
Und der Trick dazu ist, zuerst unsere Fackel-Bibliothek, dann das Ende und das Modul
aus der Fackel-Bibliothek, dann das Utils-Submodul zu erhalten, und jetzt werden wir eine Funktion verwenden, die CLEP unterstreicht, Grads auf
der Score-Norm, und wir werden unsere eingeben Modellparameter mit einer zweiten Eingabe, die 40 sein wird.
Dieser Trick stellt im Grunde sicher, dass die Gradienten keine extrem großen Werte annehmen und
den Algorithmus generieren.
Und für diejenigen von euch, die sich fragen könnten, ob diese 40 Jahre.
Genau.
Nun, das bedeutet nur, dass wir diese Werte verwenden, also liegt der Normalwert des
Gradienten zwischen 0 und 40 und daher verhindern wir, dass der Gradient zu große Werte annimmt.
OK, jetzt sind wir fast fertig.
Denken Sie daran, dass wir diese gemeinsame Gretz-Funktion zu Beginn des Absturzes erstellt haben, um sicherzustellen, dass der Agent
und das gemeinsam genutzte Modell die gleichen Farbverläufe aufweisen, und um dies sicherzustellen, damit wir diese Funktion
hier anwenden können.
Und so werden wir die Absolventen hinzufügen und mit Sicherheit teilen, um sicherzustellen, dass das Moral und das gemeinsame Modell die gleichen
Verläufe haben.
Also gut, das ist nur eine Vorsichtsmaßnahme.
Ich bin mir nicht sicher, ob das absolut notwendig ist, aber Sie wissen zumindest, dass wir hier kein Problem bekommen.
Okay.
Und als letztes letzte Codezeile werden wir natürlich den Optimierungsschritt durchführen, um die Verluste zu
reduzieren. Sie wissen, wie es geht. Natürlich nehmen wir unseren Optimierer und fügen diesen Schritt mit Klammern hinzu und
dann gehen wir zum Training unseres Gehirns Über.
Also herzlichen Glückwunsch.
Ich hoffe, das war nicht zu überwältigend.
Keine Sorge, ich werde den Code mit allen Kommentaren versehen.
Wenn Sie also ein Detail verpasst haben, können Sie sich die Kommentare ansehen.
Und mach dir keine Sorgen, wenn du nichts verstanden hast, das ist sehr fortgeschritten.
Aber seien Sie versichert, dies ist auch der mächtigste Erinnerungsbesuch des Erstellers von Pi.
Also arbeiten wir hier wirklich mit den Besten.
Nach dem Stand der Technik ist es also völlig normal, wenn Sie beim ersten Mal nicht alles bekommen haben, aber wenn
Sie oft daran arbeiten, werden Sie auf jeden Fall mehr und mehr Komfort haben.
Jetzt sind wir mit dem Training fertig.
Grundsätzlich haben wir also die wichtigsten Dinge gemacht, von denen Sie wissen, dass wir das Gehirn gemacht haben, indem wir die Architekturen
der neuronalen Netzwerke mit den Konvolutionen LCN und den vollständig verbundenen Schichten aufbauen.
Wir haben sein Gehirn trainiert, indem wir diesen Zugcode hier erstellt haben.
Im Grunde ist das Herzstück des Algorithmus getan.
Sie haben den A3 Glückwunsch gezeigt.
Jetzt haben wir noch ein paar Dinge zu tun, aber das ist nur der Spaß Teil.
Sie wissen, wir müssen diesen Test machen, den wir gefunden haben, um die Agenten zu testen und die Videos und
den Flugzeugausbruch bereitzustellen.
Es wird also sehr lustig zu sehen sein, wir werden nicht alle Zeilen dieses Tests, die ich gefallen bin, kodieren, weil wir,
wie gesagt, das Wichtigste getan haben.
Alle verwandten 23C, aber ich werde natürlich den Code erklären, und irgendwann haben wir das gefunden, was ich gefunden habe, das
den Code ausführen wird.
Und ab dem Moment, in dem wir diesen Code ausführen, wird der gesamte Code generiert.
So werden die Gehirne gemacht.
Das Training wird stattfinden und das Auge wird neue Breakout-Spiele spielen, und wir werden alle Videos erhalten.
Ich kann es kaum erwarten, sie irgendwann zu sehen.
Wir werden sehen, ob er schlau genug ist, den Ball zu fangen.
Jetzt werde ich das nächste Tutorial für diese Desktop-Benutzeroberfläche sehen, damit wir die KI bei einigen neuen Spielen
testen können.
Und bis dahin genießen Sie AI.