Sind Sie bereit?
Lassen Sie uns dies tun. Beginnen wir mit der Installation aller Systemabhängigkeiten für Vista.
Klicken Sie auf diese Wiedergabetaste. Jetzt werden alle Abhängigkeiten wie Pelo oder ZIPPI sowie einige andere Abhängigkeiten installiert,
die erforderlich sind Führen Sie dies erfolgreich aus.
Aber alle anderen, wie PLI für die Fitness-Module, sind bereits installiert.
Das ist wirklich großartig.
Das ist wirklich das Schöne an gutem Kulam, und dank dessen hat keiner von Ihnen Probleme, den
Code auszuführen und das Endergebnis zu visualisieren.
Gut.
Das wird also tatsächlich ein oder zwei Minuten dauern.
Also werde ich hier und jetzt nur schnell vorspulen.
Wir sehen uns sehr bald für den Rest der Ausführung des Codes.
In Ordnung, wir scheinen am Ende der Installation der Systemabhängigkeiten zu sein, wie
Sie sehen können, werden sie heruntergeladen und installiert, während sie mit den richtigen Anforderungen erfasst werden.
Und in wenigen Sekunden sollte es erledigt sein.
Richtig.
Und mal sehen, drei, zwei.
Na, bitte.
Alles erfolgreich installiert.
Machen Sie sich hier keine Sorgen über diese Fehler.
Sie haben keinen Einfluss auf die Ausführung des Codes, aber alles wird erfolgreich installiert, so wie wir es möchten.
Gut.
Also jetzt nächster Schritt, sehr wichtig.
Schauen Sie sich diesen wichtigen Hinweis an.
Es heißt, dass Sie nach der Installation aller Benz, im Grunde nach dem Ausführen dieser ersten Zelle hier,
Ihre Laufzeit neu starten müssen.
Andernfalls werden hier einige Ausführungsfehler angezeigt.
Also lass es uns schnell machen.
Es ist sehr einfach.
Sie müssen nur hier auf Laufzeit klicken und dann die Laufzeit neu starten und dann.
Ja.
Gut.
Dadurch wird Ihre Laufzeit wiederhergestellt. Jetzt können Sie alle diese Zellen ausführen, indem Sie einfach auf die Wiedergabetaste
klicken.
Beginnen wir also mit dieser ersten Dateibildvorverarbeitung.
Gut.
Importieren wir also zuerst die Bibliotheken und verarbeiten dann die Bilder mit der Bildklasse vorverarbeiten.
Und jetzt sind wir bereits zur Implementierung der Erfahrungswiederholung übergegangen, also zu dieser.
Gut.
Also lass uns das machen.
Wir importieren zuerst die Bibliotheken und definieren dann einen Schritt der Umgebung.
Dann machen wir die A. ICH. Fortschritte bei mehreren Schritten und Schritten mit der Fortschrittsklasse für den
letzten Schritt genau so, wie wir sie im Ordner haben.
Und dann implementieren wir die Erfahrung, die wir spielen, indem wir diese Wiederholungsspeicherklasse erstellen.
Gut.
Alles gut.
Und jetzt gehen wir zum dritten Foul über.
Dieser A. ICH. Angenommen, ich hatte mich beworben und wir importieren dann zuerst die Bibliotheken.
Gut.
Hier dauert es also ein wenig, weil wir alle Brennermodule importieren, dann importieren wir die Pakete zum
Öffnen und tun dies mit dem Fitnessstudio und der Weisheit, Jim.
Und die Verpackung ist alles gut.
Und dann fahren wir mit Teil 1 fort, Gebäude II, wo wir das Gehirn, dann
den Körper herstellen und dann alles zusammenbauen.
Lassen Sie uns also zuerst das Gehirn mit der CNN-Klasse in Ordnung bringen, dann den Körper mit der
Softmax-Körperklasse und dann die KI mit einer Klasse.
Gut.
Also alles gut.
Und jetzt sind wir bereit, mit Teil zwei fortzufahren.
Werden wir die KI natürlich mit tiefem Faltungs-Q-Lernen trainieren?
Gut.
Also Executive, genau wie das, was wir hier haben.
Wir bekommen zuerst die Doom-Umgebung mit unseren neuen Modulen mit Doom.
Mach dir darüber keine Sorgen.
Dies ist kein Fehler.
Dann werden wir das A bauen. ICH. durch Integrieren der verschiedenen Objekte, um CNN, die Körper des Max-Körpers
und das gesamte A einzubringen. ICH. das Gehirn und den Körper enthalten.
Gut.
Habe ich das ausgeführt?
Ja.
Dann machen wir Erfahrung.
Wir spielen mit Insteps und dem Speicher als objektivem Wiedergabespeicher und implementieren dann den
Berechtigungs-Trace.
Gut.
Um die Leistung zu verbessern.
Dann machen wir den gleitenden Durchschnitt in hundert Schritten mit der Klasse M a.
Und schließlich, meine Freunde, sind Sie bereit?
Nun, dies ist jetzt Zeit für den sehr aufregenden Teil, in dem wir das A trainieren werden. ICH. über zwanzig Dollar.
Gut.
Sie werden also sehen, dass dies schon ein bisschen lang sein wird.
Weißt du, es wird ungefähr ein oder zwei Stunden dauern, weil ich die Abmessungen vergrößere. Wenn du
das zu lange findest, kannst du die Emissionen auf achtzig mal achtzig reduzieren.
Aber glauben Sie mir, Sie werden viel bessere Videos mit diesen Dimensionen haben.
OK, bist du bereit?
Lassen Sie uns dies in drei zu einem Schritt tun.
Gut.
Dies wird also den Code des Trainings ausführen und in wenigen Sekunden sollten wir in der Lage sein, die erste
Epoche zu sehen, die natürlich eine negative Belohnung haben wird.
Aber Sie werden sehen, dass die Belohnung im Laufe der Epochen nach und nach zunimmt,
bis positive Belohnungen erreicht werden und dann Hunderte von Belohnungen erreicht werden.
Nun, lasst uns das eigentlich anstreben.
Hoffen wir, dass wir mit achtundzwanzig Dollar eine letzte Belohnung bei einigen hundert haben, wissen Sie, wie 100
oder 200 oder 300, denn mit diesen Belohnungen habe ich tatsächlich mit ihnen experimentiert.
Ja.
Erstens eine negative Belohnung minus achtundneunzig.
Ich sagte also, dass wir mit Belohnungen bei etwa 100, 200, 300 bereits einige großartige Ergebnisse erzielen werden.
Weißt du, wir werden sehen, wie die AA es schafft, einige Monster zu töten oder ihnen auszuweichen
oder sich auf die Weste zuzubewegen.
OK, das ist das erste Buch, eins minus achtundneunzig.
Und dann wissen Sie, wir werden bei Buch Nummer zwei mit vielleicht schon einer besseren Belohnung sehen.
Aber zu Beginn ist die UVP natürlich nicht geschult.
Es erforscht die Umwelt.
Richtig.
Erinnern Sie sich an diesen Kompromiss zwischen Lernen, Erforschung und Ausbeutung?
Nun, am Anfang ist die Idee rein erforschend und dann wird sie trainieren
und dann wird sie immer kleiner und dann wird sie eine hohe Belohnung erreichen.
Es ist also völlig in Ordnung, am Anfang negative Belohnungen zu haben.
Vielleicht bekommen wir das.
Während der drei ersten Epochen, aber dann werden Sie sehen, dass wir nach einer Zahl von vier,
fünf oder sechs beginnen werden, vielleicht positive Belohnungen zu erreichen und dann hoffentlich Belohnungen bei etwa 100, 200 oder 300.
OK, also wird es eine Weile dauern, wie ich sagte.
Wir werden also nicht zwei Stunden hier bleiben, sonst werden mir die Dinge ausgehen, die ich sagen kann.
Also werde ich jetzt eine lustige oder coole Musik machen und los geht's, Epoche Nummer zwei, minus
62.
Es gibt also bereits einige Verbesserungen.
Das ist gut.
Aber Sie werden sehen, dass es noch bessere Verbesserungen geben wird.
Je weiter wir in den Epochen kommen.
OK, was habe ich gesagt?
Ja, ich werde jetzt coole Musik machen und das Training im beschleunigten Modus spielen.
Und natürlich sehen wir uns am Ende des Trainings, um die Endergebnisse zu sehen.
Gut.
Also los geht's.
Drei zu eins gehen.
In Ordnung, und hier sind wir am Ende des Trainings. Herzlichen Glückwunsch, Sie haben ein tiefgreifendes, faltungsorientiertes Lernmodell für
eine sehr herausfordernde Anwendung trainiert, nämlich das Spiel des Untergangs zu spielen.
Also, wofür soll ich sagen?
Nun, wie wir es uns erhofft hatten, erreichten wir eine durchschnittliche Belohnung von mehr als 100.
Dann ist es natürlich wichtig zu sagen, dass Sie mit mehr Epochen höhere Belohnungen erhalten.
Wenn Sie beispielsweise bereit sind, dieses Modell für mehr zu trainieren, sieht es nach 100 Epochen oder sogar
mehr aus, um Belohnungen von mehr als 300, 400, 500 oder sogar 1000 zu erreichen.
Fühlen Sie sich frei, es zu tun.
Zum Beispiel können Sie dies für die Nacht laufen lassen, während Sie schlafen.
Und wenn Sie morgens aufwachen, erzielen Sie bessere Ergebnisse.
Beachten Sie, dass Sie diese auch in der Laufzeit-GPU verwenden können.
Wenn Sie den Laufzeittyp ändern, was ich nicht tun sollte, da sonst das Notebook neu gestartet wird.
Aber im Hardwarebeschleuniger hier können Sie zwischen GPU und sogar Tipu wählen, aber das ist nur möglich, wenn Sie,
wie Sie wissen, die Leistung optimieren und ein super hartes Training absolvieren möchten.
Aber hier habe ich nur eine klassische Sache verwendet, weil ich Ihnen nur zeigen möchte, wie man das alles ausführt.
Und los geht's.
Jetzt werden wir den Rest der Arbeitsmappe mit diesem zusätzlichen Code ausführen, der nur für diesen Code spezifisch ist, diesem
Notizbuch, in dem wir natürlich AA in Aktion visualisieren werden.
Gut.
Also lass uns das machen.
Importieren wir zunächst die Bibliotheken.
Richtig.
Alles gut.
Dann werden wir die Eingabeform und eine Reihe möglicher Aktionen drucken.
Gut.
Hier werden wir also tatsächlich feststellen, dass wir sieben mögliche Aktionen in der Doom-Korridor-Umgebung
haben.
Das sind also vorwärts, rückwärts, links, rechts, schießen und dann vielleicht sich selbst oder was auch
immer schützen.
Ich weiß nicht, was die letzte Aktion ist, aber so ähnlich, dann sind dies die
Dimensionen des Eingaberahmens.
Dies entspricht der Höhe des Rahmens.
Es hat 240 Pixel Höhe.
Das entspricht der Breite des Rahmens, oder?
Es ist dreihundertzwanzig groß.
Und das entspricht, wissen Sie, der Tatsache, dass wir mit farbigen Bildern arbeiten und die drei
hier den drei Elementen unserer Kanäle entsprechen.
Also gut, dann führen wir die nächste Zelle aus, in der ein Rahmen der Umgebung angezeigt wird, um zu sehen, wie
es ist.
Denken Sie daran, dass dies nützlich ist, um die Umgebung zu sehen, mit der Sie arbeiten.
Richtig.
Hier sehen wir also, dass wir uns im Dume Corridor befinden.
Wenn Sie hier jedoch mit weiteren Umgebungen experimentieren möchten, denken Sie daran, dass diese auch
auf der Hauptseite hier aufgeführt sind.
Genau hier.
Ja.
Sie haben alle Listen der Umgebungen, mit denen ich experimentieren möchte.
Weißt du, wenn du dir einen anderen ansehen willst, weißt du, ich kann dir zeigen,
dass wir diesen bekommen, und dann gehe ich zurück zu diesem Zoomkorridor.
Richtig.
Also, wenn ich das durch dieses ersetze.
Richtig, und ich führe dies gut aus, diesmal werden wir drei Aktionen erhalten, natürlich ist es einfacher, und
wenn wir dies gut ausführen, werden wir diese Umgebung sehen, richtig.
Es ist also nur eine Möglichkeit, schnell zu sehen, mit was Sie arbeiten, und eine Vorschau zu erhalten, was der ACA
in der Umgebung tun wird.
Gut.
Also gehen wir zurück in die Ecke.
Lassen Sie uns dies jetzt ausführen, falls wir es für den nächsten Verkauf benötigen.
Alles klar, perfektes Schicksal, Cawdor.
Kommen wir nun zu den endgültigen Verkäufen.
Dies ist eine Hilfsfunktion, die für die Visualisierungen verwendet wird.
Lassen Sie uns also den Verkauf ausführen und nun die Idee für eine Episode ausführen.
Und hier werden Sie in der Lage sein, den Code zu verstehen, weil es im Grunde genommen
der Prozess ist, die Luft laufen zu lassen und eine vollständige Episode, in der es bei jedem Schritt in einem bestimmten Zustand
in Aktion gespielt wird der Staat.
Dann wird es die Belohnung bekommen und dann das nächste Datum erreichen.
Richtig.
Das ist also der klassische MGP-Prozess, richtig.
Marktentscheidungsprozess.
Und so geht es los.
Das ist für eine Episode gemacht.
Und schließlich werden wir das Video des Spiels unseres A bekommen. ICH. , der für zwanzig Dollar trainiert wurde,
konnte mehr als 100 Belohnungen erreichen, was uns einige ziemlich gute Ergebnisse bringen wird, aber vielleicht nicht die besten
erreichen wird.
Aber es ist ok.
Sie werden das selbst experimentieren.
Und jetzt möchte ich, dass Sie hier auf die Schaltfläche klicken, da ich Ihnen zeigen möchte, wie das
Video gefüllt ist.
Das sind also einige Ordner, die einige Elemente wie die Frames, die Frames der Ergebnisse
oder einige Jasen-Dateien enthalten.
Aber wirklich, was interessiert, ist das endgültige Video.
Und um es zu bekommen, müssen wir hier nur auf die Wiedergabetaste klicken und Sie werden sehen, dass es hier
im Hauptordner ausgefüllt wird.
Verpassen Sie es nicht.
Und es ist in Ordnung.
Sie wissen, es sieht so aus, als ob die Zelle bereits ausgeführt wurde, was der Fall ist.
Aber Sie werden sehen, dass wir in wenigen Sekunden einen Avatar sehen werden, eine Videodatei, die hier ausgefüllt wird.
Es erscheint in etwa zehn Sekunden.
Ich kann sogar einen Countdown machen, wenn Sie wollen.
Also lass uns das machen.
Und zehn, neun, acht, sieben, sechs, fünf, vier, drei, zwei, eins gehen.
Und jetzt sollte es wirklich in ein paar Sekunden erscheinen.
Ja, los geht's.
Gut.
Also Agent Gameplay, diese Idee, das ist dein Video.
Laden wir es also herunter und es wird auf Ihren Computer heruntergeladen, den ich hier finden werde.
Richtig.
Das ist das Video-Agent-Gameplay, das Evia unbedingt mit einem Video-Player mit Codecs wie VLSI
öffnet.
Richtig.
Es funktioniert nicht mit dem Quick Time Player, wenn Sie einen Mac verwenden, aber es funktioniert definitiv mit VLCC.
Schauen wir uns das an.
Und hier ist das Video.
Gut.
Lassen Sie mich hier einfach die Pause drücken.
Gut.
Also hier ist das Video.
Und wie Sie sehen können, sind dies die 256 x 256 Abmessungen des Rahmens.
Wie Sie sehen können, ist es nicht sehr groß.
Richtig.
Deshalb wollte ich wirklich mit diesen Dimensionen arbeiten, anstatt 80 mal 80.
Schauen wir uns jetzt das Video an.
Das ist also der A. ICH. Wenn du in einer Episode Doom spielst, muss vermieden werden, dass die Monster nicht getötet werden.
Es muss vorwärts gehen, um das Beste zu erreichen.
Mal sehen, wie es drei zu eins geht.
Also gut, zuerst wird es geschlossen, es bewegt sich vorwärts, OK, und dann wurde es von den Monstern getötet, aber das
ist immer noch ziemlich gut.
Weißt du, es hat verstanden, dass es sich in Richtung Westen bewegen musste, weil die höchsten Belohnungen gut sind,
wenn man die Weste erreicht.
Und natürlich wissen Sie, wenn Sie wirklich sehen möchten, wie das Video Ihrer Luft die Weste erreicht und
bei diesem Spiel gewinnt, müssen Sie Ihr Auge auf weitere Epochen trainieren und vielleicht sogar eine andere Art von Verbesserung vornehmen, wie z
Stimmen Sie Ihr Gehirn des A. ICH. oder eine Parametereinstellung durchführen, z. B. die
Lernrate einstellen.
Nun, Sie haben viele Möglichkeiten, wenn einer von Ihnen ein fantastisches Video oder, wie Sie wissen, das Video von A erhält. ICH. zum Beispiel eine Belohnung
von mehr als 1000 erreicht zu haben.
Fühlen Sie sich frei, es in den Fragen und Antworten zu teilen.
Ich bin sicher, andere Studenten werden sich sehr darüber freuen.
Gut.
Ich hoffe, Ihnen hat die Implementierung des tiefen, konvolutionellen Lernmodells gefallen.
Jetzt fahren wir mit dem nächsten Teil fort, in dem es um die Implementierung
des H3C-Modells und eines noch besseren und leistungsstärkeren Modells geht, das für das Breakout-Spiel implementiert wird.
Also wir sehen uns im nächsten Teil.
Und bis dahin genießen Sie A. ICH..