Hallo und willkommen zurück.
In der letzten Vorlesung haben wir die eigentliche Definition unserer Umwelt, die Darstellung unserer Werte,
unsere Bestrafung in Belohnungen und unser Handeln in der Umwelt abgeschlossen oder abgeschlossen.
In diesem Vortrag möchte ich das Training vorstellen, die Idee dahinter, wie man das Modell trainiert,
und Ihnen den Einstieg erleichtern.
Und dann geben Sie in der nächsten Vorlesung die Lösung und eine weitere Aufschlüsselung der beteiligten Schritte.
Also müssen wir das Modell trainieren, was für das Training erforderlich wäre.
Dies ist ein Ansatz, den wir für die folgenden Schritte zum Trainieren des Modells verwenden können.
Wir möchten einen zufälligen nicht-terminalen Zustand auswählen, der das weiße Quadrat unseres Agenten wäre, und so möchten
wir in unserer Episode für das Training beginnen.
Wir wollen dann natürlich eine Aktion für den aktuellen Zustand wählen.
Unser Agent muss sich in der Umgebung bewegen können.
Daher werden die Aktionen für uns und unseren Agenten bei dieser Herausforderung mit Epsilon Greek ausgewählt.
Dieser Algorithmus wählt normalerweise die vielversprechendste Aktion für den Agenten aus, wählt aber gelegentlich eine
weniger vielversprechende Option.
Um den Agenten zu ermutigen, die Umgebung zu erkunden, möchten wir wirklich die optimale Richtlinie finden.
Dann wollen wir die gewählte Aktion ausführen und in den nächsten Zustand übergehen.
Wechseln Sie zum nächsten Ort.
Und warum ich das sage, möchte ich, dass ihr darüber nachdenkt, wie ihr das in Funktionen zerlegen könnt,
um dieses Problem zu lösen.
Als nächstes müssen wir eine Belohnung dafür erhalten, dass wir in einen neuen Zustand wechseln, und dann die zeitliche Differenz berechnen.
Wir müssen den Q-Wert für das vorherige Zustands- und Aktionspaar aktualisieren, und wenn die neue Währung ein Endzustand ist, würden
wir dann zu einem gehen.
Andernfalls würden wir zu Schritt Nummer zwei gehen.
Wir werden also während des gesamten Prozesses darauf abzielen, tausend Episoden zu trainieren.
Dies gibt uns oder unserem Agenten ausreichend Gelegenheit, den kürzesten Weg zwischen dem Artikelverpackungsbereich
und anderen Standorten in unserer Beispielstadt zu berechnen.
Fantastisch.
Denken Sie also bitte darüber nach, wie Sie dies angehen, und ich möchte Ihnen helfen, eine Idee zu finden, wie Sie versuchen können, dies zu lösen.
Wir würden uns also in unserer Lösung ansehen, dass wir die folgenden Funktionen verwenden werden.
Ich kann dies tatsächlich auskommentieren, da es sich um einen Code handelt, also entschuldige ich mich.
Wir wollen kein Dollarzeichen.
Wir möchten diese auskommentieren und ich werde Ihnen helfen, mit dem ersten zu beginnen.
Insgesamt werden diese Funktionen unsere Schritte zum Trainieren des Modells definieren und Ihnen den Einstieg
erleichtern.
Werfen wir einen Blick darauf, wie wir uns dem Endzustand nähern würden, um dafür eine Funktion in Python zu
erstellen.
Das Wichtigste zuerst möchten wir natürlich unsere Funktion so definieren, wie sie ist.
Terminalzustand.
Und dies sind die Namen der Funktionen, die Sie sehen werden, um Ihnen eine Idee zu geben, die Ihnen helfen könnte,
sie aufzuschlüsseln.
Wir wollen den aktuellen Zeilenindex und den aktuellen Spaltenindex nehmen.
Dies wird uns helfen, die Position unseres Agenten zu ermitteln, und wir können hier für unsere Belohnungen ein Wahr oder Falsch
hinzufügen.
Also brauchen wir es.
Legen wir also unsere Belohnungen fest.
Von unserem Strom.
Zeilenindex.
Und aktuell.
Spaltenindex gleich minus eins, wenn sie sich in diesem Zustand befinden.
Wir würden falsch oder anders oder sonst zurückgeben.
Wir würden wiederkommen.
Wahr.
Ziemlich einfach genug.
Und so erhalten wir unsere Vorstellung von unserem Endzustand, nachdem wir, wenn er im
Endzustand existiert, den Startort erhalten möchten.
Als Hinweis können Sie sich ansehen, wie Sie den aktuellen Zeilenindex im aktuellen Spaltenindex verwenden und
numpy mit einem Zufallswert festlegen.
Wir wollen dies zufällig in den Umgebungszeilen und Umgebungsspalten initialisieren.
Aber in der nächsten Vorlesung sehen Sie eine Aufschlüsselung.
Sie sehen die restlichen Funktionen mit einigen Anmerkungen, die Ihnen helfen, sich ein Bild zu machen.
Ich hoffe wirklich, dass Sie die Chance nutzen, damit zu experimentieren, denn es ist einfach eine großartige Möglichkeit, zu
lernen, Ihnen eine Idee zu geben, und dies soll Ihnen den Einstieg erleichtern.
Also keine Sorge, die Lösung bekommst du in der nächsten Vorlesung.
Und dann werden wir die Dinge abschließen, indem wir tatsächlich einen hervorragenden Rabattfaktor zuweisen, um diese Art von Dingen für
das Training zu lernen, das Training durchzuführen und die Ergebnisse anzuzeigen.
Fantastisch.
Lassen Sie uns hier noch einmal aufhören.
Versuchen Sie, dies zu lösen.
Aber wenn nicht, wenn Sie einfach weiterkommen wollen, gehen Sie zur nächsten Vorlesung und Sie erhalten
die Lösung für das Training zum Definieren dieser Funktionen.
In Ordnung, wir sehen uns in der nächsten Vorlesung.