Hallo zusammen und willkommen zurück.
In dieser Vorlesung werden wir unsere Umgebung einrichten.
Und ich möchte diese allgemeinere Übersicht für diejenigen vorstellen, die versuchen möchten, sie selbst zu lösen.
Und das kommt Ihnen in der letzten Vorlesung, die Sie hier gesehen haben, vielleicht bekannt vor.
Also, wenn Sie es durchgelesen haben, entschuldige ich mich.
Wir werden es nur sehr schnell durchgehen.
Das wichtigste zuerst.
In diesem Projekt zielen wir wirklich darauf ab, es so einfach wie möglich zu halten, in dem Sinne, dass wir nicht zu
viele Bibliotheken importieren müssen.
Wir werden dafür im Grunde nur NumPy verwenden.
Wir müssen NumPy nur als und P importieren, normalerweise die gemeinsame Referenz für numpy.
Und wir wollen auch unsere Umgebung einrichten, wie Sie hier sehen werden.
Und wir gehen das noch einmal ganz schnell als Überblick durch.
Der erste Schritt für unser Q-Lernen war, dass wir eine Umgebung finden wollten, in der sich der Postbote zurechtfinden muss.
Wir müssen diese Umgebung so einrichten, dass wir sie tatsächlich iterieren und durchlaufen können.
In dieser Vorlesung wird die Umgebung aus Zuständen, Aktionen und Belohnungen bestehen.
Zustände und Aktionen sind Eingaben für den Q-Lernagenten, während die möglichen Aktionen die Agenten sind, Ausgaben
sind Zustände, über die wir nachdenken und dieses Bild als unsere Repräsentation betrachten können.
Die Zustände in unserer Umgebung sind alle möglichen Orte innerhalb der Stadt, die wir diese Beispielstadt nennen können.
Einige dieser Orte sind die Stadtgrenzen, die unsere schwarzen Quadrate sein werden, während andere Orte Inseln sind, die der
Postbote benutzen kann, um durch die Stadt zu reisen.
Das werden die weißen Quadrate sein.
Das grüne Quadrat zeigt den Verpackungs- und Versandbereich des Artikels an.
Die schwarzen und grünen Quadrate werden wir Endzustände nennen.
Also insgesamt, unser Ziel oder das Ziel unseres Agenten, wollen wir den kürzesten Weg verwenden.
Wir möchten, dass unser Agent den kürzesten Weg zwischen dem Artikelverpackungsbereich, dem Glas, dem Grün und allen anderen Orten
in der Stadt lernt, an denen der Postbote reisen darf.
Im obigen Bild haben wir 121 mögliche Staaten oder Orte innerhalb der Stadt.
Diese Zustände sind in einem Raster von 11 mal 11 angeordnet.
Jeder Ort kann durch seinen Zeilen- und Spaltenindex identifiziert werden.
Was wäre also unser erster Schritt?
Und das ist wirklich, dass ihr Jungs darüber nachdenkt, wie ihr es definieren könnt.
Wir müssen unsere Umwelt definieren.
Dies ist ein gutes Beispiel für unser Image und wie wir es angehen werden.
Wie würden Sie das modellieren?
Denken Sie daran, dass wir NumPy verwenden, also müssen wir diese Grenzen definieren, und wir können ein 3D-Numpy-Array
definieren, das unsere aktuellen Q-Werte für jedes Zustands- und Aktionspaar enthält, wenn wir unsere Darstellung sehen.
Und für diejenigen unter Ihnen, die damit nicht vertraut sind, oder vielleicht ist dies neu oder
Sie möchten nur eine Auffrischung haben, ist das Air Z-Handbuch aus diesem Kurs äußerst hilfreich und sehr zu empfehlen.
Was müssen wir also hier tun?
Wir können tatsächlich.
Lassen Sie mich das nur ganz schnell für uns erweitern, damit wir es etwas einfacher sehen können.
Lassen Sie mich nur einige Codezellen hinzufügen.
Wir werden unser 3D-Imperium definieren.
Wie würden Sie vorgehen?
Wir haben also einige Optionen.
Aber die wirklich unkomplizierteste und einfachste Option nennen wir sie Umgebungszeilen.
Rose und lass es uns auf 11 setzen.
Es ist ein 11 von 11.
Dann können wir auch Umwelt, Spalten unterstreichen.
Und wir könnten dies auch auf 11 setzen.
Zuletzt können wir unsere Q-Werte festlegen, da wir unsere numpy mit den Umgebungszeilen und Umgebungsspalten hinzufügen
müssen.
Und wir können dies als Q-Werte gleich NumPy-Nullen setzen und wir müssen unsere Umgebungszeilen und Umgebungsspalten
verwenden.
Und wir haben unser 3D-Numpy-Array, unsere 3D-Umgebungsdarstellung, die mit unserer Umgebung festgelegt ist.
Fantastisch.
Nun, und wir werden es hier lassen, aber ich möchte, dass ihr darüber nachdenkt, wie ihr das lösen könnt,
da ihr eure Umgebung bereits eingerichtet habt.
Das nächste, was Sie als Hinweis tun möchten, ist, Ihre Aktionen einzurichten.
Ihr Agent muss sich durch die Umgebung bewegen können.
Wie würden Sie das darstellen?
Wie würdest du das schreiben?
Für dieses Problem lassen wir es hier weg.
Im nächsten Video werden wir uns diese Aktionen noch einmal ansehen.
Fantastisch.
Wir sehen uns im nächsten Video.