Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Und endlich geht es weiter mit dem Spaß, mit dem wir tiefes Lernen lernen.
Also gut, schauen wir uns mal um.
Bruce, wir sprachen über Mördergewinn und worum es geht.
Und wir haben über die Agentenumgebung gelernt und wie der Agent den Zustand sieht.
Oder sie hat eine Aktion, die eine Belohnung erhält.
Betreten Sie einen neuen Zustand und anhand dieser Rückkopplungsschleife werden Sie weitere Maßnahmen ergreifen und
daraus lernen.
Verstehen Sie, welche Maßnahmen am besten sind.
Und so haben wir uns dieses grundlegende Beispiel eines Labyrinths angesehen.
Wir haben verstanden, dass die Umwelt in Asien erkundet, was die Werte der Staaten sind.
Dann gingen wir vom Umgang mit den Werten der Staaten über den Umgang mit
den Werten der Aktionen mit den Werten und dann von A-Basin, dass wir verstanden haben, wie Pläne in nicht sarkastischen Umgebungen
funktionieren und wie Richtlinien in stochastischen Umgebungen funktionieren Beispiel für eine Richtlinie.
Das ist also eine kurze Zusammenfassung von allem, was wir im grundlegenden Lernen besprochen haben.
Lassen Sie uns nun einen Blick darauf werfen, wie dies durch Deep Learning durch Hinzufügen von Deep Learning auf die nächste Stufe
gebracht werden kann.
OK.
Dies ist also unsere Umgebung, und wir werden jetzt hinzufügen, anstatt nur grundlegende Berechnungen in
dieser Matrix durchzuführen, die wir haben, was ziemlich einfach ist.
Was wir tun werden, ist, dass wir zwei Achsen hinzufügen, die eine x- und y-Achse hinzufügen, oder wir nennen
sie x1 und x2.
Nur um die Dinge noch allgemeiner zu machen.
Und hier haben wir die reelle Zahl, die Reihe, die Spalten, 1, 2, 3, 4 und er wird die Anzahl der Reihen 1 bis 3 regeln.
Und so kann nun jeder einzelne Zustand durch ein Paar von zwei Werten x1 und x2 beschrieben werden, sodass jedes
dieser Quadrate, in denen sich der Agent möglicherweise befindet, mit x1 x2 beschrieben werden kann.
Zum Beispiel ist er gerade im Quadrat mit X1 gleich 1 und x2 gleich 2.
Und deshalb können wir nicht in Ihrem Quadrat entkommen, was wir in Ihrem Zustand beschreiben können.
Dann ist dies natürlich eine sehr vereinfachte Version einer Umgebung, in der Staaten beschrieben werden.
Aber es funktioniert trotzdem in diesem Fall.
Das bedeutet, dass wir nun diese Zustände in ein neuronales Netzwerk einspeisen können.
Übrigens möchte ich nur erwähnen, dass wir am Ende des Kurses der
guten Anhänge ein x-Nummer eins und ein paar Possen haben, um diesen Abschnitt erfolgreich fortzusetzen.
Es ist äußerst ratsam, dass Sie ein nicht erreichbares Netz aus einem künstlichen neuronalen Netzwerk auschecken,
damit Sie wissen, wie sie funktionieren, so dass wir uns hier nicht näher damit befassen
müssen und die Vorteile des Wissens über die Funktionsweise künstlicher neuronaler Netzwerke nutzen können und so geben wir diese
Informationen über den Zustand in ein neuronales Netzwerk ein und verarbeiten diese Informationen dann in Abhängigkeit von der Struktur des neuronalen Netzwerks X1 und
x2. Dabei kann es mehrere verborgene Schichten usw. geben.
Das ist etwas, was Sie in den praktischen Übungen herausfinden werden, aber am Ende werden
wir so strukturieren, dass es nach Werten aussieht und diese vier Werte tatsächlich unser Q-Wert sein werden.
Die Werte, die vorgeben, welche Aktion wir durchführen müssen, und die nicht in diesem Lernprogramm, werden genau erkennen, wie
diese Schlüsselwerte verwendet werden, um zu entscheiden, welche Aktion ausgeführt wird.
Der wichtigste Punkt dabei ist jedoch, dass wir diesen Irrgarten nicht mehr aus der Lernperspektive betrachten.
Wir nehmen jetzt die Zustände des Labyrinths und speisen sie in ein tiefes neuronales Netzwerk ein, um diese
Kabinen zu erhalten.
Und am Ende des Tages werden wir immer noch eine Aktion ausarbeiten, die wir noch
verstehen werden, welche Aktion wir ergreifen müssen, und wir werden das alles ausführlicher besprechen, aber die Frage ist, warum
dies so ist Wir tun all das, warum wir es nannten.
Warum sind die Dinge so viel komplizierter, wenn der anfängliche Lernansatz bereits gut funktioniert
hat?
Der Grund dafür ist, dass das Lernen in diesem sehr simplen Umfeld funktioniert und wir beschäftigen uns
vorerst mit diesem sehr simplen Umfeld, um die Konzepte besser verstehen zu können.
Gleichzeitig funktioniert das einfache Kial-Lernen jedoch nicht mehr in komplexeren Umgebungen. Wir sprechen
beispielsweise von selbstfahrenden Autos, die Doom schaffen oder spielen werden, wenn die künstliche
Intelligenz Doom spielt oder andere Atari-Spiele wie Breakout oder sogar selbstfahrende Autos
und fortschrittlichere Verstärkungs-Lernprodukte wie Roboter, die herumlaufen und in all diesen Fällen Aktionen ausführen. Grundsätzlich
ist das Lernen nicht ausreichend. Es ist nicht stark genug, um
diese Herausforderungen zu meistern.
Und genau wie wir im Deep Learning-Kurs gesehen haben, ob Sie in unserer Disziplin waren oder wenn Sie
die Anhänge zu Nummer 1 und X-2 absolviert haben, werden Sie wissen, dass Deep Learning weit überlegen ist Jede
Art von maschinellem Lernen, geschweige denn ein einfaches cooles Lernen.
Aus diesem Grund nutzen wir die Möglichkeiten des tiefen Lernens hier, sodass wir die
Informationen über die Umgebung als Wertevektor einfließen lassen.
In diesem Fall, um nur ein tiefes neuronales Netzwerk zu verwenden, und dann verwenden wir das, um die Aktionen auszuführen,
die wir entscheiden möchten, welche Aktionen die Agenten ausführen werden.
Das ist also eine Art Überblick auf hoher Ebene, warum wir das tun.
Und nun wollen wir uns etwas genauer anschauen, was mit dem Konzept des coolen
Lernens passiert, wenn wir die Transformation von einem einfachen Lernen in ein tiefes Killary vollziehen.
Wie Sie in den vorherigen Intuitions-Tutorials gesehen haben, hatten wir eine Folie wie diese, die die Grundlage für das Lernen
von zeitlichen Differenzen bildet.
Dies ist die Formel für den zeitlichen Unterschied. Im Grunde gehen wir also durch.
Im Grunde hatten wir also einen Agenten, der sich in diesem Zustand befand, der mit dem blauen Pfeil gekennzeichnet ist.
Und wir haben verstanden, wie der zeitliche Unterschied für diesen Wert wirkt, wenn er zum Beispiel steigt.
Was wir also hier gesehen haben, war im einfachen Killary nicht das tiefe Lernen im einfachen
Mörder.
Was wir sahen, war, bevor der Agent einen späteren Farbtonwert hatte, den er über diese Aktion des Aufstiegs gelernt
hatte.
Und so entschied er sich dafür, nach oben zu gehen.
Und gleich nachdem er seine Aktion ausgeführt hat, erhält er eine Belohnung dafür, dass er diese Aktion in diesem Zustand durchführt.
Und das ist die Belohnung und jetzt kann er den Wert des aktuellen Zustands auswerten, in dem
er sich befindet. Dies ist das Maximum aller neuen q-Werte aller Würfel der neuen Aktionen, die er als Ausdruck
und als Primzahl annehmen kann Lesen multipliziert mit dem DK-Faktor von Gamma.
Das ist also im Wesentlichen der Hinweis auf den neuen Würfelwert oder auf eine Art wie der empirische Würfelwert, den er
gerade für diese Aktion erhalten hat.
Und im Idealfall sollten diese beiden identisch sein.
Also sollte der tatsächliche Q-Wert, den er in dieser Erinnerung in Erinnerung hatte,
der tatsächlichen Belohnung plus dem Gamma-Wert den Wert des Zustands entsprechen, in dem er landete.
Und so berechnen wir den zeitlichen Unterschied, nach dem wir suchen, was Sie wollen, minus
dem, was er im Sinn hatte, was er erwartet hatte.
Sie würden eine von der anderen abziehen.
Das ist ein zeitlicher Unterschied.
Und dann verwenden Sie Ihre Lernrate Alpha, um Ihren q-Wert um den zeitlichen Unterschied anzupassen,
jedoch mit einem Alpha-Koeffizienten.
Das ist also die Essenz des einfachen Lernens.
Schauen wir uns jetzt an, wie sich das in Killary verändert. Wir werden also immer noch mit
der Folie arbeiten, aber wir werden genau sehen, was passiert.
In einem tiefen Lernen wird das neuronale Netzwerk Valis voraussagen, wie wir es zuvor gesehen haben und wie wir sehen
werden.
Donna Citronelle das neuronale Netzwerk wird Werte vorhersagen oder könnte mehr Werte von mehr möglichen
Aktionen in einem bestimmten Zustand vorhersagen.
Aber in diesem Fall wissen wir, dass es nur noch vier rechtschaffene Aktionen gibt.
Das neuronale Netzwerk wird also vier dieser Werte vorhersagen, so dass es in einer tiefen Lernsituation kein Ende gibt. Wichtig ist,
dass es kein Vorher oder Nachher gibt.
Und so werden wir das ein bisschen besser kennenlernen.
Das neuronale Netzwerk wird also vier dieser Werte vorhersagen, und es wird nicht mit dem
nachgeschalteten verglichen, sondern das neuronale Netzwerk wird mit diesem Wert verglichen, aber es war der Wert, der
im vorherigen Schritt berechnet wurde.
Also in der vorherigen Zeit, als der Agent genau in diesem Feld war.
Nehmen wir an, ich weiß es nicht. Vor einiger Zeit befand sich der Agent wieder genau in
diesem Feld und errechnete diesen Wert zuvor.
Vor langer Zeit hat der Agent also diesen Wert berechnet, dann haben die Agenten diesen Wert für die
Zukunft gespeichert und jetzt ist die Zukunft gekommen.
Jetzt ist er wieder auf dem Platz und jetzt hat er diese Würfelwerte, die vorhergesagt werden, und einer davon ist
für die vier, die nach oben gehen.
Nun wird er den vorhergesagten Wert von Q mit diesem Wert, den er aus dem vorherigen
Schritt aufgezeichnet hat, vergleichen und wird genau verstehen, warum dies gerade jetzt so
wichtig ist.
Zu dieser Zeit gibt es keinen Offizier auf diesem Platz.
Wir nehmen den Q-Wert, den er dieses Mal mit Hilfe des neuronalen Netzwerks vorausgesagt hat,
und wir vergleichen ihn mit diesem Wert, den er vom vorherigen Mal hatte, als er sich in
diesem Feld befand, und die Situation beurteilte Mal tat er diese Aktion tatsächlich.
Also los geht's.
Nun schauen wir uns an, wie das im neuronalen Netzwerk funktioniert und warum.
Warum ist es so, als ob ich weiß, dass es sich jetzt etwas kompliziert anhört, aber wir werden es in einer Sekunde in einfache
Begriffe zerlegen.
Das heißt, in Ihrem eigenen Netzwerk, das wir in den Zuständen der Umgebung
in das neuronale Netzwerk einspeisen, durchlaufen die verborgenen Schichten, die mit diesen Ausgängen ausgegeben werden.
In diesem spezifischen Zustand sind dies die Cube-Werte, die das neuronale Netzwerk für mögliche Aktionen
vorhersagt.
Das sind die kumulierten.
Dann scheint es, als würden wir ein Ziel anvisieren, und diese Ziele sind genau vorhanden. Wenn wir hier zurückkehren, ist
dies das Ziel. Dies ist also der vorhergesagte Wert.
Und dann wissen wir aber auch, dass wir vom letzten Mal, als wir auf dem Platz waren, ein Ziel haben.
Wir haben ein Ziel für diese Aktion, die zum Beispiel läuft.
Hier haben wir ein Ziel und wir werden vergleichen. Wir vergleichen Q1 mit diesem
Ziel. Wir vergleichen Q2 mit dem Ziel, das wir aus dem vorherigen Q3 hatten, mit einem Ziel Q4 und dem Ziel.
Dies ist also der Teil, in dem das neuronale Netzwerk oder der Agent jetzt durch tiefes Lernen lernt,
wie man besser durchgeht.
Der entscheidende Punkt hier ist, dass wir immer noch cooles Lernen anwenden, aber die Konzepte sind einfach zu lernen. Sie lernen
durch zeitliche Unterschiede, die recht einfach sind, was wir bereits besprochen haben und wir
wissen sehr gut, warum nicht.
Gleichzeitig lernen im tiefen Lernen, wie neuronale Netzwerke neuronale Netzwerke lernen, indem wir die
Gewichte anpassen.
Daher müssen wir die Konzepte der Verstärkung der Konzepte des einfachen Kill-Lernens an die Art und Weise anpassen, wie neuronale Netzwerke
tatsächlich funktionieren.
Und das ist durch die Aktualisierung ihrer Gewichte.
Deshalb versuchen wir hier herauszufinden, wie wir dieses Konzept der
zeitlichen Differenz an Ihr eigenes Netzwerk anpassen, um die volle Leistungsfähigkeit neuronaler Netzwerke nutzen zu können.
Bis jetzt haben wir dies verstanden, so dass wir hier in unseren Umgebungszustand eintreten, während ein Vektor durch ein neuronales Netzwerk geht. Wir
erhalten Vorhersagen von Schlüsselwerten und dann vom vorherigen Zeitpunkt, an dem sich der Agent in diesem Zustand befand.
Wir haben das neue Ziel, für jede dieser Aktionen ein Ziel zu bestimmen.
Und jetzt sind wir dran.
OK, lasst uns jedes mit jedem vergleichen.
Und von hier aus ist es ziemlich einfach, wenn Sie mit neuronalen Netzwerken Schritt halten.
Das ist wieder mal ein Anax.
Nummer eins, wir werden einen Verlust berechnen, der hier ist, und wir werden q dieses Ziel minus Q
minus dieses Ziel anvisieren.
Wir werden den quadratischen Unterschied von jedem von diesen korrigieren und sie
aufsummieren.
Also nehmen wir die Summe der quadrierten Differenzen dieser Werte und ihrer Ziele und wir werden sie in die Höhe schicken,
und das wird ein Verlust sein.
Und im Idealfall, genau wie wir es beim zeitlichen Unterschied gelernt hatten. Wenn wir also
noch einmal zur zweiten Erinnerung zurückkehren, haben wir gesagt: Idealerweise möchten wir, dass dies dem gleichen entspricht,
also wollen wir, dass der zeitliche Unterschied gleich Null ist Wenn Sie genau sagen, was genau Sie wissen, ist der
Q-Wert der, dass der Agent genau sagt, oder dass er über Speicher verfügt, und der Speicher die Umgebung genau
beschreibt. Daher kann der Agent die Umgebung nie richtig in Ordnung bringen.
Es gibt keine Überraschungen, es gibt keine. a solange ein zeitlicher Unterschied ein Pilot ist, ist er äußerst
positiv oder stark negativ.
Dann haben wir einige Überraschungen.
Wenn die allgemeinen Unterschiede jedoch null sind, kennt er die Umgebung so gut, dass er
vorhersagen kann, was vor sich geht, und er kann und daher ist seine Politik sehr gut und er kann navigieren.
Also hier
Das gleiche gilt, wir wollen, dass dieses Gesetz so nahe wie möglich an Null liegt, so klein wie möglich.
Und deshalb gehen wir jetzt zu diesem Teil, in dem wir die wirkliche Kraft des neuronalen Netzwerks nutzen werden, also
nehmen wir diesen Verlust und nutzen die Rückwärtsausbreitung oder das Stocken als Gradientenabstieg diesen Verlust
zu nehmen und ihn durch das Netzwerk zu leiten oder durch ein Netzwerk zu verbreiten und durch ein Netzwerk zu verbreiten,
um ein wichtiges und anständiges Datum für die Gewichte zu geben.
Alle diese Zusammenfassungen im Netzwerk, so dass das nächste Mal, wenn wir dieses Netzwerk durchlaufen, die Umgebung bereits etwas besser
beschreibt und die Umgebung beschreibt. Genau das sind wir.
Also hier haben Sie, wenn Sie zurückgehen, dies berechnete Verluste Kalka und erraten, Propagator für das Netzwerk die
Gewichte aktualisiert werden.
Dann, wenn wir das nächste Mal hier sind, geschieht dies immer wieder. Dies geschieht immer wieder und
so weiter und so und es passiert immer wieder und so lernt dieser Agent oder im Grunde genommen
wird das neuronale Netzwerk, das das Gehirn des Agenten ist, immer mehr Beschreibender für die Umgebung und der Agent kann
daher in der Umgebung navigieren.
Wenn wir eine deskriptive Umgebung sagen, bedeutet dies im Wesentlichen, dass, wenn wir
die Zustände der Umgebung angeben, in der sich dieser Agent befindet, wir uns mit großer Wahrscheinlichkeit den
tatsächlichen Cue-Werten nähern Aktion und das geschieht, weil diese neuen
Ziele tatsächlich empirisch abgeleitet werden, so dass er jeden Tag diese niedlichen Ziele findet.
Das ist tatsächlich da, also beobachtet er tatsächlich.
OK, wenn ich diesen Schritt mache, was ist die Belohnung, die ich bekomme?
Und was sind dann die Werte dieses Staates?
Das gleiche, wie wir es zuvor beim Q-Lernen und der einfachen Lernintuition gesehen haben.
Er lernt dies durch Ausprobieren und baut dann sein Netzwerk auf oder so
ist es, dass die vorhergesagten Werte nahe beieinander liegen.
Das Ziel erreichen.
Q-Werte sind dem Konzept, das wir hier erörtert haben, beim einfachen Lernen des
einfachen Skill-Lernens sehr ähnlich.
Hier bitteschön.
So lernt der Agent.
Wir sind also hier.
Und das ist der Lernteil.