Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Also gut, ich hoffe, Ihnen gefällt das Tutorial. Bis jetzt sind wir fast fertig mit der Intuition, die Sie bald auf
die praktische Seite der Dinge bringen werden. Wir haben nur ein paar Kleinigkeiten, die wir behandeln müssen.
In Ordnung, so haben wir vorher darüber gesprochen, wie wir neuronale Netze in diese ganze Gleichung des CULE-Lernens
einfügen und in den nächsten Schritt einführen und daraus ein tiefes Lernen machen.
Und heute fügen wir eine weitere wichtige Funktion hinzu, die das Codieren in der praktischen Seite der Dinge, so die Überschrift, und ich entschied,
dass es wichtig ist, dass wir es oft auf der Intuitionsseite der Dinge behandeln, damit Sie besser vorbereitet sind
für es, wenn es auf der Kodierungsseite der Dinge kommt.
Wie wir besprochen haben, gibt es zwei Netzwerke, die passieren.
Zuallererst ist es das Lernen, also lernt das Netzwerk tatsächlich mit jedem neuen Zustand.
Es aktualisiert langsam seine Wartezeiten, um mit dieser Umgebung besser und besser umzugehen.
Und dann gibt es das Handeln innerhalb des Zustands, also nachdem die q-Werte in dem Zustand gezählt wurden, nachdem Sie
ausgewählt haben.
Deshalb werden wir heute noch über den Lernabschnitt sprechen, mit dem wir eine interessante Funktion entwickeln
werden, die im Studium helfen wird, diese Funktion selbst zu erstellen, aber
wir werden über eine Funktion sprechen, für die es sehr wichtig ist ein tiefes cooles Lernen und diese Funktion wird als Erlebniswiederholung bezeichnet.
Gut.
Hier ist unser Netzwerk, also haben wir es einfach hierher kopiert.
Wir haben das verloren, dass Calcott am hinteren Propagator durch das Netzwerk ist.
Schauen wir uns ein Beispiel an, was das Problem, mit dem wir es zu tun haben, etwas
besser versteht.
Hier ist also ein Beispiel aus den Ergebnissen.
Dies ist ein Screenshot, genau aus diesem Kurs. Dies ist, was Sie programmieren werden.
Dies ist ein selbstfahrendes Auto, das durch diese Straße fährt, und es muss lernen, wie man auf
dieser Straße navigiert.
Und so ist es, wie wir vorher besprochen haben. Was ist das in diesem Zustand?
Und natürlich wird der Zustand nicht x1 x2 sein. Lundell beschreibt es viel ausführlicher.
Es wird ein paar Parameter sein, die sich auf den Fahrzeugwinkel beziehen, und einige relative Parameter der
Sensoren Lesen und so weiter.
Es wird also mehr Parameter geben, um den Zustand zu beschreiben.
Trotzdem wird es ein Vektor von Werten sein, der durch ein neuronales Netzwerk geht, und dann
werden Sie bei der Ausgabe einige ACU-Werte haben.
Wieder wird es je nach Umgebung einen Unterschied geben.
Sie können eine unterschiedliche Anzahl von Aktionen sein, mögliche Aktionen.
Aber der Einfachheit halber wollen wir es einfach lassen, nur um besser verstehen zu können, was hier
vor sich geht.
In diesem Fall stellt sich also die Frage, was das ist.
Dies führt zu Eingaben in dieses neuronale Netz oder genauer gesagt, wie oft wir dieses neuronale Netz auslösen.
Wie oft wächst dieses neuronale Nettowachstum.
Nun, jedes Mal, wenn das Auto in einem neuen Zustand endet, endet das Auto in einem neuen Zustand, und dann
geht alles voran.
All diese Daten all diese Informationen über den Zustand gehen über das Netzwerk und geben Alice die berechneten
Fehler.
Dieser Fehler wird basierend auf dem berechnet, was wir in vorherigen Tutorials besprochen haben.
Dies wird zurück propagiert und ihre Gewichte werden aktualisiert.
Dann wählt das Auto aus, welche Aktion ausgeführt werden soll, und der Umzug wird in einem neuen Zustand im neuen Zustand beendet.
Alles fängt wieder von vorne an.
Im Grunde passiert dies jedes Mal, wenn das Auto rein ist und Sie sagten, dass Sie sich dieses Beispiel ansehen sollten.
Ich habe den Screenshot speziell gemacht, weil es so aussieht, als ob es sehr gut das Problem darstellt, das durch Wiederholungen der
Wiedergabe und Wiederholungen von Kosten angesprochen wird, nicht nur etwas, das wir in diesem Kurs oder in
diesem speziellen Problem verwenden.
Es ist etwas, das Sie überall sehen werden.
Immer und immer wieder in künstlichen Intelligenzalgorithmen, weil es so mächtig und so wichtig
ist.
Schauen Sie sich dieses Auto also an, in diesem Problem oder in dieser Umgebung ist es das Ziel, von hier nach hier und
zurück zu kommen.
Ihr Ziel ist es, sich hier zu orientieren, ohne diese Sandwände zu durchqueren.
Und so hat das Auto hier angefangen, es ist abgestürzt und wie seine Belohnung darauf basiert, wissen Sie, wie nah es
ist, anzufangen.
Das Auto fuhr also von hier aus weiter und fuhr so weiter wie dieses hier oder entlang
dieser Mauer entlang der Ufermauer.
Und was es als nächstes tun wird, wird sich fortsetzen.
Nun, wir wollten hier weiter machen.
Aber lass uns eine Sekunde darüber nachdenken.
Sobald es jedes Mal an dieser Wand angekommen ist, bewegt es sich vorwärts.
Er bewegt sich vorwärts, bewegt sich vorwärts, bewegt sich vorwärts, bewegt sich vorwärts und so weiter vorwärts.
Es könnte also sein, dass je nach Strukturumgebung hundert oder 50
Züge hier sind.
Es geht einfach weiter vorwärts und es ändert sich nichts.
Es ändert sich nicht wirklich, es wird immer weiter von dieser Geschichte entfernt.
Das ist schön.
Aber in Bezug auf die Umgebung verändert sich nicht viel, es ist immer noch dieselbe Wand.
Wenn Sie im Auto sitzen, haben Sie wahrscheinlich die Situation gesehen, wenn Sie in der Umgebung fahren, in
der Sie das Gefühl haben, dass die Umgebung so eintönig ist, dass Sie sehen, dass die gleiche Sache gerade
vorbeizieht.
Aber so wie ich mir vorstelle, Sie fahren durch eine Wüste und Sie sehen nur dasselbe, es ist derselbe Sound,
es ist der gleiche Sound, bei dem nichts passiert.
Nichts ändert sich.
Und so, aber jedes Mal setzen wir diesem Staat diesen neuen Staat hier ein.
Ja, vielleicht ändert sich für uns etwas, wenn Sie mit dem Auto fahren und Ihr GPS zeigt, dass Sie
näher an Ihrem Ziel sind.
Eine dieser Eingaben ist zwar seltsam, aber viele dieser anderen Eingaben, beispielsweise die Sensoren, die
sich auf dem Auto befinden, ändern sich nicht, und da Sie an diesem Tag langsam fahren, um die
Eingaben in Ihre eigenen zu übernehmen hier hier hier hier hier und hier immer die Eingaben sind
ziemlich gleich.
Wenn Sie also immer dieselben Eingaben in Vektor oder sehr ähnliche Vektoren in Ihr Netzwerk
eingeben, gibt es keine Unterschiede.
Das Auto wird sehr gut lernen.
Eine Sache, die Sie sehr gut lernen werden, wie Sie entlang dieser Mauer fahren, die
sich zu ihrer Rechten befindet, und so wird sich das Netzwerk aktualisieren und belohnt
werden.
OK, von hier aus werde ich alles lernen, was ich so gut mache. Es geht mir besser, ich mache es besser.
Es alles.
Es wird diese falsche Wahrnehmung haben, dass es tatsächlich sehr gut geht, auch wenn es nur lernt, wie man mitnimmt, und andere
neuronale Netze werden sich sehr gut an das Fahren anpassen, und dann kommt plötzlich diese Kurve und
das Auto nicht Ich weiß nicht was ich tun soll.
Und es passt überhaupt nicht in dieses neuronale Netzwerk.
Und selbst wenn es so ist, sagen wir hypothetisch, dass es eine Stelle passiert, und dann landet es an dieser
Wand.
Das Gleiche wird passieren, wenn Sie von hier aus hier fahren.
OK, das neuronale Netzwerk strukturiert sich nun um, um sich an diese Wand anzupassen, und dann passiert diese Sache.
Und selbst wenn es irgendwie vorbei ist, wird es an diesem Ding vorbeifahren und dann dasselbe in diese
Richtung.
Im Grunde ist dies ein sehr anschauliches Beispiel für das Problem, das wir haben, was wir haben: Die Art und
Weise, wie wir das neuronale Netz verwenden, aktualisiert es jeden einzelnen Zustand, sobald wir viele aufeinander folgende
Dinge haben, die sie nicht einmal sein müssen Dasselbe gilt aber für Umgebungen, in denen es normal ist,
dass aufeinanderfolgende Zustände irgendwie korreliert sind oder in irgendeiner Weise voneinander abhängig sind, und wir möchten nicht, dass diese wechselseitige Abhängigkeit unser Netzwerk
beeinflusst.
Wir möchten nicht, dass das Auto nur lernt, wie eine gerade Linie oder eine lange gekrümmte Linie zu
fahren ist oder etwas, von dem Sie denken, dass Sie sich im Leben vorstellen können, wo ein Agent in
einer Navigant-Umgebung wäre, in der wir uns eine Korrelation vorstellen können oder voneinander abhängige Zustände, die nacheinander kommen und Ihr neuronales Netzwerk wirklich
durcheinander bringen können.
Wenn Sie den Agenten einfach davon lernen lassen.
Und hier kommt die Erfahrungswiedergabe ins Spiel.
Was bei der Erfahrungswiederholung passiert, ist diese Erfahrung, also diese Zustände, die sich in zwei oder drei drei befinden,
auch wenn viele 50 Zustände hier im Neuro nicht direkt durch das Netzwerk geschickt werden.
Sie werden tatsächlich im Speicher des Agenten gespeichert.
So sparen Sie zum Beispiel all diese und einige und einige davon, sobald ein bestimmter Schwellenwert erreicht ist,
den Sie programmieren können, und Atlanta zeigt Ihnen, wie das geht.
Sobald es eine bestimmte Schwelle erreicht hat, entscheidet der Agent für sich. Es ist Zeit zu lernen.
Ich habe diese Erfahrungen, die ich habe, die ich nicht lernen werde. Daher wählt man
willkürlich eine einheitliche Verteilung aus, und Einheitlichkeit ist hier wichtig, da wir auf der nächsten
Folie darüber sprechen werden.
Wir werden buchen, wird das erwähnen.
Es bedarf jedoch einer gleichmäßig verteilten Probe.
Grundsätzlich gelten alle Erfahrungen als gleichwertig.
Es entnimmt eine einheitlich verteilte Probe aus den gesammelten Erfahrungen und durchläuft sie dann und lernt von ihnen, so dass es nicht die
gesamte Erfahrung oder nur die Verteilung von Proben benötigt, von denen ein paar
von hier ein paar brauchen Hier ein Paar von hier und jeder und jede
Erfahrung ist durch den Zustand gekennzeichnet, in dem es sich in der Handlung befand, in dem es endete, und die
Belohnung, die es durch diese Handlung in diesem spezifischen Zustand erzielte, so dass vier Elemente in jeder Erfahrung eines angeben action
state two und belohnung und so braucht es all diese erfahrungen und leitet sie dann durch das netzwerk
und lernt es.
Auf diese Weise bricht es das Muster dieser Vorurteile, das aus der sequentiellen Natur der Erfahrung resultiert, als würden Sie sie
nacheinander durch das Netzwerk bringen.
Das ist also der Schwerpunkt unserer Erfahrung.
Das ist das Problem und die Adresse. Ein weiterer Vorteil der Wiederholung von Erfahrungen ist, dass
Sie in einer solchen Umgebung manchmal sehr wertvolle, seltene Erfahrungen machen können.
Ich weiß zum Beispiel nicht, sagen wir mal, wir schauen uns diese Ecke an, dies ist die rechte Ecke.
Recht.
Und eine sehr scharfe ist scharf.
Es wird also von hier aus kommen, vorausgesetzt es wird diese Ecke umarmt.
Wenn Sie also scharfe rechte Ecken haben, haben wir hier eine
ganze Ecke und eine rechte Ecke.
Richtig also, wenn es so kommt, ist dies die rechte Ecke.
Und wenn es zurückgeht, ist es hier eine scharfe rechte Ecke.
Und das ist im Shop nicht so scharf, so dass es in der gesamten Umgebung nur
eine Möglichkeit gibt, aus einer scharfen rechten Ecke zu lernen.
Und das ist eine sehr wichtige Erfahrung, denn es kann sehr gut werden, wenn man
geradeaus fährt und wirklich wie weiche Ecken, aber so.
Und dann wird es diese scharfe rechte Ecke weiter durcheinander bringen, einfach weil es nicht so viel Gelegenheit hat, daraus zu lernen,
und so wird es alles andere sehr schnell lernen, aber es dauert lange,
bis man das Recht lernt Kurs.
Ein sehr vereinfachtes Beispiel ist eine sehr vereinfachte Erklärung, veranschaulicht jedoch das Konzept, dass es sich
manchmal um seltene Erfahrungen handelt, die wertvoll sein können.
Und wenn Sie nur ein einfaches neuronales Netzwerk betreiben, in das Sie hier Ihre Werte eingeben, und Sie
wissen, dass sie durchgehen und Sie wissen, auch wenn Sie dieses Problem der sequentiellen Natur der Erfahrungen
vergessen und wie sie sein können Interdependent und alle korrelierten Thimphu vergessen das sogar für
eine Sekunde.
Was passiert, ist, wenn Sie einmal eine Erfahrung in das Netzwerk eingepflegt haben, werden Sie sofort vergessen, aber
vergessen Sie diese Erfahrung.
Du gehst weiter zum nächsten.
So funktioniert das neuronale Netzwerk.
Dann wechseln Sie zum nächsten Zustand, zum nächsten Schritt, zum nächsten
Schritt, zum nächsten Erlebnis.
Also ist diese rechte Ecke, sobald sie durch ein Netzwerk geht, verschwunden und Sie haben keine Erinnerung an
diese wertvollen Erfahrungen.
Während wir eine Wiederholung erlebt haben, weil Sie diese Erlebnisse in Batches einteilen,
können Sie Ihre Bash als Rolling-Fenster organisieren, so dass Sie
beispielsweise 100 Batches haben könnten es hat diese Erfahrung in seinem
Stapel aufgezeichnet.
Dann, als ob es irgendwann läuft, nimmt es eine einheitliche Verteilung aus seinem Erfahrungsschatz und dann gibt es ein rollendes Fenster, so
dass es diese Erfahrungen vergisst, aber dann behält es diese Erfahrungen.
Und dann lernt es wieder, sobald es hier ist, lernt es aus dieser Gruppe und dann, wenn es hier ist, vergisst es den
ganzen Weg bis hierher.
Aber dann hat es eine Menge solcher Erfahrungen, also lernt man nicht aus diesen Erfahrungen.
Und so erhalten Sie, dass diese Ecke der rechten Hand während des Lernprozesses mehrmals auftaucht, weil es in
dieser Partie war, als die Partie in der Nähe war, als in
der Partie hier in der Nähe in mehreren Batches, da der Abash möglicherweise
als rollendes Erfahrungsfenster aktualisiert wird.
So werden die älteren Erfahrungen rausgeschmissen, die neueren Erfahrungen werden hinzugefügt und dann bekommen ältere
Erfahrungen es.
Die Erfahrung bleibt also lange Zeit im Stapel und das Auto oder der Agent kann mehrmals von dieser
Erfahrung lernen.
Das ist also ein weiterer Vorteil der Erfahrungswiedergabe.
Der entscheidende Vorteil ist natürlich, dass die Wiederholung von Erfahrungen die Möglichkeit bietet, aus
mehr Erfahrungen zu lernen, als wenn Sie nur für eine zu
einer Zeit lernen, weil Sie diesen Stapel haben und deshalb Wenn Sie Ihre Erfahrung mit dem Replay-Erlebnis
erleben, können Sie schneller lernen.
Anstatt nur zu wiederholen, gibt es viele, viele Male, die Sie schnell lernen können, weil Sie es nicht wiederholen
müssen.
Sie haben diese Erfahrungen gespeichert.
Das sind also die Hauptvorteile der Erfahrung.
Lassen Sie uns noch einmal darauf eingehen, dass wir das haben.
Wir brechen dieses Muster in Bezug auf Unabhängigkeit und Korrelation aufeinanderfolgender Erlebnisse auf. Wir speichern seltene
Erlebnisse, die wichtig sein könnten. Daher können wir häufiger von ihnen lernen und wir
können in Umgebungen lernen, in denen wir Fosler-Umgebungen lernen können.
Wir haben einen Mangel an Erfahrungen, die nicht so viele Erfahrungen machen, die der Agent durchläuft, und
trotzdem können wir das lernen.
Darum dreht sich die Erfahrung alles.
Wenn Sie etwas mehr als das lesen möchten.
Es gibt einen interessanten Artikel, der im Jahr 2016 von deep mind veröffentlicht wurde und
als priorisierte Erlebniswiedergabe bezeichnet wird.
Warum verwenden wir eine einheitliche Verteilung, um unsere Erfahrungen aus der Bachche-Erfahrung auszuwählen, warum finden wir keinen besseren
Weg, um unsere Erfahrungen auszuwählen und einige der Erfahrungen zu priorisieren, die wir
für wichtig halten.
Dies ist eine sehr interessante Sache, obwohl Sie in diesem Fall nicht nur Ihr Wissen über
die Erfahrungswiedergabe verstärken oder nicht nur verstärken können, sondern sich tatsächlich auf dem neuesten Stand der Technik befinden
können.
Das ist also 2016 und wird von tiefen Köpfen veröffentlicht.
Es handelt sich um ein sehr aktuelles, sehr leistungsfähiges Dokument, mit dem Sie die Grenzen erkunden oder diesen Algorithmus noch
weiter erforschen und auf die nächste Stufe bringen können.
Ich überlasse es Ihnen, herauszufinden, warum und wie wir die Uniform in eine andere Herangehensweise umwandeln können, um eine
Wiederholung zu erfahren, wenn Sie möchten.
Und ich hoffe es gefällt dir.
Tauriel und jetzt wissen wir, was Erfahrung wirklich ist, und wir können sie in unseren praktischen Kreisen getrost einsetzen, und ich freue
mich auf ein nächstes Mal.
Bis dahin genießen Sie die KI.