Hallo, willkommen zurück zum Kurs über künstliche Intelligenz.
Im heutigen Tutorial werden wir ein recht komplexes Tutorial namens Eignibility Trace oder und Schritt
vertuschen.
Ich lerne, und das ist etwas, was ich in der praktischen Seite der Dinge implementieren werde. Deswegen müssen wir
aus dem Spiel herauskommen, und in der Mitte ist dies ein ziemlich komplexes Thema. Daher haben wir einen sehr interessanten Ansatz, um
uns auf den neuesten Stand zu bringen die Intuition dahinter.
Ich habe also eine andere Herangehensweise im Auge, als wir es gewohnt sind, den einfachen Blick darauf zu beruhigen und zu sehen,
wie das geht.
Ich möchte Ihnen ein Beispiel geben, mit dem ich beginnen kann.
Ich werde Ihnen in diesem Tutorial ein Beispiel geben, das die Berechtigung der Berechtigung demonstriert.
Und gib uns die Intuition hinter den Dingen.
Und wenn Sie sich näher mit den Qualifikationsmerkmalen beschäftigen möchten, gebe ich Ihnen den besten Ort, an dem
Sie darüber lesen können.
Ich werde dir aber einen Hinweis auf ein Buch geben.
Während dies anders sein wird, weil wir uns zuerst damit beschäftigen, anstatt uns mit der Intuition zu beschäftigen,
werden wir uns ein Beispiel anschauen und die Intuition wird offensichtlich, nachdem wir darüber gesprochen haben.
Und das ist meine Hoffnung so.
Schauen wir uns das mal an.
Mal sehen, ob wir das schaffen können.
Hier haben wir zwei Agenten und sie navigieren in derselben Umgebung, und wir werden sehen, wie diese beiden
Agenten arbeiten.
Zuerst wird mit unserer Berechtigungsspur gearbeitet.
Der zweite wird mit unleserlicher Spurensuche arbeiten und hoffentlich werden wir sehen, warum der zweite so viel
mächtiger sein wird als der erste.
Schauen wir uns das mal an.
Wir werden uns zuerst diesen Agenten ansehen.
Und die Art und Weise, wie er arbeitet, ist die genaue Art und Weise, wie wir bisher tief kreisförmige Dinge besprochen haben.
Der Agent macht also einen Schritt oder bewegt sich, bewegt sich in einen neuen Zustand.
Es ist gut, eine bestimmte Belohnung zu erhalten, wenn das neuronale Netzwerk, in dem dieser
Agent ausgeführt wird oder durch den Agent läuft, durch seinen Algorithmus aktualisiert wird.
Das heißt also, dass das Lernen aus diesem Moment einen neuen Schritt bedeutet.
Von diesem neuen Staat aus wird also eine neue Aktion ergriffen, basierend auf dem, was sein neuronales Netzwerk sagt, dass es
Belohnungen erhalten wird, die auf den neuesten Stand gebracht werden, und so weiter, und wird dies auch weiterhin tun.
Offensichtlich wird dies einen guten Job machen. Wie wir bereits vom vorherigen Squire bis zu den
DROs gesehen haben, werden wir hier einige gute Ergebnisse erzielen, aber jetzt werden wir eine neue Funktion hinzufügen.
Dieser Agent Nummer zwei, dieser Typ hier, wird sich in derselben Umgebung bewegen.
Was wird er für die Lesbarkeit von Bäumen verwenden?
Und das bedeutet es.
Was er tun wird, ist, dass er alle Schritte unternimmt, die er in diesem Fall
unternehmen wird, wenn fünf Zangen vier Schritte machen, und erst nach diesen Schritten wird er die Gesamtbelohnung berechnen, die er aus diesen Schritten erhalten hat,
und er wird es tun steckte es durch sein Netzwerk.
Er wird es durch sein neuronales Netzwerk leiten, das den Entscheidungsprozess steuert, und dann wird
das neuronale Netzwerk daraus lernen.
Also welches.
Sofort wie: Welches denkst du ist mächtiger?
Der Typ, der es nur einen Schritt nach dem anderen macht und irgendwie wie im Blind oder im Dunkeln stößt und er ist wie
OK, also werde ich einen Schritt machen, um zu sehen, was passiert.
Machen Sie einen Schritt, um zu sehen, was passiert.
Maßnahmen ergreifen.
Was geschieht.
Der Typ an der Spitze oder der Mann, der nur sehr mutig Marsha durch vier Schritte in einer Reihe führt,
und dann entscheidet er, ob dies gute Schritte waren oder nicht und warum Sie hier sehen können oder warum Sie
wahrscheinlich ein Gefühl dafür bekommen, warum der zweite ist besser oder ist stärker, weil der
zweite tatsächlich weiß, was am ende ist.
Der erste Typ, wenn er beurteilt, ob dieser Schritt gut ist oder nicht, er betrachtet nur die Belohnung,
die er bekommt.
Deshalb leitet er sich nur von der Belohnung, die ihm die Umgebung bietet.
Dasselbe gilt hier nur von der Belohnung, die diese Umgebung ihm hier gibt.
So ist jedes Mal seine einzige Art von Kompass, dass er die Belohnung hat, die Belohnung die Belohnung.
Während er hier tatsächlich beurteilen kann, nachdem er die Schritte unternommen hat, die er beurteilen kann.
OK, also bin ich zur Ziellinie gekommen.
Diese Kombination von Schritten war also gut.
Alle waren gut.
Oder oh nein, ich bin in der Feuerstelle oder in Ohno I gelandet.
Ich tat es und als der mein Auto nicht bis zur Ziellinie kam oder ich die Sandwand überquerte oder das Schicksalsspiel oder
etwas verloren hatte.
Und dann entscheidet er, dass diese ganze Kombination von Schritten schlecht ist.
Und deshalb hat er für diese früheren Schritte mehr Informationen.
Er hat mehr Einsichten als in sehr intuitive Ansätze.
Auch dies ist ein viel komplexeres Thema, als wir hier darstellen.
Aber auf eine intuitive Art, wenn Sie beispielsweise diesen Schritt ausführen, enthält dieser Schritt nur Informationen, um sie zu erhalten. Hier haben
Sie nur Informationen, die von dieser Belohnung zurückkommen.
Und für diesen Schritt in diesem Fall derselbe genaue Schritt.
Es gibt mehr Informationen, von denen Informationen den ganzen Weg kommen.
OK, was war das Ergebnis nach vier oder fünf Schritten oder was auch immer.
Ja, das ist also so, wie es funktioniert und warum es die Berechtigungsverfolgung genannt wird, weil er
während dieses Prozesses nicht nur die Belohnung des Computers davon und dessen kumulativen Verlust betrachtet und
dann alles, was angemessen ist.
Tatsächlich gibt es jedoch eine Spur von Berechtigung als sogenanntes Disability Trust.
Es gibt eine Spur, die in einem Algorithmus enthalten ist, der OK sagt. Wenn wir also sagen, dass wir eine Bestrafung erhalten, erhalten
wir eine negative Belohnung. Welcher dieser Schritte wird am ehesten für diese Strafe in Frage kommen.
Wir wissen also nicht nur, was dieses Muster insgesamt oder die Schulkombination der Schritte insgesamt ist,
sondern wir behalten auch eine Spur der Berechtigung bei, welche Schritte wir aktualisieren werden, wenn wir alle bekommen.
Wenn zum Beispiel als negative Belohnung eine Eignungsaufzeichnung vorliegt, die uns anzeigt, dass
dies ein Schritt ist, der am meisten für das verantwortlich ist, was wir am Ende erhalten haben, oder wenn
es wieder eine positive Belohnung ist, wissen wir möglicherweise, dass der Algorithmus uns hilft, den Überblick zu behalten Dieser Berechtigungsalgorithmus hilft uns
auch dabei, den Überblick darüber zu behalten, welcher Schritt oder welche Aktion erforderlich ist, um auf der Grundlage der von uns erzielten Belohnung aktualisiert zu
werden.
Deshalb wird es auch als Berechtigungsnachweis bezeichnet.
Dies ist also die grundlegende Intuition hinter der Berechtigung, und hoffentlich machen es diese
beiden Beispiele für diese Agenten ganz offensichtlich oder recht intuitiv, während diese Fähigkeiten so mächtig sein können.
Und wenn Sie wie versprochen sind, wenn Sie sich näher mit den aktuellen Eignungsspuren oder dem schrittweisen Lernen beschäftigen möchten,
wird ein wunderbares, erstaunliches Buch, das Sie finden können, als Verstärkungslernen bezeichnet.
Eine Einführung stammt von Richard Sutton Andrew Barto 1998.
Ich denke, sie sind dabei, eine zweite Edition oder das sehr kritische Thema zu erstellen.
Aber dies ist das häufigste oder am meisten verbreitete oder am meisten referenzierte Buch zum Durchsetzungslernen.
Es hat eine lächerliche Anzahl von Zitaten.
Ich denke wie Zehntausende, wenn ich mich nicht irre.
Und das Kapitel, das Sie dafür brauchen, ist Kapitel 7.
Um sich die Auswahlmöglichkeiten anzusehen, gibt es ein ganzes Kapitel zu Kapitel 7.
Sie können darüber lesen und es geht ins Detail.
Vorwärts rückwärts Zugelassene Spuren und auch, wie integrale zeitliche Unterschiede auf der einen Seite und das andere Ende
des Spektrums Sie Monte-Carlo-Methoden haben, dazwischen haben Sie Berechtigungsspuren angeblich Spuren oder Sie
verbinden, um von zeitlichen Unterschieden zu Monte-Carlo-Methoden zu gelangen.
Sehr interessant lesen Sie viele Bilder, die ich sehr intuitiv begrüßen konnte.
Es gibt also viele Dinge, die Sie aus diesem Buch über künstliche Intelligenz und
Verstärkungslernen lernen können, aber die Berechtigungsspuren sind wie ein sehr guter Ort, an den Sie sich wenden
können.
Die zweite Referenz für heute ist etwas, das Ihnen in den praktischen Versuchen das Tiefenlernen
oder das Google Deep Mind-Research-Papier über synchrone Methoden für ein vertieftes Verstärkungslernen zeigen
wird.
Ja, das ist das Blatt, das das A-3-Blatt ist, über das wir weiter unten in der Partitur
sprechen werden.
Wir kommen näher und näher daran.
Und wie Sie wissen, sind wir ziemlich aufgeregt darüber, also werden wir uns
ein wenig mit der Frage befassen, wie sie die Berechtigungsspuren in diesem Artikel implementiert
haben.
Hoffentlich hat Ihnen das heutige Tutorial gefallen und Sie wissen, dass Sie sich mit den Qualifikationsspuren ein wenig wohler fühlen und ich kann
es kaum erwarten, Sie das nächste Mal zu sehen.
Bis dahin genießen Sie einen.