Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Heute setzen wir unsere Reise in die Welt fort, und zwar alle drei, und wir reden über die synchrone
Seite eines C, also haben wir unsere Abkürzung für synchronen Vorteil.
Aktiver Kritiker
Und heute werden wir herausfinden, was hier ein Synchrones bedeutet, was es bedeutet.
Und lass uns einen Schritt zurückgehen.
Schauen wir uns an, was wir diesen ganzen Kurs für die Durchsetzung begonnen haben, um zu lernen, worauf es ankommt, dass der
Asiat in einem bestimmten Zustand ist.
Sie beobachten den Staat.
Sie treffen bestimmte Entscheidungen, sie ergreifen Maßnahmen in diesem Zustand, und dann ändert sich der Zustand, sodass sie in einen neuen
Zustand versetzt werden und erhalten Belohnung.
Also die Belohnung für das Ergreifen dieser Aktion oder eine Art Belohnung, die ebenfalls eine Strafe sein könnte, und sie landen in einem
neuen Zustand.
Und darauf basierend machen sie jetzt wieder eine andere Aktion.
Sie erhalten eine Belohnung und landen in einem neuen Zustand, und sie ergreifen eine andere Aktion und so
weiter, und dies ist die Grundlage für das Verstärkungslernen.
Das ist es, was wir beim Lernen im tiefen Lernen und im tiefen konvolutionellen Lernen gelernt haben, und das hat
es unseren Agenten ermöglicht, nach und nach komplexere und komplexere Umgebungen zu schlagen.
Aber jetzt werden wir ein noch besseres Konzept einführen und sogar noch weiter gehen.
Was A-3 durch dieses und synchrones Element einführt, ist, anstatt einen Agenten die Umgebung angreifen
zu lassen.
Sie haben drei Agenten oder eine beliebige Anzahl von Agenten oder mehrere Agenten, die dieselbe Umgebung angreifen.
Und der Schlüssel hier ist, warum es die Synchronisierungen genannt wird, weil sie anders initialisiert werden, so
dass ihre Sterneneingaben unterschiedlich sind.
Wie Sie beispielsweise aus praktischen Quellen sehen werden, setzen Sie einen zufälligen Startwert und legen ihn für
jeden Agenten anders fest.
Und das so, weil ihre Ausgangspunkte unterschiedlich sind.
Sie werden zuerst auf verschiedene Weise durch Umgebungen gehen und dann auf unterschiedliche Weise erkunden, und
dann werden sie in den nächsten Iterationen auch auf unterschiedliche Weise erforscht.
So haben wir zum Beispiel drei Agenten.
Sie erhalten plötzlich die dreifache Menge an Erfahrung und nicht nur ein einziges Lebensalter.
Sie gehen durch und erkunden die Umgebung und versuchen zu verstehen, wie sie in dieser Umgebung betrieben wird.
Sie haben jetzt drei oder so viele von ihnen, die diese Erfahrung machen und diese Erfahrung machen,
so dass jeder von ihnen für diese größere Erfahrung lernt. Abgesehen davon, dass er nur ein breiteres
Spektrum an Erfahrungen bietet, verringert dies auch die Chancen eines Agenten in einem lokalen Maximum stecken.
Wenn zum Beispiel ein Agent einen Weg findet, die Umgebung zu schlagen, die nicht die optimalste ist, weil ein Link von rechts
nach rechts von dieser Lösung abweicht und er immer als bestraft empfunden wird, als wäre er bestrafter
und könnte in einem lokalen Maximum stecken.
Es könnte einfach weitergehen, wenn man denkt, dass dies die optimale Lösung ist, wo es eigentlich nicht ist.
Nun, die Wahrscheinlichkeit, dass mehrere Agenten in demselben lokalen Maximum stecken bleiben, nimmt mit der Anzahl der Agenten ab, so dass die
Wahrscheinlichkeit, dass ein Agent in einem bestimmten lokalen Maximum stecken bleibt, hoch sein
könnte, oder aber ein bestimmter Wert sein könnte.
Aber die Wahrscheinlichkeit, dass drei von ihnen in diesem lokalen Maximum stecken,
ist viel geringer.
Und solange sie Erfahrungen austauschen, können sie sich gegenseitig helfen. Wenn also einer von ihnen stecken bleibt,
ist dies ein lokales Maximum. Denken Sie einfach, dass dies die beste und die beste
Lösung ist macht das immer wieder.
Nun, solange es mit den anderen Agenten interagiert. Nehmen wir also an, dieser Kerl bleibt in einer ruhigen
Aktion stecken, solange er mit anderen Agenten auf die Art und Weise interagiert, wie wir unseren gesamten Algorithmus durch
Mobilfunk entwickeln, und sie werden ihm helfen.
Sie werden ihm das Wissen vermitteln, dass Sie eigentlich wissen, dass Sie dies untersuchen sollten, oder er
wahrscheinlich eher aus diesem herauskommt.
Und insgesamt wird die Umgebung wissen, dass dies ein hervorragendes Maximum ist, das in anderen Zeiten bessere
Optionen gesehen hat, und wir sollten weiter erkunden, da es anscheinend bessere Optionen gibt.
In einem sehr kurzen groben intuitiven Verständnis bedeutet dies, dass dies einige der Vorteile dieser synchronen Agenten
sind, so dass Sie mehr Erfahrung zur Auswahl haben und von denen Sie lernen können.
Sie könnten schneller und generell zur Lösung gelangen, wenn die Wahrscheinlichkeit geringer ist,
in einem lokalen CRN-Maximum zu stecken.
Mal sehen, wie das alles klappt.
In diesem Modell, das wir bisher gebaut haben, denken Sie daran, dies ist das, was wir durch den eigentlichen Kritiker so weit gebracht haben,
und das ist, als ob wir alle necken, dies ist so weit, wie Sie sich an die erste Schildkröte erinnern, die wir
eingeführt haben Das wissen Sie, wir hatten das auch schon im tiefen Ozean.
Q learning's So haben wir gerade das X benannt, aber jetzt haben wir Kritik eingeführt, aber bis jetzt
macht es keinen Sinn, was es heißt, diesen Kritiker zu haben und den Wert des Staates zu messen
oder den Wert einer Stufe mit demselben neuronalen Wert vorherzusagen Netzwerke oder der gleiche Ansatz.
Aber jetzt ist dies der Partner, der mehr Sinn macht.
Was wir tun werden, ist, dass wir dies replizieren werden, weil wir jetzt mehrere Agenten haben. Wenn also mehrere Agenten
dies sind, sieht es so aus.
Die erste Möglichkeit, sich vorzustellen, ist, dass wir uns diese drei Tage gut erinnern können, was wir darüber gesagt haben, dass sie
ihre Erfahrungen miteinander geteilt haben.
Das ist eigentlich so, als wären sie jetzt alle unabhängig.
Sie haben eine, die das Spiel spielt, und nicht nur ein anderes Spiel im Spiel.
Es ist, als würden Sie Ihren Agenten auf drei verschiedenen Computern starten, indem Sie drei verschiedene Computer nebeneinander stellen und
sie starten, und Sie wissen, dass das großartig ist.
Als ob Sie wirklich möchten, erhalten Sie mehr Erfahrung und mehr Abwechslung, besonders wenn sie initialisiert
werden.
Wir können also von hier aus davon ausgehen, dass sie anfänglich nicht initialisiert werden, obwohl wir
hier dasselbe Bild haben.
Werden wir wissen, dass sie tatsächlich anders initialisiert werden, so wird es nicht wie
ein identisches Training aussehen, das aus diesem Spiel lernt.
Und selbst wenn Sie möchten, dass Sie drei Computer nebeneinander
stellen und starten, ja, Sie werden mehr Erfahrung haben, da Sie drei Agenten spielen und auch eine größere Auswahl
an möglichen Lösungen haben werden .
Das stimmt also.
Das Problem ist jedoch, dass sie unsere Erfahrungen nicht miteinander teilen oder nicht voneinander
lernen.
Sie haben also diese Synergie nicht.
Sie haben weder den Vorteil noch die zusätzliche Kraft, die sie bekommen würden, wenn
sie sich einreden würden. Sie wissen, wie, wenn Sie ein Team hätten, das besser zusammenarbeitet als jeder einzelne von ihnen.
Wie in einem Team hier hast du eins plus eins plus eins.
Es sind drei, aber in einem Team sind eins plus eins zu spawnen und nicht drei sind wie die drei, weil
sie die Stärken des anderen nutzen und die Schwächen des anderen abschwächen und die gleichen Dinge hier abmildern.
Wenn Sie also diese beiden Computer nebeneinander setzen, haben Sie mehr Erfahrungsspeicher und möglicherweise hat
jemand eine bessere Lösung.
Eine andere, die großartig ist, aber es wäre noch besser, wenn sie diese Erfahrung teilen.
Und wie machen sie das?
Nun, durch diese Wii berechnen wir sie so, dass dieser Wii-Wert, der die Ausgabe unseres Netzwerks
darstellt, tatsächlich so ist.
So haben sie jedes Mal das gleiche.
Alle diese Agenten tragen zum selben Kritiker bei.
Sie haben keine getrennten Kritiker, sie haben einen gemeinsamen Kritiker, und das ist der Schlüssel dafür, wie sich der
Schauspieler mit ihrem Synchronous verbindet.
Es gibt also einen Kritiker, der uns beobachtet, wie sie Erfahrungen sammeln.
Wie berechnen wir die Wii?
Wir müssen die Wii durchbringen.
Wenn Sie sich erinnern, können wir durch die Werte, die wir erhalten, Fernsehen machen, und die Belohnungen, die wir durch die Umgebung
bekommen.
Und wenn die Agenten ihre Umgebung erkunden, sind sie Kalküle, die die Wii vorhersagen.
Außerdem haben sie die Wii, die sie berechnen können.
Dies ist das alles, was wir in den vorherigen Abschnitten der Partituren bereits
besprochen haben.
Sie haben also bereits eine Wii, die sie vorhersagen können, wie durch die Belohnungen, die sie in diesem Labyrinth kennen
und die sie bereits erforscht haben, und die sie natürlich erkunden, und dass sich dieser Wert
ändern kann.
Aber sie haben auch die Wii, dass dies die Ausgabe des neuronalen Netzwerks ist.
Wenn sie das durchgehen, werden sie ihre neuronalen Netzwerke anpassen, um das erwartete besser zu erreichen.
Im Grunde genommen wird dies geteilt. Der kritische Teil wird zwischen den Agenten geteilt. Auf diese Weise teilen sie die Informationen untereinander. So
können sie irgendwie sehen, was in der gemeinsam genutzten Umgebung vor sich geht, und
diese dann als wir verwenden werde im nächsten teil weiter nach vorne sehen.
Verwenden Sie das also, um das Verhalten der Umgebung zu optimieren.
Und die andere Sache, die hier zu beachten ist, ist.
Das war also ein durchgehendes C.
Dies ist wie der Kern von A-3 bis hier.
Dies ist eine Version von 08:30. Es gibt jedoch eine noch bessere Implementierung.
A bis C, von dem Sie hören würden, dass ich gerne in einem der ersten Tutorials und den praktischen Aspekten
darüber sprechen würde, und worüber er sprechen wird, ist, wie der Schöpfer von Pi torche tatsächlich eine Anpassung vorgenommen hat Von den
Codes, die gemeinsam genutzt wurden und wo er alle diese Informationen verwendet hat, haben sie, wie
Sie jetzt sehen können, separate neuronale Netzwerke, und sie zeigten der Wii, dass die
Anpassung tatsächlich vorgenommen wurde, um all diese neuronalen Netzwerke zu übernehmen nimm sie und füge sie zusammen.
Letztendlich gibt es hier nur ein neuronales Netzwerk, das von den Agenten gemeinsam genutzt wird.
Bevor sie also hatten, hatte jeder von ihnen ein neuronales Netzwerk, das für den Schauspieler gemeinsam genutzt wurde, und für
den Kritiker ein neuronales Netzwerk, das für den Kritiker tatsächlich ein neuronales Netzwerk war.
Jetzt haben sie alle ein neuronales Netzwerk, das für den Schauspieler oder Kritiker X oder Kritiker gemeinsam genutzt wird.
Und dann ist der Kritiker hier gemeinsam.
Also lass uns mal sehen.
Verschieben Sie diese Bilder hier nach links, um Platz zu schaffen.
Dies ist im Wesentlichen die Architektur oder Struktur, die wir in den praktischen Übungen verwenden
werden.
Ich weiß, dass sich dies in dieser Phase vielleicht etwas überwältigend anhört, aber wir haben noch einen weiteren Grund, über
den Vorteil zu sprechen, und wir werden es in Aktion besser sehen.
Wie geht das? Wir sprechen über die Intuition in Aktion.
Aber im Allgemeinen ist es das, was es ist.
Dies ist ein Netzwerk, das von jedem Agenten verwendet oder gemeinsam genutzt wird.
Im Grunde bedeutet das, dass sie die Gewichte teilen, die die Gewichte des Netzwerks zwischen verschiedenen Altersstufen haben, und wenn
sie es aktualisieren, aktualisieren sie das gesamte Netzwerk und nicht nur das eigene Netzwerk.
Und dann haben sie Ausgaben, die sie für jeden Agenten wie diese Aktionen haben, und dann haben sie den Kritiker, der
geteilt wird, der überwacht wird.
Ich weiß, dass das alles so ist, als ob es im Moment eine Menge Sachen gibt, aber hoffentlich kommt es
zumindest langsam zusammen.
Der Haupt-Take-Away von hier ist, dass der Kritiker geteilt wird.
So können die Agenten sicherstellen, dass sie zusammenarbeiten, um das Ergebnis viel schneller zu
erreichen.
Und im nächsten Tutorial werden wir noch genauer sehen, wie sich das alles summiert.
Das alles kommt zusammen.
Und fürs Erste gibt es das, was ich empfehlen möchte, oder wir möchten Ihnen eine zusätzliche Lektüre empfehlen.
Das ist also ein Blog von Jaromir Jansch.
Es heißt Let's make a A3. Implantationen sind eigentlich zwei Teile, Implementierung und Theorie.
Es gibt den Link und es ist dem sehr ähnlich, was Adlon in der praktischen Seite des Tutorials
implementieren wird. Es ist also nicht speziell für dieses Tutorial gedacht, nicht nur für Sutro, sondern für
diesen gesamten Abschnitt.
Ermutigung gibt es einige zusätzliche Informationen, einige zusätzliche Einblicke dort.
Deshalb bringen wir es hier auf.
Aber trotzdem werden wir im nächsten Tutorial anfangen, all das zusammen zu ziehen.
Alles was wir besprochen haben.
Und ich freue mich darauf, Sie das nächste Mal zu sehen.
Und bis dahin genieße ich