Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
In der heutigen Geschichte sprechen wir über das letzte a in einem 3C.
Wir reden von Vorteil.
Also da ist es.
Wir haben bereits über Schauspielerkritiker und Synchronisten gesprochen.
Und so baute er einen Weg zu dem, was wir heute betrachten werden, und mit Vorteil werden wir
alles zusammenstellen.
Wir haben also bisher ein neuronales Netzwerk, das zwischen den Agenten und den asynchronen Agenten aufgeteilt wird, und dann haben
wir den Kritiker, der auch zwischen dem Alter und so geteilt wird.
Wie läuft das alles ab und warum wird diese Kritik zwischen den Agenten geteilt?
Schauen wir uns das mal an.
Nun, es ist besser zu verstehen, dass wir uns ein Beispiel ansehen, das wir zum Beispiel mit diesem Agenten untersuchen werden, um
zu sehen, was passiert, wenn er sich in einem bestimmten Zustand befindet und er entscheiden muss, welche Aktion er ausführen soll.
Dieser Agent befindet sich also in einem Zustand, in dem er dieses Bild sieht. Was passiert, wenn diese Informationen in
das neuronale Netzwerk gelangen, geht es in das Faltungslager, dann in das Pooling-Lager, dann geht
es in das Abflachungslager und dann von dort in das verborgene Schichten des
neuronalen Netzwerks und als Ergebnis erhält er alle diese Richtlinienwerte, deren Werte Sie als Richtlinie festlegen.
Und auch den Kritiker bekommt er wert.
Und da wir neuronale Netze kennen, um funktionieren zu können, müssen sie bestimmte Fehler oder Verluste wieder durch das
Netz verbreiten.
Also auf diese Weise, um die Gewichte so zu aktualisieren, was auf die Verluste warten wird, mit denen wir hier umgehen
werden.
Wir haben zwei Verluste.
Wir haben den Wertverlust und die Postale.
Der Wertverlust ist also mit dem Wertteilverlust verbunden, der mit Pools verbunden ist und somit wertvoll ist.
Wir haben uns schon früher damit beschäftigt.
Wir wissen, dass wir Belohnungen haben, und wir wissen, dass wir einen Abzinsungsfaktor haben. Dies ist im
Wesentlichen dem ähnlich, worüber wir bei der Konvertierung in Deep Learning-Tutorials gesprochen haben.
Grundsätzlich prognostiziert das Netzwerk einen bestimmten Wert V und gleichzeitig können wir schätzen, was basierend auf dem, was wir über die
Umgebung wissen, basieren sollte, bis wir abschätzen können, was der Wert in dem Zustand
sein soll Verlust und dann zurück Propagator-Netzwerk die Gewichte aktualisieren.
Das ist also das Nötigste für das Neue, hier ist der Politikverlust.
Und was ist dieser Politikverlust und wie funktioniert er?
Nun, dies ist der Teil, in dem diese ganze Situation, in der der Kritiker zwischen den Schauspielern oder
zwischen den Agenten geteilt wird, endlich auftauchen wird.
Um den Palsu-Verlust zu verstehen, müssen wir einen Wert namens Advantage einführen, daher wird der Name dieses Teils
der Geschichte in diesem gesamten Teil des Salyut als Vorteil bezeichnet und der Vorteil wird als Q als
A minus V von s berechnet.
Im Grunde also der Q-Wert oder den, den Sie gewählt haben, um alle Aktionen abzuspielen, die Sie ausgewählt haben, in dem Zustand, in dem Sie
sich im Zustand S befinden, minus dem Wert dieses Zustands.
Das ist also der Unterschied zwischen den beiden und das nennt man diesen.
Und der Vorteil wird bei der Berechnung des Pulslosen verwendet.
Wir gehen jetzt nicht auf die Formel der pulslosen Berechnung ein, weil sie ziemlich komplex ist, sie verwendet
Entropie oder Sie können Entropie nicht verwenden.
Wir werden diese Formel nicht analysieren, aber wir werden dies auf einer intuitiven Ebene verstehen.
Warum tun wir das? Warum berechnen wir diesen Vorteil und wie wird er uns helfen?
Lassen Sie uns diese Prämisse eine Sekunde lang betrachten.
Der Q-Wert hier kommt von dem, was das neuronale Netzwerk für diesen Agenten vorhergesagt hat und in dieser spezifischen Aktion für diese Aktion so
vorhersagend ist, dass es diese Aktion ausführen kann, so dass es diese Aktionen
hat und eine von ihnen gleiten kann und sie spielen kann Nun, während der Wii-Wert der vom Kritiker vorgegebene Wert
ist.
Es ist der Wert, den wir hier in diesem gemeinsamen Teil haben, und das ist der Schlüssel hier, dass dieser Teil
geteilt wird, also brechen die Kritiker, weil so der Kredit ins Spiel kommt.
Weil wir einen Wert haben, den wir wählen, oder die Aktion, die wir für diesen Agenten in diesem
Zustand spielen.
Aber dann kann der Kritiker uns sagen, was der bekannte Wert dieses Staates ist. Welches ist der bekannte Wert für diese
ganze Gruppe von Agenten, die zusammen arbeiten, weil ihr Teilen nicht antwortet, weil das anfängliche B, weil sie
den Kritiker teilen Sie alle tragen dazu bei, dass diese v-Werte für eine andere Menge
berechnet werden, also das Ganze. Ein Z-Algorithmus sagt OK.
Der Kritiker kennt also einen v-Wert, wie viel besser Ihr q-Wert ist, den Sie auswählen, verglichen mit dem
bekannten v-Wert.
So heißt es.
Das ist es also im Grunde.
Daher wähle ich hier einen q-Wert basierend auf meiner Richtlinie aus, je nachdem, was
wir als Soft-Max-Funktion oder als Epsilon-Grealy-Richtlinie verwenden.
Und natürlich werden wir dort Exploration und Ausbeutung kombinieren, aber wir haben den Q-Wert ausgewählt, und
nun stellt sich die Frage, was das Extra ist.
Was sind das für geschimpfte? Was ist der Vorteil, den Ihre gewählte Aktion im Vergleich zum bekannten
Wert dieses Staates bringt, und das ist das Wesentliche des Vorteils, und dieser wird im Wesentlichen zur Berechnung
des Richtlinienverlusts verwendet, und dann wird der Richtlinienverlust wieder propagiert durch zurück zum Netzwerk.
Sie verbreiten sich also zurück durch ein Netzwerk und die Gewichte werden angepasst, damit das Netzwerk den
Wert des Kritikers besser darstellt. Dies ist auch der obere Teil.
Aber dann ist dies auch ein Teil des Schlüssels, dass die Gewichte bakra sind.
Wenn diese Postämter zurück sind, vergessen Sie, dass die Raten so angepasst werden, dass dieser Vorteil maximiert wird,
so dass dies die intuitive Seite des intuitiven Verständnisses ist, dass wir
diese Richtlinie wieder durch das Netzwerk zurücklegen, um die Maximierung zu unterstützen dieser Vorteil.
Das bedeutet im Wesentlichen, dass ein Agent auf schlechte Aktionen wie Aktionen stößt, bei denen die
q-Werte unter dem bekannten Wert für den Status liegen.
Im Grunde weiß der gesamte ATC-Algorithmus, dass der Wert für den Zustand etwas X ist und dann plötzlich
auf eine sehr schlechte Aktion gestoßen ist und Sie dies getan haben.
Und das bedeutet für den Enthusiasmus, warum sollten wir so etwas tun, wenn es schlimmer ist, als wir
bereits wissen, was wir bereits über diese ganze Umgebung wissen und was wir hätten tun können.
Wir sollten also nicht mehr davon machen.
Und deshalb sind die Gewichte nur so, dass das seltener passiert.
Das passiert also seltener.
Es ist also weniger der Fall, dass wir diese schlechte Handlung wählen.
Wenn Sie dagegen eine sehr gute Aktion wählen, bei der der q-Wert größer als V oder
viel größer ist als die Position, bei der während des Zurücklaufens des
polnischen Verlusts durch das Netzwerk die Gewichte aktualisiert werden, wird dies wirklich verstärkt Ermutigen Sie zu beruhigen, dass die Gewichte so angepasst
werden, dass der Atresien-Algorithmus denkt, dass das wirklich sehr gut ist, dass Wantage
dort sehr hoch war.
Ich sollte mehr davon tun, und daher werden Sie die Gewichte so aktualisieren, dass diese Aktion in
der Zukunft wahrscheinlicher ist.
So und deshalb wissen Sie, dass sich das Netzwerk langsam langsam anpasst und sich langsam
zu etwas zusammenbaut, das einerseits den Wert richtig berechnet und andererseits oder so
richtig wie möglich.
Andererseits ermutigt es oder hat Aktionen, die einen großen Vorteil haben.
Also los, das ist dieser Teil.
Und jetzt wollen wir uns einen anderen anschauen, um zu unterstreichen, was wir gerade oben diskutiert haben.
Also das Gleiche hier.
Die Top-Agenturen eine Situation, in der ein Staat sich in einem Staat befindet, und müssen dann entscheiden, was zu tun
ist, da diese Informationen zu den Netzwerken dieses Bildes das Internet nachwachsen
lassen, um eine Faltung zu erreichen Wir erhalten eine Ausgabe. Wir erhalten die akuten Werte der
Richtlinie. Wir erhalten die V-Werte wieder genauso wie zwei Verluste.
Wir haben den Wertverlust, der hier polnischer Verlust ist, hier der Wertverlust.
Wir wissen bereits, wie berechnet wird.
Wenn wir dies im tiefen Q-Lernen besprachen und gerade eben auch diskutieren.
So wurde der Wert berechnet und dann der Policenverlust erneut, um das zu berechnen, auf das wir ihn
nicht einlassen.
Aber auf einer intuitiven Ebene berechnen wir diesen Vorteil, der in Ordnung ist. Deshalb haben wir eine bestimmte Maßnahme ergriffen. Wir haben
eine bestimmte Maßnahme aufgrund unserer Auswahlpolitik ausgewählt, egal ob es sich um sanfte Max oder um Upselling
Greedy oder um eine andere Sozialpolitik handelt, die wir verwenden.
Und dann, was ist die Handlung, die wir unternahmen? Jetzt vergleichen wir es mit dem Bekannten und dem Wert des Staates, der von den geteilten
Kritikern kommt. Dieser Kritiker sieht also so aus, als würde man daran denken, dass alle
diese Agenten gleichzeitig beobachtet werden Bei diesem Blick auf diesen einen Beitrag tragen sie alle zu einem
Kritiker bei, um den Kritiker besser mit der Umgebung vertraut zu machen, um sicherzustellen, dass der
Kritiker repräsentativ ist für das, was in der tatsächlichen Umgebung vorgeht, um die Gewichte zu belasten.
Hier setzt der Wertverlust an, so dass die Gewichte des tatsächlichen neuronalen Netzwerks die tatsächliche
Situation der Dinge in der Umgebung sehr gut widerspiegeln, so dass sie sich auf diesen Wert verlassen
und ihn hier verwenden können.
Und so im Grunde.
Alle diese Agenten, alle diese Agenten, tragen zu dieser Kritik bei.
Dann aber gleichzeitig durch diese wertlosen, aber gleichzeitig beobachteten Kritiker die Entscheidungen
oder die Politik dieser Agenturen.
Es ist, als ob ich zurückschaue, als würde ich versuchen, einen Pfeil wie einen Pfeil auf die Stangen
zu zeichnen.
Ein Rückblick auf die Entscheidung, die sie treffen, ist, diese Entscheidungen aus dieser Perspektive heraus zu kritisieren und
zu sagen, OK, Sie haben die Entscheidung getroffen, dass Sie sich für diese Aktion entschieden haben.
Das ist großartig.
Lassen Sie uns nun den Vorteil oder den Nachteil der Ranch berechnen, wenn Sie wissen, dass
der Q-Wert die Entscheidung, die ich getroffen habe, oder die Entscheidung, die ich für die Entscheidung getroffen habe, getroffen hätte, abzüglich des bekannten
Werts des Kritikers.
Nicht über den Kritiker.
Kalika ist der Unterschied, wenn es sich um einen geringen Unterschied handelt, wenn Sie polnisch sind. Wenn Sie Ihre
Verluste durch das Netzwerk so abfangen, wie sie eingestellt werden, wird dies dazu führen, dass
die Gewichte so eingestellt werden, dass dies nicht der Fall ist wiederum, dass dieser Q-Wert oder dieser Q-Wert
niedriger sein wird, so dass, da unsere Richtlinie die Aktionen basierend auf den q-Werten auswählt, der Q-Wert umso höher ist, je höher die Wahrscheinlichkeit
ist, dass sie ausgewählt werden.
Wenn wir also wie eine arc-Max-Richtlinie arbeiten, wählen wir immer nur die höchste aus. Wenn Sie sich erinnern, haben
wir dies diskutiert, dann haben wir immer die mit dem höchsten Wert ausgewählt.
Aber wir verwendeten tatsächlich einen probabilistischen Ansatz, bei dem ich wie Soft Max oder Upselling-Gierige Politik
verwendete.
Und dann haben wir im Grunde ausgewählt, wo wir einen auswählen können, aber je höher der Würfel, desto besser.
Wenn wir also etwas ausgewählt haben und der Vorteil dann sehr gering war, dann wird
das Netzwerk so hinzugefügt, dass beim nächsten Mal der Wert dieser bestimmten Aktion geringer sein wird und möglicherweise
etwas anderes.
Das ist also, wie das gespalten wird und andererseits, wenn wir etwas auswählen, bei dem dieser Vorteil hoch sein wird,
dann wird dies in die Richtliniengesetze und dann in die Netzwerke einbezogen und wir aktualisieren
es, so dass das Ereignis, wie es üblich ist, beobachtet wird Szenario.
Im Grunde hilft dieser polnische Verlust dem Netzwerk, sich so anzupassen oder zu verwandeln, wie wir es tun.
Moral der guten Sachen gute gute Handlungen und gute Dinge und weniger der schlechten Dinge tun.
Und so kommen diese beiden Verluste ins Spiel und so sind sie wieder angemessen.
Hoffentlich klärt das auf eine sehr intuitive Art und Weise. Natürlich sind wir nicht auf die
Formeln in die komplexe Mathematik dahinter eingegangen und mögen die komplizierten Details.
Aber gleichzeitig hoffentlich auf intuitive Weise auf intuitive Weise.
All dies klärt, warum wir den Schauspieler und den Kritiker haben und wie sie miteinander interagieren, dass
Sie wissen, dass Sie diese Agenten asynchron oder synchron haben.
Dann ist dies Ihr Schauspieler und Kritiker und dies ist der Vorteil und wie das alles ins Spiel kommt.
Das sind also synchrone Agenten.
Sie gehen.
Sie spielen das oder erkunden die Umgebung und arbeiten durch die Umgebung, und sie
tragen alle zu einem Kritiker bei, der dann ihre Politik beobachtet und die Akteure beobachtet, wie das
heißt.
Und durch den Vorteil, der sich aus dieser Perspektive ergibt, ist dies ein Verlust und dann ein Politik- und Wertverlust
oder eine Weitergabe an das Netzwerk, um dies zu erreichen.
Einerseits repräsentieren Sie den wahren Weg der Dinge in der Umgebung.
Eine andere Hand, um die Leistungen der Schauspieler zu verbessern.
Also los geht's.
Das ist eine kurze Zusammenfassung der Intuition, die wir besprochen haben.
Hoffentlich kommt das alles auf einer intuitiven Ebene zusammen und natürlich in
den praktischen Übungen. Wir werden mehr darüber sprechen, wie all dies in Atlanta
funktioniert.
Wenn Sie dieses Bild im Kopf haben und dies als eine Art Roadmap für alles, was es zusammenbringt,
wird es gut sein. Ich hoffe, es ist sehr hilfreich für Sie, um die praktische Seite der Dinge besser
zu steuern.
Und in Bezug auf die zusätzliche Lektüre für heute haben wir zwei Elemente, daher ist der erste Vorteil von Vorteil.
Wir haben hier also ein hochgradig kontinu- ierliches kontinuierliches Controlling mit einer generalisierten Vorteilsschätzung von
John Shulman, und dies ist das Bild einer Strichmännchen, die wie ein Aufstehen aufsteht.
Und hier finden Sie noch mehr Vorteile und Vorteile und alle
Vorteile.
Sie haben den allgemeinen Vorteil beim Schätzen und Sie haben Vorteile, die Sie tatsächlich in
den Formularen in den Berechnungen verwenden. Wenn Sie also mehr über den Vorteil erfahren
möchten und genau wissen möchten, wie die dahinter stehenden Formeln und einige davon funktionieren Die oberen oberen Elemente oder Formeln und keine Löcher im
Raum dieses Vorteils.
Wir haben darüber gesprochen.
Dies ist der Artikel, zu dem Sie gehen können.
Ein weiteres Element, an das wir Sie erinnern möchten, ist der Blog, eine Serie von Blogbeiträgen von Arthur
Giuliani, die wir bereits einige Male erwähnt haben.
Dies ist Teil Acht, bei dem es sich speziell um die A-3-See handelt.
Hier können Sie eine weitere Erklärung erhalten.
Mit etwas mehr Mathematik darüber, was hier vor sich geht, können Sie vielleicht ein paar zusätzliche Dinge hier
herausholen.
Nur zwei Dinge, die zu bedenken sind. Wie immer ist dieser Blog ein intensiverer Anhänger. Wir verwenden Pi
Fackel.
Denken Sie also daran.
Zweitens haben wir unseren Ansatz so strukturiert, dass wir zuerst über aktive Kritiker und dann
über Synchronismus gesprochen haben.
Und dann haben wir über den Vorteil gesprochen, wohingegen im ersten Gespräch von Arthur Arthur
über einen Synchronoss-Kritiker ein Vorteil von Vorteil ist.
Aber ansonsten ist das natürlich ein toller Inhalt.
Wir empfehlen Ihnen dringend, zusätzliche Informationen zu erhalten.
Wir gehen also hoffentlich auf das heutige Tutorial.
Und ich freue mich darauf, Sie das nächste Mal zu sehen.
Bis dahin genießen.
ICH.