Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Heute reden wir endlich über das Lernen von Kule.
In Ordnung, also haben wir diese Gleichung bereits mit der Bellmen-Gleichung erhalten, zu der wir viele Komponenten hinzugefügt haben.
Wir haben hier die Belohnung, die nicht ganz am Ende liegen kann, sondern bei jedem Schritt.
Wir haben den Abzinsungsfaktor.
Wir haben die Wahrscheinlichkeit, dass wir uns nun auf das Kennzeichen eines Entscheidungsprozesses konzentrieren.
Und hier haben wir die Möglichkeit, in einem anderen Staat zu enden, unabhängig davon, welche Maßnahmen wir ergreifen oder
welche Maßnahmen wir tatsächlich gegeben haben.
Es kann mehrere Zustände geben, in denen wir enden können, und dann haben wir den Wert der
nächsten Zustände erhalten, weil er so etwas wie eine rekursive Funktion usw. ist, aber Sie haben wahrscheinlich immer noch eine Frage.
Die Frage ist, wo in all dem kein Buchstabe Q steht. Warum heißt das alles q.
Lernen.
Wo ist das Stichwort?
Und diese Frage werden wir heute beantworten.
Bisher haben wir uns mit Werten befasst, dem Wert, in einem bestimmten Zustand zu sein, und nun werden wir uns
ansehen, wie Q auch in all das passt.
Hier haben wir zwei Beispiele auf der linken Seite, was wir bisher tun würden, als unser Agent analysiert hat.
Ok, ich bin hier drüben.
Dies ist ein Zeichen des Entscheidungsprozesses, also spielt es keine Rolle, wie ich hierher gekommen bin.
Der Rest der Umgebung kümmert sich nicht um die Schritte, die ich von jetzt an brauchte, um hierher zu kommen.
Ich muss die optimale Entscheidung treffen, wohin ich hier oder hier gehen soll.
Basierend auf dem aktuellen Zustand und allen zukünftigen Zuständen, die von hier stammen, aber nicht aus der Vergangenheit.
Und so kann er sehen, dass es drei Optionen gibt, es gibt einen Bundesstaat, der drei Staaten gibt.
Basierend auf seiner Erfahrung hat er die Werte in diesen Zuständen berechnet und verwendet nun
die Bellmen-Gleichung.
Obwohl dies ein klassischer Proceso ist, weiß er zwar, dass er hierher kommt, aber es besteht die Möglichkeit, dass
er nach rechts geht und so weiter.
Basierend auf diesen Werten werden wir eine Entscheidung treffen. Das ist das, was wir bisher tun und das ist
absolut legitim.
Aber jetzt werden wir ein bisschen modifiziert.
Wir werden für dasselbe Konzept genau dasselbe Problem verwenden, aber hier, anstatt auf die Werte der
einzelnen Zustände zu schauen, in denen er landen kann, werden wir die Werte oder den Wert jeder Aktion betrachten.
Wir werden also nicht mehr den Buchstaben V verwenden, denn für den Wert des
Staates werden wir ein Q verwenden, und Sie haben vielleicht eine Frage, warum der Buchstabe Q gut ist.
Einige Leute spekulieren darüber.
F Werde ich das lesen?
Ich denke an Quora.
Jemand erwähnte, Q sei aus Qualitätsgründen, aber gleichzeitig konnte ich keine weiteren Hinweise darauf finden. Vielleicht auch
nicht, weil dies der Brief war, der damals verwendet wurde
und jetzt sehr beliebt wurde, weil er es ist alle deshalb als Schlüssellernen bezeichnet.
Es wurde also kein genauer Grund gefunden.
Q Aber es hilft uns immerhin, zwischen V und Q zu unterscheiden. Also hier Q.
Es gab Geschenke und nicht den Wert des Staates, den die Qualität darstellt.
Sie steht für die Qualität der Aktion, die repräsentiert.
OK, ich habe vier Aktionen.
Was sind die verschiedenen Qualitäten dieser Aktion?
Was ist der Wert der Aktion oder die Qualität der Aktion? Welche Aktion ist lukrativer? Ich brauche
eine Metrik, die mir in Ordnung sagt, wie ich diese Aktion quantifiziere und sie dann vergleichen
kann. Genau das ist Q.
Und so hat er vier mögliche Aktionen.
Gehen Sie wie immer nach rechts oder unten.
Und basierend auf der Aktion wird es eine Formel geben, die uns den quantifizierbaren Wert dieser Aktion sagt,
die wir den Q q-Wert dieser Aktion nennen.
Schauen wir uns also an, wie wir diese Formel ableiten.
F Wie ist es tatsächlich mit diesen verbunden?
Wie Sie sich vorstellen können, weil Aktionen zu Zuständen führen, muss eine Verbindung zwischen den beiden
bestehen.
Richtig, wir haben bereits festgelegt, wie das berechnet werden soll, und wir sind ziemlich gut darin.
Wir wissen, wie man die Belman-Gleichung in sehr unterschiedlichen Umgebungen mit vielen verschiedenen Komplikationen verwendet.
Lassen Sie uns dieses Wissen nutzen, um zu verstehen, wie wir jetzt berechnen können.
F Um die gleichen Vorhersagen zu treffen, ändern sich die Umgebungen, wie Sie sich
vorstellen können, nicht, je nachdem, welchen Ansatz wir verwenden.
Daher sollten dieser Ansatz und dieser Ansatz immer das gleiche Ergebnis liefern, weshalb diese beiden
Gründe ein weiterer Grund sind.
Schauen wir uns das mal an.
Hier also unsere Sichtweise, bei der wir nur den Wert eines bestimmten Zustands dieses Zustands oder eines anderen
Zustands betrachten können.
Und hier gehen wir darauf ein, dass wir hier nur die Führung nutzen, denn das ist der aktuelle Zustand.
Daher ist die Terminologie in beiden Gleichungen gleich und hier verwenden wir q als Q Ist der
Staat und die Handlung.
Eine weil Aktion ist aber in welchem Zustand wir diese Aktion ausführen, führen wir diese Aktion im Staat aus.
OK, also werden wir jetzt die Belman-Gleichung für den ersten Ansatz ausreiten, wie
Sie hier sehen, wir haben die Anzahl der Werte oder der Wert eines bestimmten Zustands ist das Maximum der Belohnung, für die Sie eine maximale Wette erhalten auf die
Aktionen haben Sie drei.
In diesem Fall haben Sie tatsächlich vier Aktionen, die sich aus allen möglichen Aktionen dieses Teils,
die wir schon oft gehört haben, maximieren, so dass dies unsere Belohnung ist, wenn wir diese Aktion
in diesem staatlichen Rabatt durchführen, multipliziert mit dem erwarteten Wert des neuen Zustands, dass wir einen erwarteten Wert haben werden,
weil es ein stochastischer Prozess ist.
Wir wissen nicht genau, ob wir hier enden, vielleicht auf der linken Seite
oder der richtigen Wahrscheinlichkeit.
Deshalb stecken diese Wahrscheinlichkeiten in dir.
Also gut, das ist unser Wert.
Und jetzt schauen wir uns mal an.
Q Also wird Q definiert.
Wir werden dies verwenden, um Q zu definieren. Nehmen wir also an, der Agent von diesem Standort aus diesem Status führt
die Aktion aus.
Wozu wird der q-Wert aufgerufen?
Zunächst einmal wollen wir mal sehen, was er als Gegenleistung für diese Aktion bekommt.
Das Erste, was Sie bekommen, ist eine richtige Belohnung.
Weiß keinen Zweifel darüber.
Es wird eine Art Regel geben oder könnte Null sein, aber wir wissen, dass
dieser Verstärkungslernprozess als Ganzes funktioniert, indem einige Städte bestimmte Aktionen aus einem oder zwei Staaten ausführen.
Ich werde das hier hinzufügen.
Und dann werden wir hinzufügen, was wir hinzufügen werden.
Nun, lass uns darüber nachdenken.
Was passiert als nächstes, nachdem er dorthin gegangen ist?
Das nächste, was passiert, ist, dass sich der Agent jetzt in einem bestimmten Zustand befindet und er mit einer Wahrscheinlichkeit von 80 Prozent
oder einer gewissen Wahrscheinlichkeit hier landen könnte.
Aber hier oben genau hier.
Aber wo er jetzt landet, haben wir bereits eine quantifizierte Metrik für den Zustand, in dem er sich befindet.
Und das ist eigentlich der Wert dieses Staates.
Aber weil er in vielen verschiedenen Staaten und drei möglichen Staaten aufkam, müssen wir den erwarteten
Wert des Staates, in dem er sich befindet, betrachten.
Und so werden wir das hinzufügen.
Natürlich ist der Rabattfaktor, den wir zuvor hatten, weil dies irgendwo in der Zukunft liegt.
Und dann werden wir einige von allen möglichen Zuständen über alle möglichen Zustände hinweg hinzufügen, die er durch
diese Aktion beenden könnte.
Bedingungen der Wahrscheinlichkeit.
Was wir hier also sagen, ist OK. Wenn Sie also eine Aktion ausführen, erhalten Sie eine Belohnung plus,
eine quantifizierte Metrik, die Sie erhalten werden.
Du landest in einem Zustand, in dem wir nicht wissen, welcher es hier sein könnte.
Könnte hier sein, könnte es hier sein.
Aber hier ist der erwartete Wert des Staates, in dem Sie landen werden.
Und jetzt multiplizieren wir uns mit dem Abzinsungsfaktor, denn das ist ein Schritt weg.
Das ist also unser Q-Wert für diesen Performance-Bereich. Was Sie hier sofort bemerken werden, ist
das.
Q Der Q-Wert ist eigentlich genau identisch mit dem, was sich hier in diesen Klammern befindet.
Und warum ist das.
Wenn Sie hier darüber nachdenken, nehmen wir das Maximum der Ergebnisse und erhalten das Maximum für alle möglichen Aktionen. Wir
haben also Maßnahmen ergriffen, um das Maximum für alle möglichen Aktionen des Ergebnisses
zu erreichen, die wir erzielen, wenn wir jede dieser Aktionen ausführen und Enqueue definieren wir.
Interessant.
Was bekommen wir durch eine bestimmte Aktion?
Wenn Sie darüber nachdenken, macht es Sinn, den Wert eines Staates zu bestimmen.
Zum Beispiel ist dieser Zustand das Maximum aller möglichen Q-Werte.
In den Bundesstaaten hat der Agent einen Schlüsselwert, um den 3Q-Wert für den q-Wert
beizubehalten.
Also ja positiv für mögliche Q-Werte, während der Wert des Aufenthalts sinnvoll ist,
dass der Wert des Status das Maximum aller dieser vier Schlüsselwerte ist.
Genau das können wir hier sehen.
Das ist eine gute Bestätigung für diese neue Formel, die wir ableiten.
Wenn das nicht der Fall wäre, wenn das nicht passt, dann hätten wir Fragen.
Warum passt es nicht zusammen?
Warum passt es nicht zusammen, wenn.
Der Q-Wert ist eine quantifizierte Messgröße für die Durchführung einer Aktion und V hängt von der Etage ab.
Ist wie das Maximum der möglichen Ergebnisse der vier Aktionen, die er ausführen kann, ist es sinnvoll.
Und das bestätigt die Formel, die wir gerade abgeleitet haben, und wir werden sie jetzt noch interessanter machen.
Wir werden die Wii vollständig loswerden, weil Sie sehen, dass Wii eine rekursive Funktion ist.
So und dann hast du mich und dann B und dann B und dann B und so weiter.
So können Sie diese Sichtweise durch die folgenden Vee's ausdrücken. Die optimalsten werden hier
auftauchen.
Wir erwarten, dass Q als Funk eine rekursive Funktion des ODER als Funktion des nächsten V ist und dann müsstest du dieses V einstecken
und dann kehren wir zum B zurück.
Was wir also tun werden, ist, dass wir dieses V tatsächlich nehmen werden und wir werden es durch
Q Right ersetzen, also schauen wir uns das an.
Wir werden dieses V des nächsten Zustands nehmen und das hier in diese Formel einfügen.
Und wie Sie jetzt sehen können, ändert sich diese Wahrscheinlichkeit nicht.
Aber wie wir gerade besprochen haben, ist das von s das Maximum aller Aktionen von q von S und einem Recht hier.
Das ist es, was wir hier ersetzen werden.
Wir werden also sagen, maximal ist natürlich die neue Aktion die Aktion, die wir durchführen werden, denn
hier haben wir die Wii als Primzahl.
Also hier haben wir jetzt die maximale Konsole zu einer Primzahl.
Die Aktionen, die wir aus diesem Zustand heraus ergreifen werden,
sind also von dem, wo auch immer der andere Staat landet, aber die Aktion, die wir von dort aus unternehmen
werden, und Maxima über alle diese Bereiche hinweg, und das Maximum ist der Wert aller Würfelwerte das sind uns in diesem neuen Staat als Prima eine Primzahl.
Und das ist Aktion.
Also das ist das.
Also werden es noch vier sein.
Q-Werte dort.
Nun, wie Sie sehen können, gehen wir noch einmal durch.
Also, aus was wir dieses Wort ableiten, wäre einfach nur durch Logik und Intuition bedingt, so dass wir erkennen
können, dass VNS tatsächlich Sicht von AS sind und von und A verbunden sind.
Das von S ist das Maximum über alle Aktionen von Cuba S und Sie können hier genau sehen, so dass dieser Teil
mit diesem Teil identisch ist.
Und dann werden wir das nutzen und wir werden dieses Bit durch VNS von hier aus ersetzen, aber nicht diesen
exakten Trichter. Wir werden diesen internen Teil verwenden und ihn mit Kill the Unschuldigen ersetzen.
Wir werden das hier einstecken und dieser Teil wird q von s Prim ein Maximum des Würfels sein, von
Crucell a Priam's von Q As Prime eine Primzahl.
Und jetzt haben wir unsere Formel.
Jetzt haben wir eine rekursive Formel für den q-Wert, so dass der Agent jetzt überlegen kann, welchen Wert der Abschnitt hat.
Welche Qualität dieses Abschnitts war der neue Wert dieser Aktion.
Nun, es hängt von der Belohnung ab, die ich im nächsten Schritt erhalte, und es hängt
von dem abgezinsten Faktor und dem Maximum aller möglichen Q-Aktionen in diesem Zustand ab.
Aber ich weiß nicht, ob ich ihre Seite dazu bringen muss, auch diesen Zustand in diesem
Zustand zu betrachten, und deshalb haben wir hier diesen erwarteten Wert, also haben wir eine gewisse Wahrscheinlichkeit mal das Maximum, das erwartet
wird.
Eine sehr ähnliche Formel, wie Sie sehen können, aber diesmal drücken wir die Dinge
durch die q-Werte aus. Deshalb wird dieser ganze Algorithmus als Kill-Lernen bezeichnet. Dies ist, was betrachtet wird. Dies ist, was die Agenten tatsächlich verwenden, die sie nicht sehen
In den Staaten sehen Sie sich die möglichen Aktionen an und entscheiden dann anhand der
Aktionen des q-Wertes der Aktionen, welche Maßnahmen sie ergreifen sollen.
Sie betrachten also nur den maximalen Q-Wert in diesem Zustand, in dem es vier Aktionen gibt.
Was ist die beste Maßnahme, die zu vergleichen ist, um die verschiedenen Zustände zu vergleichen, in denen
es möglich ist, zu vergleichen, besteht darin, die möglichen Maßnahmen zu vergleichen, die es derzeit hat, indem es herausfindet, dass die optimalen
Maßnahmen getroffen werden, die dann ausgeführt werden Wiederholen Sie diesen Prozess, wiederholen Sie diesen Prozess und so
weiter.
So können Sie nun sehen, wie all dies zusammenkommt, wie die Belohnung der diskontierenden Fakten
oder der stochastischen Marktentscheidungsprozesse und der Werte und der q-Werte zusammenkommen, um diese
eine übermächtige Belman-Gleichung für q-Werte zu finden, die wir nun anwenden können und lassen Sie unsere Agenten lernen,
die Umwelt zu besiegen.
Und das ist eine intuitive Erklärung für das, was los ist.
Ich weiß, dass wir die Formeln durchgearbeitet haben, aber es ist notwendig, denn dies ist
wie unsere Formel, die wir dieses ganze Kapitel durchlaufen haben, und ich denke, es ist ein guter Übergang vom To.
F Und es zeigt, dass es Verbindungen zwischen Yishun gibt. Und wenn Sie einen etwas strengeren mathematischen Ansatz erhalten
möchten und die Mathematik dahinter sehen und etwas mehr über q-Werte und
deren Funktionsweise erfahren möchten.
Dann haben wir noch etwas für Sie.
Dieses Papier nennt sich Markov Decision Process Konzepte und Algorithmen von Martin von Autor Low 2009.
Also schneiden Sie den Link wie immer ab und hier können Sie ein wenig detaillierter nachlesen,
um alle wichtigen Details hinter den Hugh-Werten usw. zu verstehen. Jetzt haben
wir all diese Dinge besprochen, die sich auf die Belman-Gleichung beziehen etwas komplexeres wie dieses Papier
betrachten, wenn wir dazu zusätzliche Informationen erhalten möchten, um ein tieferes Verständnis zu erlangen.
Aber auch wenn Sie keine Zeitung oder kein Radio lesen, sollten Sie ein gutes Wissen darüber haben, worum es beim
Lernen geht und wie die Agenten mit den Handlungen beginnen, die sie in einer bestimmten Umgebung ergreifen müssen.
Ich hoffe, Ihnen gefällt Statoil heute und ich freue mich auf Ihre nächsten.
Bis dahin genießen.
ICH.