Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Heute werden wir über die Belman-Gleichung sprechen.
Es ist ein ziemlich komplexes Thema, und wir werden es Schritt für Schritt in diesem gesamten
Abschnitt des Kurses vorstellen. Ich werde also nicht gleich in die komplexeste Version der
Belmont-Gleichung einsteigen, sondern wir Ich werde es langsam einführen, um nach und nach zu
verstehen, wie es funktioniert.
Und ich hoffe Ihr Ziel mit diesem Ansatz, wenn Sie G. sind. R. Kommen wir gleich rein.
Wir werden also ein paar Schlüsselkonzepte haben, mit denen wir arbeiten werden, und diese Konzepte sind
es.
S steht für Zustände, dh der Zustand, in dem sich unser Agent befindet, oder ein anderer möglicher Zustand, in dem es
ein Agent sein kann, repräsentiert eine Aktion, die ein Agent ausführen kann.
So kann ein Agent auf eine bestimmte Liste von Aktionen zugreifen, und Aktionen sind sehr
wichtig, wenn sie in einer Statuskombination betrachtet werden.
Wenn Sie sich also in einem Swing-Zustand befinden und sich dann Aktionen ansehen, wird klar,
was aus diesen Aktionen resultieren wird, weil Sie eine Aktion von alleine betrachten oder
ein Zustand nicht wirklich sinnvoll ist, weil Sie dies tun Ich weiß nicht, wo Sie sind und wo Sie
möglicherweise enden können, und dann haben wir unser Wer steht für Belohnung, und das ist der Weg, den der Agent bekommt,
um in einen bestimmten Zustand zu gelangen, und Gamma ist der Diskontfaktor.
Und wir sprechen in einer Sekunde über den Diskontfaktor. Alles macht gerade jetzt Sinn, aber sie machen sich nur
Notizen.
Denken Sie daran, dass wir diesen Brief haben werden, mit dem Gamelin später arbeiten wird.
Die Person hinter der Bellman-Gleichung ist also Richard Ernest Bellman.
Er war ein Flugmathematiker und entwickelte die Konzepte der dynamischen Programmierung, die wir jetzt als
Verstärkungslernen bezeichnen, oder die wir die Belman-Gleichung nennen.
Nun, so heißen wir jetzt.
Und 1953 kam er zu diesem Konzept und zu dieser Zeit kam mir die Belmont-Belman-Gleichung.
Schauen wir uns also an, wie das alles funktioniert.
Es gibt unseren reizenden Agenten in der unteren linken Ecke und er ist in einem Labyrinth, und dies ist
ein ziemlich klassisches Labyrinth, in dem Sie einige Blöcke haben. Die breiten Blöcke sind Blöcke, in denen der Agent in
den grauen Block treten kann nur nicht zugänglich sagt wie eine Wand in diesem Labyrinth.
Das Grün ist, wo der Agent sein sollte, um dort zu landen. Dort wollen wir, dass der Agent das
Ziel erreicht.
Und das Rot ist Feuergrube oder der Motor fällt in die Feuerstelle.
Er wird das Spiel verlieren.
In der Feuerstelle ist die Belohnung also R minus 1.
Das ist unsere Art, dem Agenten mitzuteilen, dass dies nicht etwas ist, das wir von Ihnen möchten.
Zum Beispiel erinnern wir uns an das Beispiel, wenn wir Hunde trainieren, möchten wir ihnen sagen, dass es ein böser Hund ist,
wenn es nicht das Richtige tut, was dasselbe tun wollte. Wir sagen dem Agenten, dass dies nicht etwas ist, das Sie
sein sollten Wenn Sie nicht auf dem Platz enden, wird das Eichhörnchen jedes Mal,
wenn es nicht passiert, eine negative Belohnung erhalten, so dass Sie mit einer negativen Belohnung bestraft werden.
Auf der anderen Seite, wenn es auf dem Grünen Platz landet, wird es eine Belohnung plus eins
geben, was bedeutet, dass wir das wollten.
Das sind also die beiden Belohnungen, die der Agent nicht bekommen kann.
Und wie lernt es, in diesem Irrgarten zu arbeiten?
Genau wie in diesem Beispiel der Roboter-Hunde, die das Laufen gelernt haben und die wissen lassen, dass es
die Aktion ist, die Sie ausführen können.
Sie können nach rechts oder unten gehen. Dies sind vier mögliche Aktionen, die Sie ausführen können.
Haben Sie ein Spiel mit dem, was Sie sich vorstellen können.
Der Agent könnte nach rechts gehen, dann zwei weitere nach rechts, vielleicht nach links, indem er
einfach die Taste drückt und versucht zu sehen, was passiert, und sie kehren hierher zurück.
Sie gehen hoch gehen runter gehen runter gehen rechts gehen.
Für den Moment haben sie nichts gelernt, es ist bisher nichts passiert.
Sie biegen rechts ab und landen auf dem Green Square.
Sie merken, wow, dass ich gerade einen Plus-Awar bekam. Sobald ich den Green Square betrat, bekamen sie
eine Plus-Prämie.
Und das löst den Algorithmus aus und sagt, OK, das ist wirklich cool.
Ich werde dafür belohnt, dass ich auf dem Platz gelandet bin, also möchte ich auf dem Platz landen.
Was bedeutet das für den Agenten?
Das heißt, es stellt sich die Frage, wie ich zu diesem Platz gekommen bin.
Was war der vorhergehende Zustand, in dem ich mich befand und welche Maßnahmen ich unternehme, um zum Quadrat zu gelangen,
und blickt zurück und sagt, OK, also war der vorhergehende Zustand dieser.
Es erweist sich in diesem Zustand als wertvoll.
Derjenige, der den roten Pfeil entzündet.
Denn von diesem Zustand aus bin ich nur noch einen Schritt davon entfernt, die maximale Belohnung zu erhalten, von
der ich nur träumen kann, und einen Keks für einen Hund, sobald ich weiß, ob ich jemals in diesem Zustand bin.
Das mit dem roten Pfeil markierte Quadrat.
Ich muss nur richtig drücken.
Also, wie sage ich mir, um mich daran zu erinnern, dass dieser Zustand wertvoll ist?
Nun, für mich gibt es eigentlich keinen Unterschied als Agent.
Es gibt keinen Unterschied, ob ich mich auf dem Grünen Platz oder auf dem Weißen Platz rechts
im Grünen Platz befinde.
Ich markiere also für mich, dass das Y-Quadrat für mich gilt, es hat einen Wert von 1, da es genau dazu führt, einen zu belohnen,
sobald ich im weißen Quadrat bin. Ich weiß, ich werde nur noch eine Aktion ausführen.
Ich bin auf dem grünen Platz und bekomme eine Belohnung oder eine Belohnung. Deswegen werde ich sagen,
dass der Wert dieses Quadrats gleich eins ist, da es direkt zu eventuellen Subtraktionen führt Ich meine hier, ich weiß, dass meine Belohnung
eine sein wird. Ich werde dieses Quadrat als den Aufruf an eines markieren, das der
Wert ist, der den wahrgenommenen Wert des Zustands des Staates darstellt.
Als nächstes wird der Agent in Ordnung sein.
Wie komme ich in dieses Feld?
Und du weißt, dass er vielleicht wieder herumlaufen könnte und so weiter.
Und wieder oben auf dem Platz und sei OK, wie bin ich vorher auf diesen Platz gekommen.
Und der Weg, den ich in dieses Feld gelangte, war von diesem Feld.
Interessant.
OK, sobald ich diesen Platz betrete, weiß ich, dass ich alles richtig machen muss.
Und von hier weiß ich bereits, dass ich gewinnen werde.
Ich weiß genau, wie sich hier alles entfalten wird, und ich weiß, dass der Wert, in diesem Zustand zu
sein, gleich eins ist.
Und da es nichts gibt, hält mich nichts davon ab, von hier aus zu wachsen. Hier wird der Wert zu
einem wahrgenommenen Wert, den ich als Fahrzeug hier zu schätzen wünsche, da ich dies hier
meine.
Sei hier und ich bin ziemlich schnell hier.
Also werde ich gewinnen.
Und wie kommst du davor in dieses Feld?
Nun, ich bin von diesem Platz in dieses Feld gekommen.
Der Wert ist also ein ähnlicher Ansatz. Der Wert des Seins ist auch gleich Eins usw. Daher ist der Wert des Seins hier
gleich dem Wert des Seins hier gleich Eins, da jeder von ihnen zum nächsten
und diesen zu führt die Ziellinie.
Das ist alles ziemlich logisch in dieser Phase.
Das sind wir, die Belman-Gleichung gerade jetzt entwerfen.
Das heißt, wir könnten möglicherweise darüber nachdenken, eine Gleichung zu entwerfen, die einem Agenten hilft, durch das Labyrinth zu gehen.
Schauen Sie sich die Belohnung an, dann geben Sie dem vorherigen Zustand einen Wert von gleich, um das
Verfahren zu belohnen, und so ist es, als ob ein Weg ein guter Weg wäre, aber das Problem hier ist in
Ordnung, was passiert, wenn unser Agent aus irgendeinem Grund beginnt diesen Zustand, anstatt hier zu beginnen und diese Maßnahmen zu ergreifen, und dass
es tatsächlich im Staat beginnt.
Woher weiß es, wie erinnert es sich, welche Aktion er ergreifen soll, wenn es richtig läuft oder nach unten geht oder vielleicht nach links geht
oder nach oben gehen sollte?
Wie erinnert es sich, welche die nächste Fortsetzung von hier ist.
Wenn die einzigen Werte darin liegen, sind diese Werte gleich, wenn sie nicht sehen können, was weiter weg ist.
Es kann nur sehen.
Gut.
Was ich hier habe und was ich hier habe.
Woher weiß es, welchen Weg es gehen soll.
Nun, zu diesem Zeitpunkt ist es nicht so ziemlich identisch für das Alter und welchen Weg.
Deshalb funktioniert dieser Ansatz nicht wirklich.
Das ist eine sehr vereinfachende Erklärung.
Natürlich ist noch viel mehr dabei.
Aber auf eine intuitive Art und Weise können wir diesen Wert nicht einfach rückgängig machen.
Denn einer der Gründe liegt darin, dass der Agent sich zwischen diesen beiden Werten befindet und wohin er gehen soll.
Es kann nicht so verwirrt werden.
Und wie lösen wir dieses Problem, was werden wir tun?
Und hier werden wir langsam beginnen, die Belman-Gleichung in ihrer tatsächlichen Form Schritt für
Schritt einzuführen.
Die Belman-Gleichung sieht also ungefähr so aus.
Wir haben also bereits über den Wert eines bestimmten Zustands gesprochen, wie Sie es von
Ihrem gegenwärtigen Zustand oder einem bestimmten Zustand sind.
Und als Prime ist der Staat der folgende Staat der Staat, in dem Sie nach dem Staat und durch
konzertierte Aktionen landen werden.
Aber wir wissen, dass es viele Aktionen gibt, die ein Agent ausführen kann, und deshalb haben wir diesen Max hier.
Wenn wir also eine Maßnahme ergreifen, was mit einem Agenten geschehen wird, nehmen wir an, wir sind in einem Zustand, in dem
wir eine Maßnahme in Staatsvermögen ergreifen und Maßnahmen ergreifen.
Was passieren wird ist, wird sofort eine Belohnung erhalten, wenn Sie in einen neuen Zustand gelangen.
Denken Sie daran, dass die Belohnung eins oder plus eins oder minus eins sein kann, wenn sie sich am Ende des
Spiels befindet, oder es kann eine Null sein, wenn sie während des gesamten Spiels vorhanden ist.
Das ist die Belohnung Plus wir werden in einen neuen Zustand kommen, der den Wert von s prime hat.
Das ist also der Wert des neuen Zustands und des Gammawerts.
Wir werden in einer Sekunde darüber sprechen.
Aber der Punkt, den ich hier ansprechen möchte, oder der Punkt, den ich hier anspreche, ist, dass es viele verschiedene Aktionen gibt,
die wir ergreifen können, und deshalb haben wir das Maximum.
Indem wir handeln, erhalten wir eine Belohnung und landen in einem neuen Zustand.
Und so werden wir für jeden Abzug aus dem in unserem Fall vor unseren möglichen Aktionen für
jede der möglichen 4 Aktionen eine Gleichung wie diese haben.
Dies hat also einen Wert, denn sie haben für jede von vier Aktionen einen anderen
Wert und wir werden nur das Maximum betrachten, da der Agent natürlich den optimalen Zustand einnehmen möchte.
Wenn er also im Zustand ist, wird er sich diese Werte anschauen, dann wird er das Maximum anhand der
Aktion ermitteln und die Aktion ausführen, die das Maximum dieser Werte benötigt.
Hoffentlich macht das Sinn, warum wir hier das Maximum erreichen.
Dann bekamen wir die Belohnung und den Wert, der besagte, warum wir diesen Gabaa-Parameter hier haben.
Nun, es ist genau dort, um das Problem zu lösen, wo der Agent nicht weiß, welchen Weg er gehen soll, weil er es
nicht kann.
Es vergleicht die Werte von zwei Zuständen auf beiden Seiten und sie sind die gleichen.
Aus diesem Grund haben die Spieler den Abzinsungsfaktor genannt, also werden wir uns das genauer ansehen
und es besser verstehen.
Nehmen wir also eine Formel, die ich oben rechts aufschreibe.
Und jetzt werden wir analysieren, welche Werte die verschiedenen Zustände haben.
Und jeder Staat hier ist ein Quadrat.
Nein.
Eines dieser weißen Quadrate ist also ein Zustand. Ich meine, wir berechnen
den Wert dieses Zustands.
Fangen wir also mit dem Platz an.
Was ist der Wert, in diesem Zustand zu sein.
Nun, wir müssen das Maximum dieses Wertes über alle Aktionen hinweg nehmen.
Und wir wissen, dass dieser Wert maximiert wird, wenn wir uns der Ziellinie nähern, und so
wird er konstruiert. Wenn Sie einfach nur nachsehen, können Sie sehen, dass hier die Belohnung
und hier ein Abzinsungsfaktor mit dem Wert des nächsten multipliziert wird Zustand.
Und es macht einfach Sinn, dass wir diese Gleichung so konstruieren, dass es von hier aus das
Maximum dieses Wertes ist, wenn wir uns nach rechts bewegen.
So berechnen wir die Werte, die dieser Wert für diesen Zustand ist, den er als Maximum bezeichnet oder
diesem Wert entspricht.
Wenn wir uns nach rechts bewegen, gehen wir nach rechts.
Wie wird dieser Wert aussehen?
Nun, die Belohnung, wenn man sich nach rechts bewegt, ist gleich 1.
Und unabhängig davon, welche Farbe Gamma ist, haben wir keinen Wert im Staat, weil wir bereits im
bestmöglichen Zustand sind.
Das ist also die letzte Stufe.
Es wird keinen Wert haben, wir bekommen hier nur eine Belohnung und das ist das Ende des Spiels.
Der Wert dieses Maximums wird also 1 sein.
Und deshalb ist der Wert des Staates wie hier gleich 1.
Jetzt werden die Dinge interessant, wenn wir uns nach links bewegen, wenn wir uns etwas nach hinten bewegen.
Nun berechnen wir den Wert davon, in diesem Zustand zu sein, und dafür brauchen wir Gabaa.
Nehmen wir also an, unser Abzinsungsfaktor ist ein Nullpunkt und es macht Sinn, was ein Abzinsungsfaktor ist, wenn wir
diesen Wert berechnen.
Also von hier aus basierend auf unserer Intuition und basierend darauf, weil wir wissen, wie dies funktioniert, wie dies funktioniert.
Wir wissen, dass die beste Aktion nach rechts geht, denn von hier gehen wir hier hin.
Das heißt, das Maximum wird in diesem Zustand erreicht, wenn Sie nach rechts gehen.
Und so sehen wir, was passiert, wenn wir es hier anschließen.
Wenn du also von hier nach hier gehst, bekommst du keine Belohnung.
Aber dann bekommst du Camis, die neunmal den Nullpunkt des neuen Zustands bekommen, der eins ist.
In diesem Fall ist das Ergebnis also das 1-fache einer 0. 9 mal ist eins gleich 2. 9
Das sind also alle Werte pro.
Wenn wir das jetzt berechnen, sehen Sie das von hier aus.
Wir wissen nur, wenn wir uns das Labyrinth ansehen, das wir kennen, weil wir als Menschen
verstehen, wie diese Gleichung funktioniert. Natürlich muss ein KI-Agent mit diesen Dingen experimentieren.
Aber weil wir wie eine Kristallkugel haben, können wir dieses ganze Labyrinth sehen.
Wir haben jetzt die Vogelperspektive.
Wir wissen, dass die beste Aktion nach rechts geht.
Wenn wir also alles hier einstecken, wird es null sein, keine Belohnung und der Bericht ist neunmal so
hoch wie der Wert 0. 9 ist Nullpunkt einundachtzig und so weiter.
Also hier wird es 0 sein. 23 und er wird 0 sein. 66.
Sie können also sehen, dass der diskontierte Faktor so aussieht, als würde er den Wert des Staates herabsetzen, wenn Sie weiter
weg sind.
Wenn Sie also mit der Finanztheorie vertraut sind, ist dies dem Zeitwert des Geldes ähnlich, wie Sie es auf diese
Weise denken würden. Was würden Sie heute vorziehen, 5 US-Dollar oder 5 US-Dollar in 10 Tagen zu haben?
Nur wenn Ihnen jemand eine Wahl geben sollte, gebe ich Ihnen heute fünf Dollar, alle fünf, fünfzehn
Tage.
Natürlich würden Sie heute 5 Dollar wählen.
Warum das.
Nun, denn Sie können diese 5 Dollar einnehmen und sie zu einem bestimmten Zinssatz anlegen, der dem Gamma sehr
ähnlich ist.
Und Ihre $ 5 in 10 Tagen werden tatsächlich auf vielleicht 5 Dollar und 73 Cents oder so etwas anwachsen.
Und so funktioniert der Zeitwert des Geldes.
Und hier sehr ähnliches Konzept.
Und das Wichtigste hier zu verstehen, ist nur eine Theorie, die das Lernen verstärkt.
Richard Belman hat diese Gleichung aufgestellt.
Und so verwenden wir es ab jetzt.
Sie könnten also eine andere Gleichung aufstellen.
Es muss nicht Gamla haben, es könnte einen anderen Faktor haben, den Sie vielleicht nicht kennen.
Aber dieser Ansatz funktioniert und deshalb verwenden wir ihn, und so sieht es aus. Je weiter Sie also entfernt sind,
desto weniger wert ist er im Staat und in Bezug auf Zeit und Geld.
Wenn ich Ihnen sagen könnte, wo Sie lieber wären, wären Sie lieber hier.
Möchten Sie lieber hier sein?
Sie würden sagen, ich wäre lieber hier.
Wir schaffen also dasselbe Phänomen wie der Zeitwert des Geldes, das wir künstlich durch Gamma
erstellen, um Agenten zu motivieren oder Agenten dazu zu bringen, näher an der Ziellinie zu sein.
Wenn Sie also nach einem Agenten gefragt werden, würden Sie aufgrund der Funktionsweise dieser Gleichung lieber hier oder hier
sein, würde dies der Fall sein.
Es gibt nichts mehr dazu.
Es ist nicht etwas, dass die Welt so funktioniert.
Nein, es ist nur etwas, das wir künstlich schaffen, damit unsere Agenten verstehen
können, dass dies gut ist. Das ist gut hat
in diesem gewesen.
Auf diese Weise können Sie sehen, was der Agent sehen kann, in welche Richtung er gehen muss.
Wenn ich hier stehe, kann man sehen, dass man sich an das Problem erinnert, das wir hier hatten oder hatte. Wenn
ich hier stehe, gehe ich runter oder bin ich plötzlich hier, um hinaufzugehen oder gehe ich runter.
Nun, jetzt gibt es kein Problem mehr, denn er kann sehen, dass es besser ist, zu steigen, weil
die Werte hier sind.
Und dann muss er richtig laufen, weil der Wert hier größer ist als hier.
Und von hier aus geht Bertschi nach rechts, weil der Wert hier größer ist, als Sie wissen.
Und von hier weiß er bereits, dass er richtig gehen muss, weil er hier eine Belohnung bekommt.
So funktioniert dieser ganze Ansatz.
Schauen wir uns jetzt den Rest des Platzes an.
Wie berechnen wir den Wert in diesem Quadrat.
Nun, hier wird es schwierig.
Von hier aus kann es sein, dass Sie nicht nach rechts gehen, sondern nach rechts gehen, sodass wir einfach so weitermachen können,
weil es tatsächlich kürzer sein könnte, diesen Weg zu gehen.
Also werden wir zuerst den Wert im Quadrat berechnen.
Und weil offensichtlich von hier aus die besten Wege zu gehen sind.
Das ist auch so, weil wir die Crew sehen, wir haben die Kristallkugel, die wir sehen können, und Sie
werden weiter unten in dem Abschnitt sehen, in dem Sie sehen, wie der Agent dies tatsächlich auf ihre
Vorlieben durch Experimente versteht.
Aber für uns wissen wir, dass es besser ist, diesen Weg zu gehen, also berechnen wir
hier den Wert. Deshalb berechnen wir zuerst den Wert in diesem Feld.
Hier haben wir drei mögliche Aktionen.
In Wirklichkeit haben wir tatsächlich vier, die wir auch verlassen können.
Der Agent könnte hypothetisch nach links drücken und gegen die Wand stoßen und hier bleiben.
Aber zur Vereinfachung, die die Handlungen zeigen wird, von denen wir wissen, was wir wissen, und
mit der Glaskugel wissen wir, welche Handlungen tatsächlich zu etwas anderem als dem gleichen
Zustand führen.
Daher wissen wir hier von hier, dass wir, nur weil wir eine Kristallkugel haben, wissen, dass der beste Weg auf
diese Weise ist, dass ein Agent natürlich experimentieren und den besten Weg finden muss, und Sie werden sehen, wie
das passiert.
Weiter unten in diesem Abschnitt erfahren Sie, wie ein Agent herumläuft und wie Sie versuchen würden,
diese Werte zu finden.
Aber für uns wissen wir, dass es so ist.
Wenn wir also alles in einen stecken, ist die maximale Leistung die beste Leistung, wenn Sie nach oben gehen.
Und hier ist ein Bericht 9: 0 Also steckst du das ein.
Sie erhalten null Punkt neun.
OK, also Kalika, die diese berechnet.
Gleicher Ansatz.
Hier haben Sie drei Möglichkeiten, wie Sie gehen können.
Eigentlich vier für den Agenten, aber für uns sind es nur drei.
Also Nullpunkt einundachtzig von hier aus haben Sie NULL-Punkt dreiundsiebzig.
Und es passt tatsächlich gut zu diesem Wert, denn in Ihnen, wenn Sie erneut Rabatt gewähren, setzen Sie 66
und hier haben Sie 0. 23 weil dies die optimale Route ist.
Hier bitteschön.
Das sind die Werte all dieser Zustände.
Und jetzt können Sie sehen, dass, weil wir diese Gleichung erstellt haben oder wir synthetisch dieses
ganze Konzept des Endes der Ziellinie erstellt haben, der Wert dieses Zustandes nicht wertvoller ist, nicht weil wir befürchten, dass es
jetzt offensichtlich ist Agent welchen Weg es gehen soll.
Und darüber werden wir in Zukunft noch mehr reden.
Ich hoffe, dass Ihnen die heutige Sitzung gefallen hat und ich weiß, dass dies ein bisschen sehr einfach klingt, aber
wenn wir diesen Abschnitt durchgehen, werden wir etwas mehr Komplexität hinzufügen.
Wenn Sie nicht abwarten können, ob Sie hineinspringen möchten, gibt es eine Zeitung, die Sie sich ansehen
können, und es ist die Originalarbeit von Richard Belman.
Man nennt es die Theorie der dynamischen Programmierung von 1954.
Und Sie können es unter diesem Link finden.
Und los geht's, damit Sie direkt in die Belman-Gleichung eintauchen können.
Denken Sie jedoch daran, dass dies ein recht mathematisch schweres Papier ist.
Und in diesem Sinne werde ich nach Ihrem nächsten suchen.
Und bis dahin genießen Sie AI.