Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Heute reden wir über die lebende Strafe.
Also gut, hier haben wir alle Belman-Gleichungen und als wir diesen Kurs
durchlaufen haben, wurden wir langsam immer komplexer. Bisher haben wir diese Wahrscheinlichkeiten hier bereits hinzugefügt.
Außerdem haben wir den Abzinsungsfaktor hinzugefügt.
Auf diese Seite der Frage, auf der wir jetzt die Belohnung haben, werden wir uns jetzt genauer anschauen.
Erinnern Sie sich vorher, als wir darüber sprachen, wie Verstärkungslernen funktioniert, sagten wir, dass wir einen Agenten haben und
dass er Aktionen in der Umgebung und in einem Austausch ausführt oder als Folge davon, dass er einen neuen Zustand
erhält und der jetzt in und eine Belohnung für diese Aktion ist.
Nun, in unserem Beispiel haben wir bisher nur Belohnungen erhalten, entweder wenn wir die Ziellinie erreichen oder wenn wir
für den Agenten in der Feuerstelle landen, erhält er eine Belohnung von plus 1 oder minus 1.
Dies ist jedoch eine sehr vereinfachte Herangehensweise an verstärktes Lernen. In realistischeren Szenarien werden Sie während der gesamten
Reise wahrscheinlich Belohnungen haben, nicht nur am Ende, sondern auch während der gesamten Reise.
Wenn es sich zum Beispiel um eine KI handelt, die ein Spiel spielt, und wenn es zum Beispiel so ist, als würde man jemanden im Schicksal erschießen, erhält
er möglicherweise Punkte, wenn er den Feind tötet, oder es könnte ein anderes anderes Spiel sein.
Wenn es ein anderes Auto oder etwas ähnliches überführt, nur aufgrund der Spielregeln, nicht
aufgrund seiner Analyse des Spiels, sondern tatsächlich ist das Spiel so strukturiert, dass es seine Punkte für bestimmte
Aktionen verstärkt, noch bevor das Spiel ausgeführt wird Über.
Solche Sinatras sind also nicht nur in Spielen und auch im wirklichen Leben üblich, und deshalb werden wir
in unserem Beispiel etwas Ähnliches einführen, eine vereinfachte Version davon, aber dennoch eine Belohnung, die dem
Agenten während des gesamten Spiels kontinuierlich gegeben wird Nicht nur am Ende und wie wir es tun,
ist, wenn wir uns die anderen Steine ansehen.
Im Moment haben wir also nur eine Belohnung plus eine Belohnung auf der Schlussplatine und eine Belohnung von minus 1
auf der anderen Belichtungsplatine.
Aber jetzt werden wir jedes Mal Belohnungen hinzufügen.
Eine kleine Belohnung wird minus 0 sein. 04.
Und wie Sie sehen, ist es negativ. Wenn der Agent sich bewegt, erhält er eine negative Belohnung. Dies wird als lebende
Strafe bezeichnet, denn unabhängig davon, wo er hingeht, wird er immer diese negative Belohnung erhalten, abgesehen von diesen
letzten Plättchen, denn das ist das Ende das Spiel.
Und so kann man sehen, dass die Belohnung selbst auf dieser Fliese Wahnsinn oder ein Rätsel ist.
Das heißt aber nicht, dass er mit dieser Belohnung beginnt.
Er bekommt nur diese Belohnung.
Und das ist wichtig zu wissen, dass er seine Belohnung nur erhält, wenn er ein Plättchen betritt. Wenn er also eine
Aktion versprochen hat, geht er hierher und erhält diese Belohnung minus 0. 04 und dann kehrt er zu diesem Stil zurück, er bekommt einen
anderen Verstand und 0. 04 wort.
Je länger er also herumläuft, desto mehr sammelt er seine negative Belohnung und ist daher ein Ansporn,
das Spiel so schnell wie möglich früher zu beenden.
Schauen wir uns nun an, wie sich unsere Richtlinie oder wie sich die Agentenpolitik ändern wird,
abhängig davon, welchen Wert wir für diese Belohnung legen.
Hier sind vier Umgebungen, in denen wir eine andere erkunden werden.
Wir werden die Berechnungen nicht machen.
Wir werden nur die Ergebnisse projizieren und Sie werden sehen, dass sie intuitiv absolut sinnvoll sind.
Hier haben wir eine Belohnung für jedes Schrittangebot, um in einen Zustand zu gelangen.
Ist gleich null.
Genau wie das, was wir hier zuvor gesehen haben, wird die Belohnung Mei's 0 sein. 0
Für das, was wir gerade getan haben, wissen Sie, dass die Belohnung bei minus 0 liegt. 5 oder das Niveau der Bestrafung wird so
hoch sein, dass man sie hier mehr als zehnmal höher sehen kann.
Und hier ist der lebende Penhall, es wird minus zwei sein.
Also noch mehr als die Belohnungen, die man fürs Springen bekommt, oder sogar weniger als die Belohnung, die man als Agent erhält, wenn man
in der Feuerstelle landet.
Schauen wir uns also an, wie sich die Aktionen oder die optimalen Richtlinien für das Weitergeben dieser Umgebung abhängig
von dieser Belohnung ändern.
Das ist also unsere ursprüngliche Politik.
Und wie Sie sich erinnern können, hatten wir diese zwei sehr interessanten und sogar ein bisschen seltsamen Entscheidungen
des Agenten, die aber durchaus Sinn machen, wenn er so lange leben kann, wie er möchte.
Wenn Sie nur so lange herumreisen können, wie er möchte, ohne bestraft zu werden, weil Sie lange am
Leben bleiben.
Warum nicht, warum sollte er nicht einfach in die Ecke gehen und einfach so weitermachen, bis es
passiert.
Es kommt vor, dass er diesen Weg geht und dann wird er herumlaufen.
Und hier ist es viel sicherer für ihn, in die Wand zu springen, in der Hoffnung,
dass eines davon irgendwann auftaucht und er dann trotzdem ins Ziel geht, weil er durch die Wahl dieser beiden Aktionen nicht
in die Feuerstelle gerät .
Nun wollen wir sehen, was passiert, wenn wir eine negative Belohnung hinzufügen, wenn Sie nur ein Leben für einen Schritt sind.
Bewegen Sie hier, dass Sie sofort sehen, dass sich diese beiden geändert haben.
Nun will der Agent nicht in die Wand springen.
Es ist wahrscheinlicher, dass er riskiert, an die Feuerstelle zu kommen, da er eine Chance von 10 Prozent hat, hier hineinzuspringen. Er
wird jedoch vorwärts gehen, denn jedes Mal, wenn er hierher kommt, um zu gucken, wenn er es auch hier tun würde, wenn er sich
gut in Szene setzt führt eine Aktion aus, in die er mit einer 80-prozentigen Chance in diesen Zustand
gelangt.
Und das bedeutet eine Chance von 80 Prozent, dass Sie eine minus 0 erhalten. 04 Belohnung, was bedeutet, dass
er diese negative Belohnung häufig sammeln wird.
Gleiches hier, wenn er in die Wand springt und auf den Moment wartet, in dem er tatsächlich zufällig nach
rechts bewegt wird.
Wenn er dies wiederholt, sammelt er diese negative Belohnung und das Ergebnis davon, wenn Sie die
Berechnungen durchführen, werden Sie feststellen, dass der erwartete Wert dieses Ansatzes, der an die
Wand springt, schlechter ist, als das Risiko einzugehen, dass er vorwärts geht und tatsächlich in der Feuerstelle landen.
Er ändert also seine Entscheidungen in diesen beiden Blöcken, statt sich vorwärts zu bewegen und hier nach links zu gehen, sogar zu
wissen, dass die Gefahr besteht, dass die Feuerstelle brennt, nur weil jetzt, je länger er
lebt, diese Lebensstrafe in der nächsten Umgebung angesammelt wird.
Jetzt erhöhen wir den lebenden Pouncey auf eine noch größere Zahl Meinzer Punkt fünf und lassen Sie uns sehen, was
sich hier ändert.
Jetzt können Sie das im Vergleich zu dieser Umgebung sehen.
Das einzige, was sich hier geändert hat, ist, dass dieser Pfeil nach rechts zeigt.
Und das bedeutet, dass es jetzt keine gute Option für den Agenten mehr ist, oder tatsächlich zeigen
auch diese Pfeile nach links und die Düsennase nach oben.
Daher ist es jetzt keine gute Idee für den Agenten, von hier aus zu gehen oder den ganzen Weg zu gehen, denn wenn er den ganzen Weg falsch
läuft, ist er in Sicherheit oder es besteht eine geringere Chance, dass er keine Chance hat, die Feuerkraft
zu erreichen.
Aber zur selben Zeit oder weniger wird es passieren.
Gleichzeitig wird er jedoch eine beträchtliche negative Belohnung sammeln, wenn er herumläuft.
Es ist also nur der Weg zu lang.
Das zwingt ihn, ob er hier ist oder hier ist, um den kürzeren Weg zu nehmen, um hierher zu gelangen, obwohl er ein viel höheres
Risiko hat, in die Feuerstelle zu geraten, denn sobald er auf dem Platz landet, besteht eine Chance von
10 Prozent, zum Feuer zu gelangen .
Nach seinen Berechnungen.
Es ist nur der erwartete Wert dieses Ansatzes, der besser ist als der erwartete Wert, nur
weil wir die Lebensstrafe erhöht haben.
Und zum Schluss kommen wir mit der lebenslangen Strafe von minus zwei Punkten Null zum Beispiel.
Ich möchte Sie daher dazu ermutigen, das Video jetzt zu posten, da Sie gesehen haben, wie sich die Richtlinie geändert hat, da wir die Strafe
für das Laden von Punks erhöhen.
Ich ermutige Sie, das Video zu pausieren und zu überlegen, was in diesem Szenario passieren wird.
Was denkst du wird die optimale Politik sein, dass die Todesstrafe so hoch ist, so dass all dieses angebliche Video,
wenn du möchtest.
Und jetzt werde ich Ihnen die Lösung zeigen, wenn Sie die Strafe
auf minus 2 erhöhen. 0 Es ist so hoch, dass die Strafe hier nur minus 1 ist. 0 Es ist so hoch, dass der Agent nur
so weit wie möglich aus dem Spiel heraus will, auch wenn er nur in die Feuerstelle springt.
Er wird es machen.
Er wird jedes Mal so sein, wenn ich jedes Mal einen Schritt mache, wenn ich in einem neuen Zustand in Ihrem Staat lande, oder
jedes Mal, wenn ich eine Aktion mache, und am Ende eine Belohnung von minus zwei bekomme.
Also, was ist der Punkt, wenn ich versuche, die Ziellinie zu erreichen, wenn ich von hier aus zwei zusätzliche Schritte benötige?
Ich gehe einfach hierher und dann direkt in die Feuerstelle, denn auf
diese Weise wird meine Belohnung weniger als eine negative Belohnung sein, so schlecht wie im Fall, dass nur zusätzliche Schritte unternommen
werden, damit Sie sehen können, dass dieses Leben hinzukommt Belohnung und je nach dem Wert der lebenden Belohnung, die wir
hinzufügen, werden die Ergebnisse unterschiedlich sein.
Der Agent wird verschiedene Richtlinien auswählen, und so kann der Belohnungswert im Wesentlichen in die Belmont-Gleichung einbezogen werden,
auch wenn dies nicht nur am Ziel oder am Ende des Spiels, sondern sogar
im gesamten Spiel stattfindet.
Und noch einmal muss es in jedem Zustand je nach Umgebung selbst nicht auf jedem
einzelnen stehen.
Es kann dem Agenten in bestimmten Zuständen nicht in jedem Zustand gegeben werden, aber in unserem vereinfachten
Beispiel verwenden wir Belohnungen in jedem gegebenen Zustand.
Um dieses Konzept zu veranschaulichen, hoffe ich, dass Ihnen das heutige Tutorial gefallen hat.
Und wie Sie sehen, haben wir unsere Belman-Gleichung bereits sehr ausgefeilt und können nun auf viele verschiedene Szenarien angewendet
werden. Ich kann es kaum erwarten, im nächsten Tutorial zu sehen.
Und bis dahin genieße ich.