Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Zuvor hatten wir ein ziemlich anstrengendes und langes Tutorial zu Margrove-Entscheidungsprozessen, und hoffentlich kamen Sie
damit gut zurecht.
Und hoffentlich konnte ich die Dinge auf ansprechende und ansprechende Weise erklären.
Und heute werden wir über Richtlinien und Pläne sprechen.
Es wird ein schnelles und unterhaltsames Tutorial geben, da wir jetzt in eine neue Welt eintreten
und in eine Welt stochastischer Suche eintauchen, die nicht deterministisch ist, wenn Sie einfach nicht durch das Labyrinth geraten, sondern auch
zufällige Faktoren berücksichtigen, die möglicherweise auftreten Sie im Kopf, wenn Sie durch dieses Labyrinth gehen,
und Sie müssen darauf vorbereitet sein.
Das ist die Welt.
Unser Agent lebt und es macht mehr Spaß, aber es ist auch gefährlicher, es ist weniger vorhersehbar.
Wie wird sich unser Agent verhalten?
Werfen wir einen Blick.
Es gibt unser Kennzeichen für den Entscheidungsprozess, das wiederum unsere Belman-Gleichung ist.
Mit der fortgeschritteneren Version der Belman-Gleichung arbeiten wir jedoch.
Von jetzt an nennen wir das einfach die Beldon-Gleichung.
Und hier haben wir unsere maximale Aktion und die Crucell-Aktion, so dass der Wert eines Staates jeder Zustand so groß ist wie
alle Aktionen, die ein Agent in diesem Zustand ausführen kann.
Die Maxime wurde aus der Belohnung gezogen, die der Agent durch Ausführen von Aktion A erhält, und einen Abzinsungsfaktor
plus den erwarteten Wert des neuen Status, in dem er sich befinden wird.
Und ich würde erwarten, dass diejenigen, die hier aufgenommen wurden, nicht genau wissen, wo die Traurigkeit endet.
Dies sind einige zufällige Effekte, die in der Umgebung vorhanden sind und den Status möglicherweise ändern und nicht in
den gewünschten Status gelangen.
Es könnte in einem anderen Zustand enden.
Deshalb nehmen wir hier irgendwo den erwarteten Wert.
Schauen wir uns das als unser Beispiel an oder in unserem Beispiel des Labyrinths.
Dies war also das, was wir zuvor hatten, also haben wir es mit der deterministischen Suche nach Leben zu tun.
Das wussten wir also.
Wenn ich hier bin, muss ich unbedingt hier sein, wenn ich hier bin.
Ich muss auf jeden Fall hier sein, wenn ich hier bin. Ich muss auf jeden Fall hier sein, wenn ich hier bin.
Es war also alles ziemlich unkompliziert.
Sobald Sie diese Karte haben und sich an sie erinnern, nannten wir sie einen Plan.
Sobald Sie den Plan haben, ist das ziemlich einfach.
Es gibt.
Das ist also der Plan mit Pfeilen.
Und von hier aus war es sehr unkompliziert, dass dies die Routen sind, die sie nehmen werden, wenn Sie
auf dieser blauen Linie beginnen.
Das ist genau der Weg, den Sie gehen würden.
Jetzt haben wir jedoch keinen Plan mehr.
Wir können keinen Plan haben, weil Sie wissen, dass alles, was wir planen, nicht passieren könnte, es nicht unter Kontrolle ist oder wenn
Sie genau wissen, was Sie als Nächstes tun müssen.
Du kennst die Schritte.
Sie haben also einen Ausgangspunkt, Sie haben ein Ziel, und Sie kennen jeden einzelnen Schritt, so dass Sie
sie so planen können, wie ich es tun werde. Ich werde dieses tun .
Aber gleichzeitig ist so viel Zufall los.
Du kannst einen Plan haben, denn wenn du hierher kommst und dann klickst du nach rechts und bringt dich tatsächlich
runter.
Das ist also nicht Teil Ihres Plans.
Deshalb nennt man das Planung mehr.
Und hier berechnen wir, dass die Werte tatsächlich nur die berechneten
Werte für dasselbe Problem betrachten.
Aber basierend darauf, dass wir diese Zufälligkeit im Inneren haben.
Das sind also die neuen Werte.
Warum unterscheiden sich diese Werte also, vergleichen wir wir mit dem, was wir zuvor hatten.
Das hatten wir zuvor.
Das sind dann Sie.
Also hatten wir vorher noch einmal, weil er 3 gewonnen hatte. 9 Prozent.
Er war wirklich 366.
Und das ist es, was wir jetzt in weniger als einmal in Kraft haben und 1 6 3.
Übrigens sind dies nicht gerade die aktuellen Rallyes aus meinem Kopf, aber wenn wir einen Agenten leiten würden, wären
einige Werte ähnlich wie diese und die Werte könnten sich ändern, denn je nach
dem Spiel würden sie sich entscheiden 3. 9 oder einen anderen Wert, aber um der Argumentation willen sind dies
die Werte, mit denen wir uns jetzt befassen, und sie sind ungefähr, sie vermitteln den ganzen Begriff auf die richtige Art und Weise, also lassen
Sie uns einen Blick darauf werfen.
Warum haben sie sich verändert?
Warum ist hier mit diesem hier der Wert eins.
Warum ist es plötzlich 0. 26 Warum ist es weniger als eins.
Gehen Sie einfach von hier.
Nun, wir haben tatsächlich angerufen, denn von hier aus, wenn wir nach rechts gehen, was unsere Absicht ist,
wenn wir nach rechts gehen, könnten wir es tun.
Also würden wir gegen die Wand gehen und wären wieder in diesem Zustand.
Und denk dran, wir haben ein Gamla. Also wäre der Wert reduziert und wir gehen um 10 Uhr hin und her und der Zufall
würde hier in diesem Zustand enden.
Es ist also nicht eine 100-prozentige Wahrscheinlichkeit, dass ich hierher komme, also kann ein Unwert nicht länger eine sein, es ist
etwas weniger und es ist 0. 26.
Das ist also ein Beispiel, warum es so ist.
Und Sie könnten den exakten Wert erhalten, wenn Sie die Belman-Gleichung vollständig berechnet hätten, aber meine Frage, die wir
jetzt haben.
Das einzige Problem ist, dass es eine Rekursion geben wird, weil Sie den Wert dafür
wissen müssen und dann den Wert für diesen Wert kennen müssen, der ziemlich komplex ist. Deshalb führen
wir die Berechnungen hier nicht manuell aus.
Das ist der Grund, warum ich sie tun kann, weil es durch all das geht, es ist, als ob es für einen nicht zu komplex
wäre.
Sie können diese Dinge nicht spielen.
Das ist also unser Wert hier.
Aber davon ist etwas anderes.
Also hier nur 0 sein. 9 nur aus Diskontierungsgründen von hier bis hierher zurück jetzt
von hier aus springen wir hier von hier aus hier einfach her, weil selbst wenn wir springen, wenn wir so weitermachen, könnten
wir hier wieder hierher kommen.
Richtig, diese 20-prozentige Chance, die immer noch auf dem Platz bleiben wird, weil wir eine Mauer treffen.
Und wieder und so weiter.
Der Wert hier zu sein ist also Nullpunkt einundsiebzig.
Wieder dies und der Diskontierungsfaktor.
Sie wissen, dass dies für Sie seltsam erscheinen kann, dass dies sogar bei einem Abschlag im Faktor zu hoch ist.
Möglicherweise ist der Abzinsungsfaktor in diesem Beispiel nicht 0. Vielleicht ist es sieben Punkte
oder neunundneunzig, oder?
Nur irgendwie wie Fokus darauf.
Die Werte haben sich tatsächlich so geändert, dass die Werte jetzt niedriger sind.
Meistens weil es nicht eine hundertprozentige Wahrscheinlichkeit ist, zu dem Zustand zu gelangen, den Sie erreichen möchten und was
Sie finden werden.
Interessant ist hier, dass hier nur 0 sein soll. 9 tatsächlich ist sehr viel gesunken.
Warum das.
Nun, denn wenn Sie von hier nach oben gehen, was unsere Absicht ist, besteht eine
Chance von 10 Prozent, eine Wand zu treffen, aber es besteht eine Chance von 10 Prozent, tatsächlich im Firepit zu
enden und ein Minus zu verlieren, um zu belohnen des Spiels.
Das ist also ein sehr schlechter Zustand.
Plötzlich erinnerte man sich, dass wir im Abstand von neun Jahren einen Nullpunkt hatten und daher waren sie gleichwertig.
Es spielt keine Rolle, dass Sie hier hören, dass sie in jedem dieser Zustände ziemlich gleichwertig sind.
Aber plötzlich ist dieses Datum fast doppelt so gut wie dieses hier, nur weil hier, wenn Sie direkt dorthin gehen,
Sie genau dorthin gehen, wo Sie hin wollen.
Sie wissen, dass die Folgen der zufälligen Ereignisse nur hier bleiben.
Hier ist eine der 10% igen Chancen, dass Sie in der Grube landen.
Wie Sie sehen können, ist dies nicht mehr ein so guter Zustand, nur weil etwas Schwankungen
passieren kann.
Wie Sie sehen, ist dieser auch sehr schlecht, weil er so schlecht ist, wie Sie wissen, es ist nur eine 10-prozentige Chance, in
der Box zu enden und eine 10-prozentige Chance, in der Mauer zu enden.
Aber gleichzeitig gibt es einen Diskontierungsfaktor. Also zuerst den Diskontierungsfaktor und auch nach diesem Faktor
müsstest du hier gehen.
Und selbst wenn Sie hypothetisch hierher gekommen wären, könnten Sie wieder in der Grube landen.
Diese Chance würde also auch berücksichtigt, weil sich erinnern, dass diese Werte von diesem Wert
abhängen und dieser Wert von diesem Wert abgeleitet wird.
Recht.
Und deshalb ist es klein, aber in Wirklichkeit war das, was ich sagte, falsch.
Dieser Wert wird nicht von der Fed abgeleitet.
Wenn Sie jetzt nur einen Blick darauf werfen, werden Sie feststellen, dass dieser Wert hier tatsächlich größer ist als
dieser.
Sie werden feststellen, dass es für den Agenten besser ist, den ganzen Weg als diesen Weg zu gehen, und es ist sinnvoll.
Weil es auf diese Weise nicht verloren geht, besteht keine Chance, in die Grube zu gelangen.
Ja ist etwas länger und daher wirkt sich der Diskontierungsfaktor stärker aus.
Aber zur gleichen Zeit, einfach weil es eine Chance gibt, hier in die Box zu kommen, wenn es geradeaus geht,
wird es eine Chance haben, zu springen.
Es braucht also ein Unentschieden, um sich Zeit zu nehmen und einfach herumzulaufen, weil auf diese Weise die Wahrscheinlichkeit geringer ist, dass
es zu bekommen ist.
Also von hier geht es dort von dort aus.
Es könnte möglicherweise in die Grube gelangen, weil es dort landen könnte und dies in der Rechnung landen könnte.
Aber es ist trotzdem eine geringere Chance, also geht es einfach so weiter.
Es ist sehr interessant zu sehen, wie sie sich alle ändern.
Von hier aus würdest du so gehen und von hier aus gehen wir so.
Und jetzt können Sie plötzlich sehen, wie sich das ändert.
Lass uns die Pfeile rollen und sehen, wie es jetzt aussieht und voila.
Sie sehen sogar eine zufälligere Sache richtig.
Ja, das stimmt.
Aber schau dir an, was hier passiert ist.
Schau dir dieses an.
Haben Sie das erwartet?
Das ist etwas, was ich definitiv mag, als ich das erste Mal sah, dass ich sehr beeindruckt war.
Ich war nicht super Ich war nicht überrascht und ich hatte das überhaupt nicht erwartet.
Und dies ist ein Beispiel von Ihnen, wenn ich einen Menschen überlisten kann.
Es klingt wie etwas, das Sie selbst erwischt haben, obwohl Sie vorhergesagt haben, aber das Ich durch Zwangslernen erinnere daran,
dass ein Beispiel für Hunde manchmal besser funktionieren kann als das normale Leben.
Hunde sind vorprogrammiert. Roboterhunde können einfach Fußball spielen, weil sie auf diese Ideen kommen, die selbst wir nicht
sehen können.
Und als tolles Beispiel haben Sie wahrscheinlich nicht erwartet, dass die Asiaten nicht
nach oben gehen, sondern warum.
Wenn ich nach oben gehe, besteht eine Chance von 10 Prozent, dass ich in die Grube springe.
Aber was erreicht es, wenn es in den Krieg geht?
Nun, 80 Prozent der Zeit werden zurückschlagen und im Staat bleiben.
Aber 10 Prozent der Zeit werden hier und 10 Prozent der Zeit ich hier sein.
Plötzlich kann man also sehen, dass es sich nun tatsächlich um diesen neuen Ansatz handelt, in die Mauer zu springen.
Es besteht eine Chance von null Prozent, dass es ins Feuer geht, aber von diesem Punkt aus.
Und es ist, als wollte es wirklich nicht in die Feuerstelle gehen, also ein paar
Mal in die Wand eingedrungene Bonbons und dann geht es irgendwann nach rechts oder links, weil diese Zufälligkeit passieren wird.
Und so lernte es, dass es durch Experimente gelernt hat, dass OK, wenn ich vorankomme, die Ergebnisse nicht so gut sind wie wenn
ich an die Wand gehe.
Und wenn Sie darüber nachdenken, ist es so.
Dieser Roboter, wenn Sie darüber nachdenken, ist dies eine Feuerstelle. Dies ist wie ein Quadrat wie eine winzige
Kante und dann ist dies wie ein Berg wie eine Klippe.
Und dieser Roboter umarmt nur die Klippe und versucht zu warten, bis er nach rechts oder links drückt,
denn als Mensch machen Sie wahrscheinlich dasselbe, dass Sie nicht so stehen würden
oder die Klippe rechts umarmen würden.
Oder sowas ähnliches.
Und hoffentlich wissen Sie, dass wir niemals in solchen Situationen enden müssen.
Aber visuell einfach nur visuell, wenn Sie hier über etwas nachdenken.
Und das ist ziemlich intensiv richtig.
So dass die KI mit dieser Idee kam und dass hier auch eine Art Linkes geht und Riskin sich in einen Kampf verwickelt, aber ich
werde einfach Bälle von der Wand probieren, so wie man es kennt, eine Mauer umarmen und versuchen, in die Wand zu
springen Irgendwann weiß ich, dass Sie wissen, dass es eine Wahrscheinlichkeit gibt, dass jedes Mal, wenn ich tue, eine 10-prozentige Chance besteht. Ich werde
hier hingehen und etwas wird passieren. Ich werde hier enden und ich werde sicher sein und
dann werde ich einfach mach weiter so.
Es ist ein sehr interessanter Ansatz, den sie hier gemacht haben und man kann sehen, dass die Routen so sind. Von hier aus könnte es
nach rechts gehen und dann geht es direkt zum Ausgang oder hier oder nach links.
Und hier werden wir irgendwann nach links gehen und so weitergehen.
Das ist wichtig.
Ich bin keine Politik, auch wenn es von hier aus springt, wird es hier gehen.
Vielleicht Und dann von hier aus könnte es tatsächlich gerade regnen.
Es könnte tatsächlich von rechts nach rechts gehen und dann von hier aus und ich werde es mir erlauben, das richtig zu machen.
Es gibt also viele verschiedene Möglichkeiten für Jungs, die vielleicht nicht genau diesem Eisenwarenhändler
folgen.
Dies ist nur die gewünschte Route, die es für sich selbst entworfen hat.
Aber die Art und Weise, wie es funktioniert, könnte tatsächlich anders sein.
Das hängt von der realen Welt ab.
Also los geht's.
Das ist die Welt der künstlichen Intelligenz.
Das ist, was eine Politik im Vergleich zu einem Plan ist, und hoffentlich werden Sie langsam davon begeistert, was die
KI in Anbetracht dessen, was wir hier gesehen haben, tun kann.
Dies sind einige sehr virtuose Entscheidungen, mit denen sich die KI befassen.
Und wie Sie sehen können, wenn Sie KI spielen, selbst an diesem kleinen Beispiel, können
Sie erkennen, dass Sie vielleicht sogar in einer realen Welt mit Ideen und Entscheidungen aufkommen, die sogar Menschen mit sich bringen können.
Und das ist genau so, wie in jenen Spielen, in denen
das Google-Alpha-Tor gegen den Idol-Weltmeister von Lisa in Korea beim Weltmeister von go spielte.
Und sie spielten 2016 in Korea back bakla. Ich denke es ist März 2016.
Es gab einige Züge, die der Mensch in 3000 Jahren noch nie gespielt hatte oder die Menschen nicht daran gewöhnt waren zu spielen.
Und das ist genau ein Beispiel dafür.
Ich hoffe also, Sie werden aufgeregt und gespannt auf den Diskurs und darauf, was wir integrieren können.
Und ich suche es.
Bis zum nächsten Mal.
Bis dahin genießen.
ICH.