Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Im heutigen Tutorial werden wir etwas Spaß haben.
Wir werden einen Blick darauf werfen, und künstliche Intelligenz wird tatsächlich durch dieses Labyrinth gehen, über
das wir so lange gesprochen haben, und wird Kill Learning verwenden, um seinen Weg zu finden und den Weg
nach draußen zu finden q Werte würden mit der Richtlinie passieren und so weiter.
Schauen wir uns das mal an.
Wir werden einige Materialien verwenden, die freundlicherweise von der Berkeley University zur Verfügung gestellt werden.
Wenn Sie also zu a gehen, birkle ich nicht nur die E R K E L E Warum gehen Sie nicht einfach zu diesem Link.
Sie werden diese Website sehen und erfahren, was wir uns ansehen werden: Wir müssen
zu PacMan-Projekten gehen.
Ich denke, Pacman-Projekte, und hier, wenn Sie nach unten scrollen und sich diese beim ersten Lernen ansehen, arbeiten wir
damit.
Hier können Sie das ZIP-Archiv herunterladen.
Also wenn du willst.
Müssen Sie das nicht tun? Wir werden in dieser Studie nicht gemeinsam eine Lösung
durchgehen, nur um Ihnen mitzuteilen, wo das alles herkommt.
Das wissen wir wirklich zu schätzen.
UC Berkeley hat diese Materialien zur Verfügung gestellt.
Aber wenn Sie selbst damit experimentieren möchten.
Denken Sie daran, dass dies nicht Teil ist.
Wird nicht Teil unserer Kurse als Teil des Berkeley-Kurses sein.
Ich bin nicht sicher, wie es zu Illustrationszwecken funktioniert, aber wenn Sie damit experimentieren
möchten, finden Sie hier das ZIP-Archiv und alle alten Anweisungen.
Wir werden gleich in Python einsteigen und als erstes wollte ich Ihnen zeigen, dass wir
hier die Lizenzinformationen haben, also meine ich dies.
Wir sind sehr glücklich, dass sie sagten, dass wir diese Projekte für Bildungszwecke nutzen oder erweitern können, vorausgesetzt,
Sie wissen, dass Sie Veröffentlichungslösungen vertreiben, die wir nicht tun werden.
Sie behalten diesen Hinweis, den wir haben, und geben der UC Berkeley einen klaren Erzbischof mit einem Link, auf den
wir ebenfalls verweisen.
Also noch einmal, wenn Sie mehr darüber erfahren möchten, dort den Link.
Sie können einen Blick darauf werfen.
Vielen Dank an alle diese Leute, die an diesem Projekt mitgearbeitet haben, also hier die Netzwelt.
Wir werden arbeiten, wenn es eine Lösung gibt.
Um es funktionieren zu lassen, müssten Sie es selbst lösen oder möglicherweise eine Lösung finden.
Vielleicht helfen dir einige Leute, die du kennst, dabei.
Wenn Sie noch einmal nicht möchten, was Sie möchten, müssen wir es jetzt auf diesem
Bildschirm betrachten.
Nachdem wir all diese Dateien erstellt haben, können wir sie hier einfach starten.
Es gibt also einige Parameter, die an dieser ganzen Welt beteiligt sind, und wir werden Ihnen nicht nur zeigen, wie
es aussieht, wenn wir es starten.
Versuchen wir also, es im manuellen Modus zu starten.
Wenn ich also eines dieser Panoramen von Hand nehme, kann ich Ihren Kontrollagenten befehligen.
Hier können Sie also alle Raster sehen, sodass ich nach oben gehen kann, um zu sehen, dass die Aktion beginnt und in
den Bundesstaaten beginnt, in denen ich war.
Und dann haben Sie gesehen, dass ich gezwungen war, Norf zu ergreifen, und als ich zum ersten Mal bei Null war, landete ich
bei Null.
Aber zum zweiten Mal, als ich Norf nahm, endete ich mit der gleichen traurigen Bewegung.
Es ist also etwas passiert, wissen Sie, dass die Zufälligkeit passiert ist. Ich bin entweder nach links oder nach rechts gegangen.
Standardmäßig sind die Parameter eingestellt.
Sie können hier standardmäßig sehen, dass genau das festgelegt ist, was wir besprochen haben, wie oft tatsächlich eine
unbeabsichtigte Richtung vorliegt.
20 Prozent der Fälle zu 10 Prozent nach links, einige nach rechts.
Wenn ich also nach oben gehe und sage, dass ich nach oben gegangen bin, gehe ich richtig.
Ich bin gleich losgegangen.
Wieder recht und richtig und ich bin fertig.
In dieser Implementierung müssen Sie jedoch noch einmal klicken, um die endgültige Ausgabe zu verlassen. Klicken Sie einfach dort erneut,
und Sie sind fertig.
Das ist ein Endzustand, so dass wir unser Handbuch ausführen können.
Das kann man sehen, wenn ich rechts nach rechts geht.
Hier also, was wir zuvor gesehen haben, dass der Agent nicht direkt vorgehen würde.
Was ist der Sinn des Aufstiegs, wenn die Chance besteht, in die Grube zu gehen?
Mal sehen, was der Agent tun würde.
Es würde nach links gehen und nach Westen gehen, hier nach Westen gehen.
Und Sie sehen, ich habe nach links geklickt, aber es ging nach oben und hier würde ich nach rechts klicken.
Und ich lande in der Endphase, und Sie sehen, dass Gottes Belohnung gleich eins ist.
So sieht es also manuell aus.
Lassen Sie uns nun tatsächlich eine KI damit verbinden und durchgehen lassen.
Also machen wir hier ein H und fügen etwas Brandner hinzu.
Also lasst mich einfach sehen, was ich hier getippt habe, hoffentlich kann man anhand der Netzwelt sehen, warum dann hier
minus unsere Mittel.
Das ist die Belohnung fürs Leben.
Ich habe also zwei davon, also sollte ich diese wahrscheinlich entfernen.
Minus k ist also die Anzahl der Iterationen.
Das sind viel zu viele Iterationen.
Lass uns weniger tun Lass uns tun wie 10 Iterationen sollten ausreichen.
Minus a ist Agent.
Welche Art von Agenten möchten Ehre und Image und einen Wert oder ein Q nicht machen?
Q Also ich will ein Q.
Der Q-Lernagent, der diese Minuspunkte ausführt, ist die Geschwindigkeit, die zu schnell ist.
Dies ist eine zu große Kraft, die jetzt die volle Geschwindigkeit ausnutzt.
Erinnern Sie sich also an den Start, wenn Sie 0 lebende Buße neu starten, also nennen wir sie auch
0 0 und können diesen Parameter einfach entfernen und D ist, was Rabatt ist.
Also, ich fühle mich einfach irgendwie so, also lass es bei Null bleiben und so sehr
ähnlich dem, was wir in diesem Abschnitt des Kurses beginnen. Lass uns das OK dann wieder zu schnell laufen. Alles eigentlich so ziemlich OK, damit
du sehen kannst, wie er ist erforschen.
Und so hat er bisher dreimal negativ getroffen und Sie können sehen, wie die q-Werte in diesen
Feldern aktualisiert werden.
Das sind also Schlüsselwerte.
Sie sind eine Art Null.
Sie können jetzt den Q-Wert sehen.
Er hat gelernt, dass es sich um ein etwas anderes Gerät handelt, denn sobald man die letzte Stufe erreicht hat,
muss man es raus bekommen.
Sie müssen nur noch eine weitere Schaltfläche klicken, um den Vorgang zu beenden.
Und so ist es einem sehr nahe, aber nicht genau einem.
Aber gleichzeitig können Sie sehen, dass hier langsam der Wert langsam kristallisierender Hände ein Punkt ist, den ein ehemaliger
Kollege irgendwohin bringt, aber sie sind nur so weit, dass sie eine Art Null sind,
weil er nicht genug Informationen hat verstehen, was los ist
OK, lass uns sehen, was hier passiert.
Erkunden Erkunden, was passieren wird.
Nun war eine Weile zu sein.
Und wir bekommen hier einige Zufälligkeiten.
Es gibt also einige Male einen guten.
Jetzt bekommt er nur noch 10 Iterationen.
Also muss er schnell lernen Ok, ich brauche dich dort.
Mal sehen was los ist.
Komm schon.
Raus aus diesem Labyrinth.
Und ja, 10 Episoden sind so durchschnittlich, dass sich das herausstellt.
Das interessiert das nicht wirklich.
Also hier mal sehen.
Ich habe noch nie genug Klick gesehen.
Recht.
Da gehen wir.
Sie sehen also, das ist die Politik, die er entworfen hat.
Selbst in nur 10 Episoden hat er bereits einen Puls.
Ich werde eine Bombe hochgehen und hier werde ich hier runter gehen Ich werde hier runter gehen Ich werde in die
Mauer gehen und dann werde ich hüpfen, wir sind hier
Das ist ziemlich cool.
OK.
Jetzt lassen Sie uns die Geschwindigkeit erhöhen.
Was war der Parameter da?
Und das ist wie doppelte Gesetzlosigkeit.
Das ist eine Vervierfachung der Geschwindigkeit und die Anzahl der Iterationen wird erhöht, also sagen wir 20, um dieses Mal zu
rationieren, und sehen, ob er jetzt ein bisschen mehr durchkommt.
Sie sehen also, dass er schneller läuft.
Und er lernt, er lernt, dass es nicht wirklich Sie aus diesem
Zustand wissen, es gibt nicht viele gute Handlungen.
Das war definitiv nicht gut.
Er muss noch lernen, dass von hier aus auch gut ist.
Sie können sehen, dass diese Aktion ziemlich gut ist.
Gut.
Was hat er bekommen?
OK.
So interessant, dass Sie sich hier entscheiden, wir beschließen zu gehen.
Nur nicht genug Informationen.
Also lass uns das wirklich tun.
Und lassen Sie uns die Geschwindigkeit auf 100 erhöhen.
Superschnell und die Anzahl der Iterationen wird ihm diesmal 100
Iterationen geben. Diese Szene wird wie verrückt schnell ablaufen, und Sie können
sehen, dass es so viele Iterationen gibt diese Werte für jeden einzelnen
Zustand.
Er weiß jetzt, dass Sie diesen Nullpunkt neunundachtzig sehen können.
Was haben wir in unserem Nullpunkt gesagt 86.
Eine andere Sache, die man sich merken sollte, ist der Wert eines bestimmten Staates.
Denken Sie daran, dass die Formel, die wir hatten, das Maximum der Würfelwerte ist.
Erinnere dich an das, was wir mit der Abkürzungsformel entwickelt haben.
Was ist es also mit dem Wert in diesem Zustand das V von diesem.
Es wäre 0. 18
Denn das ist der höchste von vier hier der Wert dieses Zustands 0. 7 Sie möchten den Wert dieses Tages.
Gibt es Punkt einundsechzig und so weiter.
Das ist etwas, woran man sich erinnern muss.
Ich erinnere mich, als ich wach war, denke ich, wir hätten einen Nullpunkt oder etwas so praecox.
Wenn wir nächstes Jahr wieder gehen, verschwinde ich oder verschwinde wieder und das kann dazu führen, dass es wieder kommt.
OK.
Langsam füllt sich langsam langsam einige Lücken.
Aha.
Und es ist auch ziemlich zufällig, weil nicht nur die Umgebung zufällig ist, sondern auch die Art und
Weise, in der er herausfindet, dass der Star wirklich nicht weiß, dass die Richtlinie willkürlich untersucht.
Verschwindet einfach immer wieder.
Ich verstehe nicht warum.
Wie auch immer, schauen wir uns an, was passiert, wenn Sie die Anzahl hier erhöhen, und hier
sollte die gleiche Zeit in Anspruch genommen werden, wenn die Geschwindigkeit keine Obergrenze hat.
OK, er hat also mehr Möglichkeiten, Dinge zu erkunden.
OK, lass uns sehen, wie alles läuft.
Und Sie können sehen, dass die Werte konvergieren. Sie gehen auf und ab, je nachdem, wie Sie wissen, denn
es ist ein Zufall, und er könnte wie in der Grube enden, auch wenn er so vorgeht.
Zur gleichen Zeit konvergieren sie langsam zu einer Art von Werten und Cue-Werten.
OK, wahrscheinlich ist tausend etwas zeitlich zu viel.
Es sieht nicht so aus, als ob die Geschwindigkeit proportional zunimmt.
So könnte es diesen Teil schneiden.
Ich meine wie die Geschwindigkeit reduzieren.
Wissen Sie, während dies sehr niedrig ist, müssen Sie nicht bis zum Ende dieses Tutorials aufpassen. Ich
möchte nur mit ein bisschen experimentieren, um Ihnen einige Beispiele zu zeigen, was wir durchgearbeitet haben, aber Sie haben
den Punkt verstanden es geht alles durch.
Es hat einige Zufälligkeiten wie Rambler in sein Verhalten eingebaut.
Selbst wenn es wie eine Richtlinie aussieht, wird es weiter erforscht, so dass es nicht einfach so ist, wie es einmal eine
grundlegende Richtlinie hat, es wird nicht einfach seiner Politik folgen.
Es wird immer noch mit anderen Variationen experimentieren, um seine Politik zu verbessern, vielleicht hat es
nicht sofort die beste Politik gefunden.
Vielleicht kann es die Politik verbessern.
Deshalb kann man auch nach so vielen Iterationen immer noch einige zufällige Effekte sehen, manchmal springt es in zufällige Zustände, nicht nur wegen
der Zufälligkeit in der Umgebung, sondern auch weil es eine Ebene wie einen Parameter gibt, den Sie
steuern können, was Sie einstellen könnten Wenn Sie sich für Ihren Agenten entscheiden, sagen Sie, dass Sie die meiste Zeit
in 80 Prozent der Fälle tun, was auch immer Ihre Richtlinien vorschreiben, aber in 20 Prozent der Fälle
haben Sie nur ein paar lustige Experimente und sehen, was passiert, und verwenden Sie die Informationen,
die Sie zum Aktualisieren sammeln Ihre Politik.
OK, das dauert viel zu lange.
Lass es uns noch einmal versuchen.
Ja, so lernt der Agent in verschiedenen Zuständen.
Vielleicht lassen Sie uns einfach aus Neugier noch ein weiteres Mal laufen.
Gibt es sonst noch etwas, was wir daran ändern können?
Iterationen
OK.
OK, schauen wir uns mal um.
Ja, wir könnten zum Beispiel die Diskussion ändern.
In diesem Fall könnte man also sagen, dass K minus hundert minus a Q minus zwei und minus OK tausend sind.
Also belohnen.
Wir wollen es behalten, vielleicht behalten wir es bei 0. 04 Aber nehmen wir einmal an, halten Sie die Belohnung für jedes Mal
an meinem Wüstenpunkt Null.
Und dann werden wir sagen, dass der Rabatt nicht Nullpunkt neun ist, sondern Nullpunkt, Punkt
fünf.
Es wird also viel abgezinst, wenn Sie durch das Spiel gehen.
Es wird also jetzt ein Anreiz sein, näher am Ziel zu sein als an der Route, die kurz vor dem Ziel steht,
einen hohen Wert zu bekommen, so dass man sehen kann, dass die Werte wirklich abnehmen, es ist nicht
so grün wie zuvor.
Hier sehen Sie, dass dies nun die Richtlinie ist.
So geht es also so ähnlich wie das, was wir vorher gesehen haben, nur wahrscheinlich sind nur Unterschiede
von hier, die direkt hierher springen.
Also das ist einer.
Und lass uns einfach noch einen laufen lassen.
Das macht so viel Spaß.
Lassen Sie uns einfach noch ein weiteres Mal k minus k 100 a q verwerfen.
Behalte es so wie es ursprünglich war Also lass uns einfach diese grundlegende Vanille-Einrichtung ausführen ok ok ok.
Es wird sehen, ob es uns die Politik zeigt.
Und ja, wir haben die Politik bekommen.
Ja.
Guter Abgang
Also hier haben wir die Politik.
Sie wissen, dass das bekannt ist.
Erinnern Sie sich an diese Zeit, als wir sahen, dass die KI die menschliche Bombe in die Wand übertrug, um dorthin zu
gehen und in die Wand zu bohren, um so das Problem zu vergrößern.
Also los geht's.
Dies ist ein Beispiel für die künstliche Intelligenzuntertätigkeit. Es ist sehr einfach, die Einnahmen
zu töten.
Aber gleichzeitig ist es schon ziemlich schlau und ich hoffe, das heutige Tutorial hat Ihnen gefallen.
Nochmals vielen Dank an UC Berkeley und ich hoffe, dass Ihnen das heutige Tutorial gefallen hat, und ich freue mich auf die
Szenerie.
Bis dahin genießen Sie die KI.