Hallo und herzlich willkommen zum Kurs über künstliche Intelligenz.
Ich hoffe, Sie freuen sich auf das heutige Tutorial, denn wir machen den ersten Schritt in die Welt
des Ich.
Und heute reden wir über das Lernen mit Verstärkung.
Es ist eine sehr wichtige Geschichte, denn sie wird alles andere unterstützen, was in diesem Kurs passieren wird.
Also fangen wir hier an.
Wir haben ein kleines Labyrinth und dieses Labyrinth ist unsere Repräsentation einer Umgebung, und damit werden wir
uns in diesem Kurs beschäftigen.
Wir werden es mit bestimmten Umgebungen zu
tun haben, in denen unsere künstliche Intelligenz vorgeht. Sie
werden Maßnahmen ergreifen.
Und hier haben wir einen Agenten.
Der Agent ist unsere künstliche Intelligenz.
Das ist die Person oder der Geist, der durch diese Umgebungen navigiert und aus den Rückmeldungen
erfährt, dass ihre Gedanken es geben werden, um bestimmte Aktionen auszuführen.
In dieser Umgebung führt der Agent bestimmte Aktionen aus.
Infolgedessen wird sich der Zustand, in dem es sich befindet, ändern, so dass es weiter nach links oder nach links oder nach rechts weiter nach
rechts sein kann.
Es kann eine Art von anderen Parametern geben, die den Zustand und diese Parameter beschreiben.
Der Staat wird sich also aufgrund der Aktion ändern und es wird auch eine Belohnung für die Aktion erhalten.
Jedes Mal, wenn eine Aktion ausgeführt wird, ändert sich der Zustand und es wird belohnt.
Denken Sie daran, dass es manchmal passieren kann, dass der Status nicht geändert wird. Die Aktion
ändert keinen Aufenthalt oder es wird keine Belohnung für die Durchführung dieser Aktion geben.
In diesem Sinne war es.
Aber der Agent wird dies auch weiterhin tun, indem
er Maßnahmen ergreift, die den Staat betrügen, und Belohnungen erhält.
Und durch diesen Prozess wird man lernen, was die Umwelt erforschen würde, wenn man
versteht, welche Aktionen zu guten Belohnungen und günstigen Zuständen führen, und welche Aktionen die beiden Belohnungen
für einen ungünstigen Zustand bedeuten.
Und dies ist ein sehr vereinfachtes repräsentatives, sehr globales Problem.
Wenn Sie darüber nachdenken, müssen Umgebungen nicht nur Labyrinthe sein.
Es geht nicht nur darum, aus einem Labyrinth auszusteigen oder einen Schatz in einem Labyrinth zu finden.
Eine Umgebung kann so ziemlich alles im Leben sein.
Stellen Sie sich vor, Sie wachen morgens auf und kochen ein Omelett.
Um dieses Omelett herzustellen, müssen Sie bestimmte Schritte durchlaufen, damit das Salz die Eier
bekommt, die Bratpfannen zum Brennen usw., und es klingt wie eine Routine.
Aber es ist zur Routine geworden, weil Sie es so oft gemacht haben.
In Wirklichkeit ist es jedoch eine Umgebung, in der Sie bestimmte Aktionen ausführen, bei denen Sie das Feuer
anzünden, indem Sie eine Bratpfanne auf das Feuer stellen. Sie legen alle Eier in die Bratpfanne und Sie setzen Salz auf
die Eier und du drehst dich um und so weiter.
Wie Sie sehen, handelt es sich also um CRN-Aktionen, die in bestimmten Zuständen durchgeführt werden. Diese Aktionen führen zu
bestimmten anderen Zuständen und belohnen manchmal.
Wenn Sie z. B. das Feuer anzünden und warten, warten Sie, warten Sie, warten Sie, warten Sie, warten Sie,
warten Sie, warten Sie zu lange, und legen Sie die Eier in die Pfanne.
Die Belohnungen werden sehr negativ sein.
Es wird alles brennen.
Wenn Sie andererseits alle richtigen Maßnahmen zur richtigen Zeit ausführen, ist es auch wichtig zu
verstehen, dass die Maßnahmen zu den richtigen Zeitpunkten ausgeführt werden sollten.
Das Salz beispielsweise in die Pfanne geben, bevor Sie die Eier hineinlegen, ist möglicherweise nicht die beste
Idee.
Möglicherweise möchten Sie diese Aktion durchführen, indem Sie das Salz in die Pfanne geben, nachdem die Eier da sind
und sich in einem anderen Zustand befinden.
Deshalb ist es wichtig, sich daran zu erinnern.
Und wenn Sie alle richtigen Maßnahmen in der richtigen Reihenfolge in den richtigen Zuständen ergreifen,
könnte Ihre letzte Belohnung sein, dass Sie ein Omelett erhalten, das Sie essen können.
Das ist also eine sehr grundlegende Aktivität in Ihrem Leben, aber wenn Sie darüber nachdenken, handelt es sich tatsächlich um eine Umgebung,
und Sie sind der Agent, der diese Umgebung durchläuft und eine Aufgabe ausführt, die Sie nicht wirklich lernen müssen, weil
Sie sie bereits ziemlich gut kennen .
Aber gleichzeitig könnten Sie lernen, vielleicht lernen Sie, wie man ein besseres Omelett herstellt, oder vor allem, wenn
Sie Ihr erstes Omelett so gestalten, dass Sie es wahrscheinlich vermasseln.
Aber Sie werden daraus lernen, denn Sie werden verstehen, welche Handlungen zu Zuständen und Wegen und zu etwas
anderem im Leben führen.
Zum Beispiel auch der Handel an der Börse und Sie wissen, wie Sie kaufen und verkaufen und
bestimmte Rückmeldungen vom Markt im Sinne von positiven oder negativen Renditen erhalten.
Das ist auch eine Umgebung, an der Sie im Alter teilnehmen.
Autofahren ist auch eine Umgebung, in der Sie das Lenkrad drehen können, Sie können beschleunigen,
Sie können brechen usw. Sie erhalten Feedback von der Umgebung, und Sie wissen,
dass der Polizist Ihnen ein gutes Tempo verleiht, wenn Sie nicht so schnell fahren. auf der Autobahn die zulässige oder
zulässige Höchstgeschwindigkeit überschreiten.
Und deshalb lernst du, dass dies nicht etwas ist, was getan werden sollte, weil es zu einer
negativen Belohnung führt.
Belohnungen müssen also nicht ganz am Ende des Prozesses liegen.
Sie können während des gesamten Prozesses durchlaufen werden.
Das sind also ein paar Beispiele.
Und in Bezug auf ein Ich ist der einfachste Weg, an Verstärkungslernen zu denken, wie das Trainieren
eines Hundes, wenn Sie dem Hund trainieren, ihm bestimmte Befehle zu erteilen Wenn es nicht Abeles
Kamaz ist, sagen Sie ihm, dass es ein böser Hund ist, oder geben
Sie ihm einfach keine Belohnung.
Und durch diesen Prozess lernt es, welche bestimmten Befehle oder was es tun muss, um welche Aktion es in bestimmten Zuständen
zu ergreifen hat, und die Zustände sind die Befehle, die Sie ihm geben.
Und darauf basierend wird es natürlich einige Belohnungen in der Welt der KI erhalten.
Es ist nicht so komplex.
Sie müssen nicht die Leckereien geben.
Sie müssen nicht jedes Mal wie eine Tüte Kekse dabei sein, wenn Sie ihm einfach einen Plus- oder
Minuswert geben. Es ist also ein großer Vorteil, dass wir in der Welt der AI diese AIs selbst erstellt haben.
Die Belohnungen, die wir ihnen geben, wenn Sie denken, dass
dies wirklich coole Belohnungen sind, geben ihnen die, dass sie nicht existieren.
Es ist also alles Nichtvorhandensein alles Imaginäre.
Aber gleichzeitig führt dies zu großartigen Ergebnissen, da wir diese erstaunlichen Dinge wie
diese erstaunliche künstliche Intelligenz erstellen können, indem wir Belohnungen anbieten, die wir nicht wirklich haben.
Plus und Minus 1 kostet nichts anderes als die gleichen Release-Ergebnisse.
Sehr ähnlich der realen Welt.
Und Sie wissen zum Beispiel Dokes. Aber hier sind die Belohnungen digital und nur Zahlen.
Und mit diesem Gedanken können wir über Roboterhunde sprechen. Ich liebe dieses Beispiel. Es handelt sich also
nur um Bilder, die nicht unbedingt genau den Roboterhund sind, den Sie kennen. Er wird durch
Verstärkung trainiert und lernt einige der Roboterhunde ein Algorithmus da drin.
Und dies ist eigentlich ein gutes Beispiel für den Unterschied zwischen vorprogrammierten Agenten und dem Verstärkungslernagenten,
sodass Sie einen Roboterhund haben könnten, der vorprogrammiert ist, wie er laufen soll.
Also in dem Algorithmus hinter dem Hund in der Software wird OK gesagt. Um zu gehen, müssen Sie Ihr linkes
Bein nach vorne linkes vorderes Bein vorwärts bewegen, dann Ihr rechtes Bein nach vorne, dann Ihr vorderes rechtes Bein nach vorne und dann
Ihr hinteres linkes Bein nach vorne und wiederholen Sie diese Aktion und Sie wissen, das ist die
Definition des Gehens eine Funktion in diesem Hund.
Und dann könnte es sein, dass Sie wissen, wie Sie sitzen sollen und solche Dinge.
Während bei einem Roboterhund, der durch Verstärkung trainiert wird, das Lernen, was passiert, ist, müssen Sie ihn nicht vorprogrammieren.
Dies ist das Schlüsselkonzept für alles, bei dem Sie keinen Algorithmus in sich haben, der in den Hund hart
codiert ist.
Stattdessen haben Sie das, was wir in Zukunft besprechen werden.
Es gibt diesen Verstärkungslernalgorithmus, dem gesagt wird, dass es in Ordnung ist. Das Ziel besteht also darin,
von wo Sie jetzt nichts zum Ende des Raumes wissen.
Und hier sind die bestimmten Aktionen, die Sie ergreifen können.
Sie können Ihren rechten Fuß bewegen. Sie können Ihren linken Fuß bewegen. Sie können Ihren rechten Fuß zurückbewegen.
Sie sind der linke Fuß. Hier können Sie alle Freiheitsgrade, die Sie tun können, so
bewegen, dass Sie sich wie diese bewegen Aktionen, die Sie ergreifen können und Ihre Belohnungen sind jedes Mal, wenn Sie einen Schritt nach vorne
machen, erhalten Sie bei jedem Sturz ein Plus.
Du bekommst ein Minus und das ist alles was dazu gehört.
Und dann verlassen sie einfach den Hund und lassen ihn von selbst herausfinden.
Der Hund versucht aufzustehen, er fällt, dann wird klar, dass ich diese Handlung nicht tun sollte, die mich zum Sturz brachte, denn jedes Mal,
wenn ich falle, bekomme ich ein Minus, das für mich nicht gut ist.
Die andere Aktion, die ihm dabei geholfen hat, aufzustehen, und dann sind es nur Experimente. Experimente
experimentieren mit den Dingen des Zufalls und stellen dann fest, dass sie einen Schritt nach vorne machen
können, indem sie den rechten Vorderfuß bewegen, und er bekommt ein Plus und erkennt, dass ich sollte mach mehr davon.
OK, so lernt es jetzt, dass es mehr davon und weniger davon tun soll.
Und durch diesen Lernprozess versteht er sehr schnell, wie er gehen kann.
Und diese Hunde, die sich selbst auskennen, können manchmal besser laufen als Hunde, die vorprogrammiert sind, weil wirklich
vorprogrammierte Dinge auf die Hunde im wirklichen Leben gerichtet werden, oder Sie
wissen, dass wir unsere eigenen Vorstellungen verwenden, während dies ein verstärkter Lernhund ist Dinge alleine optimieren.
Und weil in der KI manchmal sogar noch bessere Ergebnisse erzielt werden können.
Und so können sie diese Roboter trainieren.
Dieselben Roboterhunde, um Fußball zu spielen.
Sie können einen normalen Hund zum Fußballspielen trainieren, weil Sie wissen, dass der Ansatz anders ist.
Und es ist nicht etwas, von dem Sie wissen, dass wahrscheinlich ein normaler Hund in seinem Entwicklungsprozess trainiert wurde
oder jemals geschafft hat.
Ein Roboter, der sich mit der Verstärkung befasst, kann sehr leicht verstehen, wie man Fußball spielt, solange
man ihm sagt, was die Belohnungen sind und welche Ziele die möglichen Aktionen sind.
So funktioniert das verstärkte Lernen.
Im Allgemeinen gibt es einen schnellen Überblick über das Verstärkungslernen.
Ich hoffe, das hat Sie sehr aufgeregt, weil es eine völlig andere Welt ist,
im Vergleich zu vorprogrammierten Lösungen, ein hart programmiertes Programm, bei dem Sie die If-Bedingung haben.
Das ist ganz anders.
Und darüber werden wir mehr reden.
In der Zwischenzeit haben wir einige zusätzliche Informationen für Sie. Wenn Sie also Hilfsmaterialien haben möchten, finden Sie hier
einen großartigen Artikel, den Sie sich ansehen können.
Es wird als einfaches Verstärkungslernen mit Tensorfluss bezeichnet.
Es hat zehn Teile.
Der Link ist hier und Sie finden den vollständigen anklickbaren Link auf.
Im Verlauf der Ressourcen von Arthur Giulianis Artikel 2016 können Sie diesem Kurs folgen und auch zusätzliche Informationen
aus diesem Artikel erhalten.
Denken Sie jedoch daran, dass dieser Artikel eher fließend ist, da in diesem
Kurs eine andere Implementierung als Implantationen verwendet wird. Gleichzeitig können Sie jedoch ein paar
Dinge hier und dort aufgreifen, die Ihr Lernen ergänzen könnten werde in diesem Kurs tun.
So gute Artikel folgen Ihnen, wenn Sie in Erwägung ziehen, es mit Sicherheit zu folgen.
Immer noch für alle Fälle.
Schauen Sie sich diesen ersten Teil an und sehen Sie, ob Sie ihn etwas mehr lesen möchten.
Und dann haben wir speziell für dieses Tutorial ein Grenzerzwangslernen. Es gibt ein Dokument von Richard Sutton,
das als Verstärkungslernen bezeichnet wird.
Eine Einführung ist, dass die Papiere von 1998 recht alt sind, aber gleichzeitig können Sie ein wenig über das Verstärken
lernen lernen. Beispiele wie dieses Omlet-Beispiel und andere Beispiele, in denen das Verstärkungslernen angewendet werden
kann, und nur einen allgemeinen Überblick über das Verstärkungslernen.
Wenn Sie nach zusätzlichen Informationen suchen, werden wir dieses Tutorial abschließen.
Ich kann es kaum erwarten, Sie das nächste Mal zu sehen.
Und bis dahin genießen Sie AI.