Bonjour et bienvenue au cours sur l'intelligence artificielle.
Dans le tutoriel d'aujourd'hui, nous allons nous amuser.
Nous allons jeter un coup d'œil sur l'intelligence artificielle qui traverse ce labyrinthe dont nous parlons depuis si longtemps
et qui va utiliser l'apprentissage de la connaissance pour naviguer dans son chemin et trouver le moyen de s'en sortir et nous
verrons ce qu'il adviendra du q des valeurs allaient arriver à la politique et ainsi de suite.
Alors jetons un coup d'oeil.
Nous allons utiliser des matériaux aimablement fournis par l’Université de Berkeley.
Donc, si vous allez dans un coin, je ne fais pas que le Birk. Pourquoi ne retournez-vous pas simplement vers ce lien.
Vous verrez ce site Web et entendrez ce que nous allons examiner, c'est la nécessité d'aller vers
les projets PacMan.
Je pense que les projets de Pacman et ici si vous faites défiler vers le bas et vous les regardez dans la première à apprendre c'est ce que
nous travaillons
Donc, ici, vous pouvez télécharger l'archive zip.
Donc, si vous voulez.
Donc, ne vous y attendez pas, nous n'allons pas examiner ensemble une solution dans cet essai, nous
vous ferons simplement savoir d'où vient tout cela, car nous ressemblons beaucoup.
Nous apprécions vraiment cela.
UC Berkeley a mis ces matériaux à disposition.
Mais si vous souhaitez expérimenter cela par vous-même.
Gardez juste à l'esprit que cela n'en fait pas partie.
Ne fera pas partie de nos cours dans le cadre du cours Berkeley.
Je ne suis pas sûr de savoir comment cela fonctionne à des fins d'illustration, mais si vous voulez expérimenter
cela, vous pouvez le trouver ici l'archive zip et toutes les anciennes instructions.
Et nous allons simplement passer immédiatement à Python et je voudrais tout d’abord vous montrer que c’est ici que nous
avons les informations de licence, c’est ce que je veux dire.
Nous sommes très chanceux d'avoir dit que nous sommes libres d'utiliser ou d'étendre ces projets à des fins éducatives, à
condition que vous sachiez distribuer des solutions de publication que nous n'allons pas faire.
Vous conservez cet avis et nous fournissons un archevêque clair à UC Berkeley, y compris un lien vers lequel nous avons
également un lien.
Donc, encore une fois, si vous souhaitez en savoir plus, cliquez sur le lien.
Vous pouvez jeter un oeil.
Et merci beaucoup à toutes ces personnes qui ont travaillé sur ce projet, alors voici le monde de la grille.
Nous allons travailler s'il y a une solution.
Pour le faire fonctionner correctement, vous devrez le résoudre vous-même ou éventuellement trouver une solution.
Peut-être que certaines de vos personnes, quelqu'un que vous connaissez, pourraient vous aider avec cela.
Si, encore une fois, ce que vous voulez, vous n’êtes pas obligé car nous allons simplement le regarder sur cet écran
pour le moment.
Donc, après avoir créé tous ces fichiers, nous pourrions simplement le lancer ici.
Il existe donc certains paramètres en jeu dans ce monde et nous ne vous montrerons pas à quoi
ça ressemble si nous le lançons.
Essayons donc de le lancer en mode manuel.
Donc, si je vais moins un de ces panoramas sont manuels, je peux donc commander votre agent de contrôle.
Donc, ici, vous pouvez voir toutes les grilles afin que je puisse monter afin que vous puissiez voir que cela commence à agir et
a commencé dans les États où je me trouvais.
Et puis vous avez vu que je pressais Norf et que la première fois, je me retrouvais à zéro une fois que
je montais.
Mais la deuxième fois, je suis passé à l’action Norf et j’ai terminé dans le même triste qui n’a pas bougé.
Donc quelque chose est arrivé vous savez le hasard est arrivé je suis allé à gauche ou à droite.
Et par défaut, les paramètres sont définis.
Vous pouvez voir ici que, par défaut, ils correspondent exactement à ce dont nous avons discuté, à savoir à quelle fréquence aboutit à
une direction non souhaitée.
20% du temps à 10% à gauche, certains à droite.
Donc, si je monte et dis que je suis monté, je vais à droite.
Je suis allé droit tout de suite n'a pas eu lieu.
Encore et encore et j'ai terminé.
Mais dans cette implémentation, vous devez cliquer à nouveau pour sortir de cette sortie finale, alors cliquez simplement à nouveau
et vous avez terminé.
C'est un état terminal afin que nous puissions exécuter notre manuel.
Vous pouvez voir que si je vais à droite, à droite, à gauche.
Donc, voici ce que nous avons vu précédemment que l’agent n’irait pas directement.
Quel est l'intérêt de monter s'il y a une chance d'aller dans la fosse.
Voyons ce que l'agent ferait.
Il irait à gauche et irait à l'ouest ici irait à l'ouest.
Et vous voyez que j'ai cliqué à gauche mais que ça a augmenté et ici je clique à droite.
Et je me retrouve dans la phase de sortie finale et vous voyez la récompense de Dieu égale à un.
Voilà à quoi ça ressemble manuellement.
À présent, connectons un IA à ceci et le laissons passer.
Alors faisons un H ici et ajoutons un peu de Brandner.
Alors permettez-moi de voir ce que j'ai dactylographié ici. J'espère que vous pourrez voir par monde de grille pourquoi ici,
moins nos moyens.
C'est la récompense de la vie.
Donc, j'en ai deux alors je devrais probablement enlever celui-ci.
Donc, moins k est le nombre d'itérations.
C'est beaucoup trop d'itérations.
Faisons moins Faisons comme si 10 itérations devraient suffire.
Minus a est un agent.
Quel type d'agent ne veut pas faire honneur et image et une valeur ou un Q.
Q Donc je veux un Q.
Q agent d’apprentissage qui fait ce moins est la vitesse, c’est donc une force beaucoup trop grande qui utilise
simplement la vitesse maximale pour le moment, moins R est une pénalité vivante, donc par défaut zéro.
Donc, au tout début, relancez 0 pénitences vivantes, appelez-le également
0 0 et supprimez simplement ce paramètre.
Donc, je pense que nous allons garder ce point à zéro et être
très similaire à ce que nous commençons dans cette section du parcours, alors allons-y bien trop vite pour que vous
puissiez voir comment il explorant.
Et jusqu’à présent, il est frappé négatif trois fois et vous pouvez voir comment les valeurs q sont mises à
jour dans ces carrés.
Ce sont donc des valeurs clés.
Ils sont en quelque sorte à zéro.
Vous pouvez voir maintenant la valeur Q.
Il a donc appris que celui-ci est un outil un peu différent, car une fois que vous arrivez à la dernière
étape, vous devez vous en sortir.
Vous devez simplement cliquer sur un bouton de plus pour quitter.
Et donc c'est très proche de l'un mais pas exactement un.
Mais en même temps, vous pouvez voir que vous savez ici que la valeur de cristalliser lentement les mains est un point
qui permet à un ex-collègue de gagner de l'argent, mais elles sont pour le moment zéros, car
il n'a pas assez d'informations pour comprendre ce qui se passe.
OK alors voyons voyons ce qui se passe ici.
Explorer explorer explorer ce qui va se passer.
Eh bien, ça faisait longtemps.
Et nous obtenons cela un peu aléatoire impliqué ici.
Donc, il y en a un bon quelques fois.
Maintenant, il ne reçoit que 10 itérations.
Donc, il doit apprendre vite Ok, j'ai besoin de toi là-bas.
Voyons ce qui se passe.
Allons.
Sortez déjà de ce labyrinthe.
Et oui 10 épisodes si moyen, il se trouve que.
Ce n'est pas vraiment intéressé par ça.
Alors, voyons.
Je n'ai jamais vu assez d'un clic.
Droite.
Nous y voilà.
Vous voyez donc que c’est la politique qu’il a élaborée.
Même après 10 épisodes, il a déjà le pouls.
Je vais monter une bombe et ici je vais descendre ici je vais descendre ici je vais aller dans le
mur et ensuite je vais rebondir nous sommes ici.
C'est plutôt cool.
D'ACCORD.
Alors maintenant augmentons la vitesse.
Quel était le paramètre est là.
Et c'est comme une double anarchie.
C'est quatre fois plus rapide et augmentons le nombre d'itérations. Disons donc 20 pour rationner cette fois et voyons
s'il peut en passer un peu plus maintenant.
Alors vous pouvez voir qu'il va un peu plus vite.
Et il apprend qu'il apprend que ce n'est pas vraiment que vous sachiez qu'en sortant de cet état, il n'y a pas beaucoup de
bonnes actions Orio ces actions que les bonnes et les droites ne sont pas bonnes.
Ce n'était vraiment pas bon.
Il a encore besoin d'apprendre que c'est bien ici aussi.
Vous pouvez voir que cette action est assez bonne.
D'accord.
Qu'a-t-il eu.
D'ACCORD.
Donc politique intéressante ici vous nous décidons de monter.
Juste pas assez d'informations.
Alors faisons vraiment ça.
Et augmentons la vitesse pour aimer 100.
Super rapide et le nombre d'itérations lui donnera 100 itérations cette fois, il exécute cette
scène comme un fou rapide et vous pouvez le voir car il y a tellement plus
d'itérations Il a plus d'informations plus d'opportunités d'expérimenter et de construire cette matrice ces valeurs pour chaque
état.
Il sait maintenant que vous pouvez voir que le point zéro quatre vingt neuf.
Qu'avons-nous dit dans notre point zéro 86?
Une autre chose à retenir est que la valeur de tout état donné.
Rappelez-vous que la formule que nous avons est le maximum des valeurs de cube.
Rappelez-vous cette chose que nous avons trouvé une formule de raccourci.
Alors qu'est-ce que c'est que la valeur dans cet état soit le V de ceci.
Ce serait 0. 18
Parce que c'est le plus élevé des quatre ici la valeur de cet état 0. 7 vous voulez la valeur de cette journée.
Y at-il point soixante et un et ainsi de suite.
Donc, c'est quelque chose à retenir.
Je me souviens que quand je me suis levé, je pense que nous avions comme point zéro 86 ou quelque chose d'aussi praecox.
Et donc si nous y allons l'année prochaine, je disparais ou disparais encore et cela peut le faire revenir.
D'ACCORD.
Lentement, lentement, remplissant lentement certains espaces.
Je vois.
Et c'est aussi assez aléatoire car non seulement l'environnement est aléatoire, mais il explore également le fait
que la star ne sait pas vraiment que la politique est qu'il explore au hasard.
Continue à disparaître.
Je ne comprends pas pourquoi.
Quoi qu'il en soit, voyons ce qui se passera si vous augmentez le nombre ici.
Ici, vous devriez prendre le même temps si la vitesse n'est pas limitée.
OK, alors il a plus d'opportunités pour explorer des choses.
OK, voyons comment ça se passe.
Et vous pouvez voir que les valeurs convergent elles montent et descendent en fonction de ce que vous savez, car il
y a un peu de hasard et il pourrait finir comme dans la fosse même s’il va comme cela.
Mais en même temps, ils commencent lentement à converger vers une sorte de valeurs et de valeurs de repère.
OK, probablement mille, c'est un peu trop en termes de temps.
Il ne semble pas que la vitesse augmente proportionnellement également.
Donc, il pourrait couper cette partie.
Je veux dire comme réduire la vitesse.
Vous savez bien que très bas, vous n’avez pas à regarder jusqu’à la fin de ce tutoriel,
je veux juste en expérimenter un peu, pour vous donner quelques exemples de ce que nous avons traversé, mais
vous comprenez que cela passe par tout cela.
Il a un caractère aléatoire comme celui de Rambler dans son comportement.
Ainsi, même si une politique est définie, elle continuera à l'explorer. Ainsi, une fois qu'elle aura une politique de
base, elle ne suivra pas que sa politique.
Il expérimentera encore d’autres variantes de temps en temps afin d’améliorer sa politique. Peut-être n’a-t-il pas
déjà trouvé la meilleure politique.
Peut-être que cela peut améliorer la politique.
Et c’est pourquoi, même après tant d’itérations, vous pouvez toujours voir certains effets aléatoires, c’est parfois que l’on passe à des états aléatoires,
non seulement à cause du caractère aléatoire de l’environnement, mais aussi parce qu’il existe un certain niveau,
comme un paramètre, que vous pouvez définir. Demandez à votre agent de vous dire que vous savez que la
plupart du temps, 80% du temps est conforme à votre politique mais 20% du temps, vous ne faites
que vous amuser et voir ce qui se passe et utiliser les informations que vous collectez
pour les mettre à jour. votre politique.
OK, ça prend trop longtemps.
Essayons cela à nouveau.
Oui, c'est comme ça que l'agent apprend dans différents états.
Peut-être allons-nous simplement en lancer un de plus par curiosité.
Alors, y a-t-il autre chose que nous pouvons changer à ce sujet?
Itérations.
D'ACCORD.
OK, jetons un coup d'oeil.
Ouais ben on pourrait changer la discussion par exemple.
Donc, dans ce cas, nous pourrions dire K moins cent moins un Q moins deux et moins sont OK mille.
Alors récompensez.
Nous voulons le garder peut-être gardons-le à 0. 04 Mais disons que contre cela, gardez la récompense à mon point de
désert zéro pour chaque fois.
Et puis ici, nous allons dire que la réduction n’est pas zéro point neuf, mais plutôt zéro point
cinq.
Cela fait donc l'objet de nombreuses réductions au fur et à mesure que vous avancez dans le jeu.
Ainsi, il sera incité à se rapprocher de l’arrivée plutôt que d’aller plus loin. Les États proches de l’arrivée
obtiendront une valeur élevée, ce qui vous permettra de voir que les valeurs chutent vraiment
moins vertes qu’avant.
Donc, ici vous pouvez voir que c'est la politique maintenant.
Donc, ça va comme ça, comme ça, ça ressemble beaucoup à ce que nous avons vu auparavant, il n'y a probablement
que des différences entre ici et ici.
Donc c'est un.
Et OK, courons juste un de plus.
C'est trop amusant.
Lançons-nous encore un peu pour que k moins k 100 et q soient écartés
Conservez-le comme il était d'origine. Lançons simplement cette configuration vanille de base ok ok ok.
Il va voir s'il va nous montrer la politique.
Et oui nous avons la politique.
Oui.
Bonne finition.
Nous avons donc la politique.
Vous savez que c'est familier.
Rappelez-vous le moment où nous avons vu que l'IA avait déjoué la bombe humaine dans le mur pour y
aller et se projeter dans le mur pour aggraver le problème.
Alors on y va.
C’est un exemple d’inaction de l’intelligence artificielle, très simple mais très lucrative, donc aucun apprentissage en profondeur à
ce stade.
Mais en même temps, il est déjà très intelligent et j'espère que vous avez apprécié le tutoriel d'aujourd'hui.
Et encore une fois merci à l’UC Berkeley et j’espère que vous avez apprécié le tutoriel d’aujourd’hui et j’attends avec impatience les
paysages.
Jusque-là, profitez de l'IA.