Bonjour et bienvenue au cours sur l'intelligence artificielle.
Aujourd'hui, nous parlons de la peine vivante.
D'accord, nous avons donc toute l'équation de Belman et, au cours de ce
cours, nous avons progressivement compliqué la tâche. Nous avons déjà ajouté ces probabilités à ce jour.
Et nous avons également ajouté le facteur d'actualisation.
Maintenant, nous allons examiner plus en détail de ce côté de la question où nous avons la récompense maintenant.
Rappelez-vous que précédemment, lorsque nous avons expliqué comment fonctionne l'apprentissage par renforcement, nous avons dit que nous avions
un agent qui effectue des actions dans l'environnement et lors d'un échange ou à la suite de quoi un
nouvel état apparaît et qui est maintenant récompensé pour cette action.
Jusqu'à présent, dans notre exemple, nous n'obtenons des récompenses qu'à la fin si nous atteignons la ligne d'arrivée ou
si, pour l'agent, nous nous retrouvons dans le foyer, il obtient une récompense plus ou moins une.
Mais c’est une approche très simpliste de l’apprentissage par renforcement et, dans des scénarios plus réalistes, vous obtiendrez probablement des récompenses tout au
long du voyage, et pas seulement à la fin, vous pourriez en bénéficier tout au long du
voyage.
Par exemple, si c'est une IA qui joue à un jeu et si, par exemple, c'est comme tirer sur quelqu'un de malheur, cela peut donner
des points pour avoir tué cet ennemi ou ce pourrait être un jeu différent.
Si elle dépasse une autre voiture ou quelque chose du genre simplement à cause des règles du jeu, non
pas à cause de sa façon d’analyser le jeu mais en fait, le jeu est structuré de manière à renforcer les points qu’il donne
pour certaines actions avant même que le jeu soit terminé. plus de.
Ainsi, les Sinatras comme ceux-là sont très courants et pas seulement dans les jeux mais aussi dans la vie réelle
et c'est pourquoi nous allons introduire dans notre exemple quelque chose de similaire: une version simplifiée de cela
mais néanmoins une récompense qui est continuellement donnée à l'agent tout au long du jeu. pas seulement à la fin
et nous allons le faire en regardant les autres tuiles.
Donc, pour le moment, nous avons seulement une récompense plus une à la dernière tuile et une récompense moins 1 à
l’autre dernière tuile du foyer.
Mais maintenant, nous allons ajouter des récompenses à chaque fois.
Nous allons ajouter une très petite récompense sera moins 0. 04.
Et comme vous pouvez le constater, c'est négatif. Chaque fois que l'agent change de position, il reçoit une récompense négative. C'est ce que
l'on appelle une pénalité vivante, car peu importe où il s'en va, il obtiendra toujours cette récompense négative, à l'exception
des dernières tuiles, car c'est la fin du le jeu.
Et ainsi vous pouvez voir que la récompense même sur cette tuile est de la folie ou un puzzle.
Mais cela ne signifie pas qu'il commence avec cette récompense.
Il n'obtient que cette récompense.
Et il est important de se rappeler qu’il n’obtient sa récompense que lorsqu’il entre dans une tuile. Ainsi, chaque fois qu’il promet
une action, il se rend ici, il obtiendra cette récompense moins 0. 04 et ensuite il revient à ce style il va avoir un
autre esprit et 0. Mot 04.
Et plus il marche longtemps, plus il accumule sa récompense négative, ce qui l'incite à finir le
jeu plus tôt et le plus rapidement possible.
Et maintenant, regardons comment notre politique ou la politique des agents va changer en fonction de
la valeur que nous avons définie pour cette récompense.
Donc, voici quatre environnements et dans chacun nous allons explorer un différent.
Nous n'allons pas faire les calculs.
Nous allons simplement projeter les résultats et vous verrez que, intuitivement, ils ont un sens total.
Nous avons donc ici une récompense pour toute proposition d’étape pour entrer dans n’importe quel état.
Est égal à zéro.
Tout comme ce que nous avons vu auparavant, la récompense sera le 0 de Mei. 0.
Pour ce que nous venons de faire, vous savez que la récompense sera à moins 0. 5 ou le niveau de pénalité sera le mien est le
feu ouvert tellement plus haut que vous pouvez les voir ici plus de 10 fois plus grand.
Et voici le Penhall vivant, il sera moins deux.
Donc, même plus que les récompenses que vous obtenez pour le saut ou même moins que la récompense que vous êtes l'agent que vous obtenez pour vous
retrouver dans le foyer.
Voyons maintenant comment les actions ou la politique optimale pour passer cet environnement vont changer en fonction
de cette récompense.
C'est donc notre politique d'origine.
Et comme vous vous en souvenez peut-être, la décision de l'agent était très intéressante et même un peu
bizarre, mais elle est tout à fait logique s'il peut vivre aussi longtemps qu'il le souhaite.
Si vous pouvez voyager aussi longtemps qu'il le souhaite sans être pénalisé pour rester en vie
très longtemps.
Il pourquoi pas pourquoi ne pas simplement aller dans le coin, dans le mur et continuer à le faire jusqu'à ce que cela se
produise.
Il se trouve qu'il va dans cette direction et qu'il se promène ensuite.
Et la même chose ici, il est beaucoup plus sûr pour lui de sauter dans le mur en espérant
qu’une de ces choses finira par arriver, puis il ira quand même à la ligne d’arrivée car, en choisissant ces deux actions, il ne risque
pas d’entrer dans le feu .
Voyons maintenant ce qui se passe si nous ajoutons une récompense, une récompense négative pour être juste une vie pour faire un pas.
Déplacer ici, vous pouvez voir que instantanément ces deux ont changé.
Maintenant, l'agent ne veut pas sauter dans le mur.
Il est plus susceptible de risquer de se rendre au foyer avec 10% de chances de sauter ici, mais
il ira de l'avant parce que chaque fois qu'il vient voir ici s'il allait le faire aussi chaque fois qu'il
saute bien effectue une action dans laquelle il se retrouve dans cet état avec 80% de
chance.
Et cela signifie une chance de 80 pour cent que vous obtenez un moins 0. 04 récompense, ce qui
signifie qu’il obtiendra souvent cette récompense négative.
Même chose s'il saute dans le mur en attendant le moment où il sera déplacé au hasard
vers la droite.
S'il continue de le faire, il accumulera cette récompense négative et, si vous effectuez
les calculs, vous constaterez que la valeur attendue de cette approche est bien
pire que de prendre le risque d'aller de l'avant. et effectivement se retrouver dans le foyer.
Il change donc ses décisions dans ces deux blocs pour aller de l'avant et se déplacer ici vers la gauche même s'il sait qu'il y
a un risque d'incendie du poste de pilotage tout simplement parce que plus il est en
vie, plus il accumulera longtemps cette pénalité vivante dans l'environnement suivant.
Maintenant, nous augmentons le nombre de Pouncey vivant à un nombre encore plus grand de points Meinzer cinq et voyons ce
qui change ici.
Alors maintenant, vous pouvez voir que comparé à cet environnement.
La seule chose qui a changé ici est que cette flèche pointe vers la droite.
Et ce que cela signifie, c’est que ce n’est plus une bonne option pour l’agent ou que les flèches
pointant vers la gauche et les becs dirigés vers le haut.
Alors maintenant, ce n'est plus une bonne idée pour l'agent de faire le tour d'ici ou de faire tout le chemin parce que s'il se trompe
complètement, il est en sécurité ou il y a moins de chance qu'il n'y ait aucune chance d'obtenir
le foyer.
Mais en même temps ou il y a moins de chances que cela se produise.
Mais en même temps, il accumulera une importante récompense négative en se promenant.
Donc c'est juste que le chemin est trop long.
Cela l'oblige donc, qu'il soit ici ou ici, à emprunter l'itinéraire le plus court, même s'il risque beaucoup plus d'entrer
dans le foyer, car dès qu'il se retrouve sur la place, il y a 10%
de chance d'atteindre l'incendie .
Selon ses calculs.
C'est juste que la valeur attendue de cette approche est meilleure que la valeur attendue du simple fait de faire le tour simplement
parce que nous avons augmenté cette peine vivante.
Et enfin, nous arrivons à l'exemple avec la peine vivante de moins deux points zéro.
Je vous encourage donc à poster la vidéo maintenant que vous avez vu comment la politique a changé à mesure que nous augmentons la
pénalité de botté de chargement.
Je vous encourage à mettre la vidéo en pause et à penser par vous-même à ce qui se passera dans ce scénario.
Selon vous, quelle sera la politique optimale en ce qui concerne le fait que la peine encourue est si élevée, donc toute cette supposée vidéo
si vous le souhaitez
Et maintenant, je vais vous montrer la solution, donc dans ce cas, si vous
augmentez la pénalité à moins 2. 0 c'est tellement élevé, souvenez-vous que la pénalité n'est que de moins 1. 0 C'est tellement élevé que l'agent veut juste sortir
du jeu de toutes les manières possibles, même si c'est juste en sautant dans le foyer.
Il le fera
Il sera comme chaque fois que je fais un pas à chaque fois que je me retrouve dans un nouvel état de vie dans votre état
ou que chaque fois que je fais une action, je finis par recevoir une récompense de moins deux.
Alors, quel est l’intérêt d’essayer d’atteindre la ligne d’arrivée si à partir de là, il me faudra faire deux pas de plus.
Je vais juste aller ici et ensuite directement dans le foyer parce que de
cette façon ma récompense sera moins qu'une récompense négative sera aussi mauvaise que dans le cas où je ferais juste des étapes supplémentaires pour
que vous puissiez voir que l'ajout de cette vie récompense et en fonction de la valeur de la récompense de vie que
nous ajoutons, les résultats seront différents.
Et l’agent choisira différentes politiques et c’est essentiellement l’équation de Belmont qui intègre la valeur de la récompense même lorsque
cela n’est pas seulement à la ligne d’arrivée ou à la fin du jeu, mais tout
au long du match.
Et encore une fois, il n'est pas nécessaire que chacun soit dans chaque état, en fonction de
l'environnement lui-même.
Cela peut être donné à l'agent dans certains états spécifiques, mais pas dans tous les états, mais dans notre exemple
simpliste, nous utilisons simplement les récompenses dans chaque état donné.
Pour illustrer ce concept, j'espère que vous avez apprécié le tutoriel d'aujourd'hui.
Et comme vous pouvez le constater, notre équation de Belman est déjà assez sophistiquée et elle peut maintenant être appliquée à de
nombreux scénarios différents. Je suis impatient de voir cela dans le prochain tutoriel.
Et jusque-là profiter d'un I.