Bonjour et bienvenue au cours sur l'intelligence artificielle.
Aujourd'hui, nous allons parler de l'équation de Belman.
C'est un sujet assez complexe et nous allons le présenter étape par étape tout au long
de cette partie du cours. Je ne vais donc pas passer tout de suite
à la version la plus complexe de l'équation de Belmont allons l'introduire lentement afin de
comprendre progressivement son fonctionnement.
Et j'espère que votre objectif avec cette approche si vous êtes G. R. Allons droit au but.
Nous allons donc utiliser quelques concepts clés, et ces concepts le
sont.
S représente les états de sorte que l'état dans lequel se trouve notre agent ou tout autre état possible dans lequel
il peut être un représente une action qu'un agent peut effectuer.
Ainsi, un agent peut avoir accès à une certaine liste d’actions et les actions sont très
importantes lorsqu’elles sont examinées dans une combinaison d’états.
Ainsi, lorsque vous êtes dans un état dynamique et que vous examinez ensuite les actions, cela
commence à comprendre le résultat de ces actions, parce que vous regardez une action en
tant que telle ou qu'un état n'a pas vraiment de sens, car Je ne sais pas où vous êtes et où
vous pouvez éventuellement vous retrouver et ensuite nous aurons notre qui signifie récompense et c'est par la protection que l'agent obtient pour
entrer dans un certain état et le gamma est le facteur de réduction.
Et nous parlerons du facteur de réduction dans une seconde, cela a du sens, mais ils ne font que prendre des
notes.
Notez que nous aurons cette lettre avec laquelle Gamelin opérera plus tard.
Donc, la personne derrière l'équation de chasseur est Richard Ernest.
Il était un mathématicien de vol et a proposé les concepts de programmation dynamique que nous sommes maintenant que nous appelons maintenant
l'apprentissage par renforcement ou que nous appelons maintenant l'équation de Belman.
Eh bien c'est ce que nous appelons maintenant.
Et en 1953, il a proposé ce concept et c’est à ce moment-là que l’équation Belmont Belman m’est venue à l’esprit.
Voyons donc comment tout cela fonctionne.
Il y a notre charmant agent dans le coin inférieur gauche et il est
dans un labyrinthe et c'est un labyrinthe assez classique dans lequel vous avez quelques blocs.
Tout simplement pas accessible dit comme un mur dans ce labyrinthe.
Le vert est ce que l’agent devrait viser et c’est là que nous voulons que l’agent
s’installe.
Et le rouge est des foyers ou le moteur tombe dans le foyer.
Il va perdre la partie.
Donc, dans le foyer, la récompense qui est R est moins 1.
Donc, c'est notre façon de dire à l'agent que ce n'est pas quelque chose que nous voulons que vous fassiez.
Comme dans l'exemple suivant, lorsque nous formons des chiens, nous voulons leur dire comme un mauvais chien si ce n'est pas
la bonne chose à faire que nous voulions faire la même chose. En faisant cela, vous ne devriez pas
vous retrouver sur la place afin que chaque fois que cela ne se
produise pas, l'écureuil reçoive une récompense de moins un, vous serez donc puni de ce dernier.
D'un autre côté, si cela se termine sur la Place Verte, vous obtiendrez une récompense plus un, ce qui
signifie que c'est ce que nous voulions faire.
Ce sont donc les deux récompenses que l’agent ne peut obtenir.
Et comment apprend-il à fonctionner dans ce labyrinthe?
Tout comme dans cet exemple de chiens-robots qui ont appris à marcher et qui vont lui faire savoir qu'il
leur dira simplement qu'ici l'action est possible.
Vous pouvez monter en haut à gauche ou en bas. Ce sont quatre actions possibles que vous pouvez entreprendre et c'est tout.
Avoir un jeu avec qui voir ce que vous pouvez trouver.
Ainsi, l'agent peut aller à droite, puis deux autres à droite, puis à gauche, en appuyant simplement
au hasard sur le bouton. Ils essaient de voir ce qui se passe et reviennent ici.
Ils montent, montent, descendent, montent, vont à droite.
Donc, pour l'instant, ils n'ont rien appris. Rien n'est arrivé jusqu'à présent.
Ils vont à droite et puis bam ils se retrouvent sur la place verte.
Alors ils réalisent que je viens de recevoir un plus un avantage. Dès que je suis arrivé sur la Place Verte, ils ont reçu une
récompense plus un.
Et cela déclenche l'algorithme pour dire OK c'est vraiment cool.
Je suis récompensé pour avoir fini sur la place alors je veux finir sur la place.
Alors qu'est-ce que cela signifie pour l'agent?
Cela signifie que cela commence à poser la question de savoir comment je suis arrivé sur cette place.
Quel était l'état précédent dans lequel j'étais et quelles mesures je prenais pour me rendre au carré, puis regarder
en arrière et dire OK pour que l'état précédent soit celui-ci.
Il s'avère être précieux dans cet état.
Celui qui étincelle de la flèche rouge.
Parce que de cet état, vous êtes je suis sur le point d’obtenir le maximum de récompense dont je
puisse rêver plus un comme un biscuit pour un chien dès que je sais si je suis dans cet état.
Cette place marquée avec la flèche rouge.
Tout ce que j'ai à faire, c'est d'appuyer à droite.
Alors, comment puis-je me dire de me rappeler que cet état est précieux.
Eh bien, pour moi, il n'y a pas de différence en tant qu'agent.
Il n'y a pas de différence pour que je sois dans le carré vert ou dans le carré blanc juste dans le carré vert,
je reçois la récompense d'un.
Donc, je vais marquer moi-même que le Y Square a pour moi une valeur de 1 car il permet de récompenser exactement un dès que je
suis dans le carré blanc. Je sais que je vais juste faire une dernière action.
Je serai sur la place verte et j'aurai une récompense ou une récompense, c'est pourquoi je dirai
que la valeur de cette case est égale à un, car elle mène directement à toute soustraction Je veux dire ici, je sais
que ma récompense sera une récompense, je vais donc marquer ce carré comme l'appel
à une valeur qui est la valeur perçue d'être dans l'État.
Suivant l'agent va être OK.
Alors, comment puis-je entrer dans cette place.
Et vous savez qu'il pourrait se promener encore et ainsi de suite.
Et à nouveau sur la place et être comme OK, comment suis-je entré sur cette place avant cela.
Et la façon dont je suis arrivé sur cette place a été de cette place.
Intéressant.
OK, dès que je suis sur cette place, je sais que tout ce que je dois faire, c'est aller bien.
Et à partir de là, je sais déjà que je vais gagner.
Je sais exactement comment tout va se dérouler d'ici et je sais que la valeur d'être dans cet état
est égale à un.
Et comme rien ne m’empêche de grandir d’ici à ici, c’est une valeur perçue que j’ai une grande valeur
à être ici, c’est un véhicule à désirer, car c’est ce que je veux dire
ici.
Sois ici et je serai là assez rapidement.
Donc je vais gagner.
Et ensuite, comment entrez-vous sur cette place avant cela?
Eh bien je suis entré dans cette place de cette place.
Donc, la valeur est similaire approche la valeur d'être ici est également égale à un et ainsi de suite de sorte que la valeur d'être ici
est égale à une valeur d'être ici est égale à un parce que chacun d'entre
eux mène à l'autre la ligne d'arrivée.
Donc, tout cela est assez logique à ce stade.
C'est à peu près en train de concevoir l'équation de Belman pour le moment.
Nous pourrions donc envisager de concevoir une équation permettant à un agent de traverser le labyrinthe.
Alors regardez la récompense, puis l’état précédent lui donne une valeur égale à la
récompense des procédures et si elles sont un peu comme crée un chemin, c’est génial, mais
le problème est OK. cet état au lieu de commencer ici et prendre ces actions et qu'il commence
réellement dans l'état.
Comment sait-il comment il se souvient de la marche à suivre s'il doit aller à droite ou s'il doit baisser ou devrait peut-être aller
à gauche ou doit monter?
Comment se souvient-il quelle est la prochaine suite d'ici?
Si les seules valeurs dont il dispose sont que ces valeurs sont égales à une fois, il est impossible de voir ce qui est plus éloigné.
Il ne peut que voir.
D'accord.
Ce que j'ai ici et ce que j'ai ici
Comment sait-il où aller?
Eh bien, à ce stade, il n’est pas aussi joli pour l’âge et la voie à suivre.
Et c'est pourquoi cette approche ne fonctionne pas vraiment.
C'est une explication très simpliste.
Bien sûr, il y a beaucoup plus que cela.
Mais de manière intuitive, c’est pourquoi nous ne pouvons pas simplement assigner cette valeur à l’arrière.
Parce que l'une des raisons est qu'une fois que l'agent est entre ces deux valeurs, où va-t-il aller.
Ça ne peut pas être confus comme ça.
Et alors, comment pouvons-nous résoudre ce problème, qu'allons-nous faire?
Et c’est là que nous allons commencer à introduire progressivement, étape par étape, l’équation de Belman dans sa
forme actuelle.
Donc, l'équation de Belman ressemble à ceci.
Nous avons donc déjà parlé de la valeur d'être dans un certain état, comme c'est le cas
dans votre état actuel ou dans un état donné.
Et en tant que Premier, l’Etat suivant indique l’Etat dans lequel vous vous retrouverez après l’Etat et en
prenant des mesures concertées.
Mais nous savons qu'il existe de nombreuses actions et qu'un agent peut prendre et c'est pourquoi nous avons ce Max ici.
Donc, en prenant une action ce qui va arriver à un agent, disons que nous sommes en état d'agir en
agissant sur les actifs d'un état et en agissant.
Ce qui va arriver, c’est d’obtenir instantanément une récompense en entrant dans un nouvel état.
Et rappelez-vous que la récompense peut être un ou plus un ou moins un si c'est à la fin du jeu ou elle peut
être égale à zéro si c'est tout au long du jeu. Dans ce cas, notre récompense est nulle.
C’est donc la récompense Plus nous allons entrer dans un nouvel état qui a la valeur s prime.
Voilà donc la valeur du nouvel état et du gamma.
Nous en parlerons dans une seconde.
Mais le point que j'essaie de soulever ou que je soulève, c’est que vous pouvez prendre de
nombreuses mesures et que nous avons le maximum.
Donc, en agissant, nous obtenons une récompense Plus nous nous retrouvons dans un nouvel état.
Et donc pour chaque déplacement hors de notre cas avant nos actions possibles pour chacune des
4 actions possibles, nous allons avoir une équation comme celle-ci.
Donc, cela va avoir une valeur car ils auront une valeur différente pour chacune des
quatre actions et nous ne regarderons que le maximum, car bien sûr, l'agent veut prendre l'état optimal.
Donc, s’il est en état de s’intéresser à ces valeurs, il trouvera le maximum en fonction de
l’action et entreprendra l’action qui requiert le maximum de ces valeurs.
Donc j'espère que cela a du sens pourquoi nous prenons le maximum ici.
Puis, une fois que nous avons eu la récompense et la valeur qui dit pourquoi avons-nous ce paramètre Gabaa ici
Eh bien, il s’agit exactement de résoudre le problème suivant: l’agent ne sait pas quel chemin prendre parce qu’il ne le
peut pas.
Il compare les valeurs de deux états des deux côtés et ils sont identiques.
C'est pourquoi les joueurs ont appelé le facteur d'escompte afin que nous puissions examiner cela
et qu'il comprenne mieux.
Alors prenons une formule que je vais mettre ici en haut à droite.
Et maintenant, nous analyserons quelles sont les valeurs des différents états.
Et chaque état ici est un carré.
Non.
Donc, l’un de ces carrés blancs est un état, je veux dire, nous allons calculer la
valeur d’être dans cet état.
Commençons donc avec le carré.
Quelle est la valeur d'être dans cet état?
Nous devons prendre le maximum de cette valeur pour toutes les actions.
Et nous savons que cette valeur est maximisée au fur et
à mesure que nous nous rapprochons de la ligne d’arrivée.
C’est ainsi que la structure est construite. Etat.
Et il est tout simplement logique que nous construisions cette équation de manière à ce que le
maximum de cette valeur soit calculé si nous allons à droite.
C'est ainsi que nous calculons les valeurs correspondant à cette valeur de cet état qu'il appelle le maximum ou égal
à cette valeur.
Si nous nous déplaçons à droite si nous prenons une action de déplacement à droite.
Alors, quelle sera cette valeur?
Eh bien, la récompense de passer à droite est égale à 1.
Et quel que soit le gamma de couleurs, nous n’avons pas de valeur dans cet état car nous sommes déjà dans
le meilleur état possible.
C'est donc la dernière étape.
Cela n'aura pas de valeur si nous obtenons simplement une récompense ici et c'est la fin du jeu.
Donc, la valeur de ce maximum sera égale à 1.
Et c'est pourquoi la valeur de l'état comme ici est égale à 1.
Maintenant, les choses deviennent intéressantes lorsque nous nous déplaçons à gauche lorsque nous reculons un peu.
Alors maintenant, calculons la valeur de cet être dans cet état et pour cela nous aurons besoin de Gabaa.
Supposons donc que notre facteur d'actualisation soit égal à zéro et qu'il soit logique que ce soit un facteur d'actualisation une fois que
nous calculons cela.
Donc, à partir d’ici, nous nous basons simplement sur notre intuition et parce que nous savons comment cela fonctionne, comment cela fonctionne.
Nous savons que la meilleure action possible est d'aller à droite parce que d'ici nous allons ici.
Cela signifie donc que le maximum sera atteint dans cet état où vous allez à droite.
Et voyons ce qui se passe si nous le branchons ici.
Donc, si vous allez d'ici à ici, vous n'obtenez pas votre récompense sera zéro.
Mais ensuite, vous obtiendrez des camis qui obtiendront un point zéro neuf fois la valeur du nouvel état, qui est un.
Donc, dans ce cas, la valeur du résultat total est 1 fois un 0. 9 fois on est égal à 2. 9
C'est donc toutes les valeurs par.
Donc, si nous calculons cela maintenant, vous le verrez d'ici.
Nous savons simplement en regardant le labyrinthe que nous connaissons parce qu'en tant qu'humains, nous comprenons comment
cette équation fonctionne, bien sûr, un agent de l'IA devrait expérimenter ces choses.
Mais comme nous avons une boule de cristal, nous pouvons voir tout ce labyrinthe.
Nous avons comme la vue à vol d'oiseau en ce moment.
Nous savons que la meilleure action va à droite.
Donc, si nous connectons le tout ici, ce sera zéro, pas
de récompense. 9 est le point zéro quatre-vingt-un et ainsi de suite.
Donc ici ce sera 0. 23 et il sera 0. 66.
Ainsi, vous pouvez voir que le facteur réduit fonctionne de la manière dont il réduit la valeur de l'État à mesure que
vous vous éloignez.
Donc, si vous êtes familier avec la théorie financière, alors cela ressemble à la valeur-temps de l’argent. Que penseriez-vous de
cette façon? Que préféreriez-vous avoir 5 $ aujourd'hui ou 5 $ dans 10 jours à partir de maintenant?
Si quelqu'un vous donnait le choix, je vous donnerai cinq dollars aujourd'hui, tous vos dollars 5 à 10
jours.
Bien sûr, vous choisiriez 5 $ aujourd'hui.
Pourquoi donc.
Eh bien, parce que vous pouvez prendre ces 5 $ et les investir à un certain taux d’intérêt qui est très proche
du gamma.
Et vos 5 dollars en 10 jours atteindront peut-être 5 dollars et 73 cents ou quelque chose du genre.
Et c'est ainsi que fonctionne la valeur temps de l'argent.
Et concept très similaire ici.
Et la chose importante à comprendre ici est juste une théorie d’une manière qui renforce l’apprentissage.
Alors Richard Belman est venu avec cette équation.
Et à partir de maintenant, c'est comme ça qu'on l'utilise.
Donc, vous pouvez aller de l'avant et trouver une équation différente.
Il n'est pas nécessaire que Gamla ait un autre facteur, mais vous ne le savez peut-être pas.
Mais cette approche fonctionne et c'est la raison pour laquelle nous l'utilisons. C'est ce à quoi elle ressemble. Plus
vous êtes éloigné, moins vous valez d'être dans l'État, en temps et en argent.
Si je pouvais vous dire où préféreriez-vous être, préféreriez-vous être ici?
Préférez-vous être ici?
Vous diriez que je préférerais être ici.
Nous créons donc le même phénomène que la valeur temporelle de l'argent. Nous le créons artificiellement
par gamma afin d'inciter les agents ou de les inciter à se rapprocher de la ligne d'arrivée.
Donc, si on demandait à un agent, préféreriez-vous être ici ou ici à cause du fonctionnement de cette
équation, il choisirait d'être ici.
Il n'y a rien de plus à cela, rien de moins.
Ce n'est pas quelque chose que le monde fonctionne de cette façon.
Non, c’est quelque chose que nous créons artificiellement pour que nos agents sachent que c’est bon, c’est bon, c’est
bon, bon, mais celui-ci est meilleur que celui-ci et celui-ci est meilleur que celui-ci et
celui-ci a été dans celui-ci.
Et de cette façon, vous pouvez voir tous les agents peuvent voir dans quelle direction aller.
Donc, vous pouvez voir que si je me tiens ici, souvenez-vous du problème que nous avions ou était-il ici, alors si
vous vous tenez ici, je descends ou si je suis soudainement ici pour monter ou je descends.
Eh bien maintenant, il n’ya plus de problème, car il voit bien qu’il est préférable de monter car
les valeurs sont ici.
Et puis à partir de là, il doit aller droit car la valeur est plus grande ici qu'ici.
Et à partir de là, Bertschi va à droite car la valeur ici est plus grande que vous ne le savez.
Et à partir de là, il sait déjà qu’il a besoin d’aller de l’avant parce qu’il obtiendra une récompense de celle-ci.
C'est comme ça que toute cette approche fonctionne.
Voyons maintenant le reste de la place.
Alors, comment calculons-nous la valeur dans ce carré?
Eh bien voici où les choses deviennent difficiles.
Donc à partir de là, vous risquez de ne pas aller à gauche, vous pouvez aller à droite pour que nous puissions continuer
comme cela, car il pourrait en fait être plus court.
Donc, ce que nous allons faire, c'est calculer la valeur dans le carré en premier.
Et parce que, de toute évidence, les meilleures solutions sont en place.
Encore une fois, c’est parce que nous voyons l’équipage que nous avons la boule de cristal, nous pouvons voir les
choses et vous verrez plus loin dans la section que vous verrez comment l’agent explore en fait cela, il
comprend cela par l’expérimentation.
Mais pour nous, nous savons qu'il est préférable de procéder ainsi. Nous allons donc calculer la valeur
ici et c'est pourquoi nous allons calculer la valeur dans ce carré en premier.
Nous avons donc trois actions possibles.
En réalité, nous en avons quatre, nous pouvons aussi aller à gauche.
L’agent pourrait hypothétiquement appuyer à gauche, cogner contre le mur et rester ici.
Mais pour le jeu de simplicité qui va montrer aux actions que nous connaissons ce que nous savons et avec
la boule de cristal nous savons quelles actions sont celles qui mènent réellement à autre chose que le
même état.
Et donc, à partir d’ici, nous savons à nouveau que, simplement parce que nous avons une boule de cristal, nous savons que la meilleure
voie à suivre est la façon dont un agent devrait bien sûr expérimenter et trouver le meilleur moyen et vous verrez comment
cela se produit.
Plus bas dans la section, vous verrez en fait comment un agent se promène et comment expérimentez-vous pour essayer
de trouver ces valeurs.
Mais pour nous, nous savons que c'est comme ça.
Donc, ici, si nous connectons le tout à l’un, le meilleur résultat est celui obtenu lorsque vous montez.
Et voici un rapport 9: 0 Donc, vous mettez cela dans.
Vous obtenez zéro point neuf.
OK alors c'est Kalika celui qui calcule celui-ci.
Même approche.
C'est que vous avez trois façons d'y aller.
En fait, quatre pour l'agent, mais pour nous, nous pouvons voir qu'il n'y en a que trois.
Donc zéro point quatre-vingt-un d'ici, vous avez ZERO point soixante-treize.
Et cela correspond vraiment bien avec cette valeur car en vous, si vous remettez à nouveau, vous mettez 66
et ici vous avez 0. 23 parce que c'est l'itinéraire optimal.
Alors voilà.
Ce sont les valeurs que tous ces états ont.
Et maintenant vous pouvez voir que parce que nous avons créé cette équation
ou synthétiquement tout le concept de «plus on est proche de la ligne d'arrivée, plus cet état a de
valeur agent dans quel sens il devrait aller.
Et nous en reparlerons plus tard.
J'espère que vous avez apprécié la séance d'aujourd'hui et je sais que cela peut sembler un peu très basique à ce
stade, mais nous allons ajouter un peu de complexité à cette section.
En même temps, si vous ne pouvez pas attendre si vous voulez vous lancer, il y a un document que vous
pouvez consulter et qui est le document original de Richard Belman.
C'est ce qu'on appelle la théorie de la programmation dynamique à partir de 1954.
Et vous pouvez le trouver sur ce lien.
Et voilà, vous pouvez y accéder directement et lire l'auteur de l'équation de Belman.
Mais gardez à l’esprit que c’est un papier assez mathématiquement lourd.
Et sur cette note, je vais chercher votre prochain.
Et jusque-là, profitez de l'IA.