Bonjour et bienvenue dans le cours sur l'intelligence artificielle.
Dans le tutoriel d'aujourd'hui, nous allons couvrir un tutoriel assez complexe appelé trace d'éligibilité ou et
step.
Q apprendre et c’est quelque chose que je vais mettre en pratique de façon pratique, c’est
pourquoi nous devons en sortir et, au centre, c’est un sujet assez complexe, nous avons donc une approche très
intéressante pour nous mettre au courant l'intuition derrière.
J'ai donc une approche différente de celle que nous avons l'habitude de suivre pour voir comment cela
se passe.
Je veux donc vous donner un exemple pour commencer.
Je vais vous donner un exemple dans ce tutoriel et cela démontrera le pouvoir d'éligibilité.
Et donnez-nous l'intuition derrière les choses.
Et ensuite, si vous souhaitez approfondir vos connaissances sur les critères d'éligibilité, je vous indiquerai le meilleur endroit
pour en savoir plus.
Je vais vous donner une référence à un livre, mais sinon.
Donc, même si cela va être différent parce que nous en sommes les premiers au lieu de nous plonger
dans l'intuition, nous allons regarder un exemple et l'intuition deviendra évidente après que nous ayons parlé.
Et c'est ce que j'espère.
Alors jetons un coup d'oeil.
Voyons, voyons si nous pouvons le faire.
Nous avons donc ici deux agents qui naviguent dans le même environnement et nous allons voir comment fonctionnent ces
deux agents.
Le premier va travailler avec notre trace d'éligibilité.
Le second va travailler avec des traces illisibles et nous espérons voir pourquoi le second va être
tellement plus puissant que le premier.
Alors jetons un coup d'oeil.
Nous allons d'abord regarder cet agent.
Et la façon dont il opère est la façon exacte dont nous avons discuté de la question de la grande circulaire jusqu'à présent.
Donc, l'agent va faire un pas ou va bouger prendre un mouvement d'action dans un nouvel état.
Ce qui est bien d’obtenir une récompense donnée va mettre cela à jour ou via son algorithme de mettre
à jour le réseau de neurones qui exécute cet agent ou qui fonctionne dans l’esprit de cet agent.
Donc, c’est fondamentalement ainsi que l’apprentissage à partir de ce moment va franchir une nouvelle étape.
Donc, à partir de ce nouvel état va prendre une nouvelle action basée sur ce que son réseau de
neurones lui dit de faire va obtenir des récompenses en cours de mise à jour etc.
Donc, évidemment, cela va faire un assez bon travail et comme nous l'avons vu précédemment du précédent
Squire to pratique aux scrutateurs, nous allons obtenir d'assez bons résultats ici mais nous allons maintenant ajouter une nouvelle fonctionnalité.
Maintenant, cet agent numéro deux, ce gars-là, va naviguer dans le même environnement.
Qu'est-ce qu'il va utiliser la lisibilité des arbres.
Et c'est ce que cela signifie.
Ce qu’il va faire, c’est qu’il va prendre toutes les mesures qu’il va prendre dans ce
cas. Cinq forceps vont faire quatre pas, puis ce n’est qu’après avoir pris ces mesures qu’il calculera la récompense totale qu’il a obtenue de ces
pas et il le fera. le mettre à travers son réseau.
Il le transmettra à son réseau de neurones qui régit le processus de prise de décision et le
réseau de neurones en tirera des leçons.
Alors lequel.
Tout de suite, quel est celui qui, selon vous, est le plus puissant?
Le gars qui ne fait que marcher pas à pas et un peu comme pour fourrer à l'aveugle ou dans le noir et il va bien,
alors je vais faire un pas pour voir ce qui se passe.
Faites un pas pour voir ce qui se passe.
Prendre des mesures.
Ce qui se produit.
Le gars au sommet ou celui qui prend très courageusement Marsha franchit quatre étapes de suite et décide ensuite s’il
s’agit ou non de bonnes mesures et pourquoi vous pouvez voir ici ou pourquoi vous comprenez probablement pourquoi le
deuxième type est meilleur ou plus puissant, c'est parce que le deuxième type sait
ce qu'il y a à la fin.
Le premier gars lorsqu'il évalue si cette étape est bonne ou non, il ne fait que regarder la
récompense qu'il reçoit.
Et donc il est seulement guidé par la récompense que l'environnement lui donne.
Même chose ici, il est seulement guidé par la récompense que cet environnement lui procure ici.
Donc, chaque fois que c'est sa seule sorte de boussole, il a la récompense la récompense la récompense.
Alors qu'ici, il peut évaluer après avoir pris les mesures qu'il peut évaluer.
OK, donc je suis arrivé à la ligne d'arrivée.
Donc, cette combinaison d'étapes était bonne.
Tous étaient bons.
Ou oh non je me suis retrouvé dans le foyer ou Ohno I.
Je l’ai fait et quand la ma voiture n’est pas arrivée à la ligne d’arrivée ou que j’ai franchi le mur de sable ou que j’ai perdu
le jeu du destin.
Et ensuite, il décide à partir de là que toute cette combinaison d’étapes est mauvaise.
Et donc, pour ces étapes précédentes, il dispose de plus d'informations.
Il a plus de perspicacité comme dans une approche très intuitive.
Encore une fois, ce sujet est beaucoup plus complexe que ce que nous décrivons ici.
Mais de manière intuitive, par exemple, si vous prenez cette étape, cette étape ne vous fournit que des informations pour l'obtenir. Vous
ne disposez que d'informations provenant de cette récompense ici.
Et pour cette étape dans ce cas, la même étape exacte.
Il a plus d'informations a des informations venant tout le chemin.
OK, quel a été le résultat après quatre ou cinq étapes?
Oui, alors c’est ainsi que cela fonctionne et pourquoi on l’appelle trace d’éligibilité parce qu’au cours de ce processus, il
ne se contente pas de regarder la récompense informatique de ce qui se passe, puis la perte cumulée et
ensuite tout ce qui est approprié.
Mais en réalité, il existe une trace d'admissibilité sous le nom de fiducie pour personnes handicapées.
Il y a une trace qui est conservée dans un algorithme qui dit OK, donc si nous obtenons une punition, nous obtenons
une récompense négative, laquelle de ces étapes est la plus susceptible d'être éligible pour cette punition.
Ainsi, non seulement nous savons ce que sont dans l’ensemble ce modèle ou la combinaison d’étapes de l’école, mais
nous gardons également une trace de l’éligibilité, étapes que nous allons mettre à jour si nous obtenons tout le monde.
Ainsi, par exemple, si, en tant que récompense négative, nous pouvons avoir une trace
d'éligibilité qui nous indique qu'il s'agit d'une étape qui est la plus responsable de ce que nous avons obtenu
à la fin ou si c'est une récompense positive à nouveau, nous pourrions savoir que l'algorithme nous aide à garder une trace. Cet
algorithme d'éligibilité nous aide également à savoir quelle étape ou quelle action doit être éligible pour pouvoir être mis à jour en fonction de la récompense
obtenue.
Et c'est pourquoi on l'appelle trace d'éligibilité.
Et c’est donc l’intuition de base qui sous-tend l’éligibilité et, espérons-le, ces deux exemples de
ces agents le rendent assez évident ou sont assez intuitifs, alors que ces capacités peuvent être si puissantes.
Et si, comme promis, si vous souhaitez approfondir vos connaissances sur l'éligibilité ou l'apprentissage pas à pas, alors un
livre merveilleux et merveilleux que vous pouvez trouver s'appelle l'apprentissage par renforcement.
Une introduction est de Richard Sutton Andrew Barto 1998.
Je pense qu'ils sont en train de créer une deuxième édition ou le problème très critique.
Mais c’est le livre le plus répandu, le plus populaire ou le plus cité en matière d’apprentissage en matière d’application de
la loi. Il contient un nombre ridicule de citations.
Je pense comme des dizaines de milliers si je ne me trompe pas.
Et le chapitre dont vous avez besoin pour cela est le chapitre 7.
Donc, pour examiner les choix d'éligibilité, il y a tout un chapitre sur le chapitre 7.
Vous pouvez lire à ce sujet et cela entre dans beaucoup de détails.
En avant En arrière Les traces d’éligibilité et la différence temporelle intégrale d’une part et de l’autre extrémité du spectre, vous
avez les méthodes de Monte-Carlo entre vous avez des traces d’éligibilité prétendument tracées ou vous vous
connectez pour passer des différences temporelles aux méthodes de Monte-Carlo.
Très intéressant lu beaucoup de photos que j'ai vraiment vraiment apprécié les explications très intuitives.
Donc, vous pouvez apprendre beaucoup de choses de ce livre sur l'intelligence artificielle et l'apprentissage
par renforcement, mais plus particulièrement, les traces d'éligibilité sont un très bon endroit où aller si vous êtes dans
ce livre.
Et la deuxième référence d’aujourd’hui est quelque chose qui va vous montrer dans les essais pratiques l’apprentissage en profondeur ou
le document de recherche approfondi de Google sur les méthodes synchrones pour un apprentissage en renforcement plus
profond.
Oui, c’est le document qui figure dans l’article A-3 et dont nous discuterons plus loin dans
la partition.
Nous nous rapprochons de plus en plus.
Et comme vous pouvez le constater, nous sommes très enthousiastes à ce sujet. Nous allons donc examiner un peu la
façon dont ils ont implémenté les traces d’éligibilité dans ce document, de manière à ce que nous l’utilisions davantage pour des
raisons pratiques.
J'espère donc que vous avez apprécié le tutoriel d'aujourd'hui et que vous savez que vous êtes un peu plus à l'aise avec les traces
d'éligibilité et j'ai hâte de vous voir la prochaine fois.
Jusque là profiter