Bonjour et bienvenue au cours sur l'intelligence artificielle.
J'espère que vous êtes enthousiasmé par le tutoriel d'aujourd'hui car nous faisons notre tout premier pas dans le monde,
le I.
Et aujourd'hui, nous parlons d'apprentissage par renforcement.
C'est une histoire très importante car elle sous-tendra tout ce qui va se passer dans ce cours.
Alors commençons ici.
Nous avons un petit labyrinthe et ce labyrinthe est notre représentation d'un environnement et c'est ce à quoi nous
allons nous intéresser dans ce cours.
Nous allons avoir affaire à certains environnements dans lesquels notre intelligence artificielle va
agir et prendre des mesures qui vont chercher à les vaincre dans mon avenir, elle
voudra gagner dans ces environnements.
Et ici nous avons un agent.
L'agent est notre intelligence artificielle.
C'est la personne ou l'esprit qui va naviguer dans ces environnements et apprendre de la rétroaction que
leur esprit va lui donner afin de pouvoir effectuer certaines actions.
Et ainsi, cela fonctionne comme si l'agent exécutait certaines actions dans cet environnement.
Et en conséquence, l'état dans lequel il se trouve va changer, de sorte qu'il pourrait être plus loin ou plus proche ou plus à gauche
plus à droite.
Il peut avoir en quelque sorte les autres paramètres décrivant son état et ces paramètres.
Donc, l'état va changer à cause des actions entreprises et il obtiendra également des récompenses basées sur l'action.
Donc, chaque fois que cela prend une action, l'état change et il reçoit une récompense.
Maintenant, gardez à l’esprit que parfois il peut arriver que cela ne changera pas l’état, que l’action
ne changera pas une suspension ou qu’il n’y aura pas de récompense pour cette action.
En ce sens c'était.
Mais néanmoins, l’agent va continuer à faire cela et va prendre des actions tromper l’Etat en obtenant
des récompenses en changeant les actions en prenant des actions pour changer l’Etat et en obtenant des récompenses.
Et en faisant ce processus, vous apprendrez ce qui allait être l'exploration de l'environnement en
comprenant quelles actions mènent à de bonnes récompenses et à des états favorables et quelles actions les
deux récompensent un état défavorable.
Et ceci est un problème très global de représentation très simpliste.
Donc, si vous y réfléchissez, les environnements ne doivent en réalité pas être que des labyrinthes.
Il ne s'agit pas simplement de sortir d'un labyrinthe ou de trouver un trésor dans un labyrinthe.
Un environnement peut être à peu près n'importe quoi dans la vie.
Alors, imaginez-vous vous réveiller le matin et cuisiner une omelette.
Donc, pour obtenir cette omelette, vous devez suivre certaines étapes et obtenir le sel, les œufs, les
poêles à frire, etc., et cela ressemble à une chose banale et banale.
Mais c'est devenu une routine parce que vous l'avez fait tant de fois.
Mais en réalité, c’est dans un environnement où vous effectuez certaines actions que vous prenez que vous mettez le
feu sur vous en mettant une poêle sur le feu vous mettez tous les œufs dans la poêle et vous mettez du sel
sur les œufs et vous vous retournez et ainsi de suite.
Comme vous pouvez le constater, il s’agit d’actions CRN qui prennent des actions dans certains États et qui conduisent à
certains autres États et parfois récompensent.
Ainsi, par exemple, lorsque vous allumez le feu et que vous attendez, attendez, attendez, attendez, vous agissez, attendez,
attendez, attendez, attendez trop longtemps, puis vous mettez les œufs dans la poêle.
Les récompenses vont être très négatives.
Tout va brûler.
D'un autre côté, si vous faites toutes les actions correctes au bon moment, il est également très
important de comprendre que les actions doivent être prises aux moments appropriés.
Ainsi, par exemple, mettre le sel dans la poêle avant de mettre les œufs n'est peut-être pas la meilleure
idée.
Vous voudrez peut-être prendre cette mesure en mettant le sel dans la poêle une fois que les œufs sont dedans, afin
que le tout soit dans un état différent.
Il est donc important de s'en souvenir.
Et en même temps, si vous prenez toutes les mesures correctes dans le bon ordre et dans les
états appropriés, votre récompense finale pourrait être que vous obteniez une omelette que vous pourrez manger.
C’est donc une activité de base dans votre vie, mais si vous y réfléchissez, c’est un environnement et vous êtes
l’agent qui traverse cet environnement et accomplit une tâche dont vous n’avez pas vraiment besoin d’apprendre parce
que vous le connaissez déjà assez .
Mais en même temps, vous pourriez apprendre que vous pourriez peut-être apprendre à faire une meilleure omelette ou surtout si
c'est votre première omelette que vous faites, vous allez probablement la perdre.
Mais vous en tirerez des leçons car vous comprendrez quelles actions mènent vers des états, des routes et tout ce qui
se passe dans la vie.
Par exemple, même en négociant sur le marché boursier, vous savez acheter et vendre et obtenir certaines
réactions du marché en termes de rendement, des rendements positifs ou négatifs.
C'est aussi un environnement auquel vous participez en tant qu'âge.
Conduire une voiture, c’est aussi un environnement où vous pouvez tourner le volant, vous pouvez accélérer, vous
pouvez casser et ainsi de suite. L’environnement vous fait savoir que l’un de ces commentaires
est que le policier vous inflige une amende pour excès de vitesse. allez au-dessus de la limite de vitesse acceptable ou autorisée
sur cette autoroute.
Et donc à partir de là, vous apprenez que ce n’est pas quelque chose qui devrait être fait car cela mène
à une récompense négative.
Il ne faut donc pas que les récompenses se situent à la toute fin du processus.
Ils peuvent être tout au long du voyage tout au long du processus.
Voilà donc quelques exemples.
Et en termes de je, la manière la plus simple de penser à l'apprentissage par renforcement est comme former un chien lorsque vous entraînez
le chien à lui donner certaines commandes et s'il obéit à ces commandes, vous lui donnez une portée vous le donnez comme un
biscuit ou quelque chose comme ça Si ce n'est pas le cas, Abeles Kamaz, dites-lui que c'est un
mauvais chien ou ne lui accordez rien.
Et à travers ce processus, il apprend quelles sont certaines commandes ou ce qu'il doit faire, quelles actions il doit entreprendre
dans certains états et les états sont les ordres que vous lui donnez.
Et basé sur cela, il obtiendra certaines récompenses bien sûr dans le monde de l'IA.
Ce n'est pas si complexe.
Vous n'êtes pas obligé de donner les friandises.
Vous n'avez pas besoin d'avoir un sac de biscuits avec vous chaque fois que vous lui donnez un plus
ou un moins, c'est donc un avantage énorme que dans le monde de l'IA, nous avons créé nous-mêmes ces IA.
Donc, les récompenses que nous leur donnons si vous pensez que c’est vraiment cool, les récompenses
leur donnent qu’elles n’existent pas, c’est juste un plus ou un moins ou un plus ou un zéro.
Donc, tout est non-existence, tout ce qui est imaginaire.
Mais en même temps, cela donne d'excellents résultats car nous pouvons créer ces
choses étonnantes, cette intelligence artificielle étonnante, mais en fournissant simplement des récompenses, nous n'existons pas.
Plus et moins un ne coûte rien, mais les résultats de publication du même temps.
Donc, très similaire au monde réel.
Et vous savez par exemple Dokes Mais ici, les récompenses sont numériques et uniquement numériques.
Et dans cet esprit, nous pouvons parler de chiens robots. J'aime cet exemple. C’est donc tout simplement en
images pas nécessairement le chien robot exact que vous connaissez qui est entraîné par le renforcement, en apprenant
certains des chiens robots, en particulier les plus âgés. un algorithme là-bas.
Et c’est en fait un bon exemple de la différence entre les agents préprogrammés et l’agent d’apprentissage par renforcement
afin que vous puissiez avoir un chien robot qui est préprogrammé pour savoir marcher, dit-on.
Donc, dans l'algorithme derrière le chien dans le logiciel dira OK, donc pour marcher, vous devez déplacer votre jambe gauche en
avant, jambe avant gauche en avant, votre jambe arrière droite en avant puis votre jambe avant droite en avant, puis votre jambe arrière
gauche en et répétez cette action et vous savez que telle est la définition de la marche
est une fonction à l'intérieur de ce chien.
Et puis, vous saurez peut-être comment vous asseoir et comment faire des choses comme ça.
Tandis que chez un chien robot formé par renforcement, on ne préprogramme pas.
C'est le concept clé de tout ce qui est écrit ici, à savoir qu'aucun algorithme n'est codé en dur dans
le chien.
Au lieu de cela, vous avez ce dont nous discuterons à l'avenir.
Vous avez cet algorithme d’apprentissage par renforcement qui dit OK. L’objectif est donc d’aller de là où vous
ne savez plus rien jusqu’au bout de la pièce, par exemple.
Et voici les actions que vous pouvez entreprendre.
Vous pouvez bouger votre pied droit, vous pouvez bouger votre pied gauche, vous pouvez bouger votre pied
arrière droit, vous avez le pied arrière gauche. Ici, tous les degrés de liberté
possibles Les actions que vous pouvez entreprendre et vos récompenses sont chaque fois que vous faites un pas en avant, vous obtenez un
plus à chaque fois que vous tombez.
Vous obtenez un moins un et c'est tout ce qu'il y a à faire.
Et puis, ils laissent le chien et le laissent lui-même.
Alors le chien essaie de se tenir debout il tombe alors il se rend compte que OK je ne devrais pas faire l'action qui m'a conduit à tomber parce
que chaque fois que je tombe, je reçois un signe moins qui n'est pas bon pour moi.
Il en va de même pour l’autre action qui l’a aidé à se
relever. Il s’agit donc d’expériences d’expériences d’expériences menées au hasard, puis il a compris
qu’il pouvait faire un pas en avant en déplaçant son pied avant droit. faire plus de cela.
OK, cool, alors il apprend maintenant qu'il devrait faire plus et moins de ceci.
Et à travers ce processus d’apprentissage, il comprend très vite rapidement comment il peut marcher.
Et ces chiens qui ont découvert par eux-mêmes peuvent parfois parfois mieux marcher que les chiens qui
sont préprogrammés, parce que des choses vraiment préprogrammées nous regardent les
vrais chiens et ou vous savez nous utilisons notre propre imagination optimiser les choses par lui-même.
Et parce qu’en intelligence artificielle, les résultats peuvent être encore meilleurs.
Et c'est comme ça qu'ils peuvent entraîner ces robots.
Les mêmes robots robots jouent au football.
Vous pouvez entraîner un chien normal à jouer au football parce que vous savez simplement que l'approche est différente.
Et ce n’est pas quelque chose pour lequel vous savez probablement qu’un chien normal a été entraîné ou a déjà évolué au
cours de son processus d’évolution.
Tandis qu’un chien-robot apprenant en renfort peut très facilement comprendre comment jouer au football,
à condition de lui indiquer les avantages, les objectifs, les actions possibles.
C'est ainsi que fonctionne l'apprentissage par renforcement.
En général, il existe un aperçu rapide de l'apprentissage par renforcement.
J'espère que cela vous passionnera pour l'avenir, car c'est un monde complètement différent de celui des solutions de
préprogrammation, des solutions difficiles à coder en dur dans le cadre d'un programme, dans lesquelles vous avez les mêmes conditions.
C'est très différent.
Et nous allons parler plus à ce sujet.
En attendant, nous avons quelques lectures supplémentaires à vous proposer, donc si vous souhaitez avoir des documents à l'appui, voici un
excellent article sur lequel vous pourrez vous pencher.
C'est ce qu'on appelle l'apprentissage par renforcement simple avec flux tensoriel.
Il a dix parties.
Le lien est ici et vous trouverez le lien complet sur lequel vous pouvez cliquer.
Dans les ressources de l'article d'Arthur Giuliani de 2016, vous pouvez suivre ce cours et obtenir des informations supplémentaires
à partir de cet article.
Mais gardez à l'esprit que cet article a tendance à couler là où,
comme dans ce cours, nous utilisons une implémentation différente mais implémentée, mais vous pouvez en
même temps trouver quelques éléments qui pourraient compléter votre apprentissage. va faire dans ce cours.
Donc, d'excellents articles vous suivent si vous envisagez de le suivre à coup sûr.
Toujours au cas où.
Vérifiez cette première partie et voyez si vous l'aimez si vous souhaitez la lire un peu plus.
Et puis nous avons spécifiquement dans ce tutoriel un apprentissage en matière de contrôle des frontières, un article de
Richard Sutton appelé apprentissage par renforcement.
Une introduction est que les articles de 1998 sont assez anciens, mais vous pouvez en même temps en apprendre un peu plus
sur l’apprentissage par renforcement, comme par exemple cet exemple omlet et d’autres exemples d’application de l’apprentissage
par renforcement, et simplement un aperçu général de cet apprentissage.
Si vous recherchez des lectures supplémentaires et que sur cette note nous allons conclure ce tutoriel.
J'ai hâte de te voir la prochaine fois.
Et jusque-là, profitez de l'IA.