Bonjour et bienvenue au cours sur l'intelligence artificielle.
Et enfin, nous passons aux choses amusantes que nous apprenons en profondeur.
Très bien alors jetons un coup d'oeil.
Bruce, nous avons parlé de gagner de l'argent et de quoi il en va.
Et nous avons entendu parler de l'environnement de l'agent et de la manière dont l'agent va regarder l'état.
Ou elle est en action prendre une récompense.
Entrez dans un nouvel état et, en fonction de cette boucle de rétroaction, ils continueront à prendre des mesures et ils tireront des enseignements
de cette expérience.
Comprendre quelles sont les meilleures actions à prendre.
Nous avons donc examiné cet exemple fondamental de labyrinthe.
Nous avons compris qu’Asian Explorer explore l’environnement et comprend les valeurs des États.
Nous sommes ensuite passés de la gestion des valeurs des États à celle
des actions avec les valeurs, puis A-Basin nous a montré comment les plans fonctionnent dans des environnements non sarcastiques et
comment les politiques fonctionnent dans des environnements stochastiques. exemple de politique.
Voilà donc un récapitulatif rapide de tout ce dont nous avons discuté dans l’apprentissage de base.
Et maintenant, regardons comment on peut passer à un niveau supérieur grâce à un apprentissage en profondeur en ajoutant un apprentissage
en profondeur.
D'ACCORD.
C’est donc notre environnement et ce que nous allons faire maintenant, c’est que nous allons ajouter au lieu de
simplement faire des calculs de base dans cette matrice, qui est assez simple.
Ce que nous allons faire, c'est ajouter deux axes qui ajoutent un axe x et un axe ou nous
les appellerons x1 et x2.
Juste pour rendre les choses encore plus générales.
Et ici nous avons le vrai numéro de la rangée les colonnes 1 2 trois 4 il règle le nombre des rangées 1 à 3
Et donc maintenant, chaque état peut être décrit par une paire de deux valeurs x1 et x2, de sorte que l’un
quelconque de ces carrés dans lequel l’agent peut éventuellement figurer peut être décrit par x1 x2.
Ainsi, par exemple, il est dans le carré avec X1 égal à 1 et x 2 égal à 2.
Et donc ce n'est pas une façon d'échapper à votre carré, ce qui signifie que nous pouvons décrire votre état.
Ensuite, il s’agit bien entendu d’une version très simplifiée d’un environnement de description d’États.
Mais néanmoins cela fonctionne dans ce cas.
Et cela signifie que nous pouvons maintenant alimenter ces états dans un réseau de neurones.
En passant, je voudrais juste mentionner qu’à la fin du cours des bonnes annexes,
nous avons un x numéro un et des singeries et deux pour mener à bien cette section.
Il est vivement conseillé de consulter le fichier inaccessible qui se trouve sur un réseau de neurones
artificiels afin de comprendre leur fonctionnement, de sorte que nous ne puissions plus nous en occuper ici
et que nous puissions simplement utiliser les avantages de la connaissance du fonctionnement des réseaux de neurones artificiels. et donc
nous introduisons ces informations sur l'état dans un réseau de neurones, puis il traitera ces informations les X1 et x2 en fonction de la structure du
réseau de neurones, il pourrait comporter plusieurs couches cachées, etc.
C'est donc quelque chose que vous comprendrez dans les tutoriels pratiques, mais à la fin,
nous structurerons de manière à générer des valeurs et ces quatre valeurs seront notre valeur Q.
Ainsi, les valeurs qui dictent les actions à entreprendre et les actions à entreprendre de ce didacticiel verront exactement
comment ces valeurs clés sont utilisées pour décider des actions à entreprendre.
Mais l'essentiel ici est que nous ne regardons plus seulement ce labyrinthe du point de vue de l'apprentissage.
Nous prenons maintenant les états du labyrinthe et nous les alimentons dans un réseau de neurones profonds afin d'obtenir
ces cellules et.
Et à la fin de la journée, nous allons toujours proposer une action, nous allons toujours
comprendre quelle action nous devons prendre et nous allons discuter de tout cela plus en détail, mais la question qui se
pose est de savoir pourquoi. nous faisons tout cela pourquoi nous l'avons appelé.
Pourquoi est-ce que cela complique tellement les choses alors que cette approche initiale d’apprentissage fonctionnait
déjà bien?
La raison en est que to learning fonctionnait dans cet environnement très simpliste et nous continuons à traiter
pour le moment avec cet environnement très simpliste afin de mieux comprendre les concepts.
Mais en même temps, cet apprentissage Kial ne fonctionnera plus dans des environnements plus complexes et
nous parlons par exemple des voitures autonomes qui créeront ou joueront à Doom lorsque l'intelligence artificielle
joue à Doom ou à d'autres jeux Atari tels que Breakout ou même des voitures autonomes
et des techniques d’apprentissage du renforcement plus avancées, telles que des robots marchant et exécutant des actions dans tous
les cas. En principe, l’apprentissage est insuffisant, n’est pas assez puissant, mais pas assez
puissant pour maîtriser ces défis.
Et comme nous l’avons vu dans le cours d’apprentissage approfondi si vous avez été dans notre discipline ou si vous avez
réalisé les sections annexes sur x numéro un et X-2, vous constaterez que l’apprentissage en profondeur est de loin supérieur à
tout type d’apprentissage machine, encore moins un apprentissage simple et cool.
Et c’est la raison pour laquelle nous exploitons le pouvoir de l’apprentissage en profondeur afin que nous
puissions utiliser les informations sur l’environnement comme vecteur de valeurs.
Dans ce cas, il suffit d’utiliser un réseau de neurones profonds et de les utiliser pour effectuer les actions que
nous voulons décider des actions que les agents vont effectuer.
Donc, c'est un peu comme une vue d'ensemble des raisons pour lesquelles nous faisons cela.
Et maintenant, regardons un peu plus en détail ce qu'il advient du concept d'apprentissage cool lorsque
nous transférons lorsque nous effectuons la transformation ou le passage d'un apprentissage simple à un Killary profond.
Comme vous l'avez vu dans les précédents tutoriels sur l'intuition, nous avons présenté une diapositive comme celle-ci, qui constitue le fondement de
l'apprentissage par différence temporelle.
Telle est la formule de la différence temporelle et, fondamentalement, passons à travers.
Donc, fondamentalement, nous avions un agent qui se trouvait dans cet état, indiqué par la flèche bleue.
Et nous comprenions comment la différence temporelle fonctionne pour cette valeur d'augmentation par exemple.
Et donc ce que nous avons vu ici était avant que ce soit dans le simple Killary pas l'apprentissage en profondeur est dans le simple
tueur.
Ce que nous avons vu, c’est avant que l’agent ait eu une valeur de teinte qu'il avait appris à propos de cette action
de montée.
Et alors, il décida de prendre la décision de monter.
Et juste après son action, il reçoit une récompense pour avoir pris cette action dans cet état.
Et c’est là la récompense, plus il peut maintenant évaluer la valeur de l’état actuel dans lequel il se trouve,
ce qui correspond au maximum de toutes les nouvelles valeurs q de tout le cube des nouvelles actions qu’il peut prendre comme
premier dans le nouvel état. lu multiplié par le facteur DK de gamma.
Il s’agit donc essentiellement de la nouvelle valeur de cube ou de la valeur de cube empirique qu’il vient de
recevoir pour avoir pris cette mesure.
Et idéalement, ces deux deux devraient être les mêmes.
Ainsi, la valeur Q qu'il avait en mémoire à propos de cette action dans cet état devrait
correspondre à la récompense réelle plus le gamma fois la valeur de l'état dans lequel il s'est retrouvé.
Et donc c'est comme ça que nous calculons la différence temporelle en prenant ce que vous êtes après moins
ce qu'il a eu ce qu'il avait en tête ce à quoi il s'attendait.
Vous soustrayez l'un de l'autre.
C'est une différence temporelle.
Et ensuite, vous utilisez votre taux d’apprentissage Alpha pour ajuster votre valeur q à votre nouvelle valeur q en fonction de la différence
temporelle, mais avec un coefficient Alpha.
Voilà donc l'essence de l'apprentissage simple.
Voyons maintenant comment cela change en profondeur dans Killary. Nous allons donc continuer à travailler avec la diapositive,
mais nous allons simplement voir exactement ce qui se passe.
Ainsi, dans un apprentissage en profondeur, le réseau de neurones prédira pour Valis comme nous l’avons vu précédemment et comme nous le
verrons.
Donna Citronelle, le réseau de neurones prédit des valeurs ou pourrait prédire davantage de valeurs
d’actions possibles dans un état donné.
Mais dans ce cas, nous savons qu'il ne reste que quatre actions à faire.
Et donc le réseau de neurones va prédire quatre de ces valeurs afin qu'il n'y ait pas de fin dans une situation d'apprentissage en profondeur est
important, c'est qu'il n'y a pas avant ou après.
Et voici comment nous allons apprendre à le connaître un peu mieux.
Ainsi, le réseau de neurones prédira quatre de ces valeurs et ne comparera pas à ce qui
se passera après, mais le réseau de neurones sera comparé à cette valeur exacte, mais c'est la valeur qui
a été calculée à l'étape précédente.
Donc, dans le temps précédent, lorsque l'agent était dans cette case exacte.
Donc, disons que je ne sais pas il y a quelque temps, l'agent était de nouveau dans cette case
exacte et il a déjà calculé cette valeur.
Ainsi, dans le passé, il y a longtemps, l'agent avait calculé cette valeur, puis les agents l'avaient stockée
pour le futur et le futur est maintenant.
Alors maintenant, il est de nouveau sur la place et maintenant il a ces valeurs de cube qui sont prédites et
l'une d'elles est pour les quatre montantes.
Il va maintenant comparer la valeur prédite de Q à la valeur qu'il a enregistrée lors
de l'étape précédente et comprendre exactement pourquoi c'est important maintenant, alors comprenez
bien ici.
Il n'y a pas d'agent avant dans cette case spécifique cette fois-ci.
Nous prenons la valeur Q qu'il a prédit en utilisant le réseau de neurones cette fois-ci et nous
la comparons à cette valeur qu'il avait précédemment de la fois précédente lorsqu'il était dans cette case en train d'évaluer
la situation et vous savez comme la précédente temps il a effectivement effectué cette action.
Alors on y va.
Voyons maintenant comment cela fonctionne dans le réseau de neurones et pourquoi.
Pourquoi est-ce que c'est comme si je savais que ça a l'air un peu compliqué en ce moment mais nous allons le décomposer en termes simples
dans une seconde.
Donc, sur votre propre réseau, nous alimentons les états de l’environnement dans le réseau
de neurones, qui traverse les couches cachées générées par ces sorties Q1 Q2 Q3 Q4.
Dans cet état spécifique, ce sont les valeurs de cube prédites par le réseau de neurones pour des actions
possibles.
Ce sont les cumulous.
Alors, nous semblons cibler et ces cibles existent exactement, alors si nous revenons ici, c’est la
cible, c’est la valeur qui a été prédite.
Et puis, mais nous savons aussi que nous avons une cible de la dernière fois que nous étions sur la place.
Nous avons un objectif pour cette même action qui est en hausse, par exemple.
Nous avons donc ici un objectif et nous allons comparer le Q1 par rapport à cet objectif.
Nous comparons le Q2 par rapport à l’objectif que nous avions avant le troisième trimestre par rapport à un objectif Q4 par rapport à la cible.
Et c'est donc la partie où le réseau de neurones ou l'agent est en train d'apprendre par le biais d'un apprentissage
approfondi pour mieux traverser.
Et le point clé ici est que nous appliquons toujours un apprentissage cool, mais la réponse aux concepts est simple: vous apprenez que vous
apprenez à travers des différences temporelles assez simples, dont nous avons déjà parlé et que
nous savons très bien pourquoi pas.
Mais en même temps, en apprentissage en profondeur, comment les réseaux de neurones apprennent-ils? Les réseaux de neurones apprennent en
ajustant les poids.
Nous devons donc adapter les concepts de renforcement, les concepts d’apprentissage simple de la destruction à la manière dont les réseaux de
neurones fonctionnent réellement.
Et c'est en mettant à jour leurs poids.
C’est ce que nous essayons de comprendre ici: comment adapter ce concept
de différence temporelle à votre propre réseau afin de pouvoir exploiter toute la puissance des réseaux de neurones.
Jusqu'ici, nous avons obtenu cela. Nous entrons ici dans notre environnement lorsqu'un vecteur passe par un réseau de neurones, nous obtenons des
prédictions des valeurs clés, puis à partir de la période précédente où l'agent était dans cet état.
Nous avons pour nouvel objectif de cibler un deux, trois et quatre pour chacune de ces actions respectives.
Et maintenant nous sommes prêts à le faire.
OK, comparons chacun avec chacun.
Et à partir d'ici, cela devient assez simple si vous maîtrisez les réseaux de neurones.
Encore une fois, c'est sur un Anax.
Premièrement, nous allons calculer une perte qui est ici et nous allons cibler celle-ci moins
Q moins celle-ci.
Nous allons faire la différence entre les deux et nous allons les
résumer.
Nous prenons donc la somme des différences quadratiques de ces valeurs et de leurs objectifs et nous les enverrons,
ce qui sera une perte.
Et donc, idéalement, comme dans l'apprentissage de la différence temporelle, si nous revenons un
instant en arrière, rappelons-nous, nous disons: idéalement, nous voulons que cela soit égal à cela, donc
nous voulons que la différence temporelle soit nulle, c'est-à-dire que l'agent est prédire correctement ce que vous savez sur
la valeur Q, c’est que l’agent prévoit exactement ce qu’il a ou que la mémoire décrit exactement
l’environnement. Par conséquent, l’agent ne peut jamais obtenir l’environnement parfaitement correct.
Il n'y a pas de surprises, il n'y a pas de s. a tant qu'une différence temporelle est un pilote hautement positif
ou fortement négatif.
Ensuite, nous avons des surprises.
Mais si les différences générales sont nulles, il connaît si bien l’environnement qu’il peut prédire ce
qui se passe et qu’il le peut. Par conséquent, sa politique sera très bonne et il sera capable de naviguer.
Alors voilà.
Même chose, nous voulons donc que cette loi soit aussi proche de zéro que possible.
Et c’est la raison pour laquelle nous en venons maintenant à la partie où nous allons exploiter le véritable pouvoir réel du réseau
neuronal afin que nous puissions supporter cette perte et que nous allons utiliser la propagation en retour
ou le bâton comme descente de gradient. prendre cette perte et la transmettre à travers le réseau, retour ou retour propagé à travers un
réseau et à jeter une bonne et décente date pour les poids.
Tous ces synopsis dans le réseau, de sorte que la prochaine fois que nous allons le parcourir, il décrit déjà un peu
mieux l'environnement et c'est exactement ce que nous sommes.
Donc, vous avez ici, si vous revenez en arrière, les pertes calculées sont Kalka et supposons que le propagateur du réseau les poids
sont mis à jour.
Ensuite, la prochaine fois que nous arriverons ici, cela se
reproduira encore et encore ici, cela se reproduira et ainsi de
suite, etc. plus descriptif de l'environnement et donc l'agent est capable de
naviguer dans l'environnement.
Lorsque nous disons environnement descriptif, cela signifie essentiellement que lorsque nous définissons les états de l'environnement dans lesquels
se trouve cet agent, nous sommes plus susceptibles de nous rapprocher des valeurs de repère réelles, ce qui se produit car les valeurs
de cube que nous voulons trouver sont correctes. action et cela se produit parce que
ces nouvelles cibles sont réellement empiriquement dérivées afin qu'il trouve tous les jours comment il trouve ces cibles mignonnes.
C'est en fait là donc il observe.
OK, une fois cette étape franchie, quelle est ma récompense?
Et puis quelles sont les valeurs de cet état.
Donc, la même chose que nous avons vu précédemment dans Q learning et la simple intuition d’apprentissage.
Donc, il apprend cela par essais et erreurs, puis il construit son réseau ou
c'est comme ça que les valeurs prédites sont proches.
Consommer cette cible.
Les valeurs Q sont très similaires au concept que nous avons discuté ici dans l’apprentissage par différence temporelle
simple de l’algorithme d’apprentissage des compétences simples.
Alors voilà.
C'est comme ça que l'agent apprend.
Donc, nous sommes à la hauteur.
Et c'est la partie d'apprentissage.