Bonjour et bienvenue au cours sur l'intelligence artificielle.
Dans le tutoriel d'aujourd'hui, nous allons parler d'un complément que nous allons implémenter pour
notre algorithme 8: 3.
Cela s'appelle la mémoire à court terme ou le LSD.
Alors regardons ce que nous avons jusqu’à présent et ensuite nous discuterons de la raison pour laquelle nous avons besoin
du LSD et de ce qu’il a d’autre pour lui jusqu’à présent.
Et nous avons parlé des trois lettres A dans le 3C et bien sûr nous avons vu que c'est en fait
un peu plus complet ou beaucoup plus complexe que ce que nous avons sur cette image, nous avons en
fait trois agents multiples ou plus traversant l'environnement. et ils communiquent entre eux et ainsi de suite.
Mais dans un souci de simplicité, pour l’histoire d’aujourd’hui, nous allons simplement illustrer le tout avec cet agent à la
fin, nous avons ce rapport comme la partie critique.
Donc, fondamentalement, une fois que nous avons un état, déclarons à cette image qu’elle passe par convolution puis passe par
un brassage de Lego tirant d’aplatir une couche.
Et à ce stade, nous avons des valeurs ou des nombres qui sont ensuite propagés à travers le réseau et ils entrent dans les
couches cachées et ensuite, en tant que sortie, nous obtenons la partie politique ou les parties acteurs et elles reçoivent
la valeur de l'état ou nous obtenons la partie critique et ce que nous allons faire aujourd’hui, c’est que nous allons parler
de cette partie cachée des couches cachées. Nous pouvons en fait passer au niveau supérieur et ajouter
une notification.
Et nous avons déjà vu qu'il existe plusieurs notifications car ils doivent être déplacés. L'un
d'eux, nous avons vu que, dans certains cas, vous pouvez avoir cette partie principale du réseau qui est propre à chaque agent.
Ou vous pouvez avoir cette partie principale du réseau qui est partagée et c'est ce que nous avons vu lors de nos
précédents essais d'intuition, nous avions une partie partagée du réseau.
Ce réseau a été partagé entre les agents et Adlon vous en dira plus dans les didacticiels pratiques qui
aident vraiment à résoudre le problème de la rupture.
Et il y a beaucoup d'autres façons de modifier l'algorithme.
Beaucoup d'autres ajouts peuvent être mis en œuvre.
Et l’un d’eux, nous allons en discuter car nous allons
avoir un côté pratique des trolls avant de frapper et Lares que vous pouvez ajouter est un elist Himmler un réseau
de neurones Klare qui permet à votre algorithme d’évaluation mémoire qui permet à l’algorithme de se souvenir de ce qui s’est passé auparavant et nous
allons parler de LACMA tout à l’heure.
Mais fondamentalement, vous pouvez ajouter une couche supplémentaire ici qui est élistée de Lehre et améliorer votre algorithme avec quelques
fonctions supplémentaires de Nimer et ce que vous verrez réellement dans la pratique de Sorrell
est que nous n’avons même pas besoin de couches cachées après leur ressemblance. Vous verrez donc cela lors de la mise en œuvre à Atlanta.
Il a la mise à plat tout de suite.
Après cela, il a les verres à pied. Donc, fondamentalement, cette boîte représente le joueur elist.
Et ensuite, tout de suite après, vous avez la sortie, de sorte que vous n’avez même plus besoin
d’autres Lares cachées, simplement parce que c’est tout le pouvoir que l’antenne LSM ajoute à l’algorithme.
Et encore une fois, l'algorithme ou l'architecture de votre propre réseau, c'est une chose très visuelle, c'est
une préférence personnelle.
C'est une chose très créative, alors vous voudrez peut-être devoir élire des joueurs que vous aurez peut-être avec l'analyste bien appris
Jim Lehrer.
C'est plusieurs comme cinq couches cachées après les avoir listées.
C'est à vous et à vous d'expérimenter et d'explorer.
Mais c’est ce que nous avons proposé dans les didacticiels pratiques. Vous verrez donc que nous avons
une couche plate aplatie, puis nous avons un repaire de barrage et une sortie.
Alors maintenant, nous avons beaucoup parlé de l’autre semblable, qu’est-ce que c’est un gestionnaire?
Eh bien, le repaire LACMA ajoute que la mémoire donne une fonctionnalité permettant au réseau de neurones
d’avoir la mémoire de ce qui s’est passé lors des itérations précédentes et il est souvent symbolisé ou représenté par un symbole qui ressemble
à ceci.
Ceci est juste pour commencer et je ne fais que mettre ici.
Je sais que cela a l'air très tordu mais je le mets ici pour que vous puissiez voir quand nous discuterons plus en détail de cette image.
Vous pouvez voir ce qui se passe afin que la sortie de cette lettre soit envoyée ici et qu’elle soit la nôtre.
Donc, c'est une couche entière qui entre ici, donc c'est un vecteur de valeurs. X est un vecteur qui va dans la tige, nous
allons simplement jeter la cellule.
Et puis, en tant que sortie, vous obtenez un autre vecteur, à savoir la concaténation de
ces magasins ou de certains autres liens. Dans notre cas, cela est lié en tant que sortie.
Voyons cela plus en détail.
Donc, il va se concentrer sur cette partie.
En fait, nous entrons dans le processus, comme vous l'avez probablement remarqué, les lettres figurant sur le côté, nous allons le
tourner de côté.
Donc, comme ça et comme si de rien n'était, tout simplement comme pour réitérer le fait que même si cela ressemble
à ceci, ce qui se passe réellement est une couche de valeurs, tout un vecteur de valeurs entre
ici.
Quelque chose est en train de se passer qui va causer tout à l'heure un vecteur entier de valises.
C'est donc le calque, ce n'est pas un élément, c'est le calque lui-même.
Revenons donc juste pour répéter que Lehre va là où quelque chose se passe. Lehre sort.
Voilà donc que la LACMA est juste de son côté.
Il est donc plus facile d’agir de cette façon et c’est une représentation commune.
Pour l’instant, nous convenons pourquoi cette image était de son côté et comment allons-nous procéder avec cela.
Commençons un peu plus dans cette situation LACMA.
Alors, que se passe-t-il à l'intérieur d'Ellis Jim Lehrer?
Donc, voici à quoi ça ressemble.
Et bien sûr, cela a l'air très complexe et nous n'allons certainement pas passer par tout cela maintenant,
simplement parce qu'il y a beaucoup de choses à discuter.
Il s’agissait de l’opération sage de l’opération Xolair. Il n’ya pas que de nombreux détails complexes à traiter, sans quoi nous n’entrerons pas dans
les détails, car sinon nous risquerions de nous en écarter et ce n’est pas dans le
but de ne pas parler d’Else. barrages ici qui vont utiliser le LACMA.
Et si vous souhaitez en savoir plus sur les systèmes Ellis, vous pouvez y aller ou nous sommes ici.
Le blog de Christopher Ola.
Il a une bonne description de ses racines ou nous parlons également de LACMA dans notre âge d’apprendre en profondeur, c’est bien sûr que
vous pouvez le vérifier.
Nous avons également une section complète sur les réseaux et systèmes de neurones récurrents.
Donc, fondamentalement, c'est la partie interne du système.
Et ce qui se passe est comme la jambe qui entre, nous allons donc en parler de manière intuitive à un
niveau très fondamental, juste ce qui allait nous suffire pour comprendre ce qui se passe ou pourquoi il y a de
la mémoire.
Et pour que vous puissiez aussi mieux comprendre ce dont Atlanta parle quand il met en œuvre cela.
Donc Largo est dans tout ça, c'est quelque chose qui se passe essentiellement ici, Larry monte.
Ce que nous devons réellement voir, c’est qu’il existe ces éléments et que ce Lehre est
également un intrant supplémentaire.
Donc rappelez-vous que généralement vous avez comme une entrée d'un précédent Lehre puis cette lettre et ensuite vous avez
une sortie si vous pensez à cette image nous avions auparavant le réseau normal qui n'est pas de son côté qui est
comme de gauche à droite du haut de bas en haut.
Mais à moins que vous n'ayez réellement plus d'intrants.
Je sais donc que cela devient de plus en plus complexe, mais au moins, nous pouvons les comprendre.
Donc, ceci est votre cellule de mémoire.
C’est la clé et c’est ce dont vous allez entendre parler à Heidel Atlanta.
Ainsi, la cellule de mémoire est quelque chose qui est sauvegardé dans la liste, de sorte que ces entrées et sorties sont réellement ici.
Ce que vous regardez est l’axe temps.
Donc, ceci est résolu dans le temps, donc dans une itération spécifique, cela se produit, mais ensuite cette valeur est extraite du possed et ces valeurs sont transmises à
ces valeurs, ces valeurs sont extraites du passé et ces valeurs sont transmises au futur et à
la manière dont elles transmettent la richesse. la façon dont le travail d'équipe d'autre donc nous sommes
suivis inquiets de trop ce qui se passe ici.
Tout ce que nous avons besoin de comprendre, c’est que lorsque la lettre entre et nous
avons ici une valeur du passé qui est stockée dans le LSD dans la mémoire à long terme.
Nous avons cette cellule de mémoire et quelle que soit la valeur qui existait auparavant, elle reste simplement ici car
elle est parcourue librement, à l'exception de ces opérations ponctuelles où elle peut
être fermée ou complétée. il.
Quoi qu’il en soit, il n’ya que quelques valeurs qui circulent librement, c’est donc fondamentalement qu’elles sont
transmises au prochain point.
Donc, vous pouvez simplement penser à cela comme à une mémoire qui ressemble à une
clé USB ou à quelque chose du genre que cette cellule a et se souvient
de la valeur précédente qui était ici lire de cette valiance sur.
Et cette valeur est l'état caché.
Ainsi donc, le H et l'état caché sont fondamentalement.
Et maintenant, la valeur qui vient du passé et qui est ensuite utilisée dans le système.
Et comme vous pouvez le voir à la fin, après tout ce qui se passe, vous obtenez une lettre qui est envoyée et
c’est pour que vous obteniez cette valeur qui sort et qui est identique à celle qui est transmise.
Donc, en gros, l'équipe Ellis se souvient de deux choses: il existe une valeur constante qui est comme un reste dans
la liste et qui peut être changée comme ceci est un lecteur flash comme une valeur constante.
Donc, la cellule de mémoire.
Et vous pouvez donc avoir le luxe de stocker quelque chose dans cet espace et cette mémoire et elle sera
transmise au futur pour chaque fois à la prochaine itération.
Donc, comme l’algorithme était dans un environnement, il voyait que quelque chose avait fait quelque chose et ainsi de suite.
Et puis dans le LACMA, vous pouvez stocker une certaine valeur, elle se souviendra de cette valeur même si elle
se trouve dans l'état suivant.
Et aussi l’autre valeur dont ils se souviendront mal se souviendra de sa sortie précédente.
Il se souviendra automatiquement de sa sortie précédente, de sorte que la sortie va ici et va ici.
Il s’agit donc essentiellement du niveau très très élevé de ce qui se passe dans un LSM.
Encore une fois, si vous souhaitez plus de détails, comme beaucoup de ressources, où vous pouvez trouver et à ce stade,
nous n'avons pas besoin d'entrer dans autant de détails sur toutes ces choses.
Nous avons juste besoin de comprendre que vous savez ce qu'est une cellule de mémoire,
quelle est son adhésion à une cellule de mémoire, et comment cela facilite la mémoire pour lui.
Et la question est tellement maintenant que nous avons en quelque sorte un aperçu général de tout cela pour renforcer ou
pour consolider cette connaissance que vous êtes un peu comme donner une raison à cette connaissance.
Posons la question pourquoi avons-nous besoin de mémoire.
Pourquoi avons-nous besoin de mémoire dans notre algorithme A-3 ou autre?
Eh bien, regardons notre exemple le défi que nous relevons dans cette section.
Le défi consiste donc en une évasion. Ce qui se passe et ce qui se produira se présentera à cet
environnement. Vous devez détruire ce petit bloc que vous devez détruire avec cette petite balle. Assurez-vous qu'il
s'agit bien de votre type de raquette ou de plate-forme en mouvement. autour.
Et il doit, où que le ballon vole, attraper le ballon, rebondir sur la plate-forme et revenir en arrière pour frapper
des balles sur les murs.
Retournez un bloc et revenez.
Et c'est donc l'essence de ce que vous devez accomplir.
Mais regardons maintenant cette balle comme si vous imaginiez que vous utilisiez une procédure d’algorithme 83C et 83C ou un agent dans l’un de
ces agents dans 08h30.
Vous voyez cette image qu'est-ce que vous extrayez d'ici.
Quelle serait votre action ici pour vous.
Ainsi, vous pouvez voir les balles voler à droite.
Si bien que ça vole à droite.
Donc, ça va quelque part et peut-être que ça vole vers la droite, vous pouvez.
Pourriez-vous tirer cette conclusion si vous préférez que cela vienne à vous.
Vous pourriez probablement le faire et vous êtes peut-être au bon endroit pour attraper le ballon.
Mais que se passe-t-il si la balle ne vole pas réellement de cette façon mais vole que si elle vole de cette façon?
Le problème, c’est que vous ne pouvez pas voir à partir de cette image de quelle façon il vole parce que vous ne savez
pas où il se trouvait dans le moment précédent.
Donc, si c'était ici, alors ça vole comme ça.
Donc, si vous connaissiez le moment précédent, si vous saviez que c’est là que vous seriez là, vous
savez qu’il est humain de tracer une ligne de démarcation pour ces deux-là et vous direz d’aller dans cette direction.
Mais si vous le saviez ici, vous tracez des lignes comme si vous alliez dans cette direction.
D'ailleurs, regarde ça.
Cela aurait pu être quelque part comme ici.
Peut-être que ça monte, peut-être que c'est en fait ainsi, peut-être que c'était
ici et que je montais avec tellement, une image est très difficile, en fait, c'est impossible.
C'est comme géométriquement impossible de dire dans quelle direction la balle vole.
Et c’est la raison pour laquelle la mémoire du LSD aide réellement notre mémoire Mfat. Elle peut encore faire du bon
travail, mais peut-être deviner ou bien trouver d’autres moyens de comprendre où aller.
Mais avec le mouvement de la tige, ne bougez que cette mémoire, donc si nous remontons avec cette valeur, cela ressemblait un
peu à la sortie de la valeur précédente ou peut-être savez-vous que vous pouvez la stocker ici ou
sur la base de cette valeur ou sur les informations qu'il obtient à partir du moment précédent.
Alors disons de ce qui s'est passé ici.
Donc, c'est là où se trouvait votre balle avant afin que vous puissiez transmettre des informations sur l'environnement depuis le
point précédent dans le temps.
Alors maintenant vous l'avez maintenant vous savez non seulement avoir vos informations de l'image.
Si nous remontons encore plus loin, vous vous souviendrez de cette information de l'image.
C'est voué à l'échec, mais nous travaillons actuellement à diffuser des informations.
L'image est venue ici ici ici s'est transformée en ces valeurs aplaties.
Et si cette information pour eux.
Image entrant dans tout le système.
Et maintenant, tout à coup, comme vous vous en souvenez, ne venez pas de quelque part, mais du moment
précédent.
C'est donc là que vous démontrez que vous venez du haut ou du ballon de gauche à droite.
En fait, c’est juste que ça reste juste dans le repaire elist.
Vous avez cette information juste à travers l'architecture.
Ils diront que vous avez des informations sur ce qui s'est passé auparavant.
Et donc nous revenons en arrière, cette information vous aide maintenant à prendre une décision sur ce qu'il faut faire.
Aide l'algorithme à prendre une décision.
Et maintenant, tout à coup, il le sait.
D'ACCORD.
Donc, la balle est réellement en jeu non plus.
Disons qu'il vole dans cette direction ou dans cette direction, donc je suis au bon endroit. Je devrais rester ici. La
balle vient dans ma direction ou si elle se rend compte que la balle est couchée là, elle devrait commencer à
se déplacer vers la gauche. car s'il attend un peu plus longtemps, il sera trop tard.
Et ils vont rater le bal.
En gros, c’est comme ça que les listes d’éléments aident vraiment dans l’algorithme et c’est exactement ce que
nous verrons lorsque vous ferez les tutoriels pratiques d’Atlanta.
Voilà, voilà comment fonctionnent ces équipes.
Et juste une note supplémentaire, comme nous l’avons mentionné au début, les équipes Ellis ne sont pas nécessaires à 100%.
Ils ne sont pas complets Ils ne sont pas complètement attachés à leur algorithme.
Vous voudrez peut-être les intégrer dans un algorithme de niveau C, mais vous ne voudrez peut-être pas les utiliser en
fonction de la situation où vous choisirez d'installer Arctic.
Il y a beaucoup d'ajouts et nous avons déjà discuté de l'ajout ou de la modification où le réseau de neurones est partagé
entre les acteurs, qu'il ne soit pas partagé entre les agents ou non.
Maintenant, néanmoins, elist Jim, vous en trouverez un autre dans les didacticiels pratiques, où nous ajoutons une
entropie calculée à l'aide d'une stratégie lösen Adlon qui vous guidera à travers cela.
Donc, fondamentalement, un algorithme A-380 peut apporter de nombreuses modifications.
Rappelez-vous simplement que cela dépend de ce que vous voulez réaliser et que cela vous encouragera
également à explorer si vous allez implémenter beaucoup de ces algorithmes et en essayer différents.
Nous avons déjà discuté d'un couple et peut-être que vous pouvez trouver quelques modifications supplémentaires qui pourraient vous intéresser
ou peut-être que lorsque vous regardez ces tutoriels, peut-être que vous les achetez, d'autres
modifications sont apparues qui sont très intéressantes.
C'est donc certainement un sujet sur lequel vous pourriez vous pencher et qui pourrait améliorer davantage vos connaissances
en intelligence artificielle et en création de ces algorithmes.
Et sur cette note, j'espère que vous avez apprécié ce tutoriel et que je vous chercherai la prochaine fois.
Jusque-là profiter.
JE.