Bonjour et bienvenue au cours sur l'intelligence artificielle.
Aujourd'hui, nous continuons notre voyage dans le monde tous les trois ans et nous parlons du côté synchrone de
l'un ou l'autre C, d'où nous avons notre abréviation d'avantage synchrone.
Critique actif.
Et aujourd'hui, nous allons découvrir ce que synchrone signifie ici ce que cela signifie.
Et revenons en arrière.
Regardons ce que nous avons commencé tout ce cours pour apprendre à comprendre en quoi consiste le fait que l'Asiatique
est dans un certain état.
Ils observent l'état.
Ils prennent certaines décisions, ils prennent des mesures dans cet État, puis l'État est modifié de manière à entrer dans un nouvel
État et à obtenir une récompense.
Donc, la récompense pour avoir pris cette action ou une sorte de récompense qui pourrait aussi être une pénalité et ils se retrouvent dans un
nouvel état.
Et basé sur cela maintenant, ils prennent une autre action à nouveau.
Ils obtiennent une récompense et se retrouvent dans un nouvel état
et prennent une autre mesure, etc.
Et c’est ce que nous avons utilisé pour apprendre en apprentissage approfondi et en convolution continue, et cela a permis
à nos agents de battre progressivement des environnements de plus en plus complexes.
Mais maintenant, nous allons introduire un concept encore meilleur et même aller encore plus loin.
Ce que A-3 voit introduit à travers cela et élément synchrone est au lieu d’avoir un agent
qui attaque l’environnement.
Ils ont trois agents ou quel que soit le nombre d'agents ou plusieurs agents attaquant le même environnement.
Et la clé ici est que c’est pourquoi on l’appelle les synchronisées parce qu’elles sont initialisées différemment, de sorte que
leurs entrées étoiles sont différentes.
Ainsi, par exemple, comme vous le verrez de sources pratiques, vous définissez une graine aléatoire et vous la définissez différemment
pour chacun des agents.
Et cela parce que leurs points de départ sont différents.
Ils vont d'abord parcourir les environnements de différentes manières, puis ils vont explorer de différentes manières,
puis dans les prochaines itérations, ils vont aussi explorer de différentes manières.
Et ainsi, par exemple, nous avons trois agents.
Tout à coup, vous obtenez le triple d'expérience, au lieu d'un seul
âge, pour explorer et explorer l'environnement et essayer de comprendre comment l'utiliser dans cet environnement.
Maintenant, trois ou beaucoup d’entre eux traversent cette épreuve et acquièrent
cette expérience, afin que chacun d’entre eux apprenne à vivre cette
expérience plus vaste. se coincer dans un maximum local.
Ainsi, par exemple, si un agent trouve un moyen de surpasser l'environnement, ce qui n'est pas optimal car s'il s'écarte de la
gauche vers la droite de cette solution, il se trouve qu'il devient toujours plus pénalisé qu'il risque
de rester bloqué au maximum local.
Cela pourrait bien continuer de penser que c'est la solution optimale là où ce n'est pas le cas.
La probabilité que plusieurs agents restent bloqués dans le même maximum local diminue de diminution avec le nombre d'agents, de
sorte que la probabilité qu'un agent reste bloqué dans un certain maximum
local peut être élevée, mais peut-être aussi.
Mais la probabilité que trois d'entre eux soient bloqués dans ce maximum local
est beaucoup plus faible.
Et tant qu'ils partagent leurs expériences, ils peuvent s'entraider. Ainsi, si l'un d'entre eux est bloqué, par
exemple, il atteint un maximum local et pense simplement que c'est la meilleure solution et
la meilleure continue à faire ça.
Tant qu'il interagit avec les autres agents, disons que ce gars est coincé dans une action calme tant
qu'il interagit avec d'autres agents via la façon dont nous construisons l'ensemble de notre algorithme par le biais
d'un système cellulaire, et ils l'aideront.
Ils lui apprendront que vous devez explorer ce domaine ou il sera plus susceptible
de s'en sortir.
Et dans l’ensemble, l’environnement saura que même si le maximum est atteint, ces autres âges ont vu de meilleures
options et nous devrions continuer à explorer car il semble y avoir de meilleures options.
En résumé, dans une compréhension intuitive très succincte, c’est là quelques-uns des avantages d’avoir
ces agents synchrones. Vous avez ainsi plus d’expérience à choisir et à apprendre.
Vous pouvez trouver la solution plus rapidement et d’une manière générale s’il ya moins de chances
de rester bloqué dans un maximum local CRN.
Voyons donc comment cela se passe.
Dans ce modèle que nous avons construit jusqu’à présent, rappelez-vous que c’est ce que nous avons obtenu jusqu’à présent avec la critique elle-même et
c’est comme si nous plaisantions tous, c’est aussi loin que vous vous en souveniez, de la première à la tortue que nous avons présentée.
tu sais que nous avions déjà cela même dans les profondeurs de l'océan.
Q learning's Donc, nous venons de nommer le X mais nous avons maintenant introduit la critique, mais jusqu'à présent, cela
n'a pas vraiment de sens. Quel est l'intérêt de cette critique et de mesurer la valeur de l'état ou de
prédire la valeur d'une étape en utilisant le même système neuronal? réseaux ou la même approche.
Mais maintenant c'est comme ça que le partenaire va commencer à avoir plus de sens.
Ce que nous allons faire, c'est reproduire cela car nous avons maintenant plusieurs agents. Donc, si vous avez plusieurs agents,
voici à quoi cela ressemble.
La première façon de l’imaginer, c’est que ces trois jours ont bien
été mémorisés.
Donc, c'est comme si à l'heure actuelle, ils étaient tous indépendants.
Vous en avez un qui joue le jeu et autre que le jeu, un autre jeu dans le jeu.
C'est comme si vous lanciez votre agent sur trois ordinateurs différents: vous mettez trois ordinateurs différents l'un à côté de l'autre
et vous les lancez et vous savez que c'est génial.
Comme si vous aimiez, vous obtiendrez plus d'expérience, plus de variété, surtout s'ils sont
initialisés.
Nous pouvons donc supposer à partir d’ici qu’ils sont mal initialisés toujours initialisés avant même si nous
avons la même image ici.
Allons-nous savoir qu'ils sont en fait initialisés différemment pour que ce ne soit pas un
entraînement identique, un apprentissage identique à celui de ce jeu?
Et donc, même si vous aimez mettre trois ordinateurs côte
à côte et les lancer, vous aurez plus d'expérience parce que vous aurez trois agents en jeu et que vous disposerez d'une
plus grande variété de solutions possibles. .
Donc c'est vrai.
Mais le problème est qu’ils ne partagent pas notre expérience les uns avec les autres ou n’apprennent pas les uns des
autres.
Donc, ils n'ont pas cette synergie.
Ils n’ont ni l’avantage ni le pouvoir supplémentaire qu’ils obtiendraient s’ils étaient compétitifs.
Vous savez, par exemple, si vous avez une équipe de personnes, elles travaillent mieux ensemble que chacune d’elles séparément.
Donc, comme dans une équipe ici, vous avez un plus un plus un.
C'est trois, mais dans une équipe, un plus un pour apparaître et non pas trois, c'est comme les trois
parce qu'ils exploitent les forces de chacun et atténuent leurs faiblesses et la même chose ici.
Donc, si vous mettez ces deux ordinateurs côte à côte, vous aurez plus de mémoire d’expérience et vous
obtiendrez peut-être une meilleure solution.
Un autre excellent, mais ce sera encore mieux s’ils commencent à partager cette expérience.
Et comment font-ils cela?
Eh bien, c’est par le biais de cette Wii que nous la calculons pour que la valeur de la Wii qui est la sortie de notre
réseau soit en fait la même.
Donc, ils ont la même chose à chaque fois.
Tous ces agents contribuent au même critique.
Ils n'ont pas de critiques séparées, ils ont une critique commune et c'est la clé de la relation entre
l'acteur critique et son synchrone.
Il y a donc un critique qui nous observe pendant qu'il acquiert de l'expérience.
Alors, comment calculons-nous la Wii?
Nous devons faire passer la Wii.
Comme vous vous en souvenez, nous pouvons transmettre à la télévision les valeurs que nous obtenons, ainsi que les récompenses obtenues grâce
à l'environnement.
Et ainsi, alors que les agents explorent leur environnement, ils calculent qu'ils prédisent la Wii.
De plus, ils ont la Wii qu'ils peuvent calculer.
C’est tout cela qui est lié à ce que nous avons déjà discuté dans les sections précédentes
des partitions.
Ils disposent donc déjà d’une Wii qu’ils peuvent prédire comme ils le souhaitent grâce aux récompenses qu’ils savent avoir
dans ce labyrinthe et qu’ils ont déjà explorées et qu’ils explorent, bien sûr, que cette valeur
peut changer.
Mais ils ont aussi dit à la Wii qu’il s’agissait de la sortie du réseau de
neurones; ils devront alors ajuster leur réseau de neurones afin de mieux correspondre à ce qui était prévu.
Donc, fondamentalement, cela est partagé, la partie critique est partagée entre les agents et c’est ainsi qu'ils partagent l’information entre eux, ce qui
leur permet de voir ce qui se passe dans l’environnement partagé entre eux, puis
de l’utiliser comme Je verrai plus loin dans la partie suivante avec avantage.
Alors utilisez-le afin d'optimiser la façon dont ils se comportent de l'environnement.
Et l'autre chose à noter ici est.
C'était donc un C.
C'est comme le noyau de A-3 voir jusqu'ici.
Ceci est un type de version de 08:30 Mais sa mise en oeuvre est encore meilleure.
C’est l’un des premiers tutoriels et l’aspect pratique de la question. Il explique comment le créateur de Pi torche a
modifié son comportement. des codes qui ont été partagés et deviennent une plaque tournante où il a pris tout cela, comme
vous pouvez le voir maintenant, ils ont des réseaux de neurones distincts et ils ont montré
à la Wii que le réglage qui avait été fait consistait en réalité
à prendre tous ces réseaux de neurones et à les mettre en un prenez-les et mettez-les ensemble.
En fin de compte, il n’ya qu’un seul réseau de neurones partagé entre les agents.
Ainsi, avant d’avoir chacun d’eux avait un réseau de neurones qui étaient partagés pour l’acteur et pour le critique un réseau
de neurones Shelfer réel pour le critique un partage de réseau de neurones par précision.
Maintenant, ils ont tous un réseau de neurones qui est partagé par l'acteur ou le critique actuel x ou le critique.
Et puis la critique est ici en commun.
Voyons donc voyons.
Déplaçons ces images vers la gauche ici alors faites de la place.
Et c’est essentiellement l’architecture ou la structure que nous allons utiliser dans les tutoriels
pratiques.
Je sais que cela peut sembler un peu écrasant à ce stade, mais nous en avons un autre
pour parler de l'avantage et nous le verrons mieux en action.
Comment ça se passe alors nous allons parler de l'intuition en action.
Mais d’une manière générale, c’est ce qu’il est.
Il existe un réseau que chaque agent utilise ou partage.
En gros, cela signifie qu'ils partagent les poids, les poids du réseau sont partagés entre les âges et lorsqu'ils le
mettent à jour, ils mettent à jour l'ensemble du réseau, pas seulement leur propre réseau.
Et puis ils ont des sorties comme celles-ci pour chaque agent, puis ils ont la critique partagée
qui sera surveillée
Je sais donc que tout se passe comme s'il y avait beaucoup de choses en ce moment, mais j'espère que ça se concrétisera
au moins lentement.
La principale conclusion d’ici est que la critique est partagée.
C'est ainsi que les agents sont en mesure de s'assurer qu'ils coopèrent ensemble afin d'obtenir le résultat beaucoup plus
rapidement.
Et ensuite, dans le prochain tutoriel, nous verrons plus loin comment tout cela s’ajoute.
Tout cela vient ensemble.
Et pour l’instant, je voudrais recommander ou nous vous recommandons une lecture supplémentaire.
C'est donc un blog de Jaromir Jansch.
Il s’appelle Faisons une implantation A3, c’est en fait une implémentation et une théorie en deux parties.
Il existe un lien et il est très similaire à ce qu'Adlon implémentera dans la partie pratique
du didacticiel. Ce n'est donc pas spécifiquement pour ce didacticiel, pas seulement pour Sutro, mais pour
toute cette section.
Encouragement là-bas quelques informations supplémentaires quelques idées supplémentaires là-bas.
Et voilà pourquoi nous en parlons ici.
Mais néanmoins, dans le prochain tutoriel, nous allons commencer à rassembler tout cela.
Tout ce que nous avons discuté.
Et j'ai hâte de vous voir la prochaine fois.
Et jusque-là profitez de moi