Bonjour et bienvenue au cours sur l'intelligence artificielle.
Dans l'histoire d'aujourd'hui, nous parlons de la finale a dans un 3C.
Nous parlons d'avantage.
Tiens voilà.
Nous avons déjà parlé de critique d'acteur et d'un synchrone auparavant.
Il a donc trouvé un moyen d’aboutir à ce que nous allons examiner aujourd’hui et, avec avantage, nous allons tout
mettre en place.
C'est donc ce que nous avons jusqu'à présent. Nous avons un réseau de neurones qui est partagé entre les agents et les agents asynchrones,
puis nous avons la critique qui est également partagée entre l'âge et ainsi de suite.
Comment cela se passe-t-il et pourquoi cette critique est-elle partagée entre les agents?
Regardons ça.
Comprend mieux que nous allons mieux regarder un exemple. Nous allons examiner cet agent, par exemple, et voir ce qui se
passe lorsqu'il est dans un certain état et qu'il doit prendre une décision quant au type d'action à jouer.
Donc, cet agent est dans un état où il voit cette image et ensuite ce qui se passe est
que cette information entre dans le réseau de neurones, elle se rend dans le
repaire de convolution des couches cachées du réseau de neurones, puis, en
sortie, il obtient toutes ces valeurs de stratégie que vous définissez comme étant la stratégie.
Et aussi il obtient la valeur du critique.
Ainsi, comme nous le savons pour fonctionner, les réseaux de neurones ont besoin de propager certaines erreurs ou pertes à travers
le réseau.
Donc, de cette façon, afin de mettre à jour les poids afin de savoir ce qui attend ou quelles pertes nous allons subir
ici.
Eh bien, nous sommes deux défaites.
Nous avons la perte de valeur et les postaux.
Ainsi, la perte de valeur est liée à la valeur, la perte partielle est liée aux pools et est donc précieuse.
Nous avons déjà traité avec avant.
Nous savons que nous avons des récompenses et nous avons un facteur de réduction, ce qui en fait est très
similaire à ce dont nous parlions dans la conversion en didacticiels d'apprentissage en profondeur.
Fondamentalement, le réseau prédit une certaine valeur V et en même temps, nous pouvons estimer ce qui devrait être basé sur ce que
nous savons de l’environnement jusqu’à présent, nous pouvons estimer ce que devrait être la valeur dans
l’état. perte, puis retour réseau propagateur mettre à jour les poids.
La nouvelle politique est donc la perte de la politique.
Et alors, quelle est cette perte de politique et comment ça marche.
Eh bien, c’est la partie où toute la situation où la critique est partagée entre les acteurs
ou entre les agents va enfin émerger.
Donc, pour comprendre la perte de palsu, nous devons introduire une valeur
appelée Avantage d'où le nom de cette partie de l'histoire sur toute
cette partie du Salyut.
Donc, fondamentalement, la valeur Q ou celle que vous avez choisie pour exécuter l’ensemble des actions que vous avez choisies de jouer dans l’état où vous
vous trouvez dans l’état S moins la valeur de cet état.
C'est donc la différence entre les deux et cela s'appelle celui-là.
Et l'avantage est utilisé dans le calcul de l'impulsé.
Maintenant, nous n'entrerons pas dans la formule du calcul sans impulsion car il est assez complexe d'utiliser entropie
ou vous ne pouvez pas utiliser l'entropie.
Nous n'allons pas disséquer cette formule mais nous allons comprendre cela de manière intuitive.
Pourquoi faisons-nous cela, pourquoi calculons-nous cet avantage et comment va-t-il nous aider?
Eh bien, regardons cette prémisse pour une seconde.
La valeur Q ici provient de ce que le réseau de neurones a prédit pour cet agent et donc prédictif de cette action spécifique
dans cet état spécifique pour l'action qu'il peut jouer pour qu'il ait ces
actions et qu'il puisse en faire glisser une bien alors que la valeur Wii est la valeur dictée par le
critique.
C’est la valeur que nous avons ici dans cette partie partagée et c’est la clé de cette partie qui est partagée,
donc casser la critique parce que c’est ainsi que le crédit entre en jeu.
Parce que nous avons une valeur que nous choisissons ou l'action que nous choisissons de jouer pour cet agent dans
cet état.
Mais alors le critique peut nous dire quelle est la valeur connue de cet état et quelle est globalement la valeur connue pour tout
ce groupe d'agents qui travaillent ensemble parce que leur partage ne répond pas parce que le B initial parce qu'ils partagent
le critique ils contribuent tous à cela à ces valeurs v qui sont calculées pour un ensemble
différent de sorte que l'ensemble a. algorithme z dit OK.
Ainsi, le critique connaît une valeur v, votre valeur q que vous sélectionnez est bien meilleure par rapport à la valeur
v connue.
C'est ce que ça dit.
Donc c'est fondamentalement ça.
Je vais donc sélectionner ici une valeur q en fonction de ma stratégie, que nous utilisions une fonction soft
max, une stratégie Epsilon Grealy ou quelque chose du genre.
Et bien sûr, nous aurons une exploration et une exploitation combinées, mais nous avons sélectionné la valeur
Q et la question est de savoir quel est le supplément.
Qu'est-ce que cela réprimande? Quel est l'avantage de l'action que vous avez sélectionnée par rapport à
la valeur connue de cet état? C'est l'essence même de l'avantage. Elle sert en principe à
calculer la perte, puis la perte est répercutée. à travers le réseau.
Donc, ils sont tous les deux propagés à travers un réseau et les poids sont ajustés afin que le réseau puisse
mieux représenter la valeur de la critique, ce qui en fait la partie supérieure.
Mais alors, cette partie de la clé est que les poids sont en bakra.
Quand est-ce que ces bureaux de poste sont de retour oubliez que les tarifs sont ajustés de manière à maximiser cet
avantage, de sorte que c’est le côté intuitif de la compréhension intuitive du fait
que nous revenons cette dernière politique à travers le réseau pour aider à maximiser cet avantage.
Et cela signifie fondamentalement que lorsqu'un agent rencontre des actions mauvaises, telles que des actions où les valeurs
q sont inférieures à la valeur connue de l'état.
Donc, fondamentalement, l’algorithme ATC dans son ensemble sait que la valeur de l’état est X et qu’un coup, vous vous
êtes retrouvé face à une très mauvaise action et que vous avez choisi l’action.
Et ce que cela signifie pour l’enthousiasme, c’est que nous ferions une telle chose alors que c’est pire que ce
que nous connaissons déjà de tout cet environnement et de ce que nous aurions pu faire.
Donc, nous ne devrions pas faire plus de cela.
Et par conséquent, les poids ne sont en quelque sorte que plus rares.
Donc, cela arrive moins rare.
C'est donc un événement moins fréquent que nous choisissons cette mauvaise action.
D'autre part, si vous choisissez une très bonne action où la valeur de q est supérieure à V ou bien
supérieure à celle de l'endroit où, au cours de la régression de la perte polonaise
à travers le réseau, les poids vont être mis à jour et de manière à renforcer encouragez à rassurer que cela se reproduise pour que les poids
soient ajustés de manière à ce que l’algorithme atresia pense que c’est vraiment bien que
Wantage soit très élevé là-bas.
Je devrais en faire plus et par conséquent, vous mettrez à jour les poids de manière à ce que cette
action se produise plus vraisemblablement.
Vous savez donc que le réseau va lentement s’adapter et se construire lentement en quelque
chose qui calcule la valeur correctement d’une part, puis de la manière la
plus correcte possible.
Et d'autre part, il encourage ou il a des actions qui ont un grand avantage.
Donc voilà, c'est ça cette partie.
Et maintenant, examinons-en un autre pour renforcer ce que nous venons de discuter en haut 1.
Donc, même chose ici.
Les agences les plus importantes d’une situation dans laquelle un État se trouve dans un état et doit ensuite décider quoi faire car ces informations vers
les réseaux de cette image utilisent Internet se régénèrent de manière convolutionnelle, elles tirent leur Lehre
aplatissant pour aller dans les couches masquées nous obtenons un résultat nous obtenons les valeurs aiguës de la politique nous
obtenons à nouveau les valeurs V la même chose que nous avons deux pertes.
Nous avons la perte de valeur qui est ici la perte polonaise qui est ici la perte de valeur.
Nous savons déjà comment est calculé.
Lorsque nous avons discuté de cela dans le cadre de l'apprentissage Q approfondi et que nous venons tout juste de discuter.
C’est ainsi que la valeur a été calculée, puis à nouveau la perte de contrat afin de calculer ce que nous ne ferons
pas pour lui.
Mais au niveau intuitif, nous calculons cet avantage, ce qui est correct. Nous avons donc pris certaines mesures. Nous avons choisi une action
déterminée en fonction de notre politique de sélection, qu'il s'agisse de politique souple Max ou de vente incontrôlable
d'avidité ou de toute autre politique sociale que nous utilisons.
Et ensuite, quelle action avons-nous entreprise? Comparons cela à la valeur connue et à la valeur de l’état
qui provient des critiques partagés. En ce qui concerne celui-ci,
ils contribuent tous à former un critique afin de le familiariser davantage
avec l'environnement et de s'assurer que le critique est représentatif de
ce qui se passe dans l'environnement réel, de sorte que les poids.
C’est là que la perte de valeur intervient de sorte que le poids du réseau de
neurones actuel reflète très bien la situation réelle dans l’environnement, de sorte qu’il puisse ensuite s’appuyer sur cette
valeur et l’utiliser ensuite ici.
Et si fondamentalement.
Donc, tous ces agents, tous ces agents contribuent à cette critique.
Mais en même temps, le critique observe les décisions ou les
politiques de ces agences.
C'est comme si c'était comme regarder en arrière comme si j'essayais de tracer comme une flèche vers les
pôles une flèche.
Donc, en regardant en arrière, la décision qu’ils prennent est de critiquer ces décisions dans cette optique et de
dire OK vous avez pris une décision, vous avez choisi cela, vous avez choisi cette action.
C'est génial.
Calculons maintenant que l'avantage ou le désavantage d'un ranch est égal, vous savez que la valeur
Q aurait pu prendre la décision que j'ai prise ou que le choix que j'ai fait a choisi de prendre moins la valeur
connue du critique.
Pas à propos de la critique.
Donc, Kalika fait la différence si la différence est que vous êtes polonais alors quand vous corrigerez vos
pertes propagées à travers le réseau, la façon dont elles seront ajustées va encourager
les ajustements des pondérations de telle sorte de nouveau que cette valeur Q ou cette valeur Q sera
inférieure, de sorte que, comme notre politique sélectionne les actions en fonction des valeurs q, plus la valeur Q est élevée, plus il
est probable qu'elle sera sélectionnée.
Donc, si nous utilisions comme une règle Arc Max, nous sélectionnons toujours celle qui est la plus élevée. Vous vous souviendrez que
nous en avons parlé, nous sélectionnions toujours celle qui avait la valeur la plus élevée.
Mais nous utilisions en fait une approche probabiliste dans laquelle j’utilisais une politique de Max soft ou une stratégie de
vente inconditionnelle.
Et ensuite, nous sélectionnions essentiellement où nous pouvions choisir l’un d’entre eux, mais plus le cube était haut, mieux c'était.
Donc, si nous choisissons quelque chose et que l'avantage est très faible, le réseau sera bombardé de
telle sorte que la prochaine fois, la valeur de cette action sera moindre et peut-être que quelque chose d'autre
sera plus.
C’est la répartition des coûts. Par contre, si nous sélectionnons un avantage important, les lois relatives
aux politiques, puis les réseaux, seront mis à jour de manière à
ce que cet événement soit plus communément observé: scénario.
Et donc, fondamentalement, toute cette perte polonaise aide le réseau à s’adapter ou à se transformer de la même manière que nous.
Morale des bonnes choses bonnes actions et bonnes choses et moins des mauvaises choses.
Et c’est ainsi que ces deux pertes entrent en jeu et que leur retour est approprié.
J'espère donc que cela s'éclaircit de manière très intuitive bien sûr, nous n'avons pas examiné les formules
dans les mathématiques complexes derrière tout cela, ni dans les détails très complexes.
Mais dans le même temps, espérons-le, de manière intuitive.
Tout cela explique pourquoi nous avons l'acteur et le critique et comment ils interagissent, vous
savez que ces agents sont asynchrones ou synchrones.
Ensuite, c’est votre acteur et votre critique, c’est là l’avantage et la manière dont tout cela entre en jeu.
Donc, ce sont des agents synchrones.
Ils vont.
Ils jouent à cela ou explorent l'environnement et travaillent à travers l'environnement et
ils contribuent tous à un critique qui observe ensuite leurs politiques en observant les acteurs, comme on
l'appelle.
Et par le biais de cet avantage, et par conséquent, cela crée une perte, puis une perte de politique et de
valeur ou une propagation en retour sur le réseau uniquement.
D'une part, représentent le véritable mode de fonctionnement de l'environnement.
Une autre main pour améliorer les performances des acteurs.
Alors on y va.
C'est un récapitulatif rapide de l'intuition dont nous avons discuté.
Une fois de plus, j'espère que tout se résume de manière intuitive et que, bien sûr, dans les tutoriels
pratiques. Nous parlerons davantage de la manière dont tout cela fonctionne à Atlanta et nous vous expliquerons le processus des propriétaires
de bâtiments.
Mais avoir cette image dans votre esprit et ceci comme une sorte de feuille de route de tout ce
qui va se passer va bien se passer. J'espère que cela vous sera très utile pour mieux naviguer dans l'aspect pratique
des choses.
Et en termes de lecture supplémentaire pour aujourd'hui, nous avons deux éléments, donc le premier est l'avantage.
Nous avons donc ici un contrôle continu élevé des démences utilisant l’estimation d’avantages généralisée de
John Shulman. C’est l’image d’un bonhomme bâton se levant comme si on se levait.
Et vous trouverez ici encore plus d’informations sur les avantages et les avantages, ainsi que sur les
différents types d’avantages.
Vous disposez de l’avantage général en matière d’estimation et des avantages que vous utilisez réellement
dans les formulaires des calculs. Par conséquent, si vous souhaitez en savoir plus
sur l’avantage et son fonctionnement, les formules utilisées les éléments du haut en haut ou des formules et pas de trous dans l'espace
de cet avantage.
Nous en avons discuté.
C'est l'article à consulter.
Nous souhaitons également rappeler au blog une série de publications de blog par Arthur Giuliani, que
nous avons déjà mentionnées à quelques reprises.
C'est la huitième partie qui concerne spécifiquement la mer A-3.
Donc, ici, vous pouvez obtenir une autre explication.
Donc, avec un peu plus de mathématiques sur ce qui se passe et vous pouvez peut-être prendre quelques choses supplémentaires à
partir d’ici.
Juste deux choses à garder à l’esprit tout d’abord, comme toujours, ce blog est un groupe d’adhérents de plus en plus nombreux, nous utilisons la
torche pi.
Alors garde cela en tête.
Et deuxièmement, la façon dont nous avons structuré notre approche est que nous avons d'abord parlé de critique
actif, puis de synchrone.
Ensuite, nous avons parlé d’avantage alors que dans le premier journal d’Arthur, le premier
critique d’Arthur parle d’un acteur critique pour Synchronoss.
Mais à part cela, bien sûr, c'est un excellent contenu.
Et nous vous recommandons vivement de vérifier pour quelques informations supplémentaires.
Nous espérons donc profiter du tutoriel d'aujourd'hui.
Et j'ai hâte de vous voir la prochaine fois.
Jusque-là profiter.
JE.