Bonjour et bienvenue au Statoil.
Ainsi, l'agent a maintenant effectué son exploration et lorsqu'il est sur le point de le faire, il doit mettre à jour le réseau partagé.
Donc, la première chose que nous allons faire est d’initialiser le cumulatif que nous appellerons notre capital R et
nous allons l’initialiser en tant que tenseur de torche mais cela aura des dimensions un par un parce que c’est juste une valeur
mais nous voulions être un tenseur.
Et donc j'utilise ici mais des zéros et ensuite 1 1.
Donc, fondamentalement, la récompense cumulée est initialisée à 0.
OK, puis dire que si nous n’avons pas terminé, c’est si le jeu n’est pas terminé.
Ce que nous voulons maintenant, c’est que la récompense cumulée soit égale à la valeur du dernier échange atteint
par le réseau partagé.
Nous allons donc obtenir la sortie de valeur.
Vous connaissez la valeur des sorties de fonction de notre modèle et c'est la valeur que nous allons donner à la communauté que
nous travaillons.
Alors obtenons d'abord cette valeur, nous pouvons l'obtenir de cette façon.
Valeur Alors vous savez, puisque nous voulons seulement la valeur que nous pouvons ajouter ici, soulignez et soulignez encore et ensuite nous obtenons
notre modèle car il produira cette valeur, mais seul le premier résultat de la chose morale à faire est le double
de son parcours ici et ici nous pouvons simplement copier coller ce que nous avons ici.
C’est l’entrée du modèle avec les images d’entrée et l’attraction des États et des États du Sud.
Donc, je ne fais que coller ça et c'est parti.
Nous allons obtenir la valeur.
Et maintenant, ce que nous allons faire, c'est donner à notre valeur pour que tous soient égaux pour la valeur et pour accéder à la
valeur que nous commençons ici.
D'accord.
Maintenant, la condition if est remplie et ce que nous allons faire depuis que nous venons de recevoir une nouvelle valeur. Vous
savez que la sortie du modèle est la première sortie du modèle et ajoute déjà cette nouvelle valeur à la
liste des valeurs.
Nous pouvons donc prendre directement notre liste de valeurs puis vers une tente et nous mettons variable sont parce que notre.
Cette dernière valeur si grande qui se fait maintenant.
Nous allons initialiser les pertes et nous rappeler les conférences sur l’intuition.
Vous avez deux pertes.
Vous avez le dernier de la politique qui est le dernier lié aux prédictions de l'agent.
Et puis vous avez le dernier de la valeur qui est moins liée aux prédictions du critique.
Nous allons donc introduire ces deux variables initialisées à zéro et elles vont prendre ici
la politique pour nous une perte de politique horrible.
Initialisez-le à zéro puis perdez beaucoup de valeur et dites l'initialisé à zéro, n'oublions pas de définir la récompense cumulée comme variable
de la flamme, car nous aurons besoin que ce soit une lampe de poche Roybal, car
nous allons calculer un gradient avec respect, car la récompense cumulative sera un terme de
la perte de valeur.
Donc, est-ce viable? Il est maintenant associé aux graphiques dynamiques avec un dégradé.
Et maintenant, enfin, la dernière chose que nous devons faire avant de commencer la grande boucle de tendance que vous connaissez lorsque nous avons appliqué
à la dégradation du gaz au soleil afin de réduire ce dernier entre les prévisions et les objectifs.
Eh bien, nous devons initialiser les PCGR pour une estimation généralisée de l’avantage et ne pas l’obtenir ou le masquer.
Soyez prudent avec ce GAAP, la variable que nous sommes sur le point d'initialiser actuellement est une estimation généralisée
de l'avantage.
Pour rappel, l'estimation de l'avantage généralisé est par définition l'avantage de jouer l'action a
en observant l'état s.
Donc, c'est une fonction de l'action et de l'état s et il est égal à la différence entre les q
valeurs QA S et la valeur de la fonction V.
Donc en fait je peux l'écrire ici.
L'estimation de l'avantage généralisé est fonction de l'action et de l'état s et est égale aux q valeurs
de l'action A et de l'état S moins la valeur de la fonction V appliquée à l'état
s.
Ce sont les avantages généralisés à mentionner et c'est ce que nous voulons initialiser maintenant.
Et nous allons l'initialiser à zéro.
Mais cela doit viser les danseurs qui allaient utiliser le même truc que ce que nous venons
de faire, nous allons prendre la bibliothèque de flambeau et l’appliquer à la fonction de zebra pour la définir comme un tenseur de valeur
unique égale à zéro.
Et nous allons utiliser cette nouvelle variable g et qui sera égale à cette torche qui zéros 1 on
initialise.
Donc, cela sera initialisé à zéro et donc les q valeurs de l'action l'état s seront égales à la
valeur de la fonction V de l'état s.
D'accord.
Et maintenant, nous sommes prêts à lancer la boucle for.
Nous allons donc avoir une aventure ici.
Alors, faites une bonne pause et je vous verrai dans le prochain tutoriel pour vous attaquer à cela.
Et alors alors je