Bonjour et bienvenue dans l'histoire.
Maintenant, nous allons faire la boucle pour calculer la perte de police et la perte de valeur et
une fois ces deux leçons apprises, nous pourrons utiliser notre optimiseur pour placer la cigarette dans le sable
afin de réduire les pertes.
D'accord, alors on y va.
Nous commençons ici par le chemin dans le tutoriel précédent, nous avons implémenté cette section et j'ai oublié de
supprimer les retraits désolé.
Donc, à partir d'ici, ce n'est pas à l'automne.
Et maintenant, nous commençons une nouvelle boucle complète donc je commence ici avec quatre.
Et maintenant, ce que nous allons faire, c'est que nous allons commencer par la dernière étape qui a été faite pendant l'exploration et que nous
allons revenir en arrière dans le temps.
C’est la raison pour laquelle je fais pour i dans la plage inversée des récompenses terrestres, les plus grandes récompenses étant le moins.
Et puisque chaque étape de l’exploration est associée à l’endroit où nous travaillons car à chaque étape nous obtenons une récompense lorsque
nous formulons des mots.
Est-ce que ce nombre d'étapes et l'inverse sont utilisés ici pour nous permettre de remonter dans le temps afin de pouvoir y aller?
Et maintenant, nous allons mettre à jour la récompense cumulée qui est loin et la mettre à jour de
cette façon.
C'est en fait la même chose que ce que nous avons fait pour Doom.
Cela équivaut au gamma que nous obtenons de nos paramètres et aux premiers programmes, mais pas à la récompense de
ce que nous pouvons obtenir en prenant le moins de récompenses et en prenant l’indice.
Donc pour nous, ce sera le travail du dernier et ensuite ce sera la récompense du jour précédent, etc.
et chaque fois que nous mettons à jour notre En le multipliant par le gamma, puis en ajoutant cette récompense à l'ensemble.
Et en faisant cela, rappelez-vous que nous arriverons à la fin.
Je vais donc l'écrire au fur et à mesure et nous aurons notre récompense communautaire qui sera cool
à la fin de la boucle, à zéro.
La récompense de l'étape zéro plus les temps gamma sont égaux à un.
Nous avons été les premiers à dire que les temps plus gamma sont au rendez-vous.
La deuxième étape plus celle plus gamma à la puissance de et moins une fois la récompense obtenue à l'étape et moins 1 où que
ce soit, mais attention à la fin, nous aurons un gamma à la puissance du
nombre d'étapes.
Les temps dévaluent la valeur de la fonction appliquée au dernier état.
C'est ce que nous devrions obtenir pour l'instant.
Et cela, nous l'obtiendrons parce que souvenez-vous ici, nous avons obtenu cette valeur et la dernière étape car cela a été fait à
la fin de cette boucle ici.
Et donc nous avons eu la valeur et nous avons mis notre pour être égal à cette valeur.
Donc en ce moment, au début de la seconde boucle complète, ici sera égal à cette valeur de la dernière
date.
Mais alors, en faisant cela, nous obtiendrons à la fin un nombre égal ou nul, ou un court de tennis
ou deux plus peuvent ajouter la puissance et moins une fois que nous étions au pas et moins un
plus à la puissance du nombre d'étapes fois cette valeur de Lastings.
C'est donc l'essentiel à comprendre et cela peut être l'action de la récompense cumulative.
Et c’est pourquoi il est important de commencer par initialiser ou par le ici et de faire
cette boucle inversée pour obtenir l’équation finale parfaite.
Et maintenant que nous avons la bonne valeur pour la récompense cumulée, nous allons calculer l’avantage
et l’avantage ici est simplement l’avantage d’obtenir cette récompense par rapport à eux.
Donc, je vais présenter un avantage évolutif et donc il sera égal à cette récompense cumulative moins
la valeur de la fonction V obtenue au stade.
Voilà donc nos valeurs moins.
Parfait.
Et maintenant que nous avons la communauté sur laquelle nous travaillons et l'avantage, nous pouvons alors obtenir la perte de valeur.
C'est le premier que nous pouvons obtenir maintenant.
Donc, nous allons obtenir notre valeur fait très bien et cela sera mis à jour de la manière suivante.
Rappelez-vous jusqu'à présent que nous avons dévalué a été initialisé à zéro.
Et donc nous allons prendre la perte de valeur à nouveau et à 0. 5 fois la case à l'avantage afin que nous puissions l'obtenir de cette
façon.
Avantage pensé aussi.
Cela signifie donc que nous voulons juste concilier l'avantage du pouvoir et c'est exactement la valeur plus la
perte générée par les prédictions de la valeur de la fonction fournie par le ruisseau.
Il est donc logique que cela soit dévalué simplement parce qu’il faut se rappeler que l’avantage de l’action dans l’état s
est la différence entre la valeur Q et la valeur de la fonction B.
Et ainsi lorsque nous jouons l'action optimale Eh bien, nous obtenons l'état stationnaire avec Q optimal de l'action optimale
d'un joueur étoile dans l'état égal à la valeur optimale.
Vistar de l'état s.
Il est donc assez intuitif de comprendre que lorsque l'avantage n'est pas égal à zéro, il y aura une
différence entre les deux.
Et c'est ainsi que le dernier est mesuré.
D'ACCORD.
Donc, tout dernier calculé un dernier bas.
Nous avons maintenant un plus à faire.
C’est la perte de politique et c’est ce que nous allons calculer pour le moment.
Pour le calculer, nous devons réexaminer l’estimation de l’avantage généralisé, car pour calculer la perte de politique, nous avons besoin d’estimer
l’avantage généralisé et d’obtenir les avantages généralisés du pays. nous avons d’abord besoin de la différence temporelle des
vannes à étage.
Nous avons donc plusieurs choses à calculer ici et nous allons commencer par cette différence temporelle une fois que nous
aurons la différence temporelle.
Nous obtiendrons l'estimation des avantages généralisés et une fois que nous aurons les avantages généralisés à
mentionner, nous obtiendrons les péninsules.
D'accord.
Commençons donc par la différence temporelle T. G. DD correspond à la récompense de l’étape I
plus le Ghana, ce qui nous place dans notre liste de programmes; ainsi, le gamma Bromstad est multiplié par la valeur
de cette dette et nous ajoutons les données pour y accéder, moins la valeur de l’étape I, et nous ajoutons les données.
D'accord.
C'est la formule de la différence temporelle et des valeurs d'état.
Et maintenant, nous pouvons mettre à jour l'estimation de l'avantage généralisé et comment est-elle datée.
Nous prenons R-GA et nous le multiplions par le paramètre gamma gamma times auquel nous avons également accès avec nos
paramètres.
Nous prenons donc la cellule de programmes et nous ajoutons cette différence temporelle des valeurs d'état.
Donc sois prudent.
Nous sommes au courant.
Et chaque fois que nous multiplions le par et le, nous ajoutons une différence temporelle.
Il est donc important de comprendre qu’à la fin de cette boucle, cette estimation
d’avantage généralisée sera égale à la somme de tous les pas des temps gamma, de sorte que la puissance de i fois la différence temporelle au pas
soit si importante pour le conserver. à l'esprit.
Et maintenant que nous avons l'estimation de l'avantage généralisé et la différence générale, nous pouvons
enfin calculer la politique.
Alors faisons ceci.
Nous allons mettre à jour nos lois sur les politiques de la manière suivante en reprenant l'ancienne politique pour
nous et nous soustrayons les probabilités LUGG obtenues à l'étape que nous multiplions par cette estimation généralisée de l'avantage que nous
devons mettre dans une variable les gradients.
Il faut donc l’attacher aux gradients du graphique, puis on ajoute moins 0. 1 fois l'entropie.
L'entropie obtenue à l'étape en automne.
Et encore.
Maintenant soyez prudent.
C’est l’intérieur de la boucle, ce qui signifie qu’à la fin de la grippe, vous obtiendrez une
politique plus égale à moins certaines étapes du produit de la stratégie aux étapes de l’estimation généralisée de
l’avantage.
Plus ce 0. 01 fois l'entropie fait le pour que nous obtenons.
Et maintenant quelle est la politique du I.
Eh bien, c’est les faibles probabilités Max des actions et l’entropie de cela qui vous permettront de savoir ce
que nous avons calculé plus tôt.
Et ce que nous avions l'intention de faire la liste.
Donc, nous avons déjà cela.
Mais cette année, j’entends dire que c’est la probabilité modérée des actions.
Et pourquoi mettons-nous un moins ici.
C'est parce que la chance de la probabilité et l'entropie sont des valeurs négatives.
Et puisque nous voulons minimiser leur valeur absolue, nous devons considérer ce dernier comme la probabilité LUGG, par opposition
à une distance.
Non, nous voulons maximiser la probabilité de l’action qui maximisera l’avantage.
C'est toute l'idée derrière cela.
Nous voulons maximiser la probabilité de jouer l'action qui maximisera l'avantage et pour ceux d'entre vous
qui pourraient se demander quel est le but de cette entropie efficace.
Il y a ce facteur 0. 01 ici.
L’objectif est simplement de l’empêcher de tomber trop rapidement dans un piège dans lequel nous avons une distribution de
probabilités avec des zéros pour toutes les actions sauf une qui en a une.
Et si cela se produit, cela minimiserait l'entropie.
C'est pourquoi nous ajoutons cette petite révision 0. 01 année qui fera augmenter l'entropie dans le
Grand dans le sens.
OK, la bonne nouvelle est que la partie la plus difficile est terminée.
Nous avons les deux défaites et par conséquent, ce que nous devons seulement faire maintenant et nous savons déjà comment le faire consiste
à effectuer simplement pour obtenir une note dans le sens de réduire ces deux classes.
Et donc, ce que nous allons faire maintenant, c'est sortir de cette boucle et nous allons utiliser notre optimiseur.
Celui que nous avons créé séparément puis nous rappelons que la première chose à faire est
d’initialiser tous les paramètres de notation à zéro et, pour ce faire, nous ajoutons cela à zéro et nous l’appelons méthode grad.
Bon alors c'est fait alors.
Nous allons maintenant effectuer une propagation en amont, mais nous allons accorder deux fois plus d'importance à la stratégie
en dernier lieu qu'à la valeur perdue, car la stratégie est plus petite.
Donc, pour ce faire, nous allons mettre entre parenthèses la politique et le score plus plus 0. 5 perte de valeur, donc 0. 5 fois la valeur pour nous et nous allons
ajouter ici que nous appliquons la méthode de retour en arrière pour effectuer la propagation en arrière et, grâce
à cette astuce, ici avec la politique moins la moitié de la valeur que nous
avons deux fois plus d'importance la vaness.
OK, nous allons utiliser une autre astuce qui consiste à empêcher le gradient de prendre des
valeurs extrêmement grandes et donc à générer l’algorithme.
Et le truc à faire est d’obtenir d’abord notre bibliothèque de flambeau,
puis la fin et le module de la bibliothèque de flambeau, puis le sous-module utils et nous allons
maintenant utiliser une fonction paramètres du modèle avec une deuxième entrée qui sera 40.
Et cette astuce va fondamentalement faire en sorte que les gradients ne prennent pas de très grandes
valeurs et générer l'algorithme.
Et pour ceux d'entre vous qui pourraient se demander si ces 40 ans.
Exactement.
Cela signifie simplement que nous utilisons ces valeurs, de sorte que la norme du gradient
reste comprise entre 0 et 40, ce qui empêche le gradient de prendre des valeurs élevées.
OK maintenant nous avons presque fini.
N'oubliez pas que nous avons créé cette fonction et que nous avons bien sûr partagé la fonction de Gretz au début de l'automne, qui
consiste à s'assurer que l'agent et le modèle partagé partagent les mêmes gradients et à le faire pour nous assurer que nous
pouvons appliquer cette fonction ici.
Et nous allons donc ajouter et partager les diplômés pour nous assurer que le modèle moral et le modèle partagé partagent les
mêmes gradients.
D'accord, c'est juste une précaution.
Je ne suis pas sûr que ce soit absolument nécessaire, mais vous savez au moins que nous n’aurons pas de problème ici.
D'accord.
Et enfin, dernière ligne de code, nous allons bien sûr effectuer l’optimisation pour réduire les pertes et
vous savez le faire. Nous prenons bien sûr notre optimiseur et nous ajoutons cette étape entre parenthèses et nous passons
ensuite à l’entraînement de notre cerveau. plus de.
Alors félicitations.
J'espère que ce n'était pas trop écrasant.
Ne vous inquiétez pas, je fournirai le code avec tous les commentaires.
Donc, si vous avez oublié certains détails, vous pouvez consulter les commentaires.
Et ne vous inquiétez pas si vous n'avez rien compris, c'est très avancé.
Mais rassurez-vous, c’est également la visite la plus puissante du créateur de pi.
Nous travaillons donc vraiment avec les meilleurs ici.
L’état de la technique est donc tout à fait normal si vous n’avez pas tout compris la première fois
mais en y travaillant plusieurs fois, vous vous sentirez de mieux en mieux.
Alors maintenant, nous en avons terminé avec la formation.
Nous avons donc conçu toutes les choses les plus importantes que vous savez, nous avons créé le cerveau en construisant les architectures
des réseaux de neurones avec les convolutions LCN et les couches entièrement connectées.
Nous avons entraîné son cerveau en créant ce code de train ici.
Donc, fondamentalement, le cœur de l'algorithme est terminé.
Vous avez fait le A3 voir les félicitations.
Nous avons maintenant un peu plus de choses à faire, mais c’est juste pour obtenir la partie amusante.
Vous savez que nous devons effectuer le test que nous avons découvert, qui permettra de tester les agents et de fournir les vidéos et
que l'avion se déclenche.
Ce sera donc très amusant de voir que nous ne coderons pas toutes les lignes de ce test que je suis tombé parce que, comme nous l'avons dit, nous
avons fait la chose la plus importante.
Tous liés 23C mais je vais bien sûr expliquer le code et finalement nous avons ce composé que j'ai trouvé qui
va exécuter le code.
Et à partir du moment où nous exécutons ce code, tout le code sera généré.
Alors le cerveau sera fait.
L'entraînement aura lieu et l'oeil jouera de nouveaux jeux d'évasion et nous obtiendrons toutes les vidéos.
J'ai donc hâte de les regarder.
Nous allons voir s'il est assez intelligent pour attraper le ballon.
Alors maintenant, je vais voir dans le prochain tutoriel pour cette interface utilisateur de bureau afin que nous puissions tester l'IA sur de
nouveaux jeux.
Et jusque-là, profitez de l'IA.