Bonjour et bienvenue dans ce tutoriel de Statoil nous allons synchroniser avec le modèle partagé.
Donc, ce que nous allons faire, c'est toujours envoyer la fonction, bien sûr, puis initialiser la longueur d'un
épisode.
Nous allons donc appeler la durée d'un épisode et les longueurs de base que nous allons et nous
allons l'initialiser à zéro.
Mais alors cette longueur actuelle sera incrémentale.
Et en parlant d’incréments, c’est exactement ce que nous ferons.
Nous allons donc utiliser une boucle while et utiliser cette astuce pour dire au vrai Kallen de répéter ce qui va se passer maintenant, ce qui
va se passer à l'intérieur de ce monde.
Et donc la première chose qui va se passer dans cette boucle est cette incrémentation de la durée
d'un épisode.
Donc, la première chose que nous allons faire est d’augmenter de 1 et pour ce faire,
nous pouvons simplement prendre la longueur des épisodes et ajouter ici plus 1.
Et maintenant, nous allons synchroniser davantage avec le partage.
Cela signifie que c'est maintenant que l'agent obtiendra utilisera le modèle partagé pour effectuer sa petite exploration sur
un certain nombre d'étapes et comment le modèle va-t-il obtenir ce modèle partagé.
Eh bien, nous devons prendre notre morale, puis utiliser la méthode de Dick, car nous allons l’utiliser pour
obtenir le dictionnaire d’état de notre modèle partagé. Nous devons donc placer le modèle partagé en premier et appliquer ensuite la
méthode statique à récupère les paramètres du modèle partagé.
Et c’est comme cela que notre modèle ici permettra au modèle partagé d’explorer sa petite exploration OK.
Et une fois que le modèle obtient ce modèle partagé, nous devons maintenant distinguer deux cas.
Le premier est si terminé c'est-à-dire que si le jeu est terminé, le jeu est terminé, puis ce qui se passe dans ce cas.
Nous devons réinitialiser les états cachés et les états de cellule du LSD et du centre commercial.
Et c'est pourquoi je vais prendre See X les états de la cellule et également vieillir X les états cachés et je
vais les réinitialiser, les livres et comment allez-vous les réinitialiser.
Eh bien, avec seulement des zéros, il y aura un vecteur de 256 zéros, car souvenez-vous des sorties du reste.
Comme je l'ai mentionné 1 et 256.
Donc, voilà, nous allons les initialiser en utilisant la bibliothèque de torches, puis la fonction du zéro.
Et comme nous voulons un vecteur de 256 zéros, nous allons entendre les dimensions un pour le vecteur et
256 pour le nombre d’éléments qui seront des zéros, puis nous irons.
Mais ensuite, nous convertirons cela en un voivode de la torche, car certains gradients seront calculés.
Nous devons donc intégrer cela avec un dégradé.
D'accord.
Et nous allons faire la même chose pour les états cachés situés juste en dessous et les analyser de la même manière.
Nous y voilà.
Donc, si le jeu est terminé.
Et maintenant, l’autre cas auquel nous pouvons accéder avec Else autrement que ce qui se passe dans ce cas.
Eh bien, nous allons conserver les anciens états de cellules et les enjeux cachés et
ainsi très facilement, nous pouvons conserver les anciens de cette façon en tapant voir X est égal à la variable cx cette donnée et identique pour les États
que nous pouvons simplement ajouter ici H x est égal variable xx que les données sont à.
Bonne chose faite.
Maintenant, nous pouvons nous en sortir parce que nous en avons presque fini avec ces deux cas, que le jeu soit
terminé ou non, mais nous restons dans le coup, car nous allons faire encore plus de choses
qui sont essentiellement la formation processus.
Nous allons donc maintenant initialiser plusieurs variables qui seront au cœur des
calculs de la formation.
Faisons donc cela, nous aurons besoin des valeurs dont le souvenir est la sortie du critique.
C'est la fonction.
Et nous les initialiserons comme un nid vide.
De cette façon, nous devrons avoir des probabilités.
Donc, bonne chance et nous allons également l'initialiser comme une liste vide.
Ensuite, bien sûr, nous aurons besoin de tous les mots que nous initialiserons également sous forme de liste vide.
Et finalement, nous allons avoir besoin que l'entropie soit quelque chose de nouveau.
Mais c’est bien au cœur des conditions de formation.
Donc jusqu'à ce que tout se passe bien.
Donc, maintenant que nous initialisons ces quatre variables, nous pouvons commencer une nouvelle boucle FOR, puis ce nymphal mettra
à jour les valeurs de ces quatre variables.
Et donc cette nouvelle Foluke va être un cerceau complet sur les étapes d’expiration et donc la
variable de bouclage sera nos étapes.
Donc, pour un pas dans la plage et à l'intérieur, nous pouvons directement mettre peut-être des points non-stop car le paramètre dans certaines étapes
est exactement le nombre de pas de l'accélération.
Donc, pour toutes les étapes de l'accélération Que faisons-nous.
Eh bien, nous allons obtenir les prévisions du modèle.
Maintenant, ce qui est renvoyé par le modèle et pour obtenir ces prévisions, nous pouvons simplement prendre le modèle et
l’appliquer aux entrées qui signalent le signal d’entrée, il passe par les cerveaux du modèle.
Et cela nous donnera les résultats, mais il y en aura plusieurs. Vous savez que cela nous donnera les
valeurs de la fonction qui est le résultat du critique.
Ensuite, les q valeurs QSA qui sont la sortie de l'acteur mais n'oubliez pas que cela produira aussi le
renversement des états de Doheny et des petits états, car rappelez-vous que si nous retournons à notre modèle
dans la fonction avant, nous pouvons le voir. il renvoie la sortie du critique.
C’est la valeur de la fonction oui, puis la sortie de l’acteur qui, du cube, attribue la valeur QSA, ainsi
que la sortie du CM, qui vérifie et voit X puis États et États de la cellule.
Nous devons donc faire attention à cela.
Ceci est très différent de ce qui s'est passé auparavant et nous allons donc maintenant les appliquer
tous aux entrées qui sont l'état.
Mais maintenant, il y a plusieurs choses à faire qui sont liées à la torture.
Mais cela donne bien sûr du pouvoir à ce que nous faisons.
La première chose à faire est de compresser les états pour ajouter cette dimension qui doit avoir l'index
0.
En effet, le modèle ne peut accepter qu'un lot d'entrées et non une fin en soi dans un vecteur ou plus intense.
C’est la première chose que nous devons faire et presser, mais ce n’est pas tout ce dont nous
avons besoin pour convertir nos états d’entrée en un flambeau annulable, et j’y suis ici.
Nous sommes donc maintenant avec la police d'État, mais rappelons-nous que les entrées des quatre fonctions sont en
réalité l'image d'entrée.
C’est ce dont nous venons de nous occuper, mais aussi de ce type d’âge X les États et les États cellulaires et nous
devons donc ajouter ici.
Cette deuxième partie de l’intrant avec son attrait des âges X et 6.
D'accord.
Et nous devons reprendre la parenthèse.
Voilà, nous avons nos deux entrées. La première est l’état d’entrée, c’est-à-dire que les images d’entrée sont toutes
converties en variable et compressées pour ajouter cette fausse dimension du lot et arrêtent tous les états et
les états du Sud.
Nous sommes donc tous prêts à partir.
Nous sommes prêts à obtenir nos prévisions.
Et maintenant depuis ce retour.
Eh bien, nos trois prédictions sont la sortie de la critique jusqu'à l'acteur et le sommet de toutes les réintégrations
rendues nécessaires par le CME.
Eh bien, nous allons maintenant introduire trois nouvelles variables qui produiront trois sorties.
Donc, alors nous obtenons que la première sortie est la valeur de la fonction V qui est la sortie de la critique.
Nous allons donc appeler ça comme ça.
Alors on y va.
C'est la première sortie.
Ensuite, la deuxième sortie sera la sortie de l'acteur.
Et ce sont les valeurs Q QSA.
Mais puisque les valeurs q sont associées aux actions, nous pouvons aussi les appeler les valeurs d’action.
D'accord.
Et puis trouver une sortie renvoyée par le lendemain.
C'est le double de la taxe de vente cachée et les états des cellules voient X, puis nous obtenons trois résultats
renvoyés, qui sont tous parfaits.
Alors maintenant que nous avons les préditions, nous devons utiliser un logiciel Max pour jouer la bonne action.
Et maintenant, c’est exactement ce que nous avons fait auparavant.
La prochaine étape consiste à obtenir nos probabilités afin que nous puissions les appeler et c’est là où nous utilisions la méthode
Max que nous prenons à partir du module fonctionnel qui a une chance de ff que Soughed Max produira une distribution
des probabilités de l’entrée que nous sommes sur le point de mettre maintenant et qui bien
sûr les valeurs réelles qui sont les q valeurs qui sont les sorties de l'acteur dans le modèle.
Nous avons parfois des probabilités, mais comme vous l'avez remarqué, nous allons travailler avec
l'entropie. Ensemble, l'entropie ne conduirait pas seulement les probabilités, mais également les probabilités LUGG, car l'entropie
est la somme du produit Lucke prob. fois trub tout cela multiplié par moins 1.
Et nous devons aussi connaître notre amour pour ce qui va être généré par LUGG soft max.
Ainsi, au lieu de prendre une distribution des probabilités, nous prenons une distribution des
probabilités et c'est ce que nous faisons avec LUGG soughed frappe la fonction Optimax pour dire que nous nous appliquons au cube et utilisons ce que
nous appelons les valeurs d'action.
Bon maintenant nous avons le prob et le lock up.
Nous sommes donc prêts à obtenir l'entropie et l'entropie.
Quelle est la formule pour cela.
Comme je viens de le dire, nous prenons le message de chance que nous multiplions par le produit.
Ensuite, nous allons prendre la somme de tout cela et pour faire cela, nous pouvons ajouter ici que nous utilisons effectivement la
rue plusieurs fois maintenant.
Et comme nous l’avons dit, nous le multiplions par moins 1.
Donc, c'est le moins de la somme du produit.
Beaucoup de fois.
Parfait.
Et maintenant, nous allons stocker cette entropie qui vient d'être calculée dans notre liste d'entropie.
Voilà, nous avons le dernier calcul de l'entropie.
Nous avons donc besoin de la stocker dans la liste des entropies. Pour ce faire, rien de plus simple,
nous allons utiliser la fonction append bien sûr, car entropies est une liste.
Nous prenons donc notre liste d'entropies, puis nous commençons et nous utilisons la fonction append pour ajouter
l'entropie à celle calculée.
Très bien, nous allons faire une pause maintenant.
Nous allons faire cela étape par étape dans la prochaine histoire. Nous allons jouer l'action en tirant
au sort cette distribution générée des probabilités.
Et après que nous ayons joué, nous obtiendrons la valeur de cet état et nous conserverons éventuellement
notre nouvelle récompense d’États en transition.
Ce sera donc un nouveau grand pas en avant que nous accomplirons à la prochaine étape.
Jusque là je