Bonjour et bienvenue dans ce tutoriel sur Python.
Faisons donc cette boucle en partant de la droite vers la gauche et pour ce faire
nous allons en ajouter quatre
Il s’agit donc d’un VAR itératif qui allait être notre étape car nous allons passer de la dernière
étape à la première étape d’une série de transitions, etc.
Et puis le truc pour aller de droite à gauche est d'utiliser pour pas à pas inversé.
Et maintenant, nous avons juste besoin de saisir une séquence et cette séquence sera bien sûr notre série.
Nous pouvons donc mettre notre série, mais comme vous pouvez le constater dans le document, nous passons de T moins 1 au début.
Donc, nous n'allons pas de la dernière étape qui est la phase terminale mais de l'étape précédente qui consiste à
moins un, mais commencer c'est la première étape.
Et donc, ici, pour ne pas franchir cette étape, nous devons ajouter entre parenthèses la colonne moins un.
Je suis sûr que pour ceux d'entre vous qui ont suivi l'apprentissage de la machine
dans un cours plus approfondi, vous connaissez cette astuce Kollin moins un signifie que vous montez l'élément avant le dernier
élément mais pas jusqu'au dernier la séquence que nous voulons.
C'est ce que nous allons passer de l'élément avant le dernier élément au premier élément et faire les choses
en sens inverse pour aller de droite à gauche.
Très bien, nous sommes prêts à entrer dans la boucle for.
Et donc dans cette boucle pour ce que nous allons faire.
Où allons-nous faire exactement comme dans le papier.
Nous allons mettre à jour la récompense cumulée en la multipliant par le Ghana et en ajoutant le mot atteint dans
l'étape en cours qui est dans l'étape de suivi.
Très bien, faisons cela depuis Python.
Et si nous voulons mettre à jour notre cumul, nous travaillons de la manière suivante en multipliant d’abord son par gamma.
Nous y voilà.
Ici, nous le multiplions par gamma et nous voulons ensuite ajouter la récompense de ce à quoi nous pouvons accéder de cette manière avec
la structure spéciale.
Rappelez-vous que le mot est un attribut de l'objet.
Et donc ici bien sûr nous ajoutons un plus.
D'accord, c'est une récompense cumulative.
Égaux voulons-nous cette étape.
Nous sommes actuellement dans la boucle plus Gahanna fois la récompense cumulée précédente avant qu’elle ne soit un.
Parfait.
Alors maintenant, je pense que nous sommes bons.
Nous suivons à la lettre l'algorithme.
Et maintenant, place aux prochaines étapes.
Eh bien maintenant, ça va devenir assez facile.
Nous revenons au premier suivi parce que cette boucle for consiste simplement à calculer la récompense cumulative sans aller de
droite à gauche en mettant à jour de cette façon.
En suivant l'algorithme et maintenant, comme vous vous en souvenez, l'objectif est de préparer nos entrées et nos objectifs pour
que nous puissions minimiser la différence au carré entre les deux pour la formation.
Et donc pour le moment, la seule chose que nous devons faire est de préparer ces entrées et les toilettes sont prêtes.
Faisons donc ceci en premier. Ce que nous devons faire est d’ajouter la première date de la série dans notre liste de pièces.
Jusqu'à présent, cet état fait partie de notre objectif.
C'était juste pour calculer la sortie.
Nous allons donc obtenir cet état d'entrée de la première étape séparément car c'est exactement ce dont
nous avons besoin dans notre liste.
Alors obtenons ceci séparément.
Par conséquent, nous allons appeler cela un état.
Et exactement comme ici, nous pouvons le comprendre de cette façon en prenant le premier index de la série qui contient
la première transition et en ajoutant ensuite cet état pour obtenir l'état de cette première transition.
C’est donc le site dont nous avons besoin pour indiquer ensuite que nous obtiendrons séparément les cibles associées à
cette étape de la transition.
Et donc une nouvelle variable intéressante ici cible qui sera égale à la valeur de la première étape.
Et puisque la valeur Q est renvoyée par le réseau de neurones, son contenu et sa sortie et que
les sorties sont la sortie associée à cette entrée qui contient bien la première de la transition, nous pouvons obtenir cette
valeur q de la première date en prenant simplement la sortie en prenant l'indice zéro.
Et ensuite, nous ajoutons ces données qui nous obtiendront simplement la valeur Q de l'état d'entrée de la première transition et
c'est exactement l'heure.
Q Donc, de cette manière, nous allons mettre à jour cette variable cible, mais uniquement pour l'action sélectionnée lors de
la première étape de la série et pour accéder à cette première étape.
Nous devons prendre la première série 0, car c’est exactement la première étape d’une série 3 0.
Et pour accéder à l'action correspondant à cette première étape de la série, nous devons ajouter ici cette action qui
correspond à cette structure d'attribut que nous utilisons, vous savez que l'action est un attribut de la première
étape de la série.
Il s’agit de la première transition de la série car chaque transition de la série
a le mot d’action état suivant: elle est exécutée. Ainsi, action ici cette action attribut signifie ici que nous
obtenons simplement l’action de cette première date.
La cible de cette action spécifique de la première étape est donc exactement ce qui doit être mis à jour
par la communauté mondiale.
Donc, fondamentalement, ici, nous allons simplement écrire cette cible associée à l'action qui a été jouée.
La première étape de la série est cette récompense cumulative que nous venons de calculer.
Très bien et maintenant nous sommes enfin prêts à mettre à jour notre contribution en ajoutant ce premier séjour ici et ce premier est
là pour la première heure.
Nous avons seulement besoin de mettre à jour la première étape de la série car vous savez que nous entraînons l'IA sur 10 étapes.
Par conséquent, l'entrée est la première étape des dix étapes.
Et nous obtenons également la cible dans cette première étape, mais nous n’obtenons aucune entrée ni aucune toilette
dans les étapes suivantes des 10 étapes car, fondamentalement, l’apprentissage se fait par 10 étapes.
C’est pourquoi, pour le moment, nous n’obtenons que l’état et la cible de la première étape de la série.
Il est donc important de comprendre cela et donc, si nous comprenons que nous comprenons maintenant que
nous devons les entrer dans notre liste d’entrées et notre liste d’objectifs.
Alors faisons ceci.
Premièrement, annexons les états à nos entrées.
Donc, nous prenons notre liste d'entrées et nous utilisons la fonction append pour ajouter l'état qui rappelle l'état d'entrée de la première
étape de la série, puis nous allons ajouter la cible à la première étape à notre liste d'objectifs et
le faire nous prenons notre liste de cibles et disons que nous utilisons la fonction append
pour annexer cette première cible.
Nous y voilà.
Nous avons presque terminé et nous devons maintenant renvoyer les dernières choses qui sont bien sûr ce dont nous avions besoin, comme nous
l'avons dit au début de ce didacticiel, les entrées et les objectifs qui sont maintenant mis à jour.
Nous allons donc ajouter ici à chaque tour et obtenir nos entrées d’abord,
mais c’est ensuite que nous devrons les convertir en un tableau de nombres puis faire une conversion de type
pour nous assurer que nous avons un type unique avec vous égale et qui flotte 32 le même.
Et ensuite, nous convertissons cela en tenseur de la flamme, car nous travaillons bien sûr avec une torche
totalement obligatoire.
Et donc j'utilise à nouveau le flambeau d'une fonction non thaïlandaise.
Et cela nous donne nos intrants.
Parfait.
Et maintenant, faisons la même chose pour les cibles.
Maintenant, nous pouvons utiliser cette astuce qui est plus rapide.
Nous allons empiler les cibles ensemble et pour cela, nous devons commencer par notre
bibliothèque de flambeaux, car nous allons utiliser la fonction stack par flambeau pour empiler les cibles.
D'accord.
Et donc cette ligne de code renvoie essentiellement les entrées et les toilettes qui viennent d'être mises à
jour via cet algorithme de trace d'éligibilité Sarsour.
Ou nous pouvons l'appeler et intervenir et envoyer nos félicitations.
Nous étions prêts à effectuer la formation finale parce que, fondamentalement, la formation consiste à minimiser
les différences carrées entre les prévisions de nos entrées et des toilettes.
Alors, soyons intelligents.
Il deviendra intelligent et le prochain son.
Et jusque-là, profitez de l'IA.