Bonjour et bienvenue dans ce tutoriel sur Python.
Très bien, nous allons créer aujourd'hui la fonction de mise à jour qui mettra à jour tout ce qui existe
à ce jour dès que l'œil aura atteint un nouvel état.
Donc, quand il atteint une nouvelle étape, vous savez que nous devons mettre à jour l'action.
La dernière vient en fait de la nouvelle action qui vient d’être jouée.
Mais aussi la dernière date qui devient le nouvel état.
Et enfin, le dernier mot qui devient le nouveau mot que nous recevons lorsque nous jouons l’action.
C'est donc le chemin logique qui se produit juste après la sélection d'une action.
Nous devons mettre à jour tous les éléments des transitions.
Et bien sûr, vous aurez une nouvelle transition.
Nous devrons donc ajouter cette nouvelle transition à la mémoire.
Et enfin, nous mettrons également à jour ou récompenserons la fenêtre que vous connaissez pour
surveiller l'évolution de la formation et de l'exploration.
Mais le plus important pour vous de comprendre, c’est que nous
pouvons enfin établir un lien entre l’intelligence artificielle que nous implémentons et notre
carte, c’est là que nous avons créé le jeu avec la voiture et défini comment
elle devrait être punie lorsqu’elle commet une erreur.
Mais dans cette classe de jeu, nous avons remarqué cette fonction de mise à jour et dans cette fonction de mise à jour, nous avons
remarqué cette action en ligne, car la dernière mise à jour du cerveau nous a permis de réduire le signal.
Et en fait, c’est exactement ce que nous sommes sur le point de faire.
Nous sommes sur le point de créer cette fonction de mise à jour qui prendra le dernier mot et le dernier signal pour que
l’action suivante soit exécutée.
Ainsi, non seulement la mise à jour mettra à jour tous les différents éléments de la transition.
Mais surtout, nous allons jouer l'action que nous devrions jouer lors de l'obtention du dernier mot et du dernier signal.
Ainsi, bien sûr, dans cette fonction de mise à jour, nous utiliserons la fonction de sélection d'action que nous venons de mettre en œuvre
avant d'intégrer la fonction de sélection d'action fonction de mise à jour future que nous sommes sur le point de
faire pour sélectionner la direction à jouer en plus de toutes les mises à jour.
Il est donc très important d’établir ce lien avec la carte pour le moment.
Ce que nous sommes sur le point de faire est finalement le lien entre notre œil et le jeu que nous faisons
dans cette classe.
Et si ce que nous pouvons faire maintenant est directement prendre cette mise à jour.
Enfin, nous avions moins de signal, car c’est la fonction que nous allons utiliser avec ces deux
arguments.
Et tout comme un cerveau de rappel rapide, notre objet IA est l’objet de la classe Dejuan.
Donc, ce que nous allons faire maintenant, c'est que nous allons copier cette mise à jour, moins le mot, moins le signal, et ce
sera notre prochaine fonction que nous allons créer.
Et donc et en collant cela ici, alors juste pour faire attention, je voudrais juste donner des noms différents
de ceux que nous avons ici.
Vous savez que nous avons le dernier mot ici et je ne veux pas confondre ce dernier mot avec celui-ci.
Cela peut être dangereux.
Je vais donc remplacer le dernier mot par mot.
Et en passant de même pour moins de signal, mettons simplement un signal ou même un nouveau signal pour spécifier que vous savez que nous
voulons mesurer cela lorsque vous atteignez un nouvel état et obtenez ainsi un nouveau signal.
Mais alors bien sûr, ce mot ici sera la dernière récompense que nous aurons ici.
Vous savez, lorsque vous allez sur du sable ou pire encore, vous vous approchez trop d'un bord de la carte pour
définir le dernier mot.
Ce dernier mot sera l'entrée de la fonction de mise à jour, c'est pourquoi nous avons le dernier mot ici.
Mais juste ici je donne juste un autre nom pour l'argument.
Nous voulons ne pas confondre avec le dernier mot ici.
Très bien, voici la fonction de mise à jour.
Et maintenant, allons à l'intérieur et faisons ces deux choses.
Ce sont les données de tous les éléments de notre transition et bien sûr la sélection de l'action.
OK, que devons-nous d'abord mettre à jour?
Comme vous l'avez compris, nous souhaitons fixer une date pour atteindre n'importe quel état.
Donc, la première chose que nous allons mettre à jour est évidemment cette nouvelle que c’est la nouvelle que nous atteignons.
Je vais donc appeler ce nouvel état nouvel état et ensuite il le fera.
Et alors, comment pouvons-nous obtenir ce nouvel état.
Bien sûr, cela dépend du nouveau signal que les capteurs ont détecté.
Et pour rappel, l'état est le signal lui-même composé des trois signaux que les capteurs signalent
un signal pour signaler trois plus orientation et moins orientation.
C'est notre état.
Alors assurez-vous de comprendre que le signal est l'état.
Mais pour le moment, il s’agit d’une simple liste de cinq éléments.
Et puisque cela va être l’entrée pour faire tout ce travail, rappelons-le, nous devons le convertir en capteur
de torche.
C'est donc exactement ce que nous allons faire maintenant.
Nous allons prendre notre bibliothèque de flambeau, puis la classe de tenseurs, qui convertira notre nouveau signal en torche plus dense,
il est donc préférable de s’assurer que tous les éléments de la torche à répondre sont des flotteurs,
je vais donc Effectuez une conversion de type pour les convertir en flottants comme celui-ci.
Et enfin, essayez d’avoir un réflexe sur ce que nous devons faire ensuite.
C’est bien sûr créer ce fake down engine pour ajouter des diamants et correspondre
au lot et nous le faisons bien sûr avec la fonction de compression à laquelle nous devons attribuer l’indice de ce gros diamant.
Et nous voulons pour le lot qui est zéro.
D'accord.
Et maintenant nous avons nos nouveaux états composés des trois signaux des trois capteurs plus l’orientation
moins l’orientation et bien sûr cela dépendra du nouveau signal que nous obtenons avec cette fonction de mise à jour.
En ce moment, dernier signal, nous obtenons les trois signaux.
Donc, en plus moins ou en plus et comme rappel, les trois signaux sont la densité du capteur
détecté autour des capteurs.
D'accord.
Nous venons donc de passer à une nouvelle étape, ce qui signifie que nous avons atteint la nouvelle étape et que nous devons maintenant effectuer la prochaine mise à jour.
Donc, selon vous, que devons-nous mettre à jour maintenant?
Quelle serait la chose logique à ce jour maintenant après avoir atteint ce nouvel état.
Eh bien, ce dont nous avons besoin maintenant, c'est de la mémoire.
Pourquoi donc.
C’est parce qu’à chaque instant t une transition est composée de l’état actuel Estey le lendemain sous forme de
tipis lorsque la récompense est arti et l’action 80.
Et maintenant nous avons déjà S-T nous avons déjà notre équipe et nous avons déjà 80 et nous venons de
recevoir le dernier élément de la transition Estep plus un.
Donc, en obtenant ce nouvel état aussi profond qu’un autre, nous obtenons une toute nouvelle transition de la mémoire et nous devons
donc annexer cette toute nouvelle transition à la mémoire car c’est simplement notre prochaine transition.
C'est pourquoi nous avons cette mémoire en ce moment.
Et par conséquent, ce que je vais faire, c'est prendre mon objet mémoire créé à partir de la classe de
mémoire de relecture et donc je vais prendre la mémoire propre pour faire référence à l'objet.
Mais depuis que je me sers de moi-même, je dois l'inclure dans la fonction.
Alors maintenant, vous pouvez vraiment voir à quoi sert ce moi.
C'est chaque fois que vous utilisez une variable que vous avez créée et initialisée dans la fonction init dans cette mémoire.
Et maintenant nous l'avons fait.
Et selon vous, comment nous allons mettre à jour cela.
La bonne nouvelle est que nous avons déjà créé une fonction pour le faire.
C'est la fonction push qui interdit un événement ou une transition en mémoire.
C'est donc exactement ce que nous allons utiliser maintenant.
Nous allons utiliser la fonction push pour écrire dans la mémoire notre nouvelle transition que nous venons de
faire. Par conséquent, je ne prends pas un égal, nous allons utiliser la méthode et donc nous
pouvons utiliser directement cette poussée.
Et je vais d’abord ajouter la transition à cette nouvelle transition que nous venons de recevoir et qui est la première à la
dernière date.
Donc moi-même ce dernier rendez-vous.
Donc, c'est S-T. C'est exactement celui-là, il existe déjà.
Ensuite, l'élément suivant de cette transition est bien sûr le nouvel état que nous venons d'atteindre.
Et par conséquent, puisque l'objet que nous avons créé et initialisé dans cette fonction init n'est pas viable, nous ne
le mettons pas ici.
Nous mettons directement le Newstead puis le prochain élément de la transition est l'action et disons que nous avons déjà la dernière section
qui est ce soi-même que la dernière action ici.
Alors bien sûr, il est égal à zéro.
Mais alors bien sûr, il sera mis à jour avec la fonction d’action select.
Mais c'est celui-ci.
Alors, c’est soi-même que la dernière action.
Mais maintenant soyez prudent.
Les éléments qui ont été inclus dans cette transition devraient tous être des réponses incendiées.
Comme vous pouvez le voir, c'est le cas pour la dernière date.
C'est un capteur de torche.
Le nouvel état est également incendié en réponse.
Et si cela doit être la même chose pour l'action et ensuite la récompense bien sûr.
Mais maintenant, vous allez penser à une réponse incendiaire, alors qu’il s’agit simplement d’un chiffre.
Vous savez que l'action est 0 1 ou 2.
Mais en fait, ce n'est pas un problème.
Nous pouvons toujours convertir cette variable 0 1 ou 2 en un capteur de torche.
Ce sera juste ce que nous appelons un tenseur long.
Le long est un type et c'est le tenseur qui contiendra un entier car la dernière action
est un entier c'est 0 1 ou 2.
Donc, ce que nous allons prendre maintenant, c’est notre flambeau de bibliothèque, puis nous allons prendre une classe
de tenseur qui crée un objet qui sera le non-tenure lui-même.
Et en prenant cette dernière fonction d’action comme entrée, il créera ce long
objet tenseur, mais il contiendra toujours 0 1 ou 2 dans un objet tenseur long. travailler avec
PI torch et nous travaillons avec un réseau de neurones.
Nous devons donc travailler avec des capteurs pour pouvoir répondre rapidement.
Et une dernière conversion à faire.
Nous devons nous assurer que le contenu de cette réponse longue est un entier et pour s’en assurer, même
si nous savons déjà que la dernière action est 0 1 ou 2 pour nous assurer que nous allons
effectuer à nouveau cette conversion de type int. auto dernière action en un entier.
Nous y voilà et nous devons ensuite simplement mettre cette action désintéressée entière entre crochets ici pour obtenir
maintenant un long tenseur d'un élément qui sera cette dernière action 0, 1 ou 2 elle-même.
Le point clé est donc que vous convertissez un simple nombre zéro un ou deux en un tenseur avec torche.
D'accord.
Et puis enfin le dernier élément de la transition et c'est bien sûr le dernier mot que nous avons eu.
C'est exactement le dernier mot de volleyball que nous avons créé dans n'importe quelle fonction initialisée à zéro.
Mais alors bien sûr, est mis à jour ici dans ce code, soit lorsque nous passons à un sens qui est un
mot négatif, soit si nous nous éloignons de l’objectif, c’est encore une récompense négative.
Si nous nous rapprochons de l’objectif, c’est une récompense positive et la pire punition si nous nous approchons trop près
d’un bord de la carte. C’est un terrible mot négatif moins un.
Et c'est ça.
Ajoutons donc ce dernier élément de la transition auto-dirigeant le mot.
Donc, je copie ce collage ici et maintenant, nous devons faire une autre conversion qui sera bien sûr exactement
identique à celle-ci uniquement puisque le mot n'est pas un entier, mais un nombre flottant.
Nous ferons simplement un flambeau cette conversion tenseur mais sans cela nous garderons les crochets ici car vous savez
d’abord nous devons mettre le numéro dans une liste et ensuite cette liste ira mettre le flambeau
en classe faire cela en conversion car le dernier mot est un nombre flottant.
Nous allons donc simplement ajouter ici le tenseur des points de la torche, puis les parenthèses.
Et nous allons fermer les crochets ici et nous fermons la parenthèse.
Nous y voilà.
Donc, pour résumer, vous avez dit que nous venons d’atteindre et que nous observons un nouvel événement de transition que
nous ajoutons à la mémoire.
Et cette transition contient la dernière date et voit le nouvel état comme tipis lorsque la dernière action
joue 80 et le dernier mot Archie.
D'accord.
Et maintenant nous allons avec notre mémoire de dates.
Alors faisons une petite pause et nous nous occuperons de la prochaine mise à jour dans le prochain tutoriel.
Jusque là je