Salut à tous et bienvenue.
Dans cette conférence, nous allons configurer notre environnement.
Et je veux présenter cet aperçu de plus haut niveau pour ceux qui veulent essayer de le résoudre par
eux-mêmes.
Et cela peut sembler familier dans la dernière conférence que vous avez vue.
Donc, si vous l'avez lu, toutes mes excuses.
Nous allons simplement le parcourir très rapidement.
Tout d'abord.
Dans ce projet, nous visons vraiment à le garder aussi simple que possible dans le sens où nous n'avons pas besoin
d'importer trop de bibliothèques.
Nous allons simplement utiliser NumPy pour cela.
Nous avons juste besoin d'importer NumPy en tant que et P, généralement la référence commune pour numpy.
Et nous voulons également configurer notre environnement, comme vous le verrez ici.
Et nous allons juste revenir en arrière très rapidement comme un aperçu.
La première étape de notre apprentissage Q est que nous voulions trouver un environnement dans lequel le facteur doit naviguer.
Nous avons besoin que cet environnement soit configuré afin que nous puissions réellement itérer et le parcourir.
Dans cette conférence, l'environnement va se composer d'états, d'actions et de récompenses.
Les états et les actions sont des entrées pour l'agent d'apprentissage Q, tandis que les actions possibles sont les
agents, les sorties sont des états auxquels nous pouvons penser et considérer cette image comme notre représentation.
Les états de notre environnement sont tous les emplacements possibles dans la ville que nous pouvons appeler cet exemple de
ville.
Certains de ces emplacements sont les limites de la ville qui seront nos carrés noirs, tandis que d'autres emplacements sont des îles
que le facteur peut utiliser pour se déplacer dans la ville.
Ce seront les carrés blancs.
Le carré vert indique la zone d'emballage et d'expédition de l'article.
Les carrés noirs et verts sont ce que nous allons appeler les états terminaux.
Donc, globalement, notre objectif ou celui de notre agent, nous voulons utiliser le chemin le plus court.
Nous voulons que notre agent connaisse le chemin le plus court entre la zone d'emballage des articles, le pot, le vert et tous les
autres endroits de la ville où le facteur est autorisé à se déplacer.
Dans l'image ci-dessus, nous avons 121 états ou emplacements possibles dans la ville.
Ces états sont disposés dans une grille 11 par 11.
Chaque emplacement peut être identifié par son index de ligne et de colonne.
Alors, quelle serait notre première étape ?
Et cela veut vraiment que vous commenciez à réfléchir à la façon dont vous pouvez le définir.
Nous devons définir notre environnement.
C'est un bon exemple de notre image et de la façon dont nous allons l'aborder.
Alors, comment modéliseriez-vous cela ?
N'oubliez pas que nous utilisons NumPy, nous devons donc définir ces limites et nous pouvons définir un tableau numpy
3D pour contenir nos valeurs Q actuelles pour chaque paire d'état et d'action lorsque nous voyons notre représentation.
Et pour ceux d'entre vous qui ne le connaissent pas, ou peut-être que c'est nouveau ou
que vous voulez simplement vous rafraîchir la mémoire, le manuel Air Z de ce cours est extrêmement utile, fortement recommandé.
Alors qu'est-ce qu'on a à faire ici ?
On peut en fait.
Permettez-moi de développer cela très rapidement pour nous afin que nous puissions le voir un peu plus facilement.
Permettez-moi d'ajouter quelques cellules de code.
Nous allons définir notre empire 3D.
Comment procéderiez-vous ?
Nous avons donc quelques options.
Mais l'option la plus directe et la plus simple, appelons-la lignes d'environnement.
Rose et mettons-le à 11.
C'est un 11 par 11.
Ensuite, nous pouvons également faire de l'environnement, des colonnes de soulignement.
Et nous pourrions également le régler sur 11.
Enfin, nous pouvons définir nos valeurs Q car nous devons ajouter notre numpy avec les lignes d'environnement, les colonnes
d'environnement.
Et nous pouvons définir cela comme des valeurs Q égales aux zéros NumPy et nous devons utiliser nos lignes d'environnement, colonnes
d'environnement.
Et nous avons notre tableau numpy 3D, notre représentation d'environnement 3D définie avec notre environnement.
Génial.
Maintenant et nous allons le laisser ici, mais je veux que vous commenciez à réfléchir à la façon de résoudre ce
problème puisque vous avez déjà configuré votre environnement.
La prochaine chose que vous voudrez faire comme indice est de configurer vos actions.
Votre agent doit pouvoir se déplacer dans l'environnement.
Alors, comment représenteriez-vous cela?
Comment écririez-vous cela?
Pour ce problème, laissons-le ici.
Dans la prochaine vidéo, nous allons revoir ces actions.
Génial.
Je vous verrai dans la prochaine vidéo.