Bonjour et bienvenue dans le troisième module de la mer H-3 en tant qu’agent critique actif synchrone.
Et maintenant, je peux vraiment dire bienvenue à l’apprentissage automatique à la pointe de la technologie.
Eh bien, à l'époque, je dis cela parce que peut-être certains d'entre vous suivront le cours dans
un ou deux ans, mais à l'époque, je le dis en 2017.
Eh bien, vous êtes sur le point de travailler sur l’un des modèles les plus puissants en intelligence artificielle,
mais il n’ya pas que ce qui est spécial dans ce module.
Non seulement nous sommes sur le point de travailler avec le modèle le plus puissant, mais nous
allons implémenter la version la plus puissante de cet algorithme, qui est la version la plus optimisée du modèle A-380,
car vous pouvez imaginer qu'il existe le cœur de l'algorithme.
Mais il existe de nombreux outils que nous pouvons utiliser pour optimiser l’ensemble du modèle.
Ainsi, non seulement vous allez avoir le coeur du chemin à travers l'algorithme,
mais vous allez également implémenter tous ces outils pour rendre le modèle super puissant.
Et pourquoi je voulais faire ça.
Eh bien c'est pour deux raisons.
La première raison est que nous approchons de la fin du discours.
Ce cours est le cours le plus élevé entre les trois cours et ils traiteront de l'IA.
C'est que maintenant je pense que vous êtes prêt à passer au niveau suivant.
Et la deuxième raison est que la résolution de l'évasion est en réalité un défi de taille.
Rappelez-vous que dans la vidéo promotionnelle, nous voulions que Breakout soit le premier module, car nous pensions que
ce serait le défi le plus facile, mais pas du tout. C’était en fait le défi le plus difficile
et le moyen le plus facile d’expliquer que c’était bien que les monstres sont énormes. et donc plus facile à détecter et donc plus facile
à tuer ou à éviter.
Mais dans Breakout, nous avons cette boule minuscule que l’œil doit détecter, car il aura toujours des
yeux.
Vous nous continuez à faire un apprentissage en renforcement profond.
C'est donc très difficile et c'est pourquoi nous n'avons pas vraiment le choix de le mettre en œuvre.
La version la plus puissante de l'A-3 comprend maintenant pourquoi je dis que c'est la version la plus puissante.
C'est pour une raison particulière.
Ce n'est pas comme si je disais que je vais implémenter la version la plus puissante de l'A-380.
Non ce n'est pas ça.
La raison pour laquelle je dis cela est que la version que nous étions sur le point de mettre en
œuvre et que nous allons faire quelque chose de très spécial est en fait une version du 3 C qui a été mise en œuvre par
quelqu'un mais corrigée par l'une des personnes les plus influentes. dans l'apprentissage de la machine aujourd'hui qui se trouve être le créateur de
la torche Pi.
Il s'appelle Dan Pashka.
Maintenant ce que nous allons faire.
Nous allons continuer à avoir sur la page principale et si vous faites défiler de haut
en bas, vous verrez l’équipe lutter contre les créateurs et les contributeurs.
Et vous pouvez voir ici que mon flambeau est actuellement maintenu par Adam Pascal.
C'est la personne à qui nous devrions vraiment être reconnaissants car il existe très peu de versions
des trois choses qui fonctionnent bien pour l'évasion et il a corrigé l'un des codes de l'A-380 pour que
cette opération fonctionne parfaitement.
Donc, Pascal ne maintient pas seulement Envers, mais il est aussi l’un des créateurs de flambeau et, comme je l’ai dit aujourd’hui,
il fait partie des 10 personnes les plus influentes en matière d’apprentissage automatique.
Nous pouvons donc être certains que la version que nous sommes sur le point d’implémenter est probablement la version la plus
puissante de l’A-3 disponible aujourd’hui.
Et alors quelle est cette implémentation.
Eh bien à l'origine, il provient d'un développeur appelé histoire iliaque de.
Et comme vous pouvez le constater, il a procédé à la mise en œuvre de l’A3 C qui, à l’origine, n’avait
pas bien fonctionné en évasion, mais quelqu'un a ensuite demandé à tirer.
Si nous allons à la demande de la piscine ici, nous pouvons voir dans la lettre proche que nous allons nous avons celle-ci une
solution plus propre au problème de Gretchen.
Et devinez de qui cette demande de traction a été faite.
Il a été fabriqué à partir d’Adam Pashka créé par une torche et a résolu le problème qui fait que l’A-380 fonctionne très
bien lors d’une sortie sans attendre des jours et des jours.
Et donc, si nous revenons à cette implémentation, nous pouvons voir les quatre contributeurs de cette implémentation la
plus puissante.
Et voici les contributeurs.
Merci beaucoup à chacun d’entre eux et nous pouvons dire un grand merci à Adam, passionné, qui a
résolu le problème du partage du fil.
Il a commencé par faire un fork, qui est une sous-branche du code.
Et il a ensuite fait une demande d'extraction au développeur pour résoudre ce problème.
Il n'y avait pas de code qui soit un gros problème de partage et c'est pourquoi il est devenu un
contributeur majeur de cette implémentation, ce qui a permis à l'ensemble de fonctionner parfaitement et, croyez-moi, j'ai beaucoup expérimenté le modèle
CA / CC mis en œuvre à l'aide de cinq modèles.
J'étais même désespéré que cela ne fonctionne pas bien alors j'ai fait mon propre évasion et mon cavy pour avoir un
ballon plus gros et donc un prétraitement plus facile des images.
Puis je suis revenu à l’œil et ai réalisé ma propre implémentation du 3C.
Mais cela a pris des années à courir et à s'entraîner sur un ordinateur assez puissant.
Je voulais donc trouver un meilleur moyen.
Et c'est comme ça.
Très puissante implémentation du Silmaril dont l'un des contributeurs majeurs est le Créateur
au flambeau.
Donc, ce que nous allons faire dans ce Mudgal, je pense que vous êtes prêt, c’est d’implémenter ce code de
plus haut niveau pour l’implémentation de l’A3.
Nous allons donc fondamentalement réimplémenter tous ces fichiers et nous allons surtout insister sur les fichiers qui sont
directement liés aux trois parties C qui sont directement liées à ce que nous voyons.
Nous allons implémenter le code ligne par ligne pour les autres.
Je vais juste développer le code pour que nous puissions nous attaquer à ce problème sans le trouver trop accablant, de sorte
que nous puissions utiliser un module assez spécial.
Nous travaillons non seulement dans un modèle ultramoderne d'intelligence artificielle, mais nous sommes également confiants de
pouvoir utiliser la version la plus puissante de l'A-380.
Alors faisons-le.
Revenons à Python et commençons tout cela avant de commencer.
Nous allons faire la chose la plus simple que nous allons faire dans ce module.
Définition du dossier du répertoire de travail.
Allons à notre intelligence artificielle. Ce sont les modules de dossiers de modèles que nous distinguons le plus difficile.
Et c'est parti.
C'est tous nos fichiers.
Voyons donc lesquels sont directement liés à A-3 C.
Et voyons quels sont ceux que nous allons implémenter.
Ligne par ligne, concentrez votre énergie.
Donc, il y a en fait deux fichiers.
Le premier n’est pas tout à fait celui-ci, nous allons donc le réimplémenter ligne par ligne car c’est le plus important, c’est
là que nous faisons en sorte que les A-3 voient la tête.
Et la chose la plus importante à comprendre ici est que nous aurons un modèle partagé qui
contiendra les mêmes données des poids pour l’acteur et le critique.
C'est une partie de cette version spéciale de l'A-3 voir le modèle partagé avec les données partagées les
poids et ensuite l'autre fondateur le plus important à mettre en œuvre.
Ligne par ligne, les oiseaux sauvages dressés bien sûr, juste après que nous ayons créé le cerveau de la mer.
Eh bien, nous devons les former et nous les formons dans ce train que j’épouse.
C'est donc un code assez long mais c'est ce qui contient le cœur du modèle A3 C qui
devra à Lass's de réduire la valeur aux États-Unis qui est la dernière liée aux prédictions du
critique et la dernière politique qui est la dernière liée aux prédictions de l'atome.
C'est donc assez nouveau, mais vous savez que c'est parce que l'A-380 travaillait essentiellement avec plusieurs agents,
chacun ayant sa propre copie de l'environnement.
Nous avons également cette couche entièrement connectée qui fournit une valeur de la fonction et qui est fondamentalement une vision
commune de ce qui se passe dans le jeu.
Donc, ce sera assez difficile.
Alors, assurez-vous d'être en forme et pour le reste des membres. Bien, je vais simplement les expliquer en détail, mais ne
leur consacrez pas trop de temps, croyez-moi, vous voulez garder votre énergie pour cela.
Ce sera déjà beaucoup.
Donc, ces gars-là sont des fourmis ducky Y, une amélioration de l’environnement de la salle de sport grâce à l’univers.
Donc, fondamentalement, cela améliore simplement l’environnement de la salle de sport avec l’univers et cela
nous permet d’avoir un prétraitement optimal des images et également de normaliser toutes les valeurs de l’environnement, telles
que l’intensité des couleurs ou celle des récompenses.
Eh bien toutes les valeurs de l'environnement, ce fichier normalise toutes ces valeurs et veille à ce que nous en ayons assez
pour ne pas poursuivre le traitement des images.
Et comme vous pouvez le voir, cela provient de cette ouverture. Je vois sa page où l’agent de l’histoire de l’univers.
Donc, nous ne passerons pas trop de temps là-dessus, nous nous arrêterons ici.
Vous devez juste comprendre que nous avons amélioré l’environnement de la salle de sport grâce à l’univers nécessaire
pour ne pas traiter les images.
Le reste n'est pas si important, surtout pour le PC.
Ensuite, nous avons principal ce P Y qui est le code qui exécutera le tout.
Donc, vous connaissez le code qui va exécuter le tout, créer le cerveau, former le cerveau et sortir la vidéo.
Et c’est parce que tous ces codes seront exécutés ici.
Donc plus nous avons vu où il était alors peut-être trouvé.
Pourquoi est l'optimiseur spécial.
C'est fondamentalement l'optimiseur d'atomes mais adapté à ce modèle partagé que nous mettons en place.
Nous allons donc expliquer tout ce code dans un tutoriel.
Ensuite, nous avons testé W-pourquoi.
C'est en fait le dernier à tester.
Q Pourquoi est fondamentalement le fichier qui implémentera un agent de test.
Il y a donc un agent qui jouera en éclats sans mettre à jour le modèle.
Donc, c'est totalement indépendant de la formation.
Et nous allons également développer ce code dans les détails.
En plus des bonnes nouvelles, vous aurez deux codes: un code qui sera celui que nous implémentons dans
les tutoriels, mais sans aucun commentaire.
Et l'un des codes qui est l'un des dossiers de codes avec tous les codes le commande.
Donc, avec toutes ces six fautes toutes bien connectées.
Alors que si vous manquez quelque chose et tutoriel, vous serez en mesure de regarder le contenu du code pour
comprendre ce qui se passe.
Alors on y va.
J'espère que vous êtes enthousiaste à l'idée de mettre cela en œuvre.
Vous êtes vraiment au sommet de la montagne maintenant ou juste en dessous du sommet parce que vous devez
comprendre ceci au préalable, mais vous y allez.
Alors, prenez une bonne respiration d'oxygène.
Et nous y voilà avec un voyage super excitant.
Jusque-là profiter.