Bonjour et bienvenue au cours sur l'intelligence artificielle.
Auparavant, nous avions un tutoriel assez long et laborieux sur les processus de décision de Margrove et nous espérons que vous vous
en êtes bien tiré.
Et j'espère pouvoir expliquer les choses de manière abordable et engageante.
Et aujourd'hui, nous allons parler des politiques par rapport aux plans.
Il y aura un didacticiel rapide et amusant car nous entrons maintenant dans un nouveau monde.
Nous entrons dans un monde de recherches stochastiques, non déterministes, lorsque vous ne comprenez pas le labyrinthe, mais que vous
tenez compte de facteurs aléatoires vous dans la tête lorsque vous traversez ce labyrinthe et
vous devez être prêt pour cela.
C'est le monde.
Notre agent y habite et c'est plus amusant, mais c'est aussi plus dangereux, plus c'est moins prévisible.
Alors, comment va notre agent va se comporter.
Regardons.
Il y a notre cadre de processus de décision qui est encore une fois notre faveur, l'équation de Belman.
Cependant, la version la plus avancée de l'équation de Belman avec laquelle nous travaillons.
Donc, à partir de maintenant, nous allons simplement appeler cela l'équation de Beldon.
Et nous avons ici notre action maximale et Crucell, de sorte que la valeur d’un état, quel qu’elle soit, est la valeur maximale pour
toutes les actions qu’un agent peut éventuellement effectuer dans cet état.
Et la maxime a été reprise de la récompense que l'agent obtiendra en effectuant l'action A instate as Plus un
facteur de réduction multiplié par la valeur attendue du nouvel état dans lequel il sera
Et je m'attendrais à ce que ceux qui sont pris ici, car ils sont, ne savent pas exactement dans quoi se termine Sadle.
Certains effets aléatoires présents dans l’environnement peuvent modifier l’état et ne pas aboutir à
l’état souhaité.
Il pourrait se retrouver dans un état différent.
C'est pourquoi nous prenons la valeur attendue ici quelque part ici.
Alors regardons cela comme notre exemple notre ou dans notre exemple du labyrinthe.
C’est donc ce que nous avions précédemment et jusqu’à présent, nous avons affaire à une recherche déterministe en direct.
Donc nous le savions.
Très bien alors si je suis là, je dois absolument y aller si je suis là.
Je dois absolument aller ici si je suis là. Je dois absolument aller ici si je suis là. Je suis là.
C'était donc assez simple.
Une fois que vous avez cette carte et rappelez-vous que vous l'avez appelée, nous l'avons appelée un plan.
Une fois que vous avez le plan, c'est assez simple à faire.
Il y a.
Voilà donc le plan avec des flèches.
Et à partir d’ici c’était très simple. Voici les routes qu’ils emprunteront chaque fois que vous démarrez
sur cette ligne bleue.
C'est exactement la façon dont vous iriez.
Cependant, maintenant, nous n'avons plus de plan.
Nous ne pouvons pas avoir de plan car vous savez que tout ce que nous planifions peut ne pas arriver, ce n'est pas sous contrôle ou un plan,
c'est quand vous savez exactement ce que vous devez faire ensuite.
Vous connaissez les étapes.
Donc, vous avez un point de départ, vous avez un objectif et vous connaissez chaque étape afin
que vous puissiez les planifier comme vous le ferez, je ferai celui-ci. .
Mais en même temps, il y a tellement de choses aléatoires.
Vous pouvez avoir un plan parce que si vous arrivez ici et ensuite vous cliquez à droite et vous fait
descendre.
Cela ne fait donc pas partie de votre plan.
C'est pourquoi on appelle cela la planification plus.
Et ici, nous allons calculer les valeurs vont simplement regarder les valeurs
calculées pour ce même problème.
Mais sur la base de cela étant donné que nous avons ce hasard à l'intérieur.
Donc, ce sont les nouvelles valeurs.
Et donc, pourquoi ces valeurs sont-elles différentes, alors comparons-les à ce que nous avions précédemment.
C'est ce que nous avions précédemment.
Ce sont alors vous.
Donc, encore une fois, nous l’avions déjà fait parce qu’il avait gagné 3. 9 pour cent.
Il était vraiment 366.
Et c’est ce que nous avons maintenant a moins d’une fois en vigueur et 1 6 3.
Et en passant, ce ne sont pas exactement les rassemblements actuels qui me viennent à l’esprit, mais si nous devions faire
appel à un agent, certaines valeurs seraient similaires à celles-ci et les valeurs pourraient changer car,
en fonction du pari qu’il choisirait 3. 9 ou une autre valeur, mais néanmoins, pour l’argument
de l’argument, il s’agit des valeurs dont nous traitons maintenant et qui sont approximatives; elles expriment l’ensemble de la
notion de manière correcte; examinons-les.
Pourquoi ont-ils changé?
Eh bien pourquoi est ici avec celui-ci la valeur était un.
Pourquoi est-ce tout d'un coup 0. 26 Pourquoi est-il inférieur à un.
Il suffit d'aller d'ici ici.
En fait, nous avons appelé parce que si nous allons bien, ce qui est notre intention, nous
pourrions si nous avions 10% de chances d’être ici.
Nous nous sommes donc heurtés au mur et nous serions de retour dans cet état.
Et rappelez-vous que nous avons un Gamla. Ainsi, la valeur serait réduite et soit nous allions ou non à 10 et le hasard
aboutissait ici dans cet État.
Donc, ce n'est pas une probabilité de 100% que j'arrive ici, donc la disvalue ne peut plus être une cause, c'est quelque
chose de moins et elle vaut 0. 26.
Donc, c'est un exemple de pourquoi c'est comme ça.
Et vous pourriez obtenir la valeur exacte si vous calculiez l'équation de Belman comme étant complète, mais ma question que nous
avons maintenant.
Le seul problème est qu’il y aura une certaine récursivité, car vous devez
connaître la valeur de cette opération, puis celle-ci est assez complexe et c’est pourquoi nous
ne faisons pas les calculs manuellement.
C’est pourquoi je peux les faire pendant que cela se passe, c’est comme si rien n’était trop complexe pour
un.
Vous ne pouvez pas jouer ces choses.
C'est donc notre valeur ici.
Mais de celui-ci est différent.
Donc ici, juste pour être 0. 9 juste à cause du facteur d’actualisation, rappelez-vous d’ici
à ici d’ici les collèges, nous sautons d’ici à ici tout simplement parce que même si nous sautons comme cela, nous
risquons de revenir ici.
Exactement ces 20% de chances de rester sur la place parce que nous allons nous heurter à un mur.
Et encore et ainsi de suite.
Donc, la valeur d'être ici est le point zéro soixante et onze.
Encore une fois cela et le facteur d'actualisation.
Vous savez que cela peut sembler étrange à vos yeux que même avec la réduction du facteur, cela est trop élevé.
Peut-être que le facteur d'actualisation dans cet exemple n'est pas 0. 9 peut-être sept points quatre-vingt-dix-neuf ou quelque chose
qui ne vous inquiétez pas.
Juste un peu comme se concentrer sur cela.
Les valeurs ont en effet changé que les valeurs sont maintenant moins.
Principalement parce que ce n'est pas une probabilité de cent pour cent d'arriver à l'état que vous voulez obtenir et ce
que vous allez trouver.
Un intéressant est ici que juste pour être 0. 9 a en fait chuté beaucoup a chuté considérablement.
Pourquoi donc.
Eh bien, parce que si vous montez à partir de là, ce qui est notre intention, il y
a 10% de chance de heurter un mur, mais 10% de chance de finir dans le foyer et de perdre moins un pour gagner
une récompense, ce qui signifie fondamentalement pour l'agent qui est fin Du jeu.
Et donc c'est un très mauvais état d'être.
Donc, tout à coup, souvenez-vous que nous avions zéro point neuf ans plus tard, ils étaient donc équivalents.
Peu importe que vous entendiez ici, ils sont à peu près égaux en termes de valeur d'être dans chacun de ces états.
Mais maintenant, tout à coup, cette date est presque deux fois meilleure que celle-ci tout simplement parce qu’ici, si vous y allez
directement, vous allez là où vous voulez aller.
Vous savez que le hasard a pour conséquence de rester ici.
Dans ce cas, l’une des conséquences d’une chance sur 10 est que vous vous retrouviez dans la fosse.
Comme vous pouvez le constater, cet état n’est plus aussi bon, simplement à cause de quelque chose
qui fluctue.
Comme vous pouvez le constater, celui-ci est également très mauvais, car il est aussi mauvais que celui-ci: vous savez qu'il ne vous reste que 10% de
chance de finir dans le puits et 10% de chance de se retrouver dans le mur.
Mais en même temps, il y a un facteur d'actualisation Donc, tout d'abord, le facteur d'actualisation et après celui-ci,
vous devez vous rendre ici.
Et même si vous y alliez de façon hypothétique, vous pourriez vous retrouver à nouveau dans la fosse.
Donc, cette chance serait également prise en compte car rappelez-vous que les valeurs dérivent de cette
valeur et que la valeur est dérivée de cette valeur.
Droite.
Et donc c'est petit mais en réalité ce que j'ai dit là était faux.
Cette valeur ne provient pas de la Fed.
Donc, si vous regardez simplement maintenant, vous remarquerez que cette valeur ici est en réalité supérieure à
celle-ci.
Vous remarquerez que pour l'agent, il est préférable d'aller tout ce chemin-là et c'est logique.
Parce que de cette façon, il ne perd pas, il n'y a aucune chance d'entrer dans la fosse.
Oui est un peu plus long et donc le facteur d'actualisation a un effet plus important.
Mais en même temps, tout simplement parce qu'il y a une chance d'entrer dans le puits ici si ça va tout
droit, il y aura une chance de sauter.
Donc, il faudra un tirage au sort pour prendre son temps et juste faire le tour parce que de cette façon, il y a beaucoup moins
de chances que cela se produise.
Donc à partir d'ici, il y a d'ici.
Cela pourrait éventuellement entrer dans la fosse, car cela pourrait finir dans le projet de loi.
Mais néanmoins, c'est une chance moindre, donc ça va continuer comme ça.
Il est donc très intéressant de voir comment ils changent tous. Souvenez-vous de ce qui précède.
D'ici vous iriez comme ça et d'ici nous irons comme ça.
Et maintenant, tout à coup, vous pouvez voir son changement.
Roulons les flèches et voyons à quoi ça ressemble maintenant et le tour est joué.
Vous voyez même une chose plus aléatoire juste.
Alors oui c'est vrai.
Mais regardez ce qui s'est passé ici.
Regarder celui-ci.
Vous attendiez-vous à cela?
C'est quelque chose que j'aime vraiment quand j'ai vu celui-ci la première fois que j'étais très impressionné
Je n'étais pas super, je n'étais pas surpris et je ne m'y attendais pas du tout.
Et ceci est un exemple de ce que vous savez quand je peux déjouer un humain.
Cela ressemble à quelque chose que vous avez même attrapé, mais que vous pouvez prévoir, mais grâce à l'apprentissage en matière d'application de la
loi, rappelez-vous qu'un exemple de chien peut parfois parfois fonctionner mieux que la vie réelle.
Les chiens sont des robots robotisés préprogrammés qui peuvent jouer au football simplement parce qu'ils ont des idées que même nous ne
pouvons pas voir.
Et comme bon exemple, vous ne vous attendiez probablement pas à ce que les Asiatiques, au lieu
de monter, se demandent pourquoi je le ferais.
Comme si je montais, il y a 10% de chances que je saute dans le puits.
Mais que fait-il en entrant dans la guerre?
Bien 80% du temps va revenir et rester dans l'état.
Mais 10% du temps ira ici et 10% du temps j'irai ici.
Alors tout d'un coup, vous pouvez voir que c'est maintenant dans cette nouvelle approche de sauter dans le mur.
Il y a zéro pour cent de chance que cela aille dans le feu, mais à partir de cet endroit, donc.
Et c'est comme si cela ne voulait vraiment pas aller dans le foyer, donc droguer Bon Bons dans
le mur à plusieurs reprises et ensuite cela ira à droite ou à gauche à un moment donné parce que ce hasard va arriver.
Et ainsi, il a appris que, grâce à des expériences, il avait appris que, quand je vais de l'avant, les résultats ne sont pas aussi bons
que quand je vais au mur.
Et si vous y réfléchissez, c'est comme ça.
Si vous y réfléchissez, ce robot est un foyer, il est comme un carré, c’est comme un
très petit rebord et c’est comme une montagne comme une falaise.
Et ce robot serre juste la falaise et tente d'attendre jusqu'à ce qu'il pousse à droite ou à gauche, car même
en tant qu'être humain, vous ferez probablement la même chose, vous ne seriez pas face à
face ou vous serriez contre la falaise.
Ou quelque chose comme ça.
Et j'espère que vous savez que nous devons finir par ne jamais nous retrouver dans de telles situations.
Mais comme visuellement juste visuellement si vous pensez à quelque chose ici.
Et donc c'est assez intense droit.
Alors que l’intelligence artificielle a eu cette idée et la même chose ici, c’est un peu comme aller à gauche et Riskin
se battre, mais je vais juste essayer des balles contre le mur À un moment donné, je
sais que vous savez qu'il y a une probabilité de 10% à chaque fois que je vais y aller et
que quelque chose se passera et que je finirai ici et que je serai
en sécurité, puis continue comme ça.
C'est donc une approche très très intéressante qu'ils ont adoptée ici et vous pouvez voir que les itinéraires sont comme ceux-ci. À partir de là, tout peut aller
à droite et ensuite aller à droite jusqu'à la sortie ou ici ou à gauche comme ça.
Et nous y reviendrons à un moment ou à un autre.
C'est important.
Je ne suis pas une politique donc même quand ça saute d'ici, ça ira ici.
Et peut-être qu'ici il pourrait pleuvoir directement.
Cela pourrait en fait revenir à droite puis à partir d’ici et je vais me laisser bien faire les choses.
Donc, il y a beaucoup d'options différentes pour les gars qui pourraient ne pas suivre exactement ce ferrailleur vont dans
l'autre sens.
Ce ne sont que les itinéraires souhaités qu'il est conçu pour lui-même.
Mais la façon dont cela fonctionnera est en réalité peut être différent.
Cela dépend du monde réel.
Alors on y va.
C'est le monde de l'intelligence artificielle.
C'est ce qu'est une politique par rapport à un plan et j'espère que vous commencez à être enthousiasmé par ce que
l'IA peut faire, surtout compte tenu de ce que nous avons vu ici.
Ce sont des décisions très virtuoses de la part des IA.
Et comme vous pouvez le constater lorsque vous jouez à l'IA, même à partir de ce petit exemple, vous
pouvez voir que même lorsque vous jouez dans un monde réel, vous pourrez peut-être proposer des idées et des décisions que même parfois les humains peuvent
proposer.
Et c’est un peu comme ce qui s’est passé dans ces jeux où l’objectif de Google
Alpha s’était joué contre Lisa, championne du monde des buts en Corée, et du champion du monde de départ.
Et ils jouaient en Corée avec Bakla en 2016, je crois, en mars 2016.
Il est venu avec des mouvements que les humains n'avaient jamais joué depuis 3000 ans ou les humains n'étaient pas habitués à jouer.
Et ceci est exactement un exemple de cela.
Donc, encore une fois, j'espère que vous êtes enthousiasmés par le discours et par ce que nous pouvons intégrer.
Et je le cherche.
À la prochaine.
Jusque-là profiter.
JE.