Bonjour et bienvenue au cours sur l'intelligence artificielle.
Aujourd'hui, nous parlons enfin de l'apprentissage de Kule.
Très bien, nous avons déjà cette équation, l’équation du chasseur, à laquelle nous avons ajouté de nombreux composants.
Nous avons la récompense ici qui peut être non seulement à la toute fin, mais à n'importe quelle étape.
Nous avons le facteur de réduction.
Nous avons la probabilité, car nous examinons maintenant les processus décisionnels.
Et ici, nous avons la possibilité de nous retrouver dans des États différents, quelles que soient les mesures
que nous prenons ou réellement.
Il peut y avoir plusieurs états dans lesquels nous pouvons nous retrouver et ensuite nous avons la valeur
des états suivants parce qu'il ressemble à une fonction récursive et ainsi de suite, mais vous avez probablement encore une question.
La question est de savoir où dans tout cela il n’ya pas de lettre Q Pourquoi tout est-il appelé q.
Apprentissage.
Alors, où est la queue.
Et c'est la question à laquelle nous allons répondre aujourd'hui.
Jusqu'ici, nous avons traité des valeurs comme la valeur d'être dans un certain état et nous allons maintenant
examiner comment Q s'intègre dans tout cela.
Nous avons donc deux exemples à gauche: ce que nous serions en train de faire jusqu’à présent, notre agent l’a analysée.
Ok je suis par ici.
Ceci est une marque du processus de décision, alors peu importe comment je suis arrivé ici.
Le reste de l'environnement ne se soucie pas des étapes qu'il m'a fallu pour arriver à partir de maintenant.
Je dois prendre la décision optimale où aller ici ou ici.
Basé sur l'état actuel et tous les états futurs qui viennent d'ici mais pas du passé.
Et donc, il peut voir qu'il y a trois options: il y a un État à trois.
Et sur la base de son expérience, il a calculé les valeurs dans ces états et utilise maintenant l’équation
des chasseurs.
Donc, même s’il s’agit d’un Proceso classique, il sait qu’il ira ici, mais il est possible qu’il
aille à gauche, et ainsi de suite.
Sur la base de ces valeurs, nous allons donc prendre une décision et c’est une approche tout à fait
légitime ici.
Mais maintenant, nous sommes un peu modifiés.
Nous allons prendre le même concept exactement le même problème, mais ici, au lieu de regarder les
valeurs de chaque état dans lequel il peut se retrouver, nous allons regarder les valeurs ou la valeur de chaque action.
Donc, nous n'allons plus utiliser la lettre V parce que, pour la valeur
de l'état, nous allons utiliser un Q et vous pourriez vous demander pourquoi la lettre Q Bien.
Q Certaines personnes spéculent que.
Q Est-ce que je vais lire ceci?
Je pense à Quora.
Quelqu'un a mentionné que Q était dû à la qualité mais en même temps, je ne pouvais trouver aucune
autre référence à cela. Ce n'est peut-être pas parce que c'est
la lettre qui était utilisée à l'époque. tous appelés apprentissage clé à cause de cela.
Donc, aucune raison exacte n'a été retenue.
Q Mais néanmoins, au moins, cela nous aide à distinguer entre V et Q Donc Q ici.
Il y avait des cadeaux plutôt que la valeur de l'état qu'il représente laisse aller de la qualité.
Cela représente la qualité de l'action que cela représente.
OK, j'ai quatre actions.
Quelles sont les différentes qualités de ces actions?
Quelle est la valeur de l'action ou la qualité de l'action qui est plus lucrative, j'ai donc besoin d'une métrique
qui me dise très bien comment je quantifie cette action et je peux ensuite les comparer et
c'est exactement ce que Q est.
Et donc il a quatre actions possibles.
Comme toujours, montez à droite, à gauche ou en bas.
Et basé sur l'action il y aura une formule qui nous dit la valeur quantifiable de cette action que nous
appelons la valeur Q q de cette action.
Voyons donc comment nous allons calculer cette formule.
Q Quel rapport y a-t-il réellement avec ceux-ci.
Parce que, comme vous pouvez l’imaginer, parce que les actions mènent à des États, il doit exister une sorte de lien entre les
deux.
Oui, nous avons déjà déterminé comment calculer cela et nous y excellons.
Nous savons comment utiliser l'équation de Belman dans des environnements très différents, avec de nombreuses complications différentes.
Tirons parti de ces connaissances pour comprendre comment calculer.
Q Afin de faire les mêmes prévisions car, comme vous pouvez l'imaginer, l'environnement ne change pas en
fonction de l'approche que nous utilisons, l'environnement sera toujours le même.
Donc, par conséquent, cette approche et cette approche devraient toujours donner le même résultat et c'est donc une autre raison pour
laquelle ces deux facteurs devraient être liés.
Alors jetons un coup d'oeil.
Voici donc notre approche selon laquelle nous devons simplement examiner la valeur d’un État donné, de cet État ou de
tout autre État.
Et là nous allons dans nous utilisons simplement le fil parce que c'est l'état actuel.
Et donc donc la terminologie sera la même dans les deux équations et ici nous utilisons q comme Q est le s
de l'état s et l'action
A parce que l'action est en hausse mais dans quel état nous effectuons cette action nous effectuons cette action dans l'état.
OK, nous allons maintenant utiliser l'équation de Belman pour la première approche, comme vous
pouvez le voir ici. Nous avons le of ou la valeur d'un état donné. C'est le maximum de la récompense que vous obtenez avec un pari maximum. sur les actions
que vous avez trois.
Dans ce cas, vous avez en fait quatre actions, alors maximisez toutes les actions possibles de
cette partie dont nous avons entendu parler à maintes reprises. C’est donc notre récompense que nous obtenons
de la réalisation de cette action dans cet état. valeur du nouvel état que nous allons être dans une valeur
attendue parce que c'est un processus stochastique.
Nous ne savons pas exactement avec certitude que nous allons nous retrouver ici, nous pourrions nous retrouver à la gauche ou
à la bonne sorte de probabilité.
C'est pourquoi ces probabilités sont en vous.
D'accord, c'est notre valeur.
Et maintenant, regardons.
Q Donc Q va être défini.
Nous allons utiliser ceci pour définir Q Donc, disons que l'agent à partir de cet emplacement à partir de cet état effectue
l'action vers le haut.
Quelle est la valeur q à appeler.
Eh bien tout d’abord, voyons ce qu’il obtiendra en retour de cette action.
La première chose que vous obtiendrez est une récompense juste.
Ne sait aucun doute à ce sujet.
Il y aura une sorte de règle ou peut-être zéro, mais nous savons que le
processus d'apprentissage par renforcement fonctionne comme suit: certaines villes effectuent certaines actions dans un État ou deux.
Je vais donc ajouter cela ici.
Et ensuite, nous allons ajouter ce que nous allons ajouter.
Eh bien, réfléchissons-y.
Quelle est la prochaine chose qui se passe après qu'il est allé là-bas.
La prochaine chose qui se passe, c’est que maintenant que l’agent est dans un certain état, il pourrait se retrouver ici avec une
probabilité de 80% ou une probabilité quelconque.
Mais en réalité ici, ici.
Mais là où il finit maintenant, nous avons déjà une métrique quantifiée pour cet état.
Et c'est en fait la valeur de cet état.
Mais comme il est arrivé dans de nombreux états et dans trois des états possibles, nous devons
examiner la valeur attendue de l'état dans lequel il sera.
Et donc nous allons ajouter que dans nous allons ajouter.
Bien sûr, le facteur réduit, comme nous l’avions précédemment, car il se situe quelque part dans le futur.
Et ensuite, nous allons en ajouter quelques uns parmi tous les états possibles parmi lesquels il pourrait finir
par prendre cette mesure.
Conditions de probabilité.
Donc, ce que nous disons ici, c’est que c’est bien. En effectuant une action, vous obtiendrez une récompense
Plus qui sera une métrique quantifiée Plus.
Vous vous retrouvez dans un état où nous ne savons pas lequel il pourrait être ici.
Pourrait être ici il pourrait être ici.
Mais voici la valeur attendue de l'état dans lequel vous allez vous retrouver.
Et maintenant, nous allons multiplier par le facteur d’actualisation, car c’est un déménagement.
Voilà donc notre valeur Q pour cette section de performance et vous remarquerez tout de suite ici
que.
Q La valeur Q est en réalité exactement identique à ce qui se trouve entre ces crochets.
Et pourquoi est-ce que.
Eh bien, si vous réfléchissez bien ici, nous prenons le maximum de résultats, nous obtiendrons le maximum pour toutes les actions possibles,
alors nous aurons une action prenant le maximum pour toutes les actions possibles du
résultat que nous obtiendrons en prenant chacune de ces actions. et mettre en file d'attente nous définissons.
Intéressant.
Qu'obtiendrons-nous en prenant certaines mesures?
Donc, si vous y réfléchissez, il est logique que la valeur d'un état.
Ainsi, par exemple, cet état est le maximum de toutes les valeurs Q possibles.
Ici, aux États-Unis, l’agent a une valeur clé pour conserver la valeur 3Q pour la valeur
q.
Donc, oui, positif pour les valeurs Q possibles alors que la valeur de la suspension reste
logique, la valeur de l'état étant le maximum de toutes ces quatre valeurs clés.
C'est exactement ce que nous pouvons voir ici.
C'est une bonne confirmation de cette nouvelle formule que nous dérivons.
Si ce n'était pas le cas, si cela ne concordait pas, nous aurions des questions.
Alors pourquoi ne correspond-il pas?
Pourquoi ne correspond-il pas si.
La valeur Q est une mesure quantifiée de l'exécution d'une action et V dépend du sol.
Est-ce que c'est comme le maximum des résultats possibles des quatre actions qu'il peut effectuer qui a du sens.
Et cela confirme la formule que nous venons de dériver et nous allons maintenant la rendre encore plus intéressante.
Nous allons nous débarrasser entièrement de la Wii, car vous pouvez voir que la Wii est une fonction récursive.
Alors et puis vous avez moi et puis B et puis B et puis B et ainsi de suite.
Ainsi, vous pouvez exprimer ce point de vue à travers tous les Vee suivants, le plus optimal
sera celui-ci.
Nous nous attendons à Q En tant que funk, une fonction récursive du OU en fonction du prochain V et vous devrez ensuite brancher
ce V puis nous reviendrons au B.
Alors, qu'est-ce que nous allons faire, c'est que nous allons prendre ce V et que nous
allons le remplacer par Q Bien, examinons-le.
Nous allons prendre ce V du prochain état et nous allons l'intégrer dans cette formule ici.
Et comme vous pouvez le constater maintenant, cette partie ne change pas cette probabilité ne change pas.
Mais comme nous venons de le dire, s est le maximum par toutes les actions de q sur S et un droit ici.
C'est ce que nous allons remplacer ici.
Nous allons donc dire que, bien entendu, la nouvelle action est l'action que nous allons entreprendre, car
ici, nous avons la Wii comme prime.
Nous avons donc maintenant la console maximale à son meilleur.
Ainsi, les actions que nous allons entreprendre à partir de cet état
proviennent de n’importe quel autre État dans lequel nous nous retrouvons, mais les actions que nous allons entreprendre à partir de là
et de Maxima dans tous ces états et au maximum sont toutes les valeurs de cube qui sont disponibles pour nous dans ce nouvel état en tant que premier virgule.
Et c'est l'action.
Alors c'est ça.
Donc, il y en aura quatre autres.
Q valeurs là-bas.
Alors maintenant, comme vous pouvez le constater, reprenons l’expérience.
Donc, à partir de ce que nous dérivons, ce mot serait juste parce que logique et intuition, de sorte que nous
puissions voir que les VNS sont réellement une vue de AS et de et sont liées.
Le of S est le maximum dans toutes les actions de Cuba S et vous pouvez le voir ici, donc cette partie
est identique à cette partie
Et ensuite, nous allons tirer parti de cela et remplacer cet élément par VNS à partir d'ici, mais pas cet
entonnoir exact, nous allons prendre cette partie interne et la remplacer par tuer l'innocent.
Nous allons donc brancher cela ici et cette partie va être q de s prime un nombre premier maximum de cube par
Crucell un Priam de Q As Prime un nombre premier.
Et maintenant nous avons notre formule.
Nous avons donc maintenant une formule récursive pour la valeur q, de sorte que l'agent peut maintenant déterminer quelle est la valeur de la section. Quelle est
la qualité de cette section, qui était la nouvelle valeur de cette action.
Eh bien, cela dépend de la récompense que je reçois immédiatement après cela, plus cela dépend du
facteur actualisé multiplié par le maximum de toutes les actions Q possibles dans cet état.
Mais je ne sais pas si je vais demander à leur côté d’examiner également cet état dans cet
État et c’est pourquoi nous avons cette valeur attendue ici, de sorte que nous avons une probabilité multipliée par le maximum de la valeur
attendue.
Donc, une formule très similaire, comme vous pouvez le voir, mais cette fois,
nous exprimons des choses à travers les valeurs q et c’est pourquoi tout cet algorithme s’appelle Kill learning parce que c’est ce qui est examiné.
Lorsque les États examinent leurs actions possibles, ils se basent ensuite sur les actions
pour déterminer la valeur q des actions à décider.
Donc, ils vont simplement regarder la valeur Q maximale dans cet état donné, il a quatre actions.
Quelle est la meilleure action à prendre pour pouvoir comparer en
quelque sorte les différents états possibles? Comparera les actions possibles, puis trouvera la solution optimale.
va répéter ce processus répéter ce processus et ainsi de
suite.
Alors maintenant, vous pouvez voir comment tout cela se combine et comment se combinent la récompense des faits
d'actualisation ou des processus de décision de marché stochastiques, ainsi que des valeurs et des valeurs
q, pour créer cette équation de Belman super puissante pour les valeurs q que nous pouvons maintenant appliquer et laissez nos
agents apprendre à vaincre l'environnement.
Et c'est donc une explication intuitive de ce qui se passe.
Je sais que nous avons examiné les formules, mais cela est nécessaire, car notre formule ressemble à celle
que nous avons suivie tout au long du chapitre et je pense que la transition entre le début et la fin est bonne.
Q Et cela montre bien qu’il existe des liens entre Yishun. Et si vous souhaitez adopter une approche mathématique
plus rigoureuse, regardez les mathématiques sous-jacentes et apprenez-en plus sur les valeurs
q et leur fonctionnement.
Ensuite, nous avons quelques lectures supplémentaires pour vous.
Cet article s’appelle concepts de processus de décision de Markov et algorithmes de Martin von Autor 2009.
Donc, vous coupez le lien ici comme toujours et ici vous pouvez lire un peu plus en détail pour comprendre
tout le fond des valeurs de Hugh et ainsi de suite et maintenant que nous
avons discuté de toutes ces choses concernant l'équation de Belman, nous sommes prêts examiner quelque chose de plus complexe, tel
que le présent document, si nous voulons obtenir des informations supplémentaires à ce sujet afin de mieux comprendre.
Mais même si vous ne lisez ni le journal ni la radio, vous devez avoir une bonne connaissance pratique de ce
qu’est l’apprentissage et de la façon dont les agents définissent les actions qu’ils doivent entreprendre dans un environnement donné.
J'espère donc que vous apprécierez aujourd'hui Statoil et j'attends avec impatience vos prochaines.
Jusque-là profiter.
JE.