Bonjour et bienvenue au cours sur l'intelligence artificielle.
Et aujourd'hui, nous parlons de Mark de processus décisionnels ou M. RÉ..
Regardons ce que nous avons aujourd'hui.
Alors la dernière fois, nous nous sommes arrêtés sur le concept de carte.
Donc, comme nous avons calculé les valeurs en fonction de l'équation de Belman, nous pouvons obtenir cette carte pour notre agent
dans ce labyrinthe.
Et, fondamentalement, cela signifie que le point fort d'un agent commence, disons que cela commence là-bas.
Il sait exactement quelles étapes à franchir pour se rendre à la ligne d'arrivée, donc ça monte juste.
Bien fait.
Et donc la question est que c'est ça.
Est-ce vraiment aussi simple que cela?
Est-ce que l'apprentissage par renforcement est vraiment ce que vous connaissez pour le manque d'un meilleur mot ennuyeux.
C'est c'est oui.
Une fois les calculs terminés, il ne vous reste plus qu'à les remplir.
En réalité, ce n’est pas si simple.
Et c’est une bonne chose, car cela rend ce cours plus intéressant pour nous et nous permet effectivement de résoudre
des problèmes beaucoup plus complexes.
Donc, c’est là qu’une marque de processus se prépare.
Mais d'abord, nous allons parler de deux choses.
Nous sommes dans la recherche déterministe par opposition à la recherche non déterministe.
Parlons donc du concept de recherche déterministe.
Ceci est notre agent dans le labyrinthe et la recherche déterministe signifie que si l'agent
décide de monter, alors il se produira une probabilité de 100%.
C'est exactement ce qui va arriver.
Il n'y a pas d'autres options.
Une fois que cela dit monter ou cliquez sur la flèche vers le haut, ça va monter.
Il n'y a pas d'autres options.
Maintenant, par contre, la recherche non déterministe est quand notre agent dit qu'il veut monter.
Ils sont en réalité quelques options.
Par exemple, il pourrait y avoir trois options et nous allons regarder un exemple où il
y en a trois mais il n’est pas nécessaire que la limite soit de trois pour
que cela puisse être différent en fonction du problème, le caractère aléatoire pourrait dans notre cas, il pourrait y avoir trois options avec
une probabilité de 80% qu'il monte.
Mais alors avec une chance sur 10% quand il veut monter, il ira à gauche juste parce que.
Parce que c'est comme ça que l'environnement fonctionne, c'est le monde dans lequel il vit.
Et avec un autre chèque sur 10% de chance, il ira bien.
Et dans ce cas, il tombera dans le foyer.
C'est comme ça que tout fonctionne.
C’est un exemple de recherche non déterministe dans un processus stochastique et son objectif est de créer un modèle
plus réaliste de ce qui pourrait réellement se produire dans un monde réel dans un type de problème du monde réel, car il est très rare que vous
rencontriez de telles situations. quand vous faites quelque chose et que cela se passe exactement de
cette façon.
Et même si vous y réfléchissez en termes de jeux, supposons qu'un agent joue Pac-Man.
Eh bien, il n’est pas toujours vrai que s’il se tient sur la place, il monte.
Il obtiendra le même résultat exact à chaque fois.
Eh bien, il va effectivement monter, mais dans un cas, vous ne serez pas mangé par un fantôme dans les deux cas.
Il va se faire manger par un fantôme.
Comme vous pouvez le constater, il y a un certain hasard à cela car cela dépend de la manière dont les fantômes se déplacent et ils ne
se déplacent pas toujours de la même manière.
Ils ne commencent pas toujours aux mêmes endroits.
Il est donc très logique de penser qu'il y a une part d'aléa qui n'est pas
sous le contrôle de l'agent, c'est-à-dire que c'est juste une façon pour nous de
le présenter cela affecte l’équation de Belman et son incidence sur l’ensemble du
processus d’apprentissage par renforcement.
Mais dans le même temps, le hasard n’est bien sûr pas limité si vous montez, il y a 10% de chances que vous alliez à
droite ou à temp et que vous alliez juste à gauche ou si vous descendez à 10% de chance que vous alliez à droite
ou à gauche » Vous avez raison, il y a 10% de chances que la hausse ou la baisse soit limitée au lieu
où vous vous retrouverez. Parfois, vous pourriez avoir un problème qui est exactement.
Parfois, les possibilités peuvent être différentes.
Parfois, le hasard peut se résumer à autre chose, il peut être résumé comme dans cet exemple.
Les fantômes Pacman mangeant vous ne vous mangez pas ou cela pourrait se résumer à quelque chose de différent.
Par exemple, il y a comme si l'agent jouait Doom et ensuite il y avait quelque chose comme un monstre qui va
le tirer dans un cas et dans d'autres cas, il y a une probabilité que nous devrions tous
nous faire tirer dessus et nous ne le serons pas.
Et untel, quelque chose qui échappe au contrôle des agents est quelque chose que je ne peux pas prédire.
C’est ce que nous modélisons ici dans une recherche non déterministe et c’est ici que nous avons directement
approché deux nouveaux concepts: une marque de processus et / ou une marque de processus et une marque de processus
de décision, examinons-les.
Et vous savez combien je n'aime pas mettre de définitions et beaucoup de texte de côté.
Mais dans ce cas, il est nécessaire que nous passions par là.
Regardons donc un processus stochastique a une marque de propriété.
Si la distribution de probabilité conditionnelle des états futurs du processus est conditionnelle et que
les états passé et présent dépendent uniquement de l'état présent et non de la séquence d'événements qui l'ont précédé.
Un processus avec cette propriété s'appelle un marqueur.
Une définition très complexe et un peu comme si vous introduisez un peu, non seulement se contredit, mais donne l’impression
que cela se contredit, alors ici, elle est conditionnelle à une présence positive qui dépend de votre
argument.
Mais en même temps, cela ne dépend que de l'état actuel.
Alors ne vous embourbez pas trop là-dedans.
Je vais le décomposer en termes simples afin qu'une marque de propriété soit lorsque vos futurs états.
Donc, pas seulement votre choix, mais le tout.
Votre choix et l'environnement ne feront qu'aimer les résultats de toutes les actions que vous entreprendrez dans cet environnement ne
dépendront que de votre situation actuelle.
Cela ne dépendra pas de la façon dont vous y êtes arrivé.
Et c'est tout.
C'est donc une question de public et un processus qui possède cette propriété s'appelle le processus de marché.
Donc, pour donner un exemple, si votre agent est ici et s'il part, s'il décide de monter, il pourrait y
aller.
Dans notre cas, dans notre exemple de recherche non déterministe, il pourrait aller de gauche à droite.
D'accord.
C'est parce que nous avons cette ville dans notre environnement, nous avons ce caractère aléatoire dans
notre environnement.
Donc, n'importe laquelle de ces choses pourrait arriver.
Mais la clé ici est que c'est une marque de processus parce que nous ne nous soucions pas de savoir comment vous êtes arrivé
Il aurait pu venir du haut a fini ici, il aurait pu venir de la gauche et qu'ici
vous pourriez venir du bas et finir ici.
Il aurait pu jouer comme déplacé ici environ 100 000 fois puis arriver ici.
Peu importe ce qui s'est passé auparavant, seul importe dans quel état se trouve-t-il maintenant.
Et donc les probabilités d'aller à gauche ou à droite ou en haut seront toujours les mêmes s'il est dans cet
état maintenant.
Et donc, c'est simplement dire que peu importe ce qui s'est passé avant d'être ici maintenant.
C'est l'état dans lequel vous vous trouvez.
Et n'oubliez pas que cet état ne signifie pas seulement où il se trouve.
L’état est l’état de l’ensemble de l’agent dans l’environnement, il y a donc des monstres à droite ou des monstres à
gauche, ou vous savez, le fantôme vient du haut ou du bas, quel que soit l’état où
vous vous trouvez .
Peu importe comment vous y êtes arrivé, peu importe comment et comment vous en êtes venu à être dans cet
état.
Maintenant, ce qui va arriver dans le futur n'est déterminé que par l'état dans lequel vous vous trouvez.
En plus des actions que vous allez entreprendre et bien sûr du caractère aléatoire qui s’y superpose.
Donc, c'est une marque de processus et un processus de décision de marqueur ou un processus de décision de MVP ou de marqueur.
Fournissez un cadre mathématique pour modéliser la prise de décision dans des situations où les résultats sont en partie aléatoires
et en partie sous contrôle de la prise de décision.
Si important de comprendre que la marque du processus de décision est un processus différent et
marque du concept entier pour marquer du processus.
Il y a comme un cadre mathématique alors.
Mais en même temps, j'estimais qu'il était important pour nous de comprendre ce qu'est une
marque de processus, car je pense que cela aide toujours à comprendre le processus de décision. Il existe donc une marque de
processus de décision.
C’est exactement ce dont nous avons discuté jusqu’à présent, de sorte que l’agent vit dans cet environnement où il
a le contrôle comme lui auparavant et où il a le plein contrôle de ce qui se passe, mais qui le contrôle
un peu moins.
Il peut décider de monter mais il sait réellement.
OK, donc si je monte il y a une chance pour les singes, je vais monter cette tentative et les chances vont à gauche et la chance
ira à droite.
Donc, tout n’est pas entièrement sous son contrôle.
Il y a un peu de hasard dans cet environnement et c'est exactement ce que le processus
de décision et le processus de décision de Markov constituent le cadre que l'agent utilisera pour comprendre ce qu'il faut faire dans
cet environnement.
Nous avons donc un environnement avec une toxicité quelque peu aléatoire.
Et maintenant, l’agent doit choisir, par exemple, de descendre vers la gauche ou vers la droite.
Il doit prendre cette décision.
Il ne sait pas quoi faire.
Et pour prendre cette décision, nous allons appliquer un cadre qui utilisera un processus de décision
afin de décider de ce qui va se passer à l’avenir.
Et donc, fondamentalement, cet environnement qui pose ce problème est référé à la marque du processus de décision, de
sorte que c’est le cadre utilisé par l’agent en même temps qu’il est exploité dans
un environnement de processus de décision de marché.
Et donc, fondamentalement, nous avons ici deux concepts qui ont la marque de processus est la façon dont cet environnement
est conçu pour que le PA effectue le travail.
Ce qui se passe là où vous êtes maintenant ne dépend pas du passé.
Et au même moment, nous avons la marque du processus de décision: le cadre
que l'agent utilisera pour résoudre cet environnement.
Et la bonne nouvelle, c’est que le processus décisionnel ou le cadre dont nous parlons
ne fait qu’ajouter à la question de Belman concernant l’équation, c’est l’équation de Belman, mais un peu plus sophistiquée.
Alors regardons ça.
Ceci est notre équation de Belman jusqu'à présent.
C'est le maximum de toutes les actions possibles.
Donc, la valeur d'être dans un état est le maximum de toutes les actions possibles que vous pouvez effectuer à
partir de cet état.
Le maximum provient de la récompense que vous obtiendriez en prenant cette action dans cet état, plus un facteur de
réduction multiplié par la valeur du prochain état, qui est aussi bon.
C'est donc ce que nous avons eu jusqu'à présent.
Maintenant, comme nous avons un peu d’aléatoire dans tout notre processus, cette partie va changer car nous ne
savons pas vraiment quel état finira et nous ne saurons pas quel sera le meilleur choix
si ce sera le cas. up ou seront laissés seront raison donc nous devons effectivement placer cela avec la valeur attendue
de la prochaine date.
Nous allons donc remplacer ceci afin que nous puissions nous retrouver dans trois états possibles.
Et donc, nous allons remplacer cela par une certaine valeur, cet état a la valeur première.
Qu'il a une vue de premier à premier.
Et cet état a une valeur de nous trois Bryne.
Nous allons donc maintenant multiplier par 80 le nombre d’États dans lequel nous comptons aller, car c’est ainsi
que la probabilité d’atteindre cet État et la probabilité d’atteindre cet État sont de
10% plus les personnes qui entrent dans cet État. juste notre valeur attendue, donc si nous prenons des
statistiques si nous prenons la valeur escomptée d'entrer dans l'état dans lequel nous entrerons, elles ressemblent un peu à la moyenne.
Quelle est la moyenne de ce que nous obtiendrons, puis nous la remplacerons ici.
Ensuite, nous obtenons cette agression et elle saute très rapidement juste parce qu’il ya une grosse mais si vous
la regardez attentivement, vous verrez la même chose dire à propos de Max ici Max ici.
Ensuite, vous avez le R et le R et vous et vous avez le gamma, vous avez le gamma.
Et puis enfin ici vous avez v.
Donc, vous saviez exactement que c’était une recherche déterministe, vous savez dans quels états vous allez entrer.
Maintenant, vous ne savez pas dans quel état vous allez entrer depuis celui de prendre V.
Vous prenez la valeur attendue de l'état dans lequel vous allez entrer ou de l'état futur ou simplement, vous prenez simplement la
moyenne de ce que vous allez entrer.
Donc, vous savez, comme si c'était comme si, avec 30% plus 3% des chances, ce serait comme la division de ce Plus par
trois.
Mais dans ce cas, ce n'est pas exactement comme la moyenne.
C'est une moyenne pondérée à cause des probabilités ici.
Donc, ici, vous avez la probabilité que, lorsque vous êtes à ce stade, vous agissiez pour passer à l’état premier temps de la
valeur de s prime et à certains de croiser tous ces nombres premiers que vous pourriez éventuellement entrer
dans qui nous sommes.
Donc exactement ce que nous avions trois ici un deux trois.
Ajoutez-les multipliez-les, ajoutez-les.
Pareil ici.
Un deux trois.
Multipliez-les par les probabilités et additionnez-les.
Et c'est votre nouvelle équation Belman.
Toutes nos félicitations.
C'est ce sur quoi nous allons travailler à l'avenir.
Et c'est le cadre utilisé dans les processus de décision, donc c'est le cadre qui permet de résoudre
ce problème.
Ces agents ont utilisé pour résoudre tout ce problème de recherche stochastique non déterministe dans lequel se produisent
des événements aléatoires qu'ils ne peuvent pas contrôler.
C'est donc beaucoup plus complexe.
Mais comme vous pouvez le constater, nous avons progressé lentement.
Maintenant, nous savons déjà ce que nous savons.
Il y a des soucis à ce sujet.
Nous savons à ce sujet.
Nous savons ce qu'ils sont.
Donc, tout ce que nous avons fait, c'est que nous venons d'introduire cette partie parce qu'il y a des
probabilités impliquées dans l'action ou que les conséquences de votre action sur des causes non déterministes sont basées sur des probabilités.
Et alors on y va.
C'est ainsi que fonctionne un marqueur de processus de décision et l'équation sous-jacente qui le sous-tend.
Encore une fois, c'est quelque chose qui ressemble davantage aux problèmes du monde réel, aux scénarios de
Sinatras ou même de jeux, car tout n'est pas simple.
Il y a un certain hasard parmi toutes les personnes impliquées et ne pas toujours entreprendre une action dans un certain
état ne sera pas toujours le même résultat.
Et c’est donc ce dont nous allons nous occuper à l’avenir et qui va rendre les
choses beaucoup plus intéressantes.
J'espère que cela vous enthousiasme et que vous êtes impatient de voir ce qui va suivre.
Et en attendant, j'ai trouvé un papier vraiment cool pour que vous puissiez jeter un coup d'œil à cette époque.
C'est un papier très appliqué.
Donc, celui-ci est vraiment très intéressant à lire.
C'est ce qu'on appelle une enquête sur les applications de Mark of processus de processus de décision et il a été écrit par
White en 1993.
Il y a le lien et je vais vous montrer des exemples où les processus de décision de Markov sont en fait utilisés pour modéliser
la vie réelle de Sinatras. Je pense que cela m'a enthousiasmé.
J'ai été impressionné par certains exemples d'exploitation de la population, par exemple.
Alors disons que vous avez du poisson et que vous savez quelle est la population de poisson dont vous avez besoin
pour décider du nombre de poissons que nous pouvons pêcher cette année et quoi.
C'est donc votre état actuel.
C'est l'action que vous entreprenez. Combien pouvons-nous filmer cette année?
Alors, quels sont les meilleurs résultats possibles?
Combien de poissons aurons-nous l'année prochaine?
Combien de poissons aurons-nous l'année d'après et l'année suivante, etc.
Et ce n’est pas déterministe, car ce n’est pas comme si vous le preniez à une heure et que 90%
de la population l’année prochaine, vous saurez que revenir à 100% n’est pas exactement un sermon.
Certains facteurs aléatoires sont hors de notre contrôle et nous devons donc comprendre ce qui va se
passer, nous devons modéliser ce qui va se passer dans les cas où
une décision de marché rend l'agriculture.
Il y a un exemple comme quelque chose comme la récolte, combien de récoltes récoltons-nous, combien d'argent
nous ne récoltons pas.
Une autre que j'ai examinée dans le domaine de la finance et des investissements, dans laquelle une compagnie d’assurance doit
décider quelle partie de ses fonds elle investira, quel que soit le jour, l’année ou une période donnée, et certains facteurs
sont sous son contrôle.
Par exemple, vous connaissez les mouvements du marché, il ne sait pas ce qui peut se passer, il doit donc en quelque
sorte le modéliser.
Une marque de processus de décision utilisés pour cela.
Donc, ici, vous pouvez voir beaucoup, beaucoup d'exemples.
Et c’est le nombre d’exemples donnés pour chacun d’entre eux.
Et vous connaissez donc même des exemples sportifs pour les sports et les épidémies et l'inspection des réclamations d'assurance automobile ainsi que
l'entretien et les réparations, c'est également très intéressant.
Regardez ça.
Juste pour vous donner une compréhension de «hé», il ne s’agit pas simplement de trucs hypothétiques du genre
Matrix.
C'est en fait le scénario du monde réel, donc je vais vous donner une meilleure compréhension
et c'est ce dont nous avons parlé dans la vidéo promotionnelle pour les partitions ou la description du cours
que nous allons vous inspirer et votre intuition pour vous donner des idées pour savoir comment utiliser l'IA dans la vie réelle.
Ceci est votre opportunité.
Regardez ce papier pour comprendre.
OK, nous allons donc nous occuper du processus décisionnel.
C’est vraiment bien ce à quoi ils ressemblent dans la vie réelle et cela pourrait éventuellement
vous donner des idées sur la manière dont vous pourriez utiliser le futur pour rendre le monde meilleur, et nous en serions très
heureux.
Nous serions heureux si vous pouviez utiliser ce que vous avez appris dans ce cours pour améliorer le monde.
C'est fantastique avec ça.
J'espère donc que vous avez apprécié le tutoriel d'aujourd'hui.
J'ai hâte de vous voir la prochaine fois.
Et jusque-là, profitez de l'IA.