Bonjour et bienvenue au cours sur l'intelligence artificielle.
J'espère que vous appréciez le cours jusqu'à présent.
Et aujourd'hui, nous parlons d'agir les politiques de sélection.
Très bien, allons droit au but.
Auparavant, nous avions envisagé d’ajouter un réseau de neurones à notre apprentissage simple et jusqu’à présent, nous
nous engageons dans un apprentissage en profondeur.
Nous avons beaucoup parlé de l'apprentissage, y compris l'ajout d'éléments.
Et aujourd'hui, nous parlons de cette partie, nous parlons de l'acting.
Alors jetons un coup d'oeil.
Nous avons donc abordé ici le problème suivant: une fois que vous avez saisi les
valeurs, les paramètres sont le vecteur décrivant clairement que l'agent d'état est clairement
dans cet environnement.
Fondamentalement, nous obtenons toutes les q valeurs afin que nous ne soyons pas intéressés par l'apprentissage pour le
moment. Nous insistons pour pouvoir agir. Une fois que nous avons ces valeurs clés, comment pouvons-nous comprendre laquelle nous devons utiliser.
Eh bien, si vous y réfléchissez.
Les valeurs Q sont simplement des prédictions pour le cube.
Donc, comme nous l'avons fait dans l'algorithme d'apprentissage simple, qu'est-ce que nous avons fait, nous avons simplement sélectionné celui qui a le meilleur de la
valeur la plus élevée.
Une fois que nous avons celui avec la valeur de QI le plus élevé, nous agissons simplement parce que cela nous apporte la
valeur la plus élevée et que nous savons que la récompense immédiate de la calculatrice de Duval est que nous nous attendons à
recevoir le facteur DK multiplié par la valeur de la prochaine date.
Et comme il s’agit d’un calcul récursif, pourquoi ne pas choisir le meilleur rapport qualité-prix, et
c’est tout.
Mais comme vous pouvez le voir ici, ce n’est pas aussi simple ici que nous utilisons une fonction soft max
et c’est là que nous allons parler des règles de sélection.
Donc ici, en réalité, nous n’avons pas besoin d’une simple fonction logicielle.
Nous pouvons avoir différentes politiques de sélection d'action, par exemple, nous avons le logiciel souple d'Epsilon et les Macs souples et ils
sont un peu comme les politiques de sélection d'action les plus utilisées, bien sûr, il y
en a d'autres.
Par exemple, le plus élémentaire est une action très simple: il suffit de sélectionner le meilleur.
Celui avec la valeur Q la plus élevée.
Mais pourquoi cette impulsion d'action ne vole-t-elle pas et pourquoi avons-nous différents types de politiques de sélection d'action
d'impulsions d'action?
Tout se résume à l'exploration et à l'exploitation.
Et c’est là le cœur de l’apprentissage par renforcement, car nous avons déjà évoqué un peu le fait que
votre agent, lorsqu'il opère dans un environnement, peut prédire certaines valeurs de file
d’attente qui peuvent être bonnes et qu’il peut s’avérer génial de devenir disponibles et sera obligé d'explorer.
Donc, si, par exemple, nous prédisons dans l’affaire que Q2 est le meilleur et qu’il faut ensuite, Q To prend
des mesures pour le résoudre.
Donc, d’ici à la section 2, cela donne une récompense très négative.
Ensuite, l'environnement oblige l'agent à exploser parce qu'il va maintenant apprendre que, en fait, je pensais
que la Q2 allait être très bonne mais qu'elle s'est avérée très mauvaise.
Donc, les résultats ne sont pas très mauvais.
Ainsi, les réseaux peuvent se mettre à jour de manière à ce que la prochaine fois qu’il se trouve dans l’état,
il va probablement manger mon âme.
Vous savez que si c'est très très favorable, vous pourriez penser que c'est comme si vous
saviez que vous auriez peut-être besoin plusieurs fois de pénalités ou de punitions pour apprendre qu'il s'agit d'action.
Mais peut-être qu’il apprendra bientôt que je vais prendre une mesure différente, puis au poignet, car
c’est le meilleur rapport qualité-prix.
Alors parfois, l'environnement oblige l'agent à prendre différentes mesures pour explorer différentes actions, mais parfois, l'agent peut se
trouver coincé dans un maximum local, il peut être amené à poursuivre son exploration initiale et à découvrir que, oh, il
s'agit d'une action plutôt cool telle que Je vais y aller juste ici.
Et cette collection d'esprit.
Mais le problème, c’est qu’il pense que c’est la meilleure action, tout simplement parce qu’il n’a
pas été exploré, mais il a exploré de monter à gauche, ou d’explorer de gauche. un peu
comme biaisé vers cette action et penser qu'une bonne action va continuer à prendre,
il va continuer à aller.
Il va continuer à prendre va continuer à recevoir une bonne récompense.
Mais que se passerait-il si cette action aurait été encore meilleure si cette action avait été tellement meilleure que si elle était au courant
de cette action, elle basculerait en réalité sur cette action, mais parce qu’elle était bloquée dans
un maximum local, obtenir ces bonnes récompenses ne fait que commencer être renforcé.
Cela va continuer à se renforcer, ou la violence va le renforcer, c’est
une bonne action à prendre.
Mais la réalité est qu’il existe une autre action qui n’a pas encore été trouvée ou qui n’a même pas été explorée.
Cela aurait été beaucoup mieux.
Nous voulons donc élaborer une politique de sélection permettant à notre agent de ne pas rester bloqué
dans un maximum local.
Oui, il est important que vous sachiez que vous continuiez à faire les bonnes actions qui constituent la partie exploitation.
Nous n'exploiterons pas ce que nous avons trouvé.
Mais en même temps, nous voulons continuer à explorer, nous ne voulons jamais cesser d'explorer comme dans la vie, vous ne
voulez jamais arrêter d'apprendre, vous cessez d'apprendre que vous mourrez.
Ce sont des choses comme celle-là: quand tu ne grandis pas, tu meurs ou si quelque chose est arrivé alors tu veux continuer
à apprendre et ton agent veut continuer à apprendre.
Et c’est là que ces politiques de sélection d’actions entrent en jeu.
Vous en avez donc énuméré trois ici. Le premier est Epsilon Greedy. Il s'agit d'un nom très simple.
Il semble assez complexe, dans le sens où il porte un nom cool et comporte généralement des noms chirurgicaux.
C'est en fait pas.
Donc, en gros, cela sélectionne celui qui a la meilleure valeur Q et epsilon, comme Epsilon, vous entendrez peut-être
d’autres endroits, c’est comme une politique de sélection.
Donc, dans ce cas, nous l’utilisons pour lisser, de sorte que nos valeurs hors Al-Q sont calculées en fonction des ventes comme celle
avec la valeur Q la plus élevée tout le temps, à l’exception d’Epsilon, pour cent du temps.
Ainsi, par exemple, si vous définissez epsilon sur 10%, vous passez à 0. 1 à 10% du temps pendant lequel
l'action sera sélectionnée au hasard.
Donc, 90% du temps, vous sélectionnerez toujours la meilleure action en fonction de la valeur la plus élevée.
Mais 10% du temps va sélectionner une action aléatoire.
Uniforme, vous devrez absolument agir au hasard ou si vous avez dit
epsilon à zéro, point cinq, pour 0. 05 cela signifie que, dans 95% des cas, l'agent entreprendra l'action avec la valeur
la plus élevée.
Mais 5% du temps, il va toujours y avoir une sélection et une action aléatoire.
Donc, ça va aller là-bas et explorer.
Donc, le soft d’Epsilon est très similaire à celui qui explique pourquoi on
l’appelle FCL glouton parce qu’alors vous sélectionnez goulûment l’action comme bonne action, à l’exception de ce petit épisode.
Une partie du temps.
Ainsi, plus le contrat EPS est bas, plus le Lepp Epsilon est abaissé, plus vous choisissez
ce type d’action comme étant optimal et moins vous le laissez, moins vous partez à la recherche
du logiciel d’exploration d’Epsilon.
Donc, fondamentalement, vous sélectionnez au hasard, vous sélectionnez un centième Epsilon moins.
Donc, si vous aimez epsilons 0. 1 à 10% alors seulement 10% du temps que vous prenez cette action.
Et 90% du temps, vous sélectionnez une action aléatoire.
Donc, très très simple, des algorithmes simplement inversés et un logiciel Max ressemblent un peu plus à la prochaine étape ou c’est une
version plus avancée, je dirais que sur epsilon de l’algorithme epsilon greedy bien que les deux aient du mérite
et qu’ils ont tous deux leur place.
Nous allons utiliser l'autofinancement dans notre codage dans notre genre de chose pratique.
Nous allons donc parler un peu plus en détail de soft max.
Alors jetons un coup d'oeil.
Alors passons à votre prochaine, espérons-le.
Ebsen reconnaît que c'est un algorithme assez simple.
Sélectionnez celui-ci.
La plupart du temps, sauf parfois, aller explorer.
Et maintenant, nous voyons aussi pourquoi il est important de faire cette exploration de manière à ne pas atteindre le
maximum local dans notre processus d'optimisation. Nous allons maintenant parler un peu plus des Macs logiciels.
Il y a un tutoriel sur les marques douces à la fin du cours.
Je pense que c'est une annexe numéro deux où nous parlons du concept de Maxim's parce que vous actualisez un peu
ici, nous parlons donc de réseaux de neurones et, en passant, nous allons tous couvrir la
convolution.
Nous ne couvrons pas les réseaux de neurones d'évolution dans cette section.
Bien sûr, dans cette section, nous utilisons toujours un vecteur.
Mais dans la section suivante du cours, lorsque nous créerons une intelligence artificielle pour
jouer à Doom, nous utiliserons un réseau de neurones convolutionnel.
fonction ou vous pouvez en apprendre un peu plus sur soft Max.
Après avoir pris les réseaux de neurones de convolution et bien sûr plus tard.
Mais voici un bref rappel. Nous avons donc ici notre réseau de neurones convolutionnels qui détermine s'il s'agit d'un chien
ou d'un chat.
Nous avons donc ici le processus de vote entre ces neurones et celui-ci
dit que c'est le genre de choses que vous connaissez les oreilles duveteuses. les yeux
regardent toutes ces caractéristiques qui appartiennent à un chien.
Il y a donc 95% de chances que ce soit un chien et 5% de chance que ce soit un chat.
Mais la question est de savoir comment nous sommes entrés dans cette Tauriel dont nous parlons, comment pouvons-nous obtenir ces valeurs pour
en faire une.
Eh bien, quelle que soit la convolution, tous nos réseaux de neurones sont le réseau de neurones convolution ainsi que les
Lares entièrement connectés, quelle que soit leur qualité, quelles que soient les valeurs appliquées à la fonction
max max
C'est ici que nous avons introduit la formule de la fonction suivante douce.
Est ce que ça ressemble.
Et puis nous avons eu ces valeurs.
Et donc, en gros, c'est un rappel rapide.
C'est la formule pour le soft Max.
C’est ce qu’il fait, c’est que cela prend peu importe le nombre de sorties que vous avez.
Cela les prendra et les réduira à des valeurs comprises entre 0 et 1, quelle que soit leur taille. Pour moi, vous
pouvez voir qu'il y a une somme totale au bas de sorte que ces dispositifs seront
nuls et in.
Et toutes ces valeurs vont s’additionner pour toujours.
Et c'est donc très bénéfique pour nous, car lorsque nous utilisons la fonction soft max, nous
obtenons ces valeurs, nous sélectionnons cette meilleure valeur d'affichage.
Mais en réalité, ce qui se passe, c’est que les valeurs que nous obtenons ont des chiffres exacts.
C'est donc une sorte de chiffres.
Ils ne doivent pas tous être ajoutés à un et ne doivent pas être compris entre 0 et 1.
Juste quelques chiffres.
Mais lorsque nous appliquons Max logiciel, nous ne sélectionnons pas uniquement le meilleur, nous obtenons
des chiffres de ce type, nous obtenons des nombres compris entre 0 et 1, qui totalisent également 1.
Et quelle autre chose connaissons-nous qui en ajoute une?
Les probabilités bien nous savons que les probabilités doivent toujours additionner jusqu'à 1, c'est pourquoi nous pouvons dire ici
que nous avons q valeurs mais ici tout à coup nous avons soft ou probabilités.
Nous pouvons donc dire que la probabilité que cette action soit la meilleure est de 90%.
Cette section lesbienne 5 pour cent 2 pour cent 3 pour cent parce que nous savons que plus votre valeur est élevée, meilleure
est l'action.
Donc, si nous les réduisons à 0 pour 1, celles-ci deviennent des possibilités et nous pouvons les traiter comme telles.
Et donc maintenant, c’est au moment où l’action est sélectionnée et c’est ainsi que nous arrivons à Q2.
Mais si vous le regardez de près, ce n’est pas strict à 100% et ce ne sont pas Saroo 0%.
Donc, cela représente 5 à 3%.
Donc, la manière la plus naturelle d’appliquer le logiciel Max maximum afin de préserver l’exploration dans l’algorithme consiste à utiliser
ces probabilités exactes comme fréquence de réalisation de cette action.
Ainsi, ces probabilités présentent en fait la répartition de ces actions que nous prenons. Soft nous
permet donc très facilement de trouver un moyen de combiner exploitation et exploration.
Ainsi, la meilleure des actions sera toujours la plus probable, car elle a la valeur Q la
plus élevée. Nous allons donc les utiliser comme distribution ou nous allons
dire d'accord, nous allons prendre Q2 90% du temps, mais 5% du temps, nous prenons
toujours le premier trimestre et 2% du temps, 3 et 3% du temps, le quatrième trimestre.
Et la beauté ici est aussi que, à mesure que ces valeurs se mettent à jour
au fur et à mesure que l'agent parcourt le réseau, il se familiarise de plus en plus avec l'environnement et, par conséquent, ces mises
à jour afin que cette valeur puisse par exemple devenir telle qu'elle pourrait cette valeur est en réalité inférieure
ou supérieure et ces probabilités changeront également au fur et à mesure que l'agent passe.
Donc, même si ici nous avons Choo-Choo.
Personne ne peut dire que parfois 5% du temps, pour être plus précis, nous choisissons Q1 comme action
à prendre et parfois, ou une action en passera à une action.
Parfois, prendre des mesures à travers deux actions trois à deux pour cent du temps et l'action pour prendre
environ 3 pour cent.
Ainsi, chaque action a une chance de jouer dans ce processus tant que nous avons suffisamment d'itérations, un agent traverse une multitude
de fois à travers ces états dans lesquels il se trouve.
Et c’est comme cela que tous les algorithmes d’apprentissage en profondeur fonctionnent de manière récurrente afin
que vous puissiez tirer des enseignements de l’expérience. Ainsi, comme vous pouvez le voir ici, c’est une
transition très naturelle vers.
Nous ne sommes pas simplement un hasard comme un algorithme en colère d’Epson et nous ne sélectionnons
pas au hasard les actions que nous sélectionnons en fonction de leurs valeurs soft max. Nous sélectionnons parfois une
action au hasard, mais il y a une certaine logique derrière notre façon
de procéder et basée sur les valeurs clés que nous avons explorées.
Et c'est donc la politique de sélection des actions que nous allons utiliser dans ce cours.
N'hésitez pas à consulter la section action gourmande d'Ebsen Polsce si vous le souhaitez, mais
nous utiliserons principalement la politique de section action soft Max et j'ai une lecture intéressante à vous
proposer.
C'est ce que nous appelons l'exploration adaptative d'Epsilon dans l'apprentissage par renforcement basée sur les différences de valeur,
c'est l'article de 2010.
Et c'est intéressant parce que Mike Michel, je ne sais pas comment prononcer Michelle et Miquel toxic
introduit un type différent d'algorithme glouton d'Algren et ajusté et appelé l'algorithme VDB VDB ou l'algorithme epsilon glouton
que vous pouvez voir ici.
Et il compare en fait les comparaisons avec le Max gourmand et doux d'Ebsen.
Il s'agit d'un algorithme absolument glouton dont l'objectif principal consiste à ajuster la valeur de epsilon en fonction de l'état de
l'agent.
Donc, si l'agent est très certain de l'état actuel, Epsilon devrait être plus petit et devrait
donc être moins d'exploration si l'agent répond, alors Epson devrait être plus élevé.
C'est donc un article de 2010.
Je ne sais pas si c'est si le nouvel algorithme proposé est largement utilisé ou est accepté par la communauté ou
si le Times artificiel a un moyen de contourner cette suggestion.
Néanmoins, cela vous aidera certainement à renforcer vos connaissances sur les politiques de sélection des actions dont nous
avons parlé dans Epsom Ingredion, le doux Naxal, à
vous donner l’occasion de contraindre le site Subha et de voir également dans quelle direction
les gens pensent réellement quand ils veulent améliorer l’intelligence artificielle. Donc, si vous envisagez de créer des algorithmes vraiment intéressants
qui repoussent les limites de l'intelligence artificielle d'Elche et de repousser les limites de cet espace,
cela pourrait être un bon moyen de voir dans quelle direction les gens pensent parfois lorsqu'ils tentent améliorer les normes de l'intelligence
artificielle ou les normes qui existaient à l'époque en 2010.
Alors on y va.
J'espère que vous avez apprécié le didacticiel d'aujourd'hui sur les règles de sélection des actions et que nous avons appris
à propos du rappel Epson et de ses Macs tout en douceur, et vous êtes maintenant encore plus préparé au côté pratique des choses.
Et sur cette note, je suis impatient de voir votre prochaine étape.
Et jusque-là, profitez de l'IA.