Hola y bienvenidos al curso de inteligencia artificial.
Espero que estés disfrutando el curso hasta ahora.
Y hoy hablamos de acción las políticas de selección.
Está bien, vamos directo a eso.
Anteriormente hablamos acerca de agregar una red neuronal a nuestro aprendizaje simple y hasta ahora
nos estamos adentrando en el aprendizaje profundo.
Hemos hablado bastante acerca de la parte de aprendizaje que incluye agregarle algunos elementos.
Y hoy estamos hablando de esta parte de la que estamos hablando sobre la actuación.
Así que echemos un vistazo.
Así que aquí tenemos lo que discutimos sobre la actuación, una vez que ingresas los valores, los parámetros son el vector que describe
que el agente de estado está claramente en ese entorno, luego de que todo se haya completado o incluso antes
de que el aprendizaje haya terminado.
Básicamente obtenemos todos los valores q, por lo que no estamos interesados ​​en el aprendizaje en este
momento, insistimos en actuar, de modo que una vez que tenemos estos valores clave, ¿cómo entendemos cuál necesitamos usar?
Bueno, si lo piensas bien.
Los valores Q son simplemente predicciones para el cubo.
Entonces, como hicimos en el algoritmo de aprendizaje simple, qué hicimos, simplemente seleccionamos el que tiene
el mejor valor.
Una vez que tenemos el que tiene el mayor valor de coeficiente de inteligencia, simplemente tomamos esa medida porque solo
nos brinda el valor más alto y sabemos que la recompensa inmediata de la calculadora Duval que esperamos recibir, además
del factor DK multiplicado por el valor de la siguiente fecha.
Y es un cálculo recursivo, ¿por qué no por qué no tomaría el mejor valor y eso
es el final?
usando una función de máximo dinámico y aquí es donde vamos a hablar sobre las políticas de selección reales.
Pero como puede ver aquí, no es tan simple que estamos
Entonces aquí, en realidad, no tenemos que tener solo una función de software.
Podemos tener diferentes políticas de selección de acciones, por ejemplo, tenemos Epsilon greedy Epsilon's soft y tenemos los soft
Macs, y esos son como las políticas de selección de acción más utilizadas,
por supuesto, hay otras.
Por ejemplo, la más básica es una acción muy simple que solo se puede seleccionar sociables.
El que tiene el valor Q más alto.
esa acción no se dispara y por qué tenemos diferentes tipos de políticas de selección de acción de pulso de acción?
Pero ¿por qué
Bueno, todo se reduce a exploración versus explotación.
Y ese es el núcleo del aprendizaje de refuerzo porque ya hablamos de esto un poco que su agente,
cuando está operando en un entorno, puede predecir ciertos valores de cola que podrían
ser buenos y podría resultar grandioso, podría resultar que estén disponibles. y se verá obligado a explorar.
Entonces, si, por ejemplo, en este caso predecimos que Q2 es el mejor y luego toma Q
para que lo tome acción.
Así que de aquí a la Sección 2 y luego obtiene obtiene una recompensa muy negativa.
Entonces el medio ambiente está obligando al agente a explotar porque ahora aprenderá que, en
realidad, pensé que Q2 iba a ser muy bueno, pero resultó ser muy malo.
Entonces los resultados no son muy malos.
Entonces las redes pueden actualizarse así que la próxima vez que él esté en el estado
probablemente se comerá mi alma.
Sabes que es muy favorable, entonces podrías pensar que es como si supieras que podrías necesitar
un par de veces un par de penalizaciones o castigos para aprender que se trata de acción.
voy a tomar una acción diferente y tomar la acción de la muñeca porque ahora tiene el mejor valor.
Pero tal vez ya pronto sepa que
De modo que a veces el entorno obliga al agente a tomar acciones diferentes para explorar distintas, pero
a veces el agente puede encontrarlo atrapado en un máximo local, y puede descubrir que siguió su exploración inicial y
descubrió que esta es una acción muy buena como Voy a ir aquí mismo.
Y esa colección d'esprit.
la mejor acción simplemente porque no se ha explorado, se explora yendo por su nariz o yendo a la izquierda se
explora yendo a la derecha, pero no ha explorado descender desde ese estado específico en el que está y ahora es algo
así como parcial hacia esta acción y creo que piensa que una buena acción va a seguir llevándola, seguirá haciéndolo.
Pero el problema es que piensa que es
Él va a seguir tomando en realidad va a seguir recibiendo una buena recompensa.
Pero ¿y si esta acción hubiera sido incluso mejor si esta acción hubiera sido mucho mejor que si supiera de
esta acción realmente cambiaría a esta acción, pero porque se quedó atascada en un
máximo local es obtener estas buenas recompensas solo va para ser reforzado
Esto va a seguir reforzándose a sí mismo o la violencia que lo va a reforzar
es una buena acción para seguir haciéndolo.
Pero realmente la realidad es que existe esta otra acción que aún no se ha encontrado o que aún no se ha explorado.
Eso hubiera sido mucho mejor.
Entonces, lo que queremos hacer es crear una política de selección real que permita a nuestro agente no quedarse
atrapado en un máximo local.
Sí, es importante para ti que sigas haciendo las buenas acciones que son la parte de la explotación.
No explotaremos lo que hemos encontrado.
Pero al mismo tiempo queremos seguir explorando, no queremos dejar de explorar porque, como en la vida, nunca
quieres dejar de aprender, dejas de aprender a morir.
no estás creciendo estás muriendo o algo así, entonces quieres seguir aprendiendo y tu agente quiere seguir aprendiendo.
Eso es algo así como que cuando
Y ahí es donde entran estas políticas de selección de acción.
Así que tenemos tres que mencionas aquí, así que la primera es Epsilon codiciosa, es muy simple,
suena bastante compleja en el sentido de que tiene un nombre genial y generalmente tiene nombres quirúrgicos.
En realidad no es así.
Básicamente, lo que hace es seleccionar el que tiene el mejor valor de Q y épsilon como Epsilon, es posible que
escuches otros lugares, es como una política de selección.
son por ventas como el que tiene el mayor valor de Q todo el tiempo, excepto por Epsilon el porcentaje del tiempo.
Así que en este caso lo estamos usando para deslizar, por lo que nuestros valores de Al-Q
Entonces, por ejemplo, si configuras épsilon al 10 por ciento, entonces vas a 0. 1 más del 10 por ciento del tiempo que
la acción va a ser seleccionada al azar.
Así que el 90 por ciento de las veces seguirá seleccionando la mejor acción en función del valor más alto.
Pero el 10 por ciento del tiempo va a seleccionar una acción aleatoria.
Uniforme va a tomar una acción absolutamente al azar o si dijiste
épsilon al punto cero cinco para 0. 05 eso significa que el 95 por ciento del tiempo el agente va a tomar la acción con
el valor más alto.
Pero el 5 por ciento de las veces seguirá seleccionando y acción aleatoria.
Por lo tanto, va a salir y explorar.
Así que Epsilon's soft es muy similar a la forma en que se parece a
por qué se llama FCL codicioso porque entonces estás seleccionando ávidamente la acción, la buena acción, excepto por ese pequeño episodio.
Algo de tiempo.
Entonces, cuanto menor sea el trato de EPS, bajarán el Leps Epsilon cuanto más graso sea que selecciones ese
tipo de acción que es la acción óptima y mientras menos dejes, menos oportunidades tendrás de explorar. Lo suave
de Epsilon es todo lo contrario.
Entonces, básicamente, estás seleccionando al azar que estás seleccionando uno menos Epsilon ciento del tiempo.
Entonces, si tienes epsilones como 0. Del 1 al 10 por ciento, solo el 10 por ciento del tiempo que realiza esta acción.
Y el 90 por ciento de las veces seleccionas una acción aleatoria.
Así que muy simple algoritmos invertidos y un Max suave es algo así como el siguiente paso o es
una versión más avanzada que diría sobre épsilon de épsilon algoritmo codicioso aunque ambos tienen
mérito y ambos tienen un lugar.
Vamos a utilizar la autofinanciación en nuestra codificación en nuestro tipo práctico de cosas.
Así que eso es lo que vamos a hablar con un poco más de detalle sobre soft max.
Así que echemos un vistazo.
Así que pasemos a tu próximo con suerte.
Es bastante claro que Ebsen está de acuerdo en que es un algoritmo bastante sencillo.
Seleccione este.
La mayoría de las veces, excepto algunas veces, ve y explora.
Y ahora también vemos por qué es importante hacer esa exploración para que no terminemos en máximos locales en nuestro
proceso de optimización, así que ahora vamos a hablar un poco más sobre los soft Macs.
Hay un tutorial sobre marcas suaves al final del curso.
Creo que es un anexo número dos en el que hablamos sobre el concepto de Maxim porque se actualiza un
poco aquí, entonces estamos hablando de redes neuronales y, por cierto, vamos a estar cubriendo
convolucionales.
No cubrimos las redes neuronales evolutivas en esta sección.
Por supuesto, en esta sección todavía estamos usando un vector.
Pero en la siguiente sección del curso, cuando estamos creando una IA para jugar a Doom, vamos a usar
una red neuronal convolucional, por lo que podría ser beneficioso para ti observar las redes neuronales
relacionales y luego tomar un auto máximo. función o puede aprender un poco más sobre soft Max.
Después de tomar las redes neuronales convolucionales y, por supuesto, más adelante.
Pero aquí hay un repaso rápido. Aquí tenemos nuestra red neuronal convolucional que decide si es un perro
o un gato.
Así que aquí tenemos el proceso de votación entre estas neuronas y este dice que es un tiene las
características que usted conoce, las orejas esponjosas. ¿Cuál es el tipo de cara puntiaguda y el tipo de características son los tipos
de ojos con los ojos? los ojos miran todas estas características que pertenecen a un perro.
Entonces, hay un 95 por ciento de posibilidades de que sea un perro y un 5 por ciento de posibilidades de que sea un gato.
es cómo entramos en ese Tauriel del que estamos hablando, cómo conseguimos que estos valores sumen uno.
Pero la pregunta
Bien sea que sea convolucional, todas nuestras redes neuronales completas son la red neuronal convolucional más Lares completamente conectada, sea lo
que sea lo que sea mal, cualesquiera que sean los valores que apliquemos a la función soft max
están aquí.
Aquí es donde presentamos la fórmula para la próxima función suave.
Es lo que parece.
Y luego tenemos estos valores.
Y, básicamente, eso es un repaso rápido.
Esta es la fórmula para el Max.
Es lo que hace es tomar sin embargo muchos resultados que no importa.
Los tomará y los aplastará a todos en valores entre 0 y 1, independientemente de cuán grandes sean solo por que es para mí,
pueden ver que hay una suma total en la parte inferior, por lo que estos dispositivos van a
ser cero y pulg
Y también todos estos valores van a sumar uno siempre.
Y eso es muy beneficioso para nosotros porque cuando estamos usando la función de máximo dinámico lo que sucede
es que obtenemos estos valores, seleccionamos este valor de mejor vista.
Pero en realidad lo que sucede es que estos valores que obtenemos son números correctos.
Entonces este es un tipo de números.
No todos tienen que sumar uno y no tienen que estar entre 0 y 1.
Solo algunos números.
Pero cuando aplicamos Max suave, no solo seleccionamos el mejor, sino que obtenemos números como ese,
de modo que obtenemos nuestros números en el rango entre 0 y 1, y eso también suma 1.
Y entonces, ¿qué otra cosa sabemos que eso se suma a uno?
podemos decir que aquí tenemos los valores de q, pero aquí de repente tenemos blando o tenemos probabilidades.
Bueno, las probabilidades sabemos que las probabilidades siempre tienen que sumar hasta 1, por eso
Entonces podemos decir que la probabilidad de que esta sea la mejor acción es del 90 por ciento.
Esta sección lésbica tiene un 5 por ciento, un 2 por ciento y un 3 por ciento porque sabemos que cuanto más alto sea tu valor, mejor
será la acción.
Entonces, si los comprimimos de 0 a 1, se convierten en posibilidades y podemos tratarlos como tales.
Y por lo tanto, ahora es cuando se selecciona la acción y así es como se nos ocurre la Q2.
Pero si lo miras de cerca, este no es un estricto 100 por ciento y estos no son Saroo 0 por ciento.
Así que esto es un 5 por ciento a 3 por ciento.
Entonces, la forma más natural de aplicar el Max suave para preservar la exploración en el algoritmo es usar estas probabilidades exactas
como la frecuencia con la que vamos a tomar esa acción.
Entonces estas probabilidades realmente presentan la distribución de estas acciones que estamos tomando, así que, básicamente, el soft Max hace
que sea muy fácil para nosotros encontrar una forma de combinar la explotación y la exploración.
Entonces, la mejor acción siempre tendrá la mayor probabilidad porque tiene el valor Q más alto y, por lo tanto, aquí
vamos a usarlos como nuestra distribución o vamos a decir que vamos a tomarlos. Q2 El 90
por ciento de las veces, pero el 5 por ciento de las veces aún recibimos la Q1 y el
2 por ciento de las veces que recibimos el 3 y el 3 por ciento del tiempo que tomaremos Q4.
Y la belleza aquí también es que a medida que estos valores se actualizan a medida que
el agente pasa por la red, cada vez se familiariza más con el entorno y, por lo tanto, con estas actualizaciones, por lo que
este valor podría ser similar al que podría establecerse. este valor es en realidad menor o en realidad es
más alto, por lo que estas probabilidades también cambiarán a medida que el agente avance.
Así que a pesar de que aquí tenemos a Choo-Choo.
Nadie debe decir que, a veces, el 5 por ciento de las veces, para ser más precisos, seleccionaremos la Q1 como
la acción a tomar y, a veces, o la acción, una hará la acción uno.
medidas mediante dos acciones, el dos por ciento de las veces, y la acción tomará alrededor del 3 por ciento.
Algunas veces se tomarán
Así que cada acción tiene la oportunidad de jugar en este proceso, siempre que tengamos las suficientes iteraciones que un agente atraviesa
muchas veces a través de estos estados en los que se encuentran.
Y así es como funciona así cualquier tipo de algoritmo de aprendizaje profundo que desee hacer esto muchas
veces para que pueda aprender de la experiencia y, por lo tanto, como puede ver aquí, se trata
de una transición muy natural.
que tenga lógica, no solo no ese 10 por ciento aleatorio de la Es hora de que seleccionemos una
acción aleatoria, pero hay cierta lógica detrás de cómo lo estamos haciendo y en función de los valores clave que hemos explorado.
No solo somos aleatoriamente como un algoritmo enojado de Epson y no solo seleccionamos al azar
las acciones que los estamos seleccionando en función de sus valores máximos, lo que hace
Y esa es la política de selección de acciones que vamos a utilizar en este curso.
Si lo desea, puede visitar la sección de acción avariciosa de Ebsen, Polsce, pero usaremos
principalmente la política de la sección de acción suave Max y tengo una lectura interesante para
usted.
Así que esto se llama exploración adaptativa Epsilon codicioso en el aprendizaje de refuerzo basado en las diferencias de valor que
es el artículo de 2010.
Y es interesante porque Mike Michel no estoy seguro de cómo pronunciar Michelle y Miquel Toxic introduce un
tipo diferente de Algren y ajustó el algoritmo codicioso Epsilon y llamó al algoritmo VDB VDB o epsilon codicioso
algoritmo VDB que puedes ver aquí.
Y él realmente compara con el Ebsen codicioso y suave Max y es un algoritmo
codicioso absoluto que básicamente la idea principal detrás de esto es ajustar el valor de épsilon dependiendo del estado en que se encuentre
el agente.
Entonces, si el agente está muy seguro sobre el estado en Epsilon, entonces debería ser más pequeño, por lo que debería
ser menos exploración si se responde al agente. Epson debe ser más alto si se necesita más exploración.
Entonces es un artículo de 2010.
No estoy seguro si es si este nuevo algoritmo propuesto es ampliamente utilizado o está siendo aceptado en la comunidad o
si el Times artificial tiene una especie de camino desde esta sugerencia.
Sin embargo, definitivamente te ayudará a reforzar tu conocimiento sobre las políticas de selección de acción. Hablamos sobre
Epsom Ingredion. El suave Naxal te ayuda a darte la oportunidad
de compeler al sitio de Subha y también ver en qué dirección la gente piensa cuando
quiere mejorar la inteligencia artificial. así que si alguna vez estás planeando crear algoritmos realmente interesantes que estén empujando el
límite de la inteligencia artificial de Elche y empujando la envolvente en este espacio, entonces esta
podría ser una buena forma de ver en qué dirección la gente piensa a veces cuando intentan para mejorar las normas de la
inteligencia artificial o las normas que existían en aquel entonces en 2010.
Entonces ahí vamos
Espero que hayas disfrutado el tutorial de hoy sobre las políticas de selección de acciones y que hayamos aprendido sobre
la avasalladora sal de Epson y los Macs suaves y ahora estás aún más preparado para el lado práctico de las cosas.
Y en esa nota, espero ver tu siguiente paso.
Y hasta entonces, disfruta de la IA.