Hola y bienvenidos al curso de inteligencia artificial.
Hoy vamos a hablar sobre la ecuación de Belman.
Es un tema bastante complejo y vamos a presentarlo paso a paso a lo largo de
toda esta sección del curso, así que no voy a saltar directamente a la versión
más compleja de la ecuación de Belmont de inmediato, sino que Voy a presentarlo lentamente
para poder entender gradualmente cómo funciona.
Y espero tu objetivo con ese enfoque si eres G. R. Vamos directamente a eso.
vamos a tener un par de conceptos clave con los que vamos a operar y estos conceptos.
Así que
S significa estados así que el estado en el que se encuentra nuestro agente o cualquier otro estado posible en
el que pueda representar una acción que un agente puede tomar.
Por lo tanto, un agente puede tener acceso a una determinada lista de acciones y las acciones son muy
importantes cuando se las analiza en una combinación de estados.
o un estado realmente no tiene sentido porque tú? no sé dónde estás y dónde posiblemente
puedas terminar y luego tenemos la nuestra que representa la recompensa y que es a
través de la cual el agente consigue entrar en un cierto estado y gamma es el factor de descuento.
Así que cuando estás en un estado de balanceo y luego observas las acciones y comienza a tener sentido, ¿cuál va
a ser el resultado de esas acciones porque verás una acción por sí mismo
Y hablaremos sobre el factor de descuento en un segundo, todo tiene sentido en este momento, pero solo están tomando
notas.
Tome nota mental de que vamos a tener esta carta de Gamelin con la que trabajaremos más adelante.
Entonces la persona detrás de la ecuación de botones es Richard Ernest bellman.
Era un matemático de vuelo y se le ocurrieron los conceptos de programación dinámica que ahora conocemos, que ahora llamamos
aprendizaje de refuerzo o que ahora llamamos la ecuación de Belman.
Bueno, así es como nos llaman ahora.
Y en 1953 se le ocurrió ese concepto y fue entonces cuando se me ocurrió la ecuación de Belmont Belman.
Así que echemos un vistazo a cómo funciona todo esto.
Está nuestro encantador agente en la esquina inferior izquierda y él está en un laberinto y este es un
laberinto bastante clásico donde tienes algunos bloques. Los bloques anchos son bloques en los que el agente puede entrar en
el bloque gris es el que está simplemente no accesible dice como una pared en este laberinto.
El verde es donde el agente debería apuntar para terminar en donde queremos que vaya el agente, ese es
el final.
Y el rojo es pozos de fuego o el motor cae en el pozo de fuego.
Él perderá el juego.
Entonces en el pozo de fuego la recompensa que es R es menos 1.
Así que esa es nuestra forma de decirle al agente que no es algo que queremos que hagas.
Como recordar en el ejemplo de cuando estamos entrenando perros, queremos decirles como un perro malo si no está haciendo lo
correcto que quería hacer lo mismo, aquí le decimos al agente que esto no es algo que usted debe ser
Hacerlo no debería terminar en la plaza, así que cada vez que esto no suceda,
la ardilla recibirá una menos una recompensa por lo que será castigado con menos una recompensa.
Por otro lado, si termina en la Plaza Verde obtendrá una recompensa más una que significa
que eso es lo que queríamos hacer.
Entonces esas son las dos recompensas que el agente no puede obtener.
Y cómo aprende a operar en este laberinto.
Al igual que en el ejemplo de los perros robot que aprendieron a caminar, que lo van a dejar saber, simplemente
le dirá que aquí la acción puede hacer.
Puedes ir hacia la derecha o hacia la izquierda. Estas son cuatro acciones posibles que puedes tomar y eso es todo.
Tener un juego con eso. Ver lo que se te ocurre.
Para que el agente pueda ir a la derecha, pueden ir dos más a la derecha, pueden volver a
la izquierda simplemente presionando el botón al azar y están tratando de ver qué pasa y vuelven aquí.
Suben Suben Suben Suben Suben Bien.
Entonces, por ahora, no han aprendido nada, simplemente no sucedió nada.
Van a la derecha y luego terminan en la Plaza Verde.
Así que se dan cuenta de que me acabo de dar un awar más uno Así que tan pronto como entré en la Plaza Verde obtuvieron
una recompensa más una.
Y eso hace que el algoritmo diga OK, eso es genial.
Soy recompensado por terminar en la plaza, así que quiero terminar en la plaza.
Entonces, ¿qué significa eso para el agente?
Eso significa que comienza a hacerse la pregunta ¿cómo llegué a esta casilla?
¿Cuál fue el estado anterior en el que estaba y qué acción tomo para llegar a la casilla y luego
mira hacia atrás y dice OK así que el estado anterior fue este.
Resulta ser valioso en ese estado.
La única chispa de la flecha roja.
soñar, más una como galleta para un perro, tan pronto como sepa si alguna vez estoy en ese estado.
Porque desde ese estado en el que te encuentras, estoy a un paso de obtener la recompensa máxima que pueda
Ese cuadrado marcado con la flecha roja.
Todo lo que tengo que hacer es presionar a la derecha.
Entonces, ¿cómo me digo a mí mismo para recordar que ese estado es valioso.
Para mí, no hay diferencia en realidad como agente.
No hay diferencia en si estoy en la Plaza Verde o en la casilla blanca en la Plaza Verde,
obtengo la recompensa de uno.
tiene un valor de 1 porque conduce exactamente a la recompensa uno tan pronto como estoy en el cuadrado blanco, sé que solo tomaré una acción más.
Así que voy a marcar por mí mismo que el Y Square está hecho para mí,
Estaré en la Plaza Verde y obtendré una recompensa o una así que es por eso que voy a decir
que el valor de este cuadrado es igual a uno porque conduce directamente a cualquier tipo de sustracciones tan pronto como sea posible. Quiero decir, aquí sé
que mi recompensa será una, así que voy a marcar este cuadrado como la llamada a uno
que es el valor que es el valor percibido de estar en el estado.
Luego, el agente estará bien.
Entonces, ¿cómo entro en este cuadrado?
Y sabes que podría caminar otra vez, y así sucesivamente.
Y de nuevo en la plaza y ser como OK, ¿cómo llegué a esta casilla antes de eso?
Y la forma en que llegué a esta plaza fue desde esta plaza.
Interesante.
De acuerdo, tan pronto como entre en esta casilla, sé que todo lo que tengo que hacer es ir hacia la derecha.
Y luego, desde aquí, ya sé que voy a ganar.
Sé exactamente cómo va a desenmarañarse todo aquí y sé que el valor de estar en este estado
es igual a uno.
un valor percibido. Me encantaría estar aquí como un vehículo para querer también, porque esto es lo que quiero decir, aquí lo sé.
Y como no hay nada que me impida crecer desde aquí hasta aquí, el valor de esto va
a ser
Ven aquí y estaré aquí bastante rápido.
Así que voy a ganar.
Y entonces, ¿cómo llegas a esta casilla antes de eso?
Bueno, entré a esta plaza desde esta plaza.
estar aquí también es igual a uno, y así sucesivamente, por lo que el valor de estar aquí es igual a un valor de estar aquí es
igual a uno porque cada uno de ellos conduce al siguiente y estos a la linea final.
Entonces el valor es similar, el valor de
Entonces todo eso es bastante lógico en esta etapa.
Estamos diseñando la ecuación de Belman en este momento.
Así que esto es posible que pensemos en diseñar una ecuación que ayude a un agente a atravesar el laberinto.
Así que mira la recompensa, entonces el estado anterior le da un valor igual para recompensar
los procedimientos, y eso es como crear un camino, todo está bien pero el problema aquí está bien, ¿qué
pasa si nuestro agente comienza por alguna razón? este estado en lugar de comenzar aquí y tomar estas acciones y que
realmente comienza en el estado.
¿Cómo sabe cómo recuerda qué acción tomar si va bien o debería bajar o debería irse a la
izquierda o debería subir?
¿Cómo recuerda cuál es la siguiente continuación de aquí?
Si los únicos valores que tiene es que estos valores son iguales una vez que no puede ver lo que está más lejos.
Solo puede ver.
Todo bien.
Lo que tengo aquí y lo que tengo aquí.
¿Cómo sabe qué camino tomar?
Bueno, en esta etapa no es tan idéntico para la edad y qué camino tomar.
Y es por eso que este enfoque realmente no funciona.
Es una explicación muy simplista.
Por supuesto que hay mucho más.
Pero de una manera intuitiva es por eso que no podemos simplemente asignar simplemente continuar este valor al revés de esa manera.
Debido a que una de las razones es que el Agente se encuentra entre estos dos valores, ¿a dónde irá?
No se puede confundir así.
Entonces, ¿cómo resolvemos este problema? ¿Qué vamos a hacer?
Y aquí es donde vamos a comenzar a introducir la ecuación de Belman en su forma real, lentamente,
paso a paso.
Entonces la ecuación de Belman se ve así.
Así que ya hemos hablado sobre el valor de estar en un cierto estado como lo es
su estado actual o cualquier estado dado y también existe.
Y como Prime es el estado, a continuación se indica el estado en el que terminará después del estado
y mediante una acción concertada.
Pero sabemos que hay muchas acciones y un agente puede tomar y es por eso que tenemos este Max aquí.
Entonces, al tomar una acción, qué le sucederá a un agente, digamos que estamos en el
estado, actuando en activos estatales y actuando.
Lo que sucederá será instantáneamente obtener una recompensa al entrar en un nuevo estado.
Y recuerda que la recompensa puede ser uno o más uno o menos uno si está al final del juego o puede
ser cero si es durante todo el juego, en este caso nuestra recompensa durante todo el juego es cero.
Así que esa es la recompensa Además, entraremos en un nuevo estado que tiene valor de s prime.
Entonces ese es el valor del nuevo estado y gamma.
Hablaremos de eso en un segundo.
Pero el punto que estoy tratando de plantear aquí o el punto que estoy planteando aquí es que tienes muchas acciones diferentes
que podemos tomar y es por eso que tenemos el máximo.
Entonces al tomar acción, obtenemos una recompensa. Además, terminamos en un nuevo estado.
Entonces, por cada movimiento que se salga de nuestro caso antes de nuestras posibles acciones para cada una
de las posibles 4 acciones, vamos a tener una ecuación como esta.
Por lo tanto, esto va a tener un valor porque tendrán un valor diferente para cada una de las
cuatro acciones y vamos a ver solo el máximo porque, por supuesto, el agente quiere tomar el estado óptimo.
encontrar el máximo basado en la acción y va a tomar esa acción que necesita el máximo de estos valores.
Entonces, si está en el estado s va a ver estos valores, va a
Así que espero que tenga sentido por qué estamos tomando el máximo aquí.
Entonces, una vez que recibimos la recompensa y el valor que dice, ¿por qué tenemos este parámetro de Gabaa aquí?
Bueno, está ahí exactamente para resolver el problema de que el agente no sabe qué camino tomar porque
no puede.
Está comparando los valores de dos estados en ambos lados y son iguales.
Es por eso que los jugadores llamaron al factor de descuento, así que vamos a echarle
un vistazo y entenderlo mejor.
Así que tomemos una fórmula. Lo pondré aquí en la parte superior derecha.
Y ahora analizaremos cuáles son los valores de los diferentes estados.
Y cada estado aquí es un cuadrado.
No.
Entonces, uno de estos cuadrados blancos es un estado, quiero decir que vamos a calcular el
valor de estar en ese estado.
Comencemos con el cuadrado
¿Cuál es el valor de estar en este estado?
Bueno, necesitamos tomar el máximo de este valor en todas las acciones.
Y sabemos que este valor representa se maximiza a medida que nos acercamos a la línea de meta
y así es como se construye y con solo mirar podemos ver porque aquí tenemos la recompensa
y aquí tenemos un factor de descuento multiplicado por el valor de la siguiente estado.
Y tiene sentido que así es como construimos esa ecuación, así que tiene sentido que desde aquí el
máximo de este valor sea si nos movemos hacia la derecha.
Entonces, así es como calculamos los valores que este valor de este estado es el que llama el máximo o
igual a este valor.
Si nos movemos hacia la derecha si tomamos la acción de movernos hacia la derecha.
Entonces, ¿cuál será este valor?
Bueno, la recompensa de mover hacia la derecha es igual a 1.
E independientemente de qué color gamma tengamos, no tenemos un valor en el estado porque ya estamos en
el mejor estado posible.
Entonces esta es la etapa final.
No tendrá valor, solo obtenemos una recompensa aquí y ese es el final del juego.
Entonces el valor será de este máximo será igual a 1.
Y es por eso que el valor de estado como aquí es igual a 1.
Ahora las cosas se ponen interesantes cuando nos movemos hacia la izquierda cuando retrocedemos un poco.
Así que ahora es calcular el valor de esto de estar en este estado y para eso vamos a necesitar a Gabaa.
Entonces, digamos que nuestro factor de descuento es cero punto nueve y tiene sentido qué factor de descuento es una
vez que calculamos eso.
Así que desde aquí solo basándonos en nuestra intuición y basados ​​porque sabemos cómo funciona esto, cómo funciona esto.
Sabemos que la mejor acción posible es ir a la derecha porque desde aquí vamos aquí.
Entonces eso significa que se logrará el máximo en este estado al que se dirige a la derecha.
Y entonces veamos qué sucede si lo conectamos aquí.
Entonces, si vas desde aquí hasta aquí y no obtienes tu recompensa, será cero.
Pero luego obtendrá camis que obtiene cero puntos nueve veces el valor del nuevo estado que es uno.
Entonces, en este caso, el valor del resultado total es 1 por 0. 9 veces uno es igual a 2. 9.
Entonces eso son todos los valores por.
Entonces, si calculamos esto ahora, lo veremos desde aquí.
Lo sabemos simplemente mirando el laberinto que conocemos porque nosotros, como humanos, porque estamos entendiendo cómo funciona
esta ecuación, por supuesto, un agente de IA tendría que experimentar con estas cosas.
Pero como tenemos una bola de cristal, podemos ver todo este laberinto.
Tenemos la vista de pájaro en este momento.
Sabemos que la mejor acción es ir a la derecha.
Entonces, si lo conectamos aquí, será cero sin recompensa. Además, el informe nueve veces el valor
en el estado 0. 9 es cero punto ochenta uno y así sucesivamente.
Entonces aquí será 0. 23 y él será 0. 66.
Entonces puede ver que la forma en que funciona el factor de descuento es que descuenta el valor del estado a medida
que se aleja.
Entonces, si está familiarizado con la teoría de las finanzas, entonces es algo similar al valor del dinero en el tiempo, como
qué pensaría de esta manera. ¿Qué preferiría tener actualmente $ 5 o $ 5 en 10 días a partir de ahora?
Solo si alguien te diera una elección, te daré cinco dólares hoy, todos $ 5 10 días
de todos.
Por supuesto, elegiría $ 5 hoy.
Porqué es eso.
Bueno, porque puede tomar esos $ 5 y puede invertirlos a una tasa de interés determinada que es muy similar
a gamma.
Y sus $ 5 en 10 días realmente crecerán hasta tal vez 5 dólares y 73 centavos o algo así.
Y así es como funciona el valor del dinero en el tiempo.
Y un concepto muy similar aquí.
Y lo importante para entender aquí es solo una teoría de una manera que refuerza el aprendizaje.
Entonces Richard Belman propuso esta ecuación.
Y a partir de entonces, así es como lo usamos.
Entonces podrías seguir adelante y pensar en una ecuación diferente.
No tiene que tener Gamla, podría tener algún otro factor, tal vez no sabes que tiene un factor.
Pero este enfoque funciona y es por eso que lo estamos usando y así es como se ve, mientras más
lejos esté, menos valor tendrá en el estado y en términos de tiempo y dinero.
Si pudiera decirte dónde preferirías estar, preferirías estar aquí.
¿Prefieres estar aquí?
Dirías que preferiría estar aquí.
Así que estamos creando ese mismo fenómeno como el valor del dinero en el tiempo, lo estamos creando artificialmente a través
de gamma para incentivar a los agentes o inspirar a los agentes a estar más cerca de la línea de meta.
un agente, ¿prefieres estar aquí o aquí? Por la forma en que funciona esta ecuación, elegiría estar aquí.
Entonces, si se le preguntara a
No hay nada más para eso, nada menos.
No es algo que el mundo funcione de esta manera.
No, es solo algo que estamos creando artificialmente para que nuestros agentes entiendan que esto es bueno, esto es bueno,
esto es bueno, pero esta es mejor que esta y esta es mejor que ésta y
esta. ha estado en este.
Y de esa manera puede ver que todo el agente puede ver en qué dirección debe ir.
así que si usted está parado aquí, baje o si de repente estoy aquí para subir o si baje.
Entonces puede ver que si estoy parado aquí recuerde el problema que teníamos o estaba parado aquí,
Bueno, ahora ya no hay problema porque puede ver que en realidad es mejor subir porque
los valores están aquí.
Y luego desde aquí tiene que ir a la derecha porque el valor es más grande aquí que aquí.
Y luego desde aquí es Bertschi ir a la derecha porque el valor aquí es más grande de lo que crees.
Y desde aquí él ya sabe que tiene que ir derecho porque recibirá una recompensa aquí de uno.
Así es como funciona todo este enfoque.
Ahora echemos un vistazo rápido al resto del cuadrado.
Entonces, ¿cómo calculamos el valor en este cuadrado?
Bueno, aquí es donde las cosas se ponen difíciles.
Por lo tanto, desde aquí puede que en realidad no vayas a la izquierda, en realidad podrías ir hacia la derecha, así podremos seguir así
porque en realidad podría ser más corto para ir por este camino.
Entonces, lo que vamos a hacer es calcular primero el valor en el cuadrado.
Y obviamente, desde aquí, la mejor forma de hacerlo es hacia arriba.
porque vemos a la tripulación que tenemos la bola de cristal, podemos ver cosas y verás más abajo en
la sección, verás cómo el agente realmente explora, entiende esto en sus gustos a través de la experimentación.
De nuevo, eso es
Pero para nosotros sabemos que es mejor ir de esta manera, así que vamos a calcular el valor
aquí y es por eso que primero vamos a calcular el valor en este cuadrado.
Entonces aquí tenemos tres acciones posibles.
En realidad, tenemos cuatro, también podemos irnos a la izquierda.
El agente podría hipotéticamente presionar hacia la izquierda y chocar contra la pared y quedarse aquí.
conjunto de simplicidad que va a mostrar las acciones que sabemos lo que sabemos y teniendo la bola de cristal,
sabemos qué acciones son las que en realidad conducen a algo que no sea el mismo estado nuevamente.
Pero para el
Y aquí, desde aquí, sabemos que, nuevamente, solo porque tenemos una bola de cristal, sabemos que la mejor manera
de hacerlo es que un agente, por supuesto, tenga que experimentar y encontrar la mejor manera, y verá
cómo sucede eso.
Más abajo en la sección verás realmente cómo anda un agente y cómo experimentas tratando
de encontrar estos valores.
Pero para nosotros sabemos que es de esa manera.
Así que aquí, si conectamos todo en uno, el máximo rendimiento es cuando sube.
Y aquí hay un informe 9: 0 Entonces lo pones.
Obtienes el punto cero nueve.
OK, así que Kalika es el que calcula este.
Mismo enfoque.
Este es usted tiene tres maneras en que puede ir.
En realidad cuatro para el agente, pero para nosotros podemos ver que son solo tres.
Entonces cero punto ochenta y uno desde aquí tienes cero punto setenta y tres.
muy bien con este valor porque en ti, si descuentas de nuevo, pones 66 y aquí tienes 0.
Y en realidad se relaciona 23 porque esta es la ruta óptima.
Ahí vas.
Ese es el valor de todos estos estados.
Y ahora pueden ver que debido a que hemos creado esta ecuación o hemos creado sintéticamente
todo este concepto de lo cerca que están de la línea de meta, más valioso es ese estado porque tememos que ahora
es bastante obvio para el agente de qué manera debe ir.
Y hablaremos más sobre eso en el futuro.
parecer un poco básico en esta etapa, pero a medida que avanzamos en esta sección le añadiremos un poco más de complejidad.
Espero que hayan disfrutado de la sesión de hoy y sé que puede
Al mismo tiempo, si no puedes esperar si quieres saltar a él, entonces hay un papel que
puedes mirar y es el artículo original de Richard Belman.
Se llama la teoría de la programación dinámica desde 1954.
Y puedes encontrarlo en este enlace.
Y ahí lo tienes para poder saltar directamente a él y leer del autor de la ecuación de Belman.
Pero ten en cuenta que este es un trabajo matemáticamente pesado.
Y en esa nota, buscaré tu próximo.
Y hasta entonces, disfruta de la IA.