Hola y bienvenidos al curso de inteligencia artificial.
Hoy estamos hablando de la pena viviente.
Muy bien, aquí tenemos toda la ecuación de Belman y, a medida que avanzamos en este
curso, nos hemos vuelto cada vez más complejos, así que hasta ahora hemos agregado estas probabilidades aquí.
Y también hemos agregado el factor de descuento.
Ahora vamos a ver con más detalle en este lado de la pregunta donde tenemos la recompensa ahora.
dijimos que tenemos un agente y que lleva a cabo acciones en el entorno y en un
intercambio o, como resultado, obtiene un nuevo estado y que ahora está disponible y una recompensa por esa acción.
Recuerde que cuando hablamos acerca de cómo funciona el aprendizaje de refuerzo,
Hasta ahora, en nuestro ejemplo, solo hemos obtenido recompensas al final o si llegamos a la línea de
meta o si el agente termina en la hoguera recibe una recompensa de más uno o menos uno.
Pero ese es un enfoque muy simplista para el aprendizaje de refuerzo y en escenarios más realistas es probable que
tenga recompensas durante el viaje, no solo al final, puede tener recompensas durante todo el
viaje.
Por ejemplo, si se trata de una IA que juega un juego y si, por ejemplo, es como dispararle a alguien en peligro,
podría obtener puntos por matar a ese enemigo o podría ser un juego diferente.
Si supera a otro auto o algo así simplemente debido a las reglas del juego, no por su
forma de analizar el juego, sino que en realidad el juego está estructurado de una manera que refuerza sus puntos de bonificación
por hacer ciertas acciones incluso antes de que el juego encima.
Así que los Sinatras como ese son muy comunes y no solo en juegos y también en la vida real y
es por eso que vamos a introducir algo similar en nuestro ejemplo una versión simplificada de eso, pero sin
embargo una recompensa que se le da continuamente al agente durante todo el juego no solo al final y la
forma en que vamos a hacerlo es mirando las otras fichas.
una recompensa más una en la ficha final y la recompensa menos 1 en la otra ficha final es la hoguera.
Así que ahora solo tenemos
Pero ahora vamos a agregar recompensas en cada momento.
Añadiremos una recompensa muy pequeña será menos 0. 04.
Y como pueden ver, es negativo, así que cada vez que el agente se mueve recibirá una recompensa negativa y eso es lo
que se llama una penalización viviente porque no importa a dónde vaya, siempre obtendrá esta recompensa negativa a excepción de
estas fichas finales porque ese es el final de el juego.
Y para que pueda ver la recompensa, incluso en este azulejo es una locura o un rompecabezas.
Pero eso no significa que empiece con esa recompensa.
Él solo recibe esta recompensa.
Y esto es importante recordar que solo obtiene su recompensa cuando ingresa en una casilla, así que cada vez que
él prometió una acción, iría aquí y obtendría esta recompensa menos 0. 04 y luego vuelve a este estilo, obtendrá otra
mente y 0. 04 palabra.
Y así, cuanto más camina, más acumula su recompensa negativa y, por lo tanto, es un incentivo para
que termine el juego antes tan rápido como sea posible.
Entonces, veamos cómo cambiará nuestra política o cómo cambiará la política de los agentes,
dependiendo del valor que establezcamos para esta recompensa.
Así que aquí hay cuatro entornos y en cada uno vamos a explorar uno diferente.
No vamos a hacer los cálculos.
Vamos a proyectar los resultados y verán que intuitivamente tienen mucho sentido.
Así que aquí tenemos una recompensa por cualquier oferta de paso para entrar en cualquier estado.
Es igual a cero.
Tal como lo hemos visto antes, la recompensa será Mei's 0. 0.
Por lo que acabamos de hacer, ahora sabes que la recompensa será a menos 0. 5 o el nivel de penalización será mío, es
fuego abierto mucho más alto que puedes ver aquí más de 10 veces mayor.
Y aquí están los Penhall vivos, serán menos dos.
Así que incluso más que las recompensas que obtienes por saltar o incluso menos que la recompensa que recibes, el agente consigue
terminar en la hoguera.
Echemos un vistazo a cómo cambiarán las acciones o la política óptima para aprobar este entorno
dependiendo de esta recompensa.
Entonces esta es nuestra política original.
Y como pueden recordar, tuvimos estas dos decisiones muy interesantes e incluso un poco raras por
parte del agente, pero que tienen mucho sentido si pueden vivir el tiempo que quieran.
Si puedes viajar todo el tiempo que quiera sin ser penalizado por permanecer con vida por
mucho tiempo.
Él por qué no por qué no iba a ir a la esquina aquí en la pared y seguir haciéndolo hasta
que sucediera.
Sucede que va por este lado y luego caminará.
Y lo mismo aquí es mucho más seguro para él saltar a la pared con la esperanza de que
uno de ellos salga eventualmente y luego irá a la línea de meta de todos modos porque al elegir estas dos acciones no corre
el riesgo de meterse en la hoguera .
Ahora veamos qué sucede si agregamos una recompensa de recompensa negativa por solo ser una vida para dar un paso.
Muévete aquí, puedes ver que al instante estos dos cambiaron.
Ahora el agente no quiere saltar a la pared.
Es más probable que se arriesgue a llegar a la hoguera con un 10 por ciento de posibilidades de
saltar aquí, pero seguirá adelante porque cada vez que venga a ver aquí si lo haría aquí también cada vez
que salta bien, realiza una acción que termina en este estado con un 80 por ciento
de posibilidades.
Y eso significa un 80 por ciento de posibilidades de que obtengas un 0 menos. a obtener esto acumulando esta recompensa negativa.
04 recompensa significa que muchas de las veces va
Lo mismo aquí si salta a la pared esperando ese momento en el que será movido aleatoriamente
hacia la derecha.
Si sigue haciendo eso acumulará esta recompensa negativa y el resultado de eso si realiza los
cálculos verá que el resultado de que el valor esperado de ese enfoque salte a la
pared es peor que correr el riesgo de seguir adelante y en realidad terminar en la hoguera.
hacia adelante y aquí moverse hacia la izquierda, incluso se sabe que existe el riesgo de que el fuego incendie simplemente porque
mientras más tiempo esté vivo, más tiempo acumulará esta pena viviente en el siguiente entorno.
Entonces él cambia sus decisiones en estos dos bloques para moverse
Ahora estamos aumentando el Pouncey viviente a un número mayor de Meinzer en cinco puntos y veamos
qué cambia aquí.
Entonces ahora puedes ver eso en comparación con este entorno.
Lo único que ha cambiado aquí es que esta flecha apunta hacia la derecha.
Y lo que eso significa es que ahora ya no es una buena opción para el agente o, de hecho,
esta flecha apuntando apuntaba hacia la izquierda y las boquillas apuntaban hacia arriba.
porque si sale mal todo el camino sí, está a salvo o hay menos posibilidades de que no haya posibilidades de llegar a la hoguera.
Así que ahora ya no es una buena idea que el agente vaya desde aquí o siga
todo el camino
Pero al mismo tiempo o hay menos posibilidades de que suceda.
Pero al mismo tiempo acumulará una recompensa negativa bastante sustancial a medida que camina.
Entonces es solo que el camino es demasiado largo.
Entonces, eso lo obliga a estar aquí o aquí para tomar la ruta más corta para llegar hasta allí, aunque tiene un riesgo mucho mayor
de entrar en la hoguera porque tan pronto como termina en la plaza hay un 10 por ciento
de posibilidades de llegar al fuego. .
De acuerdo con sus cálculos
Es solo el valor esperado de este enfoque que es mejor que el valor esperado de andar simplemente
porque hemos aumentado esta pena de vida.
Y finalmente estamos llegando al ejemplo con la pena de vida de menos dos puntos cero.
Así que aquí lo invito a publicar el video ahora que ha visto cómo ha cambiado la política a medida que aumentamos la
penalización de puntaje de carga.
Te animo a detener el video y pensar por ti mismo lo que sucederá en este escenario.
será la política óptima que la pena de vida es tan alta, así que todo este supuesto video si lo desea?
¿Cuál crees que
Y ahora voy a saltar a mostrarte la solución, así que en este caso si
aumentas la penalización a menos 2. 0 es tan alto que recuerda que la penalización aquí es solo menos 1. 0 es tan alto que el agente simplemente quiere
salir del juego de cualquier manera posible, incluso si es solo saltando al pozo de fuego.
Lo hará.
Él será como cada vez que doy un paso cada vez que termino en una novedad en su
estado o cada vez que hago una acción, termino recibiendo menos dos recompensas.
Entonces, ¿cuál es el punto de tratar de llegar a la línea de meta si desde aquí me tomará dos pasos adicionales?
Voy a ir aquí y luego directamente a la hoguera porque de esa
manera mi recompensa va a ser menor que la recompensa negativa va a ser tan mala como en el caso de solo hacer
pasos adicionales para que puedas ver que se agrega esta vida recompensa y dependiendo del valor de la recompensa de vida
que estamos agregando, los resultados serán diferentes.
Y el agente seleccionará diferentes políticas y eso es básicamente cómo se puede incorporar el valor de la recompensa mediante la ecuación
de Belmont, incluso cuando no está solo en la línea de llegada o al final del juego,
sino incluso durante todo el juego.
una vez más no tiene que estar en cada uno en cada estado en función del entorno en sí.
Y de nuevo,
Se le puede dar al agente en ciertos estados específicos, no en todos los estados, pero en nuestro
ejemplo simplista solo estamos utilizando recompensas en cada estado dado.
Para ilustrar este concepto, espero que hayan disfrutado el tutorial de hoy.
Y como pueden ver, ya hemos hecho nuestra ecuación de Belman bastante sofisticada y ahora se puede aplicar a muchos
escenarios diferentes y no puedo esperar para ver en el siguiente tutorial.
Y hasta entonces disfruta de un I.