Hola, bienvenidos al curso de inteligencia artificial.
En el tutorial de hoy, cubriremos un tutorial bastante complejo llamado rastreo de elegibilidad
o paso.
Q aprendizaje y esto es algo que voy a implementar en el lado práctico de las cosas,
por eso tenemos que salir y en el centro es un tema bastante complejo, así que tenemos un enfoque muy
interesante para ponernos al día con la intuicion detras
Por lo tanto, tengo en mente un enfoque diferente de lo que estamos acostumbrados a consolar el simple vistazo a eso y
ver cómo va eso.
Así que quiero darte un ejemplo para comenzar.
Voy a darles un ejemplo en este tutorial y eso demostrará el poder de elegibilidad.
Y danos la intuición detrás de las cosas.
Y luego, si desea profundizar en los rasgos de elegibilidad, le daré el mejor lugar donde
pueda leer al respecto.
Te daré una referencia a un libro, pero de lo contrario.
Entonces, aunque esto va a ser diferente porque estamos en primer lugar, en lugar de profundizar en la
intuición, vamos a ver un ejemplo y la intuición se volverá obvia después de que hablemos.
Y esa es mi esperanza.
Así que echemos un vistazo.
Veamos si podemos hacer esto.
Así que aquí tenemos dos agentes que navegan en el mismo entorno y vamos a ver cómo funcionan
estos dos agentes.
El primero va a funcionar con nuestro rastro de elegibilidad.
El segundo funcionará con un trazo ilegible y con suerte veremos por qué el segundo será
mucho más poderoso que el primero.
Así que echemos un vistazo.
Vamos a ver a este agente primero.
Y la forma en que opera es la forma exacta en que hemos discutido lo circular profundo hasta ahora.
Entonces, el agente va a dar un paso o se moverá para pasar a un nuevo estado.
Lo bueno para obtener una recompensa determinada es ponerlo a disposición oa través de su algoritmo actualizar la
red neuronal que está ejecutando este agente o que se está ejecutando en la mente de este agente.
Entonces, eso es básicamente cómo aprender desde ese momento va a dar un nuevo paso.
red neuronal le está diciendo que haga va a obtener recompensas subiendo la actualización y así sucesivamente, y seguirá haciéndolo.
Por lo tanto, desde este nuevo estado se tomará una nueva acción en función de lo que su
Obviamente, esto va a hacer un buen trabajo y, como hemos visto anteriormente desde Squire hasta los
DRO prácticos anteriores, vamos a obtener algunos resultados bastante buenos aquí, pero ahora vamos a agregar una nueva función.
Ahora que este agente es el número dos de este tipo, va a navegar en el mismo entorno.
¿Qué va a utilizar la legibilidad de los árboles?
Y esto es lo que significa.
en este caso, cinco fórceps darán cuatro pasos y luego, solo después de
seguir estos pasos, calculará la recompensa total que recibió de esos pasos y lo hará. ponerlo a través de su red.
Lo que hará es tomar todas las medidas que tome,
Lo pondrá a través de su red neuronal que rige el proceso de toma de decisiones y
luego la red neuronal aprenderá de eso.
Cuál.
De inmediato, como cuál crees que es más poderoso.
El tipo que simplemente está dando un paso a la vez y algo así como asomándose a ciegas o en la oscuridad y está
bien así que voy a dar un paso para ver qué pasa.
Da un paso para ver qué pasa.
Toma medidas.
Lo que pasa.
El chico de la cima o el chico que toma con mucha valentía a Marsha en cuatro pasos seguidos y luego
decide si esos fueron buenos pasos o no del todo y por qué puedes ver aquí o por qué probablemente
entiendes por qué El segundo tipo es mejor o más poderoso es porque el segundo
tipo realmente sabe lo que está al final.
El primer tipo cuando está cuando evalúa si este paso es bueno o no, solo está mirando la
recompensa que está recibiendo.
Y por lo tanto, solo se guía por la recompensa que le brinda el medio ambiente.
Lo mismo aquí, solo se guía por la recompensa que este entorno le brinda aquí.
Entonces, cada vez que es su único tipo de brújula que tiene la recompensa, la recompensa es la recompensa.
Mientras que aquí él realmente puede evaluar después de tomar los pasos que puede evaluar.
OK, así que llegué a la línea de meta.
Entonces esta combinación de pasos fue buena.
Todos ellos fueron buenos.
O Oh no, terminé en la hoguera o Ohno I.
Lo hice y cuando el auto no llegó a la línea de meta o crucé la pared de arena o perdí el juego de
la fatalidad o algo así.
Y luego decide que toda esta combinación de pasos es mala.
Y, por lo tanto, para estos pasos anteriores, tiene más información.
Él tiene más ideas como en un enfoque muy intuitivo.
De nuevo, este es un tema mucho más complejo de lo que estamos retratando aquí.
Pero de una manera intuitiva, por ejemplo, si das este paso, este paso solo tiene información para que lo
obtengas; aquí solo obtienes información de esta recompensa.
Y para este paso en este caso, el mismo paso exacto.
Tiene más información que viene de todo el camino.
Bien, ¿cuál fue el resultado después de cuatro pasos o cinco pasos o lo que sea?
Sí, así es que así es como funciona y por qué se llama rastro de elegibilidad porque durante este
proceso no solo mira la recompensa de la computadora sobre lo que está sucediendo y luego la pérdida acumulada
y luego todo lo que es apropiado.
Pero en realidad hay un rastro de elegibilidad como lo que se llama el fideicomiso de discapacidad.
digamos que obtenemos un castigo obtenemos una recompensa negativa, entonces cuál de estos pasos es más probable que sea elegible para ese castigo.
Hay un rastro que se mantiene en un algoritmo que dice OK, así que si obtenemos un
Entonces, no solo sabemos qué es todo este patrón o la combinación de pasos de la escuela,
sino que también mantenemos un rastro de elegibilidad, qué pasos vamos a actualizar si conseguimos a todos.
Entonces, por ejemplo, si como recompensa negativa podemos tener un rastro de elegibilidad que
nos indique que este es un paso que es el más responsable de lo que obtuvimos al final o
si es una recompensa positiva nuevamente, podemos saber que el algoritmo nos ayuda a seguirle el paso este algoritmo de elegibilidad también
nos ayuda a realizar un seguimiento de lo que es qué paso o qué acción debe ser elegible para que se actualice según la recompensa
que obtenemos.
Y es por eso que se llama rasgo de elegibilidad.
Y esa es la intuición básica detrás de la elegibilidad y con suerte estos dos ejemplos
de estos agentes lo hacen bastante obvio o son bastante intuitivos, mientras que estas habilidades pueden ser tan poderosas.
Y si se le prometió, si le gustaría profundizar en las huellas de elegibilidad tópicas o en el aprendizaje por pasos, entonces
un maravilloso libro maravilloso que es lo que puede encontrar se llama aprendizaje de refuerzo.
Una introducción es por Richard Sutton Andrew Barto 1998.
Creo que están en el proceso de crear una segunda edición o el tema más crítico.
más popular o más referenciado sobre el aprendizaje de la aplicación, tiene un número ridículo de citas.
Pero este es el libro más común o
Creo que como decenas de miles si no me equivoco.
Y también el capítulo que necesita para esto es el Capítulo 7.
Entonces, para ver las opciones de elegibilidad, hay un capítulo completo sobre el Capítulo 7.
Puedes leer sobre esto y entrar en muchos detalles.
Reenviar los rastros de elegibilidad hacia atrás y también cómo la diferencia temporal integral por un lado y el otro extremo del
espectro tiene métodos de Monte Carlo entre usted y su rastro de elegibilidad traza supuestamente o el
enlace va de las diferencias temporales a los métodos de Monte Carlo.
Muy interesante leer muchas fotos que realmente aprecié explicaciones muy intuitivas.
Así que hay muchas cosas que puede aprender de este libro sobre inteligencia artificial y aprendizaje reforzado,
pero específicamente los rastros de elegibilidad son como un muy buen lugar para ir a este libro en busca de rastros
de elegibilidad.
Y la segunda referencia para hoy es algo que le mostrará en las pruebas prácticas el aprendizaje profundo o el
documento de investigación de la mente profunda de Google sobre métodos sincrónicos para un aprendizaje de refuerzo más
profundo.
el documento que es el único que ve el periódico A-3 que vamos a discutir más adelante en el puntaje.
Sí, ese es
Estamos cada vez más cerca de eso.
Y como pueden ver, estamos muy entusiasmados con esto, así que esto va a buscar un poco más acerca de
cómo implementaron los rastros de elegibilidad en este documento, así que vamos a usar esto más para el lado práctico
de las cosas.
Así que espero que hayas disfrutado el tutorial de hoy y sepas que estás un poco más cómodo con los rastros de
elegibilidad y no puedo esperar para verte la próxima vez.
Hasta entonces disfruta de a.