Hola y bienvenidos al curso de inteligencia artificial.
Espero que estés entusiasmado con el tutorial de hoy porque estamos dando nuestro primer paso en el mundo,
el I.
Y hoy estamos hablando de reforzar el aprendizaje.
Es una historia muy importante porque respaldará todo lo demás que sucederá en este curso.
Así que comencemos aquí.
Tenemos un pequeño laberinto y este laberinto es nuestra representación de un entorno y eso es lo que
vamos a tratar en este curso.
Vamos a estar lidiando con ciertos entornos en los que nuestra
inteligencia artificial va a funcionar va a tomar medidas para vencerlas en mi camino,
ella buscará ganar en estos entornos.
Y aquí tenemos un agente.
El agente es nuestra inteligencia artificial.
Esa es la persona o la mente que navegará en estos entornos y aprenderá de
los comentarios que sus mentes le darán para realizar ciertas acciones.
Y así, la forma en que funciona es que el agente realice ciertas acciones en este entorno.
Y como resultado, el estado en el que se encuentra cambiará, por lo que podría estar más cerca o más cerca o más a la izquierda
más a la derecha.
Puede tener algún tipo de los otros parámetros que lo describen y los parámetros.
Entonces, el estado cambiará debido a la acción que se toma y también obtendrá recompensas basadas en la
acción.
Entonces, cada vez que se requiere una acción, el estado cambiará y obtendrá una recompensa.
Ahora, tenga en cuenta que a veces puede suceder que no cambie el estado en que la
acción no cambiará una suspensión o que no habrá una recompensa por tomar esa acción.
En ese sentido lo fue.
Sin embargo, el agente continuará haciendo acciones para engañar al estado y obtener
recompensas cambiando las acciones de acción que cambian el estado y obtienen recompensas.
Y al hacer ese proceso, aprenderá sobre lo que iba a explorar el entorno,
y comprenderá qué acciones conducen a buenas recompensas y estados favorables, y qué acciones recompensarán los
dos a un estado desfavorable.
Y este es un problema representacional muy global muy simplista.
Entonces, si lo piensas, los entornos en realidad no tienen que ser solo laberintos.
No se trata solo de salir de un laberinto o encontrar un tesoro en un laberinto.
Un entorno puede ser prácticamente cualquier cosa en la vida.
Entonces imagina que te despiertas por la mañana y cocinas una tortilla.
Entonces, para hacer ese omelet necesitas pasar por ciertos pasos para obtener la sal, conseguir que los huevos se
lleven las sartenes para encender, y así sucesivamente, y suena como una cosa mundana de rutina.
Pero se ha convertido en rutina porque lo has hecho tantas veces.
acciones que llevas a cabo, que te prende fuego poniéndole una sartén al fuego. Estás poniendo todos
los huevos en la sartén y pones un poco de sal en los huevos. y estás dando vueltas y demás.
Pero, en realidad, es un entorno en el que realizas ciertas
Entonces, como puede ver, son acciones de acciones de CRN que están tomando ciertos estados y esas acciones conducen a
ciertos otros estados y, en ocasiones, a recompensas.
Entonces, por ejemplo, cuando enciendes el fuego y esperas espera espera espera espera toma una acción de
espera espera espera espera demasiado tiempo y luego pones los huevos en la sartén.
Las recompensas van a ser muy negativas.
Todo va a arder.
también es muy importante comprender que las acciones se deben realizar en los puntos correctos en el tiempo.
Por otro lado, si realiza todas las acciones correctas en el momento correcto,
Por ejemplo, poner la sal en la sartén antes de poner los huevos podría no ser la
mejor idea.
Es posible que desee tomar esa medida de poner la sal en la sartén después de que los huevos estén
allí para que estén en un estado diferente.
Entonces es importante recordar eso.
Y al mismo tiempo, si tomas todas las acciones correctas en el orden correcto en
los estados correctos, tu recompensa final podría ser que obtienes una tortilla que puedes comer.
Y esa es una actividad muy básica en tu vida, pero si lo piensas, en realidad es un entorno y
eres el agente que atraviesa este entorno y realizas una tarea en la que realmente no necesitas aprender
nada porque ya lo conoces bastante bien. .
Pero al mismo tiempo podrías aprender que podrías aprender cómo hacer una mejor tortilla o especialmente si
es tu primer omelette lo que estás haciendo, probablemente lo arruines.
Pero aprenderá de eso porque comprenderá qué acciones conducen a los estados y rutas y a cualquier
otra cosa en la vida.
y vender y obtener ciertos comentarios del mercado en el sentido de retornos positivos o negativos.
Por ejemplo, incluso negociar en el mercado bursátil y usted sabe cómo comprar
Ese también es un ambiente en el que participas en ese entorno cuando eres un anciano.
Conducir un automóvil también es un entorno donde puedes girar el volante, puedes acelerar, puedes romper,
y así sucesivamente, y obtienes información del entorno y sabes que una de esas
retroalimentaciones es que el policía te da una multa excesiva si " rebasando el límite de velocidad aceptable o permitido
en esa carretera.
Y, por lo tanto, a partir de ahí aprendes que eso no es algo que deba hacerse porque lleva
a una recompensa negativa.
Entonces, las recompensas no tienen que ser solo al final del proceso.
Pueden ser durante todo el viaje a lo largo del proceso.
Entonces esos son un par de ejemplos.
Y en términos de un yo, la manera más simple de pensar en el aprendizaje de refuerzo es como entrenar a un perro
cuando entrenas al perro para que le des ciertos comandos y si obedece esos comandos, entonces le das un alcance, lo das
como una galleta o algo si no lo hace, Abeles Kamaz le dices que es un perro malo
o simplemente no le das un premio.
necesita hacer qué acción debe tomar en ciertos estados y los estados son los comandos que le está dando.
Y a través de ese proceso aprende qué ciertos comandos o qué
Y en base a eso obtendrá ciertas recompensas por supuesto en el mundo de la inteligencia artificial.
No es tan complejo.
No tienes que dar las golosinas.
No tiene que tener como una bolsa de galletas cada vez que le da un más uno o
menos, por lo que es una gran ventaja que en el mundo de la IA hayamos creado estas IA.
Entonces, las recompensas que les damos si piensas que estas recompensas son realmente geniales les están dando que
en realidad no existen, son solo un más o menos uno o más uno o un cero o algo así.
Entonces todo es inexistencia, todas cosas imaginarias.
Pero al mismo tiempo, lleva a grandes resultados ya que podemos crear estas cosas increíbles como
la increíble inteligencia artificial y esta asombrosa inteligencia artificial al proporcionar recompensas que realmente no existimos.
Más y menos uno no cuesta nada, sino los mismos resultados de lanzamiento de tiempo.
Muy similar al mundo real.
Y usted sabe, por ejemplo, Dokes. Pero aquí las recompensas son digitales y solo números.
así que esto es solo en las imágenes, no necesariamente ese perro robot exacto, usted sabe que está entrenado
a través del refuerzo aprendiendo algunos de los perros robot especialmente los más viejos que tendría un algoritmo allí.
Y con eso en mente podemos hablar sobre perros robot. Me encanta este ejemplo,
Y este es en realidad un buen ejemplo de la diferencia entre los agentes preprogramados y el agente de
aprendizaje de refuerzo para que pueda tener un perro robot que esté preprogramado para saber cómo caminar.
Entonces en el algoritmo detrás del perro, el programa dirá OK, para caminar necesitas mover la pierna izquierda
hacia delante, la pierna delantera hacia delante, luego la pierna derecha hacia delante, la pierna delantera hacia adelante y la
espalda hacia adelante y repite esa acción y sabes que esa es la definición de
caminar es una función dentro de este perro.
Y luego podría hacer que sepas cómo sentarte cómo pararte y cosas así.
Mientras que en un perro robot que está entrenado a través del refuerzo, lo que ocurre es que no lo
preprograma.
Este es el concepto clave para todo aquí que no tiene ningún algoritmo interno que esté codificado
en el perro.
En cambio, tienes lo que discutiremos en el futuro.
Tienes este algoritmo de aprendizaje de refuerzo al que se le dice que está bien, así que el objetivo es llegar desde
donde estás ahora sin saber nada hasta el final de la habitación, por ejemplo.
Y aquí están las ciertas acciones que puedes tomar.
Puedes mover tu pie derecho, puedes mover tu pie izquierdo, puedes mover tu pie derecho, tu pie izquierdo
atrás, así que aquí todos los grados de libertad que puedes hacer, puedes moverlo así, puedes
moverte así, como una lista de Las acciones que puede realizar y sus recompensas son cada vez que da un paso hacia adelante, obtiene
un más uno cada vez que se cae.
Obtienes un menos uno y eso es todo.
Y luego simplemente dejan al perro y dejan que lo resuelva solo.
Entonces, el perro intenta levantarse, cae y luego se da cuenta de que no debería hacer esa acción que me llevó a caer, porque cada vez
que caigo recibo un menos uno que no es bueno para mí en ese momento.
También lo hace la otra acción que lo ayudó a ponerse de pie y luego se da cuenta de
que solo experimentos experimenta experimentos tri cosas al azar y luego se da cuenta de que puede dar un
paso adelante moviendo el pie delantero derecho y obtiene uno más y se da cuenta oh debería haz más de eso.
OK, así que ahora aprende que debería hacer más de esto y menos de eso.
Y a través de este proceso de aprendizaje, rápidamente comprende cómo puede caminar.
aquellos perros que se dieron cuenta solos a veces pueden caminar mejor que los perros preprogramados porque realmente preprogramamos las cosas
que vemos en los perros de la vida real y o usted sabe que usamos
nuestra propia imaginación para hacerlo, mientras que un perro de refuerzo puede aprender optimizar las cosas por sí mismo.
Y
Y porque en la IA a veces puede obtener incluso mejores resultados.
Y así es como pueden entrenar a estos robots.
Los mismos perros robot para jugar fútbol.
Puedes entrenar a un perro normal para jugar fútbol porque sabes que todo el enfoque es diferente.
Y no es algo que usted sabe, probablemente, un perro normal ha sido entrenado para hacer o lo ha hecho
en su proceso de evolución.
​​siempre y cuando le digas cuáles son las recompensas, cuáles son las posibles acciones que pueden tomar.
Mientras que un robot de aprendizaje de refuerzo puede entender muy fácilmente cómo jugar fútbol,
Así es como funciona el aprendizaje de refuerzo.
En general, hay una descripción general rápida del aprendizaje de refuerzo.
Espero que eso te haya entusiasmado acerca de lo que vendrá después porque es un mundo completamente diferente en
comparación con las soluciones de preprograma, un programa difícil de soluciones codificadas en donde tienes las condiciones if if else.
Esto es muy diferente.
Y vamos a hablar más sobre eso.
así que si quieres tener algunos materiales de apoyo, aquí hay un gran artículo que puedes mirar y mirar.
Mientras tanto, tenemos algunas lecturas adicionales para ti,
Se llama aprendizaje de refuerzo simple con flujo de tensor.
Tiene diez partes.
El enlace está aquí y encontrarás el enlace completo en el que se puede hacer clic.
En el curso de los recursos del artículo de Arthur Giuliani de 2016, puede seguir este curso y también
obtener información adicional de ese artículo.
torche para implementaciones diferentes pero implantaciones, pero al mismo tiempo puede recoger algunas cosas aquí y
allá que podrían complementar su aprendizaje de que estamos va a estar haciendo en este curso.
Pero tenga en cuenta que ese artículo tiende a fluir cuando, como en este curso, utilizamos pi
Los artículos tan geniales lo siguen si está pensando en seguirlo con seguridad.
Todavía por las dudas.
Echa un vistazo a esa primera parte y mira si te gusta para ver si te gustaría leerla un poco más.
Y luego tenemos específico para este tutorial un aprendizaje de cumplimiento fronterizo. Hay un documento de Richard Sutton
que se llama aprendizaje por refuerzo.
pero al mismo tiempo puedes aprender un poco sobre el refuerzo aprendiendo algunos de los ejemplos como el ejemplo de omlet y otros ejemplos
de dónde se puede aplicar el aprendizaje de refuerzo y solo una visión general del aprendizaje de refuerzo.
Una introducción es que los documentos de 1998 son bastante antiguos,
Si está buscando lecturas adicionales y en esa nota vamos a concluir este tutorial.
No puedo esperar para verte la próxima vez.
Y hasta entonces, disfruta de la IA.