Hola y bienvenidos al curso de inteligencia artificial.
Y finalmente estamos en lo divertido que estamos en el aprendizaje profundo.
Está bien, así que echemos un vistazo.
Bruce hablamos sobre las ganancias de los asesinos y de qué se trata.
Y aprendimos sobre el entorno del agente y cómo el agente observará el estado.
O ella está en tomar una acción, obtener una recompensa.
Ingrese en un nuevo estado y basándose en ese ciclo de retroalimentación, continuarán tomando acciones y
aprenderán de eso.
Comprenda cuáles son las mejores acciones a tomar.
Y entonces miramos este ejemplo básico de un laberinto.
Entendimos que, a medida que Asia explora el medio ambiente, entiende cuáles son los valores de los estados.
Luego pasamos de tratar con los valores de los estados a tratar con los
valores de las acciones con los valores y luego A-Basin que entendimos cómo funcionan los planes en entornos no sarcásticos y cómo
funcionan las políticas en entornos estocásticos y esto es un ejemplo de una política.
Entonces, esa es una recapitulación rápida de todo lo que discutimos en el aprendizaje básico.
un vistazo a cómo esto puede llevarse al siguiente nivel a través del aprendizaje profundo a través de la adición de aprendizaje profundo.
Y ahora echemos
DE ACUERDO.
Entonces, este es nuestro entorno y lo que vamos a hacer ahora es agregar en lugar de
simplemente hacer cálculos básicos en esta matriz que tenemos, que es bastante simple.
Lo que vamos a hacer es agregar dos ejes que añaden un eje xey, o los
llamaremos x1 y x2.
Solo para hacer las cosas aún más generales.
Y aquí tenemos el número real de la fila de las columnas 1 2 tres 4 él regla número las filas 1 a 3.
Y entonces, cada estado puede describirse por un par de dos valores x1 y x2, por lo que cualquiera de
estos cuadrados en los que posiblemente pueda estar el agente se puede describir con x1 x2.
Entonces, por ejemplo, ahora está en el cuadrado con X1 igual a 1 y x 2 igual a 2.
Y, por lo tanto, esa no es una forma en que podamos escapar en su significado cuadrado que podemos describir en su estado.
Entonces, por supuesto, esta es una versión muy simplificada de un entorno de Estados descriptivos.
Pero sin embargo, funciona en este caso.
Y eso significa que ahora podemos alimentar estos estados en una red neuronal.
x número uno y antics y dos para proceder con éxito con esta sección.
Y, por cierto, me gustaría mencionar que al final del curso de buenos anexos tenemos una
Es muy recomendable que revises uno inaccesible que está en una red neuronal artificial para
que entiendas cómo funcionan, así podemos no tener que profundizar en eso aquí y podemos
usar los beneficios del conocimiento de cómo funcionan las redes neuronales artificiales. y entonces alimentamos esta información sobre
el estado en una red neuronal y luego procesaremos esta información, la X1 y la X2, dependiendo de la estructura de la red
neuronal, podría tener múltiples capas ocultas, y así sucesivamente.
Así que eso es algo que descubrirás en los tutoriales prácticos, pero al final estructuraremos
de tal manera que espere valores y estos cuatro valores realmente serán nuestro valor Q.
Entonces, los valores que dictan qué acción debemos tomar y cuáles no en este tutorial verán exactamente cómo
se usan estos valores clave para decidir qué acción se tomará.
Pero el punto principal aquí es que ya no miramos solo este laberinto desde una perspectiva de aprendizaje.
Ahora estamos tomando los estados del laberinto y los estamos alimentando en una red neuronal profunda para
obtener estos cubículos y.
Y al final del día todavía vamos a hacer una acción, aún vamos
a entender qué acción debemos tomar y discutiremos todo esto con más detalle, pero la pregunta ahora
es por qué estamos haciendo todo esto por eso lo llamamos.
¿Por qué las cosas son mucho más complicadas cuando el enfoque inicial de aprendizaje ya
funcionaba bien?
El motivo es que el aprendizaje funcionaba en este entorno tan simplista y, por ahora,
seguimos tratando con este entorno tan simplista para comprender mejor los conceptos.
Pero al mismo tiempo, el simple aprendizaje de Kial ya no funcionará en entornos más complejos
y estamos hablando, por ejemplo, de los autos que conducirán autopropulsados, que crearán o jugarán Doom
cuando la inteligencia artificial esté jugando a Doom u otros juegos de Atari como breakout o
incluso automóviles autodirigidos y elementos de aprendizaje de refuerzo más avanzados, como robots que caminan y realizan acciones en
todos esos casos, básicamente, el aprendizaje es insuficiente, no es fuerte, no es lo suficientemente
potente como para dominar esos desafíos.
Y tal como lo hemos visto en el curso de aprendizaje profundo si has estado en nuestra disciplina o si
has hecho las secciones de anexo en x número uno y X-2, sabrás que el aprendizaje profundo es muy superior
a cualquier tipo de aprendizaje automático, mucho menos un simple aprendizaje genial.
Y es por eso que estamos aprovechando el poder del aprendizaje profundo aquí, así que estamos alimentando
la información sobre el medio ambiente como un vector de valores.
y luego estamos usando eso para realizar las acciones que queremos para decidir qué acciones van a tomar los agentes.
En este caso, solo para usar en una red neuronal profunda
Así que eso es como una descripción general de alto nivel de por qué estamos haciendo esto.
Y ahora echemos un vistazo con más detalle a lo que sucede con el concepto de
aprendizaje genial cuando lo transferimos cuando hacemos la transición o transición del aprendizaje simple al profundo Killary.
Como vimos en los tutoriales de intuición anteriores, tuvimos una diapositiva como esta, que es la base del aprendizaje
de la diferencia temporal.
Esta es la fórmula para la diferencia temporal y, básicamente, así que vamos a pasar.
Entonces, básicamente, teníamos un agente que se encontraba en este estado aquí, que se indica con la flecha azul.
Y estábamos entendiendo cómo funciona la diferencia temporal para este valor de, por ejemplo, subir.
Y entonces, lo que vimos aquí fue antes de que esto esté en el simple Killary, no en el profundo aprendizaje en el
simple asesino.
Lo que vimos fue antes de que el agente tuviera un valor de matiz posterior que había aprendido sobre esta acción
de subir.
Entonces decidió tomar la decisión de subir.
Y justo después de que toma su acción, recibe una recompensa por tomar esta acción en este estado.
puede tomar un primo en el nuevo estado como imprimir y leer multiplicado por el factor DK de gamma.
Y esa es la recompensa más ahora que puede evaluar el valor del estado actual en que se encuentra, que es el
máximo de todos los nuevos valores q de todo el cubo de las nuevas acciones,
Entonces, eso es esencialmente la señal del nuevo valor del cubo o algo así como el valor del cubo empírico que
acaba de recibir para realizar esa acción.
E idealmente estos dos dos deberían ser lo mismo.
Así que el valor real de Q que tenía en su memoria sobre esta acción en este estado
debería equipararse a la recompensa real más la gamma multiplicada por el valor del estado en el que terminó.
lo que buscamos, menos lo que obtuvo, lo que tenía en mente, lo que estaba esperando.
Y, por lo tanto, así es como calculamos la diferencia temporal, tomamos
Usted restaría uno del otro.
Esa es una diferencia temporal.
Y luego usa su tasa de aprendizaje Alfa para ajustar su valor q su nuevo valor q por la diferencia temporal
pero con un coeficiente de Alfa.
Entonces esa es la esencia del aprendizaje simple.
Ahora echemos un vistazo a cómo cambia en Killary profundo, por lo que seguiremos trabajando con la
diapositiva, pero vamos a ver exactamente lo que está sucediendo.
Entonces en un aprendizaje profundo la red neuronal predecirá a Valis como vimos en el anterior y como
veremos.
Donna Citronelle, la red neuronal predecirá los valores o podría predecir más valores de más
acciones posibles en un estado dado.
Pero en este caso, sabemos que solo quedan cuatro acciones por hacer.
Y entonces, la red neuronal predecir cuatro de estos valores por lo que no habrá final en una situación de aprendizaje profundo, es importante
que no exista un antes o un después.
Y así es como vamos a conocer esto un poco mejor.
Entonces, la red neuronal predecirá cuatro de estos valores y no se comparará con lo que
sucederá después, pero la red neuronal se comparará con este valor exacto, pero fue el valor que se
calculó en el paso anterior.
Entonces en el tiempo anterior cuando el agente estaba en este cuadrado exacto.
Entonces, digamos que no sé hace algún tiempo que el agente estaba nuevamente en este cuadrado
exacto y se calculó este valor previamente.
Entonces, hace mucho tiempo, el agente calculó este valor, luego los agentes almacenaron este valor para
el futuro y ahora ha llegado el futuro.
Así que ahora él está en la plaza de nuevo y ahora tiene estos valores de cubo que se predice y uno
de ellos es para los cuatro que están subiendo.
Entonces, lo que va a hacer es comparar el valor predicho de Q con este valor que había registrado en el
paso anterior y comprenderá exactamente por qué esto es importante en este momento, por lo que es
importante entenderlo aquí.
No hay un oficial antes de esta plaza específica en este momento específico.
lo comparamos con este valor que tenía desde el momento anterior desde el momento anterior en que
estuvo en esta casilla evaluando toda la situación y sabes como el anterior vez que realmente realizó esta acción.
Estamos tomando el valor de Q que ha predicho usando la red neuronal esta vez y
Entonces ahí vamos
Ahora echemos un vistazo a cómo funciona todo esto en la red neuronal y por qué.
¿Por qué es que sé que suena un poco complicado en este momento, pero lo dividiremos en términos simples en
un segundo.
Así que esto en su propia red que estamos alimentando en los estados del medio ambiente en la
red neuronal va a través de las capas ocultas que está saliendo con estas salidas Q1 Q2 Q3 Q4.
ese estado específico, estos son los valores de cubo que la red neuronal está prediciendo para posibles acciones.
En
Esos son los cumulous.
Entonces parecemos que estamos apuntando y estos objetivos existen exactamente así que si volvemos aquí, este es el objetivo,
así que este es el valor que se predijo.
Y luego, pero también sabemos que tenemos un objetivo desde la última vez que estuvimos en la plaza.
Tenemos un objetivo para esta misma acción, que está por ejemplo.
Así que aquí tenemos un objetivo y vamos a comparar que estamos comparando el Q1
con ese objetivo, estamos comparando el Q2 con el objetivo que teníamos del anterior Q3 versus un objetivo Q4 versus el objetivo.
Y esta es la parte donde la red neuronal o el agente ahora está aprendiendo a través del
aprendizaje profundo cómo mejorar.
Y el punto clave aquí es que todavía estamos aplicando un aprendizaje genial, pero la respuesta de los conceptos es simple: aprendes que aprendes
a través de las diferencias temporales que son bastante sencillas y que ya hemos discutido
y sabemos muy bien por qué no.
Pero al mismo tiempo, en el aprendizaje profundo, ¿cómo aprenden las redes neuronales las redes neuronales a través de nuestro ajuste
de los pesos?
adaptar los conceptos de refuerzo a los conceptos de simple kill learning a la forma en que las redes neuronales realmente funcionan.
Entonces, tenemos que
Y eso es a través de la actualización de sus pesos.
Entonces, esto es lo que intentamos descubrir aquí, cómo adaptamos ese concepto
de diferencia temporal a su propia red para que podamos aprovechar todo el poder de las redes neuronales.
Hasta ahora hemos obtenido esto, así que ingresamos aquí a nuestro estado de entorno cuando un vector pasa por una red
neuronal, obtenemos predicciones de valores clave y luego, desde el momento anterior, el agente estaba en ese estado.
Tenemos estos nuevos objetivos para apuntar uno dos tres y cuatro para cada una de estas acciones respectivas.
Y ahora estamos listos.
OK, vamos a comparar cada uno con cada uno.
Y a partir de aquí es que se vuelve bastante sencillo si está al día con las redes neuronales.
Una vez más eso está en un Anax.
Número uno vamos a calcular una pérdida que está aquí y vamos a estar q apuntar a esta
menos Q menos esta.
Vamos a cuadrar esa la diferencia cuadrada de cada uno de estos y vamos
a sumarlos.
las diferencias al cuadrado de estos valores y sus objetivos y los enviaremos hacia arriba y eso será una pérdida.
Así que tomamos la suma de
Y tan idealmente como tuvimos en el aprendizaje de la diferencia temporal, así que si retrocedemos
por un segundo, recordamos que dijimos que idealmente queremos que esto sea igual a esto, así que queremos
que la diferencia temporal sea cero, eso significa que básicamente el agente es predecir exactamente lo que usted sabe, el valor
de Q es que el agente está prediciendo exactamente o que él y la memoria son exactamente descriptivos del
entorno y, por lo tanto, el agente nunca puede obtener el medio ambiente correctamente.
No hay sorpresas, no hay, no hay s. a, siempre que una diferencia temporal sea un piloto altamente
positivo o altamente negativo.
Entonces tenemos algunas sorpresas.
Pero si las diferencias generales son cero, entonces conoce el medio ambiente tan bien que puede
predecir lo que está sucediendo y puede, y por lo tanto, su política va a ser muy buena y podrá navegar.
Entonces aquí.
Lo mismo, queremos que esta ley sea lo más cercana posible a cero, supongo que es lo más pequeño posible.
vamos a aprovechar el verdadero poder real de la red neuronal, así que vamos a tomar esta pérdida y vamos a utilizar la propagación de
la espalda o pegar como el descenso del gradiente tomar esta pérdida y pasarla a través de la red
posicione hacia atrás o hacia atrás propagada a través de una red y a través de lanzar una fecha grande y decente de los pesos.
Y es por eso que ahora vamos a esta es la parte en la que
Todas estas sinopsis en la red para que la próxima vez que vayamos a través de esta red de la misma manera
describa mejor el entorno y eso es exactamente lo que somos.
Así que aquí tienes, si vuelves, se calculan las pérdidas de Kalka y adivina el propagador de la red. Los
pesos se actualizan.
aquí, esto sucede una y otra vez aquí, esto sucede una y otra vez y sigue sucediendo y
así es como aprende este agente o básicamente ahora la red neuronal que el cerebro del agente está aprendiendo
se está volviendo más y más más descriptivo del entorno y, por lo tanto, el agente puede navegar por el entorno.
Entonces, la próxima vez que llegamos
Cuando decimos que el entorno descriptivo básicamente significa que cuando ponemos en los estados del entorno en los
que se encuentra este agente, es más probable que nos acerquemos más y más a los valores cue reales y eso sucede porque
los valores del cubo que queremos encontrar son los correctos acción y eso sucede porque estos
nuevos objetivos en realidad se derivan empíricamente por lo que todos los días, ¿cómo encuentra estos objetivos lindos.
Eso es realmente esto así que realmente observa.
De acuerdo, entonces una vez que doy este paso, ¿cuál es la recompensa que recibo?
Y entonces, ¿cuáles son los valores de este estado?
Lo mismo que vimos anteriormente en Q learning y en la intuición de aprendizaje simple.
Entonces aprende esto a través de prueba y error y luego construye su red o así
es de tal manera que los valores predichos son cercanos y cercanos.
Consumiendo ese objetivo.
Los valores Q son muy similares al concepto que discutimos aquí en el aprendizaje simple de diferencia temporal
del algoritmo simple de aprendizaje de habilidades.
Ahí vas.
Así es como el agente aprende.
Así que estamos hasta aquí.
Y esa es la parte de aprendizaje.