Hola y bienvenidos al curso de inteligencia artificial.
Está bien, así que espero que estés disfrutando el tutorial hasta ahora, casi hemos terminado con la intuición de
que pronto llegarás al lado práctico de las cosas. Tenemos algunas cosas pequeñas que tenemos que cubrir.
Muy bien, antes hablamos de cómo agregamos las redes neuronales a esta ecuación completa del aprendizaje CULE y
llevamos al siguiente paso a la práctica y lo convertimos en aprendizaje profundo.
Y hoy vamos a agregar una característica adicional importante que codificará en el lado práctico de las cosas, así que decidí que es
importante que la cubramos a menudo en el lado de la intuición para que esté más preparado. para ello
cuando se trata del lado de codificación de las cosas.
Entonces, cuando discutimos que tenemos la red, hay dos partes que suceden.
En primer lugar, es el aprendizaje, por lo que la red realmente aprende con cada nuevo estado.
Poco a poco actualiza sus esperas para obtener cada vez mejor y mejor al tratar con este entorno.
Y luego está la actuación dentro del estado, así que después de que los valores de q hayan sido contados en el estado, una
vez que haya seleccionado.
Así que hoy vamos a hablar sobre la parte de aprendizaje, vamos a presentar una característica
interesante que ayudará a los estudiantes de pregrado a presentar esta función
nosotros mismos, pero hablaremos de una característica que es muy importante para un aprendizaje genial y esa característica se llama repetición de experiencia.
Todo bien.
Así que aquí está nuestra red, así que acabamos de copiarla aquí.
Tenemos ese perdido que es Calcott en la parte inferior está de vuelta propagador a través de la red.
Echemos un vistazo a un ejemplo de lo que sucede para entender el problema que estamos tratando
un poco mejor.
Así que aquí hay un ejemplo de los puntajes.
Esta es una captura de pantalla exactamente de este curso. Esto es lo que programarás.
auto sin conductor que atraviesa este camino y tiene que aprender a navegar por este camino.
Este es un
Y entonces, ¿qué es lo que discutimos anteriormente? ¿Qué es esto en este estado?
Y, por supuesto, el estado no va a ser x1 x2 Lundell simplemente describa con mucho más detalle cuál
es el estado que va a haber un par de parámetros que se relacionan con el ángulo del automóvil y algunos parámetros relativos
de qué son los sensores leyendo y así sucesivamente
Entonces, habrá más parámetros que eso para describir el estado.
Sin embargo, va a ser un vector de valores que irá a través de una red neuronal
y luego, en la salida, tendrá algunos valores de ACU.
Nuevamente habrá una diferencia dependiendo del ambiente.
Pueden ser un número diferente de acciones posibles acciones.
Pero lo haremos por simplicidad, dejémoslo para que podamos entender mejor qué
está pasando aquí.
Entonces, en este caso, cuál es la pregunta es hasta ahora qué es esto.
Esto ingresa a esta red neuronal o, más específicamente, con qué frecuencia activamos esta red neuronal.
¿Con qué frecuencia este crecimiento neural neto.
el automóvil termina en un estado nuevo, el automóvil hace un movimiento, termina en un nuevo estado y luego todo va bien.
Bueno, cada vez que
Toda esa información que toda la información sobre el estado pasa a través de la red le da a Alice los
errores calculados.
Este error se calcula en base a lo que discutimos en tutoriales anteriores.
Esto se propaga nuevamente y sus pesos se actualizan.
Luego, el automóvil selecciona qué acción tomar, hace que ese movimiento termine en un nuevo estado en el nuevo estado.
Todo comienza de nuevo.
Y así, básicamente, esto sucede cada vez que el auto está dentro y usted dijo, bueno, eche un vistazo a este ejemplo.
Tomé específicamente la captura de pantalla porque parece que está muy bien ilustra el problema que se aborda mediante la
repetición de experiencia y las repeticiones de gastos, no solo algo que utilizamos en este curso o
en este problema específico.
Es algo que verás usado en todo momento.
Una y otra y otra vez en algoritmos de inteligencia artificial porque es muy poderoso y es
tan importante.
Así que mira este coche este coche en este problema o en este entorno su objetivo es venir de aquí a
aquí y volver.
Su objetivo es navegar aquí sin cruzar estas paredes hechas de arena.
Y entonces, el automóvil comenzó aquí y su recompensa se basa en que usted sabe lo cerca que está
de comenzar.
Así que el auto pasó de aquí, se vino abajo y siguió así como este, o a lo largo de
este muro a lo largo del rompeolas.
Y lo que va a hacer ahora va a continuar.
Bueno, lo que queríamos hacer es continuar aquí.
Pero pensemos por un segundo.
Una vez que llegó a este muro cada vez que avanza, avanza.
Avanza, avanza, avanza, avanza, avanza.
Así que podría haber como dependiendo del entorno de la estructura podría ser como cien movimientos
aquí o 50 movimientos aquí.
Simplemente continúa avanzando hacia adelante y nada cambia.
En realidad, los cambios no se alejan mucho de esto comenzó más cerca de esta historia.
Eso es adorable.
Pero en términos del entorno que los rodea, no hay muchas cosas que cambien, sigue siendo el mismo muro.
Si estás sentado en el coche, probablemente hayas visto la situación cuando conduces en lo que sea
que estés viendo, es como si el entorno fuera tan monótono que simplemente vieras algo parecido a lo
que pasa.
Pero como me imagino que estás conduciendo por un desierto y solo estás viendo lo mismo, es el
mismo sonido, es el mismo sonido, nada está sucediendo.
Nada está cambiando.
Y basado, pero cada vez que ponemos ese estado ese nuevo estado aquí.
cambiando para nosotros mientras conduce el automóvil y su GPS muestra que está más cerca de su destino.
Sí, por supuesto, algo puede estar
Por lo tanto, una de estas entradas es extraña, pero muchas de estas otras entradas, por ejemplo, los sensores
que están en el automóvil no están cambiando y, por lo tanto, a medida que maneja con lentitud, ponga las entradas
en las suyas aquí. aquí aquí aquí aquí aquí aquí y aquí aquí todo el tiempo las entradas son más o
menos las mismas.
Y así, si sigue ingresando las mismas entradas, ingrese los mismos valores en vector o vectores muy similares
en su red porque no hay variedad.
El auto aprenderá muy bien.
Una cosa es que aprenderás muy bien a conducir a lo largo de este muro que está a la
derecha y así se actualizará la red y se verá recompensado, se comenzará a recompensar lentamente por conducir tan
bien como será.
De acuerdo, así que desde aquí estaré aprendiendo todo lo que estoy haciendo, así que bien. Lo estoy haciendo mejor. Lo estoy haciendo mejor.
Todo.
Tendrá esta percepción falsa de que en realidad está funcionando muy bien, a pesar de que solo aprende a conducir, así como otras
redes neuronales se adaptarán muy bien para conducir a lo largo de este pozo y, de repente,
esta curva y el coche no funcionan. No sé qué hacer.
Y no encaja completamente con esta red neuronal.
E incluso si lo hace, de alguna manera digamos hipotéticamente pasa un punto y luego termina en esta
pared.
Lo mismo va a pasar va a conducir desde aquí aquí.
Ahora bien, la red neuronal se está reestructurando para adaptarse a este muro y luego, sucede esto.
Y luego, incluso si de alguna manera se pasa, pasará por esta cosa y luego lo mismo en esta
línea.
están de alguna manera correlacionados o son de alguna manera interdependientes y no queremos que esa interdependencia desvíe nuestra red.
Así que, básicamente, este es un ejemplo muy vívido del problema de que somos lo que tenemos
es que debido a la forma en que estamos usando la red neuronal actualizándola en cada estado una vez
que tenemos muchas cosas consecutivas, ni siquiera tienen que ser el lo mismo, pero hay entornos que son normales, es decir, los
estados consecutivos
No queremos que el automóvil simplemente aprenda a conducir como una línea recta o una línea curva
larga o como cualquier cosa que piense que se le ocurre en la vida donde un agente sería
el entorno de Navigant donde podemos pensar en una correlación o estados interdependientes que vienen después de otro que realmente pueden
arruinar su red neuronal.
Si vas a dejar que el agente aprenda de eso.
Y ahí es donde entra en juego la experiencia de reproducción.
Lo que sucede en la repetición de la experiencia son estas experiencias, por lo que estos estados afirman que está en uno
dos tres, aunque muchos 50 estados aquí en neuro no se ponen de inmediato a través de la red.
En realidad, se guardan en la memoria del agente.
Y así, por ejemplo, guarda todo esto y guarda todo esto y algunos en algún momento una vez que alcanza
un cierto umbral que podrá codificar y Atlanta le mostrará cómo hacerlo.
Una vez que alcanza un cierto umbral, el agente decide por sí mismo y es hora de aprender.
Tengo este lote de experiencias que tengo No voy a aprender nada de eso y selecciono
al azar una distribución uniforme y la uniformidad es clave aquí porque es algo de lo que
hablaremos en la siguiente diapositiva.
Vamos a reservar lo mencionaré.
Pero se necesita una muestra distribuida uniformemente.
Entonces, básicamente, todas las experiencias se consideran iguales.
esa acción en ese estado específico, por lo que cuatro elementos en cada experiencia declaran uno acción declara dos y recompensa y por lo tanto
toma todas esas experiencias y luego las pasa a través de la red y aprende.
Toma una muestra uniformemente distribuida de ese lote de experiencias que tiene y luego pasa a
través de ellas y aprende de ellas para que no tome toda la experiencia o simplemente la tome distribuya muestras de manera
uniforme, podría tomar un par de aquí una pareja de aquí una pareja de aquí y de ella y cada experiencia se caracteriza
por el estado en que se encontraba en la acción que tomó el estado en el que terminó y la
recompensa que logró mediante
Y de esa forma rompe el patrón de ese sesgo que proviene de la naturaleza secuencial de la experiencia como si los pusiera a través
de la red uno después del otro.
Entonces ese es el enfoque principal de la experiencia que jugamos.
Ese es el problema y la dirección, y otro beneficio de la repetición de experiencias es que,
en ocasiones, en un entorno como este, se pueden tener experiencias excepcionales muy valiosas.
Entonces, por ejemplo, no sé, digamos que veamos esta esquina, esta es la esquina derecha.
Derecha.
Y uno muy agudo es agudo.
Entonces vendrá de aquí asumiendo que va a estar abrazando esta esquina.
Por lo tanto, si tenemos las esquinas bien definidas tenemos en esto en este conjunto vamos a
tener una esquina derecha aquí y una esquina derecha aquí.
Correcto, así que cuando viene de esta manera esa es la esquina derecha.
Y luego, cuando está regresando, hay una esquina derecha muy aguda aquí.
Por lo tanto, este no está definido de esta manera en la tienda, por lo que solo hay
una oportunidad en todo el entorno para aprender desde una esquina derecha.
Y esa es una experiencia muy importante porque podría ser realmente bueno al conducir en línea
recta y ser realmente bueno en hacer curvas suaves como esa.
aguda esquina derecha simplemente porque no tiene muchas oportunidades de aprender y por lo tanto aprenderá todo
muy rápidamente, pero tomará mucho tiempo aprender lo correcto. curso.
Y luego seguirá arruinando esta
Es un ejemplo muy simplificado es una explicación muy simplificada, pero ilustra el concepto de
que a veces son experiencias raras que pueden ser valiosas.
Y si solo estás haciendo una red neuronal simple en la que estás poniendo tus valores aquí y
sabes que están pasando y sabes incluso si te olvidas de ese problema de la naturaleza secuencial
de las experiencias y cómo pueden ser interdependiente y Thimphu correlacionado incluso se olvidan de eso
por un segundo.
vez que pones una experiencia en ella pasa a través de datos de redes, entonces instantáneamente olvidas pero te olvidas de esa experiencia.
Lo que sucede es que una
Pasas a la siguiente.
Así es como funciona la red neuronal.
Luego pasas al siguiente estado, el siguiente paso, el siguiente paso, la siguiente experiencia,
X, la experiencia, y así sucesivamente.
Entonces, esta esquina derecha, tan pronto como pasa a través de una red, se va y usted no tiene ningún recuerdo
de esa valiosa experiencia.
así que cuando vuelva de aquí es tan pronto como tiene esto registrado esta experiencia en su lote.
Mientras que hemos experimentado la repetición porque está poniendo estas experiencias en lotes, puede organizar su
bash como una ventana rodante, por ejemplo, podría tener como 100 lotes. Así que cientos de
experiencias en su lote,
Entonces, como en algún punto se ejecuta, toma una distribución uniforme de su lote de experiencias y luego hay una ventana que se
desliza, por lo que olvida estas experiencias, pero luego mantiene estas experiencias.
Y nuevamente aprende de una vez que está aquí, aprende de este lote y luego, una vez que está aquí, se olvida todo
el camino hasta aquí.
Pero luego tiene un lote de experiencias así, por lo tanto, no aprendes de estas experiencias.
Y de esa forma lo que obtendrás es que esta esquina de la derecha podría aparecer varias veces en su proceso
de aprendizaje porque estaba en ese lote cuando el lote era así por aquí
que en el lote aquí, así que salió en varios lotes porque la falla
podría actualizarse como una ventana de experiencia.
Entonces, las experiencias más antiguas son expulsadas, las experiencias más nuevas se agregan y, una vez más, las experiencias más
antiguas se obtienen.
Por lo tanto, la experiencia se mantiene en el lote durante bastante tiempo y el automóvil o agente puede aprender de esa
experiencia varias veces.
Esa es otra ventaja de la repetición de experiencia.
Y, por supuesto, la ventaja final es que la experiencia de reproducción te brinda la oportunidad de aprender
de más experiencias que si solo estás aprendiendo de una en una porque tienes ese lote
y, por lo tanto, es una ventana móvil y, por lo tanto, incluso si tu entorno es limitado experimentar su enfoque de reproducción
de experiencia puede ayudarlo a aprender más rápido.
Y en lugar de simplemente rehacer, hay muchas muchas veces que puede aprender rápido porque no tiene que volver
a hacerlo.
Tienes esas experiencias guardadas.
Estas son las principales ventajas de la experiencia.
Repasemos que tenemos el.
Estamos rompiendo ese patrón sobre la independencia y la correlación de experiencias secuenciales. Ahorramos experiencias raras que podrían
ser importantes, por lo tanto podemos aprender de ellas más a menudo y podemos aprender
en entornos en los que podemos aprender entornos Fosler que son experiencia.
Tenemos una escasez de experiencias que no tienen tantas experiencias que el agente atraviesa y
aún así podemos aprender eso.
Entonces, eso es de lo que la experiencia se trata.
Si quieres leer un poco más que esto
Hay un interesante artículo publicado por Deep Mind en 2016 que se llama repetición de
experiencia priorizada y habla de por qué.
¿Por qué estamos usando una distribución uniforme para seleccionar nuestras experiencias de la experiencia de Bachche? ¿Por qué no
encontramos una mejor manera de seleccionar nuestras experiencias y priorizar algunas de las experiencias que
consideramos que son importantes?
bastante interesante, en este caso no solo podrás reforzar o reforzar tu conocimiento
sobre la repetición de experiencia, sino que también podrás moverte con la tecnología más avanzada.
Aunque es
Así que esto es 2016 y publicado por mentes profundas.
Es un documento muy reciente y muy potente, por lo que podrás explorar los límites o explorar aún
más este algoritmo y llevarlo al siguiente nivel.
Así que te dejo a ti descubrir por qué y cómo podemos cambiar el uniforme a un enfoque diferente para experimentar
la repetición de este artículo si lo deseas.
Y espero que disfrutes esto.
experiencia es realmente y podemos usarla con confianza en nuestros círculos prácticos y espero verte la próxima vez.
Tauriel y ahora sabemos qué
Hasta entonces, disfruta de la IA.