Hola y bienvenidos de nuevo al curso de un I I en la parte anterior hablamos
sobre la profunda intuición de Killary que comenzamos allí.
Y, de hecho, llegamos a esta parte y hablamos sobre el aprendizaje y ahora vamos
a pasar a la parte de actuación real.
Entonces, hay dos partes en partes distintas que debemos recordar.
Esa es la parte de aprendizaje, pero ahora él realmente ha hecho todo esto.
Eso es hermoso.
una acción que él tiene que decidir qué va a hacer va a hacer la acción uno dos tres o cuatro.
Ahora él realmente tiene que tomar
Y entonces, ¿cómo hace eso?
Bueno, la forma en que lo hace ahora se le da esos mismos valores por lo que los valores no cambian después de que tenemos estos valores
de compararlos con Calcott los dos últimos por la época arrogante que hemos actualizado los pesos, pero
los valores no lo hacen cambio en todo ese proceso.
Tener los valores del cubo allí.
Ellos están arreglados.
Sabemos lo que son.
Todo esto sucede sin embargo.
Redes actualizadas y eliminadas utilizando los mismos valores que teníamos.
Lo que vamos a hacer es analizarlos mediante una función soft max.
Y de nuevo suave Max como se describe.
Creo que un anexo 2 y hablaremos un poco más sobre soft max.
Más abajo en o hablaremos de esta política de selección de acción más abajo en el resto de esta sección.
Así que solo en algunos tutoriales.
Pero por ahora solo vamos a decir que lo estamos pasando a través de una próxima función suave.
Básicamente lo que hace es permitir que ayude a seleccionar el mejor, selecciona la mejor acción posible.
Y hay una pequeña advertencia para eso.
No es solo el mejor posible.
Hablaremos de eso en el tutorial de políticas de selección de acciones.
Pero, por ahora, digamos que selecciona la mejor acción desde aquí, dice OK, así que Q1 sabes la probabilidad.
Básicamente, sabemos que los valores de q predijeron el valor de Q para que pueda mirarlos y decir OK, por lo que el valor
de Q más alto de estos, tal como lo hicimos en el algoritmo de aprendizaje de Q simple.
estos por decir los más altos valores. Voy a seleccionar esa acción. Vamos a tomar esos.
Solo miro todos
Y eso es más o menos.
Así es como elige qué acción tomar toma acción y luego todo este proceso ocurre nuevamente.
Para la siguiente etapa, el agente termina en nuestro caso y en el siguiente cuadrado del laberinto.
Pero hablando en general en el siguiente estado.
Entonces ahí vamos
Así es como nos alimentamos con un problema de aprendizaje reforzado en una red neuronal a través de un vector que describe el estado en
el que nos encontramos.
Y una vez que lo ajustamos.
Hay dos partes del proceso que suceden. La primera parte es el aprendizaje.
Así que recuerda esa parte donde comparamos cada uno de los valores del cubo con el
objetivo y luego propagamos la pérdida a través de la red para actualizar los pesos para que nuestra red aprenda
a medida que atravesamos este laberinto o atraviesa este entorno.
Y también la segunda parte es, por supuesto, tenemos que actuar, tenemos que seleccionar una acción y es allí donde
pasamos los valores a través de una función soft max o, básicamente, una política de selección de acción de
la que hablaremos más adelante.
Y luego simplemente seleccionamos la acción que queremos tomar y llevamos a cabo esa acción y luego todo este
proceso comienza de nuevo.
Y entonces tal vez el agente se pone entonces tal vez el agente no pausa el juego.
En cualquier caso, el juego termina.
Y luego, una vez más, todo el proceso se repite, el agente juega todo el juego otra vez y luego eso se detiene, básicamente eso
es otro parque aéreo cada vez que el agente lo sabe cada vez que el juego termina con un favor más allá
de fairie que es el final de un aeropuerto.
Y luego comienza de nuevo y luego comienza de nuevo y luego comienza de nuevo.
Y así.
Así sucede y este proceso ocurre cada vez que el agente está dentro de ti en un nuevo estado, por lo que
el estado está codificado aquí, por lo que es importante no solo para cada juego que juega, sino para
cada estado.
Entonces él está en un estado que pasa por sus fechas de proceso y demás y sucede cada vez.
Y entonces el aprendizaje sucede y la actuación también sucede.
Entonces eso es aprendizaje profundo en la intuición detrás del aprendizaje profundo.
y luego, por supuesto, práctico, y mientras tanto, si desea obtener información adicional sobre cómo seguir aprendiendo.
Tenemos mucho más para cubrir
Tenemos una lectura recomendada, por lo que ya hemos hablado sobre la serie de publicaciones de blog de Arthur Giuliani.
Si observa el aprendizaje informal simple Lifton's flow, parte 4, encontrará la parte que es relevante para
lo que discutimos hoy.
Tenga en cuenta que aquí él habla de circunvoluciones, no estamos cubriendo las revoluciones, en esta sección vamos a hablar de
ellas en la próxima sección del curso.
Entonces, la diferencia aquí es que se saltean las conclusiones por ahora y hablaremos de ellas
en la próxima parte del curso, pero la diferencia está en las evoluciones.
Parece que el agente está mirando la imagen y, por lo tanto, tiene que procesar una imagen, una
complicación adicional por ahora, en la que poco a poco vamos aumentando.
Por ahora estamos codificando nuestro entorno a través de aquí, estamos codificando nuestro entorno o tal
vez miremos este probablemente en la codificación de nuestro entorno como un estado para indicar que el agente está en un vector.
Entonces, en nuestro caso, era un vector de valores muy simple.
A veces las personas incluso en eso de esa manera simple pueden a veces o como verán en esta publicación de blog.
A veces las personas prefieren la versión codificada y caliente de ese estado.
Entonces, básicamente, donde cada caja del laberinto tiene a.
Entonces, tiene como vector de un caso nulo 12 valores de tres por cuatro.
Por lo tanto, no es ni 1 ni 0, dependiendo de qué elementos y en qué casilla se encuentre.
En el ambiente.
Entonces, de cualquier forma que decidas codificar tu entorno y el estado de tu entorno, así es como en la
codificación Básicamente es un vector.
La clave aquí es que no es una convolución Así que no es como una imagen y no hay un voltaje de
convolución Entonces esta parte vendrá después.
Para nosotros comienza aquí y eso simplemente simplifica el proceso para que podamos entender mejor gradualmente.
Y, por supuesto, no olvide que esta publicación es grosera y tiende a fluir y estamos utilizando pi torche
en nuestros tutoriales.
Así que con suerte disfrutas esto.
Una introducción rápida a un profundo aprendizaje profundo convolucional profundo pero no profundo.
Y en esa nota, espero verte el próximo.
Y hasta entonces disfruta de inteligencia artificial.