Hola y bienvenidos a este tutorial de Python.
Todo bien.
Ahora en la próxima función que estamos implementando, formaremos la red neuronal profunda que
está dentro de nuestra inteligencia artificial.
Entonces, básicamente, vamos a hacer todo el proceso de propagación y luego de propagación de regreso.
Entonces, vamos a obtener nuestra producción.
Vamos a obtener el objetivo.
el último error y luego vamos a retroceder propagar este último error a la nueva red.
Compararemos el resultado del objetivo para calcular
Y usando el descenso gradiente sugerido, que tendrá que esperar de acuerdo con cuánto contribuyeron al
último error.
Así que hagámoslo por aquellos de ustedes que provienen del profundo Cuerpo de Marines.
Esto será bueno, pero para los demás no te preocupes, voy a expandirlo de nuevo.
Entonces vamos a llamar a esta nueva función de aprender y aprender que va a tomar varios argumentos.
Primer yo por supuesto que se referirá al objeto del grado en clase.
estado actual, luego nuestro estado del lote siguiente, luego nuestra recompensa That y finalmente la acción Arbat.
Luego vamos a tomar nuestro estado por lotes para el
Entonces, ¿por qué tomamos esto?
Probablemente reconoces lo que es esta serie.
Bueno, eso es, por supuesto, una transición, una transición del proceso de decisión del mercado que está en la base.
Aprendiste.
Y por qué todos los tomamos en algunos lotes.
Bueno, eso es porque ya sabes recuerda que no consideramos las transiciones por una serie del estado superior o
actual, la recompensa actual del estado actual y la acción actual.
Creamos algunos lotes simples aquí gracias a la función simple.
Y entonces ahora nuestras transiciones están en la forma del primer lote para este estado.
Un segundo lote para la próxima fecha un lote para la recompensa y un lote para la acción.
Esa es la forma de nuestra transición ahora y todos están bien alineados con respecto al
tiempo gracias a esta concatenación que hicimos aquí con respecto a la primera dimensión.
Entonces, el punto es que ahora tenemos esta transición de lotes un lote para cada uno de los estados los próximos días en
que lo vemos en acción y hacemos todo esto porque estamos usando este truco de reproducción de experiencia.
Entonces esa es nuestra red neuronal profunda que puede aprender algo.
Recuerda que si solo tuviste una transición por sí mismos, sería un aprendizaje instantáneo.
O si quieres un aprendizaje de la memoria muy corto y, por lo tanto, el topo no aprenderá nada.
Entonces debemos tomar estos lotes de la memoria que se convierten en nuestras transiciones y eventualmente obtendremos las diferentes salidas
para cada uno de los estados de los estados de entrada y haremos esto para los
estados y para los próximos Estados porque necesitaremos ambos para calcular la pérdida.
Pronto recordaré la ecuación de equilibrio que está en el corazón del algoritmo de aprendizaje.
Así que ahora vamos a la función y obtengamos primero los resultados del estado de la caja.
primeros resultados viables y luego vamos a decir, por supuesto, que nuestra autoconversación no es tan automática.
Así que voy a llamar a estos
No, porque queremos obtener nuestras salidas modelo de los estados de entrada del estado.
Y dado que nuestro modelo realmente está esperando un lote de estados de entrada.
Bueno, podemos ingresar totalmente ese estado en este momento para la entrada de todos.
Así es como iniciamos los estados que ingresan a la red con respuestas de tortura con
esta dimensión vaga para el lote que es perfecto.
Ahora obtenemos los resultados de todos ellos.
obtendremos los resultados de todas las acciones posibles que conozca 0 1 y 2, pero eso no es lo que queremos.
Pero luego hay otro truco técnico si solo vendemos bien ese estado de modelo
Solo estamos interesados ​​en las acciones que fueron elegidas.
Las acciones que se decidieron por la red para jugar en cada momento y para que
estas realmente se interesen en eso son las acciones que se jugaron bien, tenemos que usar esta función de recopilación en
la cual ingresamos una porque solo queremos la acción que se eligió y luego agregamos esa acción con este.
Y en esa sección reuniremos cada vez la mejor acción para jugar para cada uno de los estados de
entrada del estado.
la acción que se juega sea la acción que se elija y obtenemos esto con esta acción.
No queremos que
Pero luego ten cuidado
El estado aquí tiene diamantes falsos y grasa en el lote y esa sección no lo tiene.
Backstay lo tiene porque solíamos Unsworth aquí, pero no hemos utilizado ningún apretón de brazo para las acciones,
así que tenemos que agregarlo aquí para que la acción Bache tenga exactamente la misma dimensión que el estado.
Así que agregaremos un punto y exprimiremos aquí, y en realidad esto no es cero, sino uno, porque la respuesta cero a
la fe no es el estado y corresponderá al examen de las acciones.
Y finalmente, lo último que tenemos que hacer aquí es que tenemos que matar este lote falso con un apretón.
¿Por qué tenemos que hacer eso?
Porque ahora estamos fuera de la red neuronal.
Tenemos nuestros productos, pero no los queremos de vuelta.
Los queremos
Y la respuesta simple es simple vector.
Un vector de salida de los lotes justo cuando trabajamos en la red neuronal porque la red
neuronal espera el formato de los sensores en un lote.
nuestros resultados y en la próxima ecuación de baluns del aprendizaje profundo no los necesitaremos en un lote.
Pero ahora tenemos
Así que estoy matando eso aquí y matando la dimensión de la fe para recuperar la forma simple de nuestros resultados.
Así que solo estoy agregando aquí Dot y luego apretar y luego porque quiero matar la laminación falsa que corresponde a la
parte posterior de la acción.
Bueno, dado que el motor de espacio-tiempo tiene el índice uno, estoy agregando uno aquí.
Todo bien.
Y ahora ahí vamos tenemos nuestros productos.
DE ACUERDO.
Tenemos una pequeña advertencia de qué es que se asigna la salida de variable local, pero nunca se utiliza.
Está bien.
Lo usaremos muy rápido.
Entonces esa es nuestra salida
Y ahora queremos sacar nuestros próximos regalos Ahora puede que esté pensando por qué necesitamos los próximos productos.
Para entender esto, necesitamos volver al algoritmo de aprendizaje profundo que está aquí, que
es parte del manual de Letak.
Entonces ese es todo el proceso de difusión.
Al principio estábamos inicializando todos los valores clave y luego en cada momento t.
Bueno, ahí vamos, seleccionamos la acción con Max mejorado, eso es lo que hicimos con la función de selección de acción.
Luego abrimos la transición y luego, como pueden ver, obtenemos la predicción de que obtenemos el objetivo y podemos
ser los últimos.
Entonces, ¿por qué necesitamos la próxima salida también?
Eso se debe a que el objetivo es igual a Ghana multiplicado por el siguiente producto más el que queremos y calcularemos
los objetivos inmediatamente después de eso, ya que necesitamos la siguiente salida del objetivo.
Vamos a calcular esto primero.
Así que, de nuevo, para obtener la siguiente actualización muy simple, el próximo resultado será el resultado
de nuestra red neuronal cuando el próximo estado por lotes lo ingrese como entrada.
Entonces, de manera muy simple, tomamos nuestro modelo que es nuestra red neuronal y esta vez la entrada de la red neuronal
va a ser el próximo estado por lotes que se ha programado para la próxima fecha.
Pero ahora recuerda si volvemos al algoritmo inicial. Bien, puedes ver que el siguiente resultado es el máximo de los valores
q para el siguiente estado con respecto a todas las acciones.
Así que ahora mismo para obtener el siguiente resultado que necesitamos para obtener el máximo de estos valores q, y por lo tanto lo
voy a hacer aquí.
Separar usted sabe cómo separar todas las salidas del modelo porque tenemos varios estados en este lote. Estados siguientes es
el lote de todos los estados siguientes en todas las transiciones tomadas de la muestra aleatoria
de nuestra memoria.
Así que los desconectaré a todos usando la función de separación y luego tomaré el máximo de estos
dos valores.
Y dado que estamos tomando el máximo de estos dos valores con respecto a la acción Bueno, tenemos que
especificar que es con respecto a la acción.
Y dado que la acción está representada por el índice uno.
Bueno, de nuevo tenemos que poner el siguiente aquí y luego tenemos que especificar que estamos tomando los
valores cue como T más 1 que es la siguiente etapa y el siguiente estado está representado por 0 porque el cero del
índice corresponde a los estados y por lo tanto, aquí tenemos que agregar paréntesis con el índice 0.
De esta forma obtenemos el máximo de los valores clave de los próximos estados representados por el próximo cero
de acuerdo con todas las acciones que están representadas por el índice uno y ahora perfecto obtenemos nuestros próximos resultados.
Estos son un nuevo conjunto.
Entonces fue cuando tuvimos la advertencia.
Pero está bien.
Lo usaremos ahora para calcular el objetivo.
Y hablando del objetivo que es el siguiente paso de esta función conocida.
Entonces ahí vamos
El objetivo es igual
Ahora volvamos a nuestro manual AI AI.
El objetivo es igual a la palabra más gamma multiplicada por la siguiente salida es el máximo de los valores de cubo
del día siguiente.
De acuerdo con las acciones que podemos calcular eso.
Entonces eso es igual a uno mismo que gamma y self que Gamma fue inicializado.
Aquí se introduce una variable que es la Virgen Q. Un objeto se autoejecuta a Times los próximos resultados como
acabamos de decir más ¿Deseamos que sea la mejor opción?
Estamos trabajando con lotes aquí, así que más lote queremos y ese es el objetivo.
En una muestra de la memoria gamma multiplicada por las siguientes salidas Más la recompensa.
Todo bien.
Perfecto.
Entonces ahora tenemos nuestros productos.
También tenemos nuestros objetivos y, por lo tanto, podemos calcular la pérdida, la pérdida que representa el error
de la predicción.
Así que llamemos esto último; los dos últimos son, por supuesto, para la diferencia temporal.
Esa es una vez más en el corazón del aprendizaje de Q, y esta forma de limpiarnos va a ser igual a la versión
que mejora mucho el Cunanan.
Esa es la última función que elegiremos para nuestra inteligencia artificial.
Para aquellos de ustedes que vienen del curso de verde profundo, es realmente el último que recomiendo.
Si desea implementar Coonerty, entonces, ¿cómo vamos a obtener esto?
Bueno, de nuevo tomaremos una función del módulo funcional representado por F y, por lo
tanto, aquí voy a usar nuestro módulo funcional de patos y el Hubble us puede obtenerse
gracias a la función que le gusta a Smoots L-1.
Entonces presionando enter.
Y esa es realmente la mejor función perdida que recomiendo para el aprendizaje profundo.
Realmente mejora el Culin.
Pero esta es una función, así que estoy agregando algunos paréntesis.
Y ahora no hay nada más simple.
Los argumentos que necesitamos ingresar son las predicciones y los objetivos.
Entonces, las predicciones, por supuesto, son resultados porque esa es la salida de la red neuronal.
No, el resultado de la red neuronal es lo que predice la red neuronal.
Entonces esa es la predicción
Entonces, el primer argumento aquí es salidas y luego el segundo argumento es, por supuesto, el objetivo.
Lo que estamos tratando de conseguir y ya está calculado perfecto.
Podemos ingresar directamente el objetivo.
Perfecto.
Ahora nos han dicho que tenemos un poco de té aquí.
Aquí vamos.
Ahora la advertencia debería desaparecer.
Sí.
Perfecto.
Y ahora que tenemos el último error, podemos respaldar el error de los propagadores en la red para actualizar los pesos
con descenso de gradiente estocástico y eso es exactamente lo que vamos a hacer en el próximo paso.
que tenemos que hacer, como es de suponer, es optimizar nuestro optimizador, que una vez más lo presentamos lo inicializó.
Así que, por supuesto, ahora lo
Y ese es un optimizador de átomos que en realidad es un objeto de la clase Atom y ya está
equipado con los parámetros de nuestro modelo.
Y ya elegimos una tasa de aprendizaje de 0. El 1 por ciento para perfeccionar nuestro optimizador está listo, pero ahora tenemos
que jugarlo en el último error para realizar la cuadrícula estocástica en el sentido y el peso de los datos.
Entonces, cuando se trabaja con luchadores, lo primero que tenemos que hacer es volver a inicializarlo en cada iteración
del ciclo.
a otra en el ciclo de esto para obtener la cuadrícula en el conjunto y reiniciarlo.
Debemos reinicializar el optimizador de una interacción
Y cada iteración del ciclo.
Bueno, vamos a utilizar el siguiente método, que es cero.
Aquí vamos.
Zero Grad reinicializará el optimizador en cada iteración del ciclo.
Entonces, no olvidemos el paréntesis.
Perfecto.
Y ahora que se reinicia, podemos realizar una propagación hacia atrás con nuestro optimizador.
Y cómo hacemos eso.
Bueno, tomamos nuestras leyes y vamos a retroceder propagarlas de vuelta a la red y retroceder
propagadas a la red.
Necesitamos usar la función hacia atrás y dentro de esta función hacia atrás recomiendo ingresar las variables
de subrayado y establecerlo igual a verdadero.
Recomiendo hacer esto porque esto mejorará la propagación de regreso.
El uso de variables escritas es verdadero para liberar algo de memoria y tenemos que liberar
la memoria porque vamos a ir varias veces sobre la última para que definitivamente mejore el rendimiento de la capacitación.
Y finalmente, el último paso de esta función aprendida es tener pesos de datos de acuerdo con la propagación hacia atrás.
Eso depende de cuánto contribuyeron los pesos al error.
Y para hacer esto tomamos nuestro optimizador de nuevo que se inicializó en la reinicialización y usamos la función de paso
y simplemente con esta línea de código usando la función de paso.
Esto actualizará los pesos.
Esa es la línea de código que actualiza los pesos.
Esta línea de código que propaga el error en la red neuronal y esta línea de código utiliza el optimizador
para actualizar los pesos y allí vamos.
Tenemos una red neuronal de aprendizaje bien así que felicitaciones.
Esta fue probablemente la parte más técnica y difícil de toda esta disputa o mañana.
Sé que mi linterna puede ser difícil a veces con facilidad y apretar y apretar,
pero al final prometo que obtendrá una red neuronal muy funcional y, por lo tanto, modelo peculiar y, finalmente,
una gran inteligencia artificial.
Así que ahora pasemos al siguiente paso o maestro y modelo que será la función de actualización
que obviamente se actualizará cuando la IA descubra el nuevo estado.
Entonces sabrá que descubrirá el nuevo estado y luego recibirá la recompensa.
Dependiendo de la acción que se muestra y este nuevo estado se encargará de esto con la función
de actualización y lo hará en el siguiente tutorial.
Hasta entonces disfruta.
YO.