Hola y bienvenidos a este tutorial en Statoil de hoy vamos a sincronizar con el modelo compartido.
Entonces, lo que vamos a hacer es enviar la función, por supuesto, y luego inicializar la duración de
un episodio.
Así que vamos a llamar la duración de un episodio episodio y esta longitud de núcleo que vamos y vamos
a inicializarlo a cero.
Pero luego esta longitud actual será incremental.
Y hablando de incrementos en eso, es exactamente lo que haremos.
y usar este truco para decir mientras Kallen verdadero repite lo que va a suceder ahora lo que sucederá dentro de este mundo.
Así que vamos a usar un ciclo while
Entonces, lo primero que sucederá en este ciclo es este incremento de la duración de
un episodio.
Entonces, lo primero que vamos a hacer es incrementarlo en 1 y para hacerlo simplemente podemos
tomar longitudes de episodios y sumar aquí más lo que equivale a 1.
Y ahora vamos a sincronizar con el recurso compartido más.
Eso significa que ahora que el agente obtendrá usará el modelo compartido para hacer su pequeña exploración en un
cierto número de pasos y cómo el modelo va a obtener este modelo compartido.
Bueno, tenemos que tomar nuestra moral y luego usar el método de estado de carga de Dick porque vamos a
usarlo para obtener el diccionario de estado de nuestro modelo compartido, así que tenemos que poner primero el modelo compartido y luego
aplicar el método estático para obtener los parámetros del modelo compartido.
Y así es como nuestro modelo aquí obtendrá el modelo compartido para su pequeña exploración De acuerdo.
Y una vez que el modelo obtiene este modelo compartido ahora tenemos que distinguir dos casos.
El primero es si está hecho, lo que significa que si el juego está hecho para que el juego esté terminado, entonces, ¿qué ocurre en ese caso?
Bueno, tenemos que volver a inicializar los estados ocultos y los estados celulares del LSD y el centro comercial.
X the Cell States y también a X los estados ocultos y voy a reinicializarlos y cómo vas a reinicializarlos.
Y es por eso que voy a tomar See
Bueno, con solo ceros habrá un vector de 256 ceros porque recuerda las salidas del resto.
Como mencioné 1 y 256.
Así que allí vamos vamos a inicializarlos usando la biblioteca de antorchas y luego la función de cero.
Y dado que queremos un vector de 256 ceros vamos a escuchar las dimensiones una para el vector y
256 para la cantidad de elementos que serán ceros y luego vamos.
Pero luego convertiremos eso en un voivoda de antorcha porque luego se calcularán algunos gradientes.
Entonces, necesitamos integrar esto con un gradiente.
Todo bien.
Y vamos a hacer lo mismo para los estados ocultos justo debajo y realmente analizarlos de la misma manera.
Aquí vamos.
Entonces eso es si el juego está hecho.
Y ahora el otro caso al que podemos acceder con Else else más de lo que sucede en ese caso.
Bueno, vamos a mantener los viejos estados de las celdas y las apuestas ocultas y así
muy fácilmente podemos mantener los viejos de esta manera, escribiendo ver X es igual a la variable cx que los datos y lo mismo para los
estados, simplemente podemos agregar aquí H x es igual variable xx que los datos están en.
Buena cosa hecha.
Ahora podemos salir del resto porque básicamente hemos terminado con estos dos casos, ya sea que el juego haya terminado
o no, pero nos mantenemos en el ciclo while porque ahora vamos a hacer algunas cosas más,
que básicamente son todo el entrenamiento. proceso.
Y entonces, lo que vamos a hacer ahora es inicializar varias variables que van a estar en el
corazón de los cálculos en el entrenamiento.
Así que hagamos esto, vamos a necesitar los valores que recordar es la salida del crítico.
Esa es la función.
Y los inicializaremos como un nido vacío.
De esta manera, entonces vamos a necesitar aumentar las probabilidades.
Así que suerte probs y también lo inicializaremos como una lista vacía.
Entonces, por supuesto, vamos a necesitar todas las palabras que también iniciaremos como una lista vacía.
Y finalmente vamos a necesitar que la entropía sea algo nuevo.
Pero este es, de hecho, el corazón de las condiciones de entrenamiento.
Hasta que sea igual de bien.
comenzar un nuevo ciclo FOR y luego esta ninfa actualizará los valores de estas cuatro variables.
Entonces, ahora que inicializamos estas cuatro variables, podemos
Y entonces este nuevo Foluke va a ser un círculo completo sobre los pasos de expiración y, por lo tanto, la
variable de bucle va a ser nuestros pasos.
Entonces, para un paso en el rango y en el interior podemos poner directamente quizás punto sin paradas porque el parámetro en algunos pasos
es exactamente el número de pasos de la aceleración.
Entonces, para todos los pasos en la aceleración, ¿qué hacemos?
Bueno, vamos a obtener las predicciones del modelo.
el modelo y aplicarlo a las entradas que ingresan a través de los cerebros del modelo.
Ahora, lo que devuelve el modelo y para obtener estas predicciones, podemos simplemente tomar
Y eso nos dará los resultados, pero obtendrá varios resultados, sabe que nos dará los valores
de la función que es el resultado de la crítica.
Entonces el q valora QSA, que es la salida del actor, pero también no se olvide que también dará
como resultado el desplome de los estados Doheny y los estados pequeños porque recuerda que si volvemos a nuestro
modelo bien en la función forward podemos ver que efectivamente devuelve la salida de la crítica.
Ese es el valor de la función sí, entonces la salida del actor que del cubo valora QSA y también la salida
del CM que es este doble, comprueba y ve X entonces los estados y los estados de la celda.
Entonces debemos ser cuidadosos con eso.
Esto es bastante diferente de lo que sucedió antes y, por lo tanto, ahora vamos a aplicarlos todos
a las entradas, que es el estado.
Pero ahora hay varias cosas que hacer que están relacionadas con la tortura.
Pero eso da poder a lo que estamos haciendo.
Lo primero que debemos hacer es exprimir los estados para agregar esta dimensión que debe tener el
índice 0.
Eso es porque el modelo solo puede aceptar un lote de entradas y no un fin en sí mismo en un vector o intensificador.
Eso es lo primero que debemos hacer y exprimir, pero eso no es todo lo que
necesitamos para convertir nuestros estados de entrada en una antorcha anulable, así que yo aquí.
Entonces ahora estamos con el estado de policía estatal, pero recuerde que las entradas de las cuatro funciones son en realidad
la imagen de entrada.
Eso es lo que acabamos de cuidar, pero también este tipo de edad X los estados y los Estados celulares, y por lo
tanto, tenemos que agregar aquí.
Esta segunda parte de la entrada con su apelación de edad X y 6.
Todo bien.
Y debemos tomar el paréntesis.
Ahí vamos, tenemos nuestras dos entradas, la primera son los estados de entrada que son imágenes de entrada
convertidas en variables y comprimidas para agregar esta dimensión falsa del lote y detienen todos los estados y
los estados del sur.
Así que estamos todos bien para irnos.
Estamos listos para obtener nuestras predicciones.
Y ahora desde este regreso.
salida de la crítica hasta el actor y la cima todas las reinstalaciones necesarias por el CME.
Bueno, nuestras tres predicciones son la
Bueno, vamos a presentar algunas tres nuevas variables ahora que lanzarán tres salidas.
Entonces, obtenemos que la primera salida es el valor de la función V que es la salida de la crítica.
Así que vamos a llamarlo así.
Entonces ahí vamos
Esa es la primera salida.
Entonces, la segunda salida será la salida del actor.
Y ese es el Q valora QSA.
Pero como los valores q están asociados a las acciones también podemos llamarlos valores de acción.
Todo bien.
Y luego encuentra una salida devuelta por el mañana.
Ese es el doble del impuesto de ventas oculto y los estados de celda ven X y luego vamos,
tenemos tres salidas devueltas perfectas.
Entonces, ahora que tenemos las prediciones, necesitamos usar un Max suave para ejecutar la acción correcta.
Y ahora eso va a ser exactamente lo mismo que hicimos antes.
ahora y, por supuesto, los valores reales que son los q valores que son los resultados del actor en el modelo.
El siguiente paso es obtener nuestras probabilidades para que podamos llamarlas y eso es lo que usamos para mejorar el
método de Max, que tomamos del módulo funcional que tiene una oportunidad para ff que Max
generó y que generará una distribución de probabilidades de la entrada que estamos a punto de poner
Ocasionalmente tenemos nuestras probabilidades, pero como habrás notado, vamos a trabajar con la entropía y la entropía
conjunta no solo daría lugar a las probabilidades sino también a las probabilidades de LUGG porque la entropía
es la suma del producto del problema de Lucke. veces trub todo esto multiplicado por menos 1.
Y por eso también debemos obtener nuestro amor por lo mismo que se va a generar a partir de LUGG soft max.
decir que aplicamos al cubo y usamos lo que llamamos los valores de acción.
Entonces, en lugar de tomar una distribución de las probabilidades, tomamos una distribución de las probabilidades y eso es lo que hacemos con LUGG. La función
Optimax golpea la función Optimax para
De acuerdo, ahora tenemos el problema y el bloqueo.
Y entonces estamos listos para obtener la entropía y la entropía.
¿Cuál es la fórmula para eso?
Bueno, como acabo de mencionar, tomamos la indicación de suerte que multiplicamos por el producto.
Luego vamos a tomar la suma de todo esto y para hacer eso podemos agregar aquí que alguien realmente usamos la
calle muchas veces ahora.
Y como dijimos multiplicamos esto por menos 1.
Entonces es el menos de la suma del producto.
Muchas veces
Perfecto.
Y ahora vamos a almacenar esta entropía que fue calculada en nuestra lista de entropía.
Ahí vamos, tenemos el último cálculo de la entropía.
Y entonces tenemos que almacenarlo en la lista de entropías y para hacer esto nada más simple vamos
a usar la función de agregar, por supuesto, porque entropies es una lista.
Entonces tomamos nuestra lista de entropías y luego comenzamos y usamos la función de agregar para agregar la
entropía que se calcula.
Muy bien, así que vamos a tomar un descanso ahora.
Vamos a hacer esto paso a paso en la siguiente historia que jugará la acción tomando un sorteo
al azar de esta distribución de probabilidades generada.
Y después de que juguemos la acción obtendremos el valor de este estado y eventualmente almacenaremos nuestra
nueva recompensa de estados de transición.
Y eso será un nuevo gran paso hecho y lo completaremos en el siguiente obstáculo.
Hasta entonces I.