Hola y bienvenidos a Statoil.
Entonces, ahora el agente ha realizado su exploración y luego, cuando está a punto de hacerlo, debe actualizar la red compartida.
Entonces, lo primero que vamos a hacer es inicializar el acumulativo de lo que vamos a llamar nuestra
capital R y lo inicializaremos como un tensor de antorcha, pero eso tendrá dimensiones una por una porque es solo un
valor, pero queríamos ser un tensor
Y entonces estoy usando aquí pero ceros y luego 1 1.
Entonces, básicamente, la recompensa acumulativa se inicializa a 0.
OK, entonces, decir si no hemos terminado eso es si el juego no ha terminado.
Lo que queremos ahora es que la recompensa acumulada sea igual al valor de la última operación alcanzada
por la red compartida.
Entonces vamos a obtener el valor de salida.
Usted conoce el valor de los resultados de funciones de nuestro modelo y este es el valor que le daremos a la comunidad en la
que trabajamos.
Así que primero obtengamos este valor, podemos obtenerlo de esta manera.
luego subrayar de nuevo y luego obtenemos nuestro modelo porque arrojará este valor, pero solo el primer resultado de lo moral
que hay que hacer es doble en su curso aquí y aquí solo podemos copiar pegar lo que tenemos aquí.
Valor Entonces ya sabes que solo queremos el valor que podemos agregar aquí subrayar y
Esa es la entrada del modelo con las imágenes de entrada y la atracción de los estados y los estados del sur.
Así que solo estoy pegando eso y ahí vamos.
Obtendremos el valor.
Y entonces, lo que vamos a hacer es dar nuestro valor para que todo sea igual al valor y para acceder al
valor que tenemos en este punto.
Todo bien.
del modelo es la primera salida del modelo que ya ha agregado este nuevo valor a la lista de valores.
Ahora la condición if está hecha y ahora lo que haremos, dado que obtenemos un nuevo valor al
saber que la salida
Por lo tanto, podemos tomar directamente nuestra lista de valores luego hacia una tienda de campaña y ponemos variable porque nuestro.
Este último valor tan bueno que se hace ahora.
Vamos a inicializar las pérdidas y recordar las conferencias de intuición.
Tienes dos pérdidas.
Tiene la última de la política relacionada con las predicciones del agente.
Y luego tiene el último valor que está menos relacionado con las predicciones de la crítica.
Así que vamos a presentar estas dos variables inicializadas en cero y van a tomar aquí
la política para nosotros la pérdida de la política horrible.
Inicialízalo a cero y luego el valor perdió gran parte del valor y digamos que lo inicializó en cero, entonces no olvidemos configurar
la recompensa acumulativa como una variable de antorcha porque necesitaremos que sea una antorcha Roybal porque estaremos
calculando un gradiente con respecto a esto porque la recompensa acumulativa va a ser un
término de la pérdida de valor.
Entonces, ¿es esto viable? Ahora está unido a los gráficos dinámicos con un gradiente.
tendencia es saber cuándo aplicamos la degradación del gas al sol para reducir esto último entre las predicciones y los objetivos.
Y ahora, finalmente, lo último que tenemos que hacer antes de comenzar el ciclo de la gran
Bueno, tenemos que inicializar los PCGA a la estimación de la ventaja generalizada y no obtenerla ni sin revestir.
Tenga cuidado con ese GAAP la variable que estamos a punto de inicializar en este momento es la estimación
de ventaja generalizada.
Entonces, como recordatorio, la estimación de ventaja generalizada es, por definición, la ventaja de jugar la acción
a mediante la observación del estado.
Entonces, es una función de la acción y del estado s, y es igual a la diferencia entre los valores
q Q A S y el valor de la función V.
Entonces realmente puedo escribirlo aquí.
La estimación de ventaja generalizada es una función de la acción y del estado s, y eso es igual a los
valores q de la acción A y del estado S menos el valor de la función V aplicada al
estado s.
Ésas son las ventajas generalizadas que debemos mencionar y eso es lo que queremos inicializar en este momento.
Y lo inicializaremos a cero.
hacia los bailarines que iban a usar el mismo truco como lo que acabamos de hacer aquí vamos a
tomar la biblioteca de antorchas y aplicar a la función de cebra para establecerlo como un tensor de un solo valor que es cero.
Pero tiene que ser
Y vamos a usar esta nueva variable gy eso será igual a esa antorcha que ceros 1 uno como
nos inicializa.
Entonces esto se inicializará a cero y, por lo tanto, los valores de q de la acción, el estado s será
igual al valor de la función V del estado s.
Todo bien.
Y ahora estamos listos para comenzar el ciclo for.
Así que vamos a tener una aventura aquí.
Así que tómate un buen descanso y te veré en el próximo tutorial para atacar eso.
Y entonces yo.