Hola y bienvenido a este tutorial.
Ahora tenemos el cerebro del mañana.
También tenemos el optimizador.
Entonces, básicamente, estamos listos para entrenar a nuestros diferentes agentes.
Ese es nuestro cerebro diferente.
Así que eso es a partir de ahora que hará que esta función de tren grande contenga todo el algoritmo A3 y
por lo tanto lo que estamos por implementar en este tren que encontré es solo esta enorme función de tren
que será solo la función de este gran tren, nada más clase pero quién usará esta función de tren.
Y el último paso de este módulo con el código principal.
Entonces ahí vamos
Pero antes de comenzar, puedes notar eso.
Bueno, primero importamos algunas bibliotecas, así que esas son las bibliotecas clásicas con el módulo de antorcha.
Me refiero a que su biblioteca de antorchas termina la biblioteca para crear el entorno que se abrirá.
Entonces, por supuesto, importaremos realmente la clase de nuestro modelo.
Archiva este.
Y finalmente usaremos una variable de TORCIDA.
Lamento realizar concursos de alto rendimiento en el gradiente.
Gracias a los gráficos dinámicos.
Y luego tenemos esto asegurar la función de graduado compartido, que no quería pasar demasiado tiempo en esto
porque, en primer lugar, esto es solo una función que asegurará que todo funcione correctamente.
Si el modelo utilizado por el agente no tiene ningún gradiente de acciones.
Es por eso que se llama graduado corto compartido y la otra razón es que no creo que esta
función sea necesaria.
menos con esto estará 100 por ciento seguro de que el código se ejecutará correctamente, pero eso no es realmente importante.
Pero nunca lo sabemos y al
En lo que debemos enfocarnos es en esta función de tendencia que todos empezamos a hacer ahora mismo.
Así que, aquí vamos.
Def y train pronto se convertirán en un tren y esta transformación tomará varios argumentos.
El primero es rango.
Voy a explicar de qué se trata y el segundo, el segundo es harams para que todos los
parámetros sean el entorno.
Entonces el tercer parámetro se va a compartir moral.
Entonces, usted sabe que el modelo compartido es lo que el agente obtendrá para ejecutar su
pequeña exploración en un cierto número de pasos y, finalmente, el último argumento será el optimizador que hemos creado anteriormente.
Tan perfecto que se trata de argumentos.
Y ahora estamos listos para comenzar a implementar la misma función.
Entonces, lo primero que haremos es recordar que lo que A-380 significa significa agentes
Crilley activos sincrónicos.
Entonces en 8: 3 vemos que hay un sincrónico.
parámetro de rango aquí es solo para cambiar la semilla para que cada agente de entrenamiento esté sincronizado.
Entonces, como usted entendió, tenemos que privar de derechos a cada agente de entrenamiento y deseconomías, entonces vamos a usar el rango para cambiar
cada lado con este rango, por lo que este
Entonces, por ejemplo, si hay agentes de entrenamiento, los rangos irán de 1 a 10 y habrá un
número entero por agente de 1 a 10.
Entonces, cuando cambiamos la semilla por un hilo, todos los números pseudoaleatorios creados por este hilo
serán totalmente independientes de los otros hilos.
Sin embargo, la semilla o los números fijos.
Entonces, cuando reproducimos la experiencia, encontraremos exactamente los mismos eventos.
Y eso es porque es determinista con respecto al asiento.
Entonces, es importante entender eso y es por eso que tenemos que hacer es sincronizar a cada agente aprendiz usando
el derecho aquí para cambiar la semilla con el rango.
Así que hagamos esto para hacer eso.
Vamos a tomar nuestra biblioteca de torche.
Luego vamos a obtener la semilla con subrayado manual del paréntesis de semilla.
Esta es una función y ahora vamos a tomar las semillas de todos los agentes a
los que podemos acceder desde esa semilla y desplazarlos por rango para sincronizar.
Cada uno de estos agentes solo agregará aquí más rec y eso cambiará la semilla con el rango para privar de derechos a cada agente
en prácticas porque hay una semilla para cada agencia de capacitación.
Está bien, lo primero que se hace y ahora el próximo paso, el siguiente paso es obtener el medio ambiente.
Así que vamos a crear una nueva variable a la que vamos a llamar y que ahora usaremos para
crear Atari y funcionar desde el módulo final para crear el ambiente para la ruptura.
Eso es para que el ambiente se desate.
Entonces tomamos esta función para crear Terry y ahora tenemos que ingresar solo un argumento que son los parámetros
del entorno.
Y los tenemos porque esta es una de las entradas de la función cerebral.
Este es el parámetro aquí que serán los parámetros del entorno de breakout
y, por lo tanto, para obtener los entornos de breakout, tomamos estos programas y luego eso y luego obtenemos un nombre que en el
futuro está en el siguiente código con la función principal que ejecutará
todo el código será breakout braquial visir.
De acuerdo, eso nos da un ambiente perfecto.
Y ahora el siguiente paso es alinear el asiento del entorno con uno de los agentes.
Y por qué hacemos eso
Es porque recuerde que cada agente del A-3 Silmaril tiene su propia visión del medio ambiente, como su propia
copia del medio ambiente y, por lo tanto, debemos alinear a cada uno de los agentes en una versión
específica del entorno y para hacerlo vamos a usar el asiento porque cada asiento determina un
ambiente específico.
Entonces, al asociar una semilla diferente a cada agente obtendremos exactamente lo que queremos, es
decir, que cada agente tendrá su propio entorno.
Entonces, ¿cómo podemos hacer eso? Entonces podemos tomar nuestro entorno y luego usar la función semilla para saber elegir los
que obtiene para el medio ambiente.
Y ahora, alinear el asiento del entorno con la semilla del agente.
Bueno, simplemente tenemos que obtener esto porque esto corresponde a la sede del agente que se cambió las cosas a
rango para obtener agentes de formación organizados decentes, ya que todos están en un conjunto diferente.
Así que solo tenemos que pagar eso aquí y esto alineará el asiento del entorno con el
del agente De acuerdo, ahora vamos a obtener nuestro modelo.
Ese es nuestro A-3 ver cerebros.
Y es que ahora vamos a usar la clase activa de nuestro archivo modelo.
objeto de esta clase de actividad y vamos a llamar a este modelo de objeto o cerebro si lo desea.
Así que básicamente vamos a crear un nuevo
Pero básicamente este objeto contendrá todas las convoluciones del CM. La conexión lineal y la función de
Ford para propagar la señal.
Por lo tanto, básicamente contendrá los cerebros del actor en el crítico con la capacidad de propagar la
señal a través del cerebro para obtener el resultado final.
Así que hagamos esto, creemos nuestro modelo, así como dijimos que queremos llamar a este modelo de objetos.
Y así creamos un objeto de la clase Crear acto y por lo tanto tomamos un crítico de actor de clase y ahora
recordamos qué argumentos cuando las dos entradas.
De hecho, estos son los argumentos de la función.
Así que, si tenemos que ingresarlo, sabes que eso es lo que tenemos que hacer para usar el objeto en el método.
Pero luego los argumentos que tenemos que poner son nomine puts que están en mal estado y que se hacen en cadenas
de arte en imágenes impresas y el espacio real que lo contiene lo conoce como el conjunto de acciones.
Entonces, pongamos estos argumentos en la función de tren.
Entonces, el primero que podemos obtener con nuestro entorno y eso, y luego usamos el espacio de observación que es el espacio de
observaciones, luego de eso, y luego se obtiene el número de entradas, obtenemos el cero del paréntesis de sombreado.
Todo bien.
Eso es para entradas.
Y ahora para el espacio de acción.
Bueno, eso es casi lo mismo que necesitamos obtener de nuestro entorno que somos más importantes que eso.
Y luego espacio de acción.
Todo bien.
Y eso nos da los argumentos que necesitamos ingresar cuando creamos un objeto.
El modelo de la clase execrate.
OK, entonces ahora tenemos nuestro modelo y ahora el siguiente paso es preparar nuestros estados de entrada.
Así que recuerde que todavía estamos haciendo un aprendizaje informal más profundo, por lo que la entrada indica nuestras imágenes de
entrada y por lo tanto esto será realizado originalmente por Ray, que contendrá un canal porque trabajaremos con imágenes
en blanco y negro y tendrá tiempo en océanos de 42 42.
Pero es importante comprender y tener en cuenta aquí que los estados de entrada son imágenes de entrada.
Entonces, lo que tenemos que hacer es obtener el no poder, entonces lo convertiremos en una respuesta de tortura.
Pero el primer paso, como lo hicimos anteriormente, es conseguir un árbitro y obtenerlo.
En realidad es bastante simple.
que crear una variable para el estado de entrada que cruzará el estado y esto para obtener una matriz de árbitros.
Bien, primero tenemos
Simplemente necesitamos tomar nuestro entorno y luego adaptarnos y luego usar la función de reinicio.
Y esto inicializará a los Estados como una matriz de dimensiones del imperio, una por 42 por 42.
Uno significa 1 canal, por lo que la imagen en blanco y negro y 42 por 42 es, por supuesto, la dominación de la imagen.
El número de píxeles y el ancho y el número de píxeles y la altura.
Así que, básicamente, esa es solo la instancia de tiempo.
Y esos son con los que trabajamos.
esto en arbitraje porque esto nos conseguirá estas imágenes de ese seguro de tiempo en Empire.
Y ahora que ahora tenemos
Ahora podemos convertirlos en bailarines de antorchas y para hacerlo bien volvemos a un estado de datos
porque no necesitamos mantener las matrices numéricas.
Y ahí es donde usamos la antorcha del módulo de antorcha.
Y recuerde que ya hicimos eso para hacer con la función del subrayado de paréntesis no tailandés.
Y dentro de esta función, necesitamos ingresar la tasa de número que queremos convertir en un sensor de antorcha.
Y ese es el estado en que la versión anterior de la matriz estatal sin pago se canalizará desde la
función de tubería a un sensor de soplete de modo que solo se crea un intensificador del estado.
Y ahora solo tenemos que inicializar el hecho viable.
Recuerde que la variable generalmente es la variable que dice si un episodio terminó o si el juego terminó.
Bueno, aquí solo queremos presentar esto muy bien y el inicializador a verdadero para especificar que este Do
not Voivode será igual a verdadero cuando el juego esté terminado.
Eso será útil para más adelante para que la IA no juegue indefinidamente para estallar.
Todo bien.
Así que eso fue básicamente el comienzo de esta función de tendencia con algunas inicializaciones y algunas cosas que
tenemos que hacer.
La parte más importante aquí fue que debemos privar de derechos a cada agente en prácticas.
Ese es un primer principio del A3 similar que tenemos que aplicar.
Y ahora en el siguiente tutorial procederemos a la sincronización con el modelo compartido.
No olvidemos que existe un modelo diferente, pero también el modelo compartido, que es un modelo
que comparten todos los agentes.
Y entonces tenemos que sincronizarnos con el modelo del espectáculo para que cada agente pueda obtener este modelo compartido para
proceder a una pequeña exploración de un cierto número de pasos.
Entonces eso es lo que haremos en el próximo Statoil.
Y hasta entonces, disfruta de la IA.