Hola y bienvenidos al tercer módulo del discurso del mar H-3 como agentes críticos activos sincrónicos.
Y ahora puedo dar la bienvenida al estado del arte en el aprendizaje automático.
Bueno, en el momento estoy diciendo esto porque tal vez algunos de ustedes tomarán el curso
en uno o dos años, pero en el momento lo digo en 2017.
Bueno, estás a punto de trabajar en uno de los modelos más poderosos en inteligencia artificial, pero
hay más que no es lo único especial de este módulo.
sino que vamos a implementar la versión más potente de este algoritmo que es la versión implementada
de la versión más optimizada del modelo A-380 porque se puede imaginar que existe el corazón de el algoritmo.
No solo vamos a trabajar con el modelo más potente,
Pero luego hay muchas herramientas que podemos usar para optimizar todo el modelo.
Por lo tanto, no solo va a tener el corazón del algoritmo, sino que
también implementará todas estas herramientas a su alrededor para que el modelo sea muy poderoso.
Y por qué quería hacer eso.
Bueno, eso es por dos razones.
La primera razón es que nos estamos acercando al final del discurso.
Este curso es el curso de más alto nivel entre los tres cursos y tratarán en AI.
Es que ahora creo que estás listo para llevarlo al siguiente nivel.
Y la segunda razón es que resolver la ruptura es realmente muy desafiante.
Recuerda en el video promocional que queríamos romper el primer módulo porque pensamos que sería el
desafío más fácil, pero para nada fue en realidad el desafío más difícil y la forma más
fácil de explicarlo es que los monstruos son grandes. y por lo tanto más fácil de detectar y por lo tanto más
fácil de matar o evitar.
Pero en Breakout tenemos esta pequeña bola que el ojo también debe detectar porque el ojo aún
tendrá ojos.
Tú todavía vamos a hacer un aprendizaje de refuerzo profundo.
Por lo tanto, es realmente un gran desafío y es por eso que realmente no tenemos opción de implementar.
La versión más poderosa del A-3 ahora ve por qué digo que esta es la versión más poderosa.
Eso es por una razón en particular.
No es como si dijera que voy a implementar la versión más poderosa del A-380.
No, no es esto.
que vamos a hacer es en realidad una versión de 3 C que fue implementada por alguien pero
corregida por una de las personas más influyentes en la máquina de aprendizaje de hoy que resulta ser el creador de la antorcha Pi.
La razón por la que digo esto es porque la versión que estábamos a punto de implementar y esto es
algo muy especial
Su nombre es Dan Pashka.
Ahora que vamos a hacer.
Seguiremos adelante en la página principal y si te desplazas hacia abajo hasta el final, verás
al equipo en el que el equipo lucha contra creadores y contribuidores.
Y pueden ver aquí que mi antorcha está actualmente en manos de Adam Pascal.
para el desbloqueo y él corrigió uno de los códigos del A-380 para que el desbloqueo funcionase perfectamente.
Esa es la persona por la que realmente deberíamos estar agradecidos porque hay muy pocas versiones de las tres
cosas que funcionan bien
Así que Pascal no solo está manteniendo By hacia adelante sino que también es uno de los creativos por antorcha y,
como dije hoy, está entre las 10 personas más influyentes en el aprendizaje automático.
Así que podemos estar seguros de que la versión que estamos por implementar es probablemente la versión más poderosa
de la A-3 que vemos hoy.
Y entonces, ¿qué es esta implementación?
Bueno, originalmente proviene de un desarrollador llamado historia ilíaca de.
Y como puede ver, hizo una incursión hacia la implementación del A3 C, que originalmente no funcionó bien
para el desbloqueo pero luego alguien hizo una solicitud de extracción.
Si vamos a la solicitud de grupo aquí, podemos ver al final que tenemos una solución más limpia
para el problema de Gretchen.
Y adivina de quién se hizo esta solicitud de extracción.
Fue hecho a partir de Adam Pashka creado por antorcha y eso resolvió el problema que hace que el A-380
funcione muy bien al estallar sin esperar días ni días.
lo tanto, si volvemos a esta implementación, podemos ver los cuatro contribuidores de esta implementación más poderosa.
Y, por
Y aquí están los contribuyentes.
Así que muchas gracias a todos ellos y podemos agradecer enormemente a Adam por arreglar
el problema del intercambio de subprocesos.
Empezó haciendo un tenedor que es una sub-rama del código.
Y luego hizo una solicitud de extracción al desarrollador para solucionar este problema.
compartir y así se convirtió en uno de los principales contribuidores de esta implementación, haciendo que todo
funcione perfectamente y, créanme, hice mucha experimentación en el modelo de AC DC. De hecho, implementé cinco modelos.
No hubo un código que sea un gran problema para
Incluso estaba desesperado porque no funcionó bien, así que hice mi propio breakout y cavy para tener una pelota más grande
y, por lo tanto, un preprocesamiento más fácil de las imágenes.
Luego volví al ojo e hice mi propia implementación del 3C.
Pero eso llevó años para correr y entrenar en una computadora bastante poderosa.
Así que quería encontrar una mejor manera.
Y esa es la forma en que es.
potente del Silmaril de la que uno de los principales contribuidores es el Creador por antorcha.
Implementación muy
Entonces, lo que vamos a hacer en este Mudgal, creo que estás listo para eso, es implementar este código de
más alto nivel para la implementación del A3.
Así que, básicamente, vamos a volver a implementar todos estos archivos y, en su mayoría, insistiremos en los archivos
que están directamente relacionados con las tres C, todas las partes directamente relacionadas con lo que vemos.
Implementaremos el código línea por línea para los demás.
Expandiré el código para que podamos abordarlo sin encontrarlo demasiado abrumador para que podamos
ir a un módulo bastante especial.
No solo trabajamos en un modelo de IA de última generación, sino que también en el momento en que hablo estamos
muy seguros de que estamos implementando la versión más potente del A-380.
Hagamoslo.
Volvamos a Python y comencemos todo esto antes de comenzar.
Vamos a hacer lo más simple que vamos a hacer en este módulo.
Estableciendo la carpeta del directorio de trabajo.
Vayamos a nuestra IA: es que los módulos de la carpeta de la plantilla nos dividen en uno más desafiante.
Y ahí vamos.
Esos son todos nuestros archivos.
Entonces, veamos cuáles están directamente relacionados con A-3 C.
Y entonces veamos cuáles implementaremos.
Línea por línea y enfoca nuestra energía.
Entonces, en realidad hay dos archivos.
El primero no es el único que es este, así que lo reimplantaremos línea por línea porque es lo
más importante, es donde hacemos que el A-3 vea cerebros.
compartido que tendrá los mismos datos de los pesos para el actor y el crítico.
Y lo más importante para entender aquí es que tendremos un modelo
Esa es una parte de esta versión especial de la A-3. Vea el modelo compartido con los
datos compartidos, los pesos y luego el otro fundador más importante para implementar.
Línea por línea es el ave de peluche adiestrada, por supuesto, justo después de que hiciéramos los cerebros de la sede.
Bueno, tenemos que entrenarlos y los entrenamos en este tren que yo esposa.
Este es un código bastante largo, pero esto es lo que contiene el corazón del modelo A3 C, que
tendrá que reducir el valor de Lass en EE. UU., Que es el último relacionado con las predicciones
de la crítica y la última política, que es la última. relacionado con las predicciones del átomo
Así que esto es bastante nuevo, pero sabes que eso se debe a que el A-380 básicamente trabajaba con varios agentes, cada uno
de los cuales tenía su propia copia del entorno.
También tenemos esta capa completamente conectada que produce un valor de la función y que básicamente es una visión
común de lo que está sucediendo en el juego.
Entonces esto será bastante desafiante.
Así que asegúrate de estar en buena forma y para el resto de los compañeros. Bueno, solo los explicaré en detalle,
pero no por pasar demasiado tiempo con ellos. Créeme que quieres conservar tu energía para esto.
Esto ya será mucho.
Entonces estos tipos son hormigas ducky Y, que es una mejora del entorno del gimnasio gracias al universo.
Básicamente, eso solo mejora el entorno del gimnasio con el universo y eso nos
permite tener un preprocesamiento óptimo de las imágenes y también normalizar todos los valores del entorno, como
las intensidades de los colores o las recompensas.
Bueno, todos los valores del entorno este archivo normaliza todos estos valores y también nos aseguramos de tener
suficiente para no seguir procesando las imágenes.
Y como pueden ver esto se toma de esta apertura, obtengo su página donde está el agente de la historia del universo.
Así que no pasaremos demasiado tiempo en esto, realmente nos detendremos aquí.
Solo necesita entender que hemos mejorado el entorno del gimnasio con el universo para obtener lo suficiente
como para no procesar las imágenes.
El resto no es tan importante especialmente para la PC.
Entonces tenemos main que P Y que es el código que ejecutará todo.
Entonces sabes que el código que ejecutará todo creará que el cerebro capacite al cerebro y genere el video.
Y eso es porque ejecutará todos estos códigos aquí.
Así que más que vimos donde estaba, puede haber aparecido.
¿Por qué es el optimizador especial?
Eso es básicamente el optimizador de átomos pero adaptado a este modelo compartido que estamos implementando.
Entonces explicaremos todo este código en un tutorial.
Entonces tenemos la prueba W-por qué.
En realidad es el último en probar.
P ¿Por qué es básicamente el archivo que implementará un agente de prueba?
Entonces, hay un agente que jugará estallar sin actualizar el modelo.
Entonces eso es totalmente independiente del entrenamiento.
Y también ampliaremos este código en detalles.
Además, la buena noticia es que tendrá dos códigos, un código que será el código que implementaremos
en los tutoriales, pero sin ningún comentario.
Y uno de los códigos que es uno de la carpeta de códigos con todos los códigos lo ordena.
Entonces con todas estas seis faltas todas bien conectadas.
De modo que si te pierdes algo y un tutorial bien, podrás ver el contenido del código para
entender qué está pasando.
Entonces ahí vamos
Espero que estés emocionado de implementar esto.
Realmente estás en la cima de la montaña ahora o justo debajo de la cima porque necesitas
entender esto primero pero estás llegando allí.
Así que respira un buen oxígeno.
Y ahí vamos con un viaje súper emocionante.
Hasta entonces disfruta.