¿Estás listo?
Hagamos esto, comencemos por instalar todas las dependencias del sistema para Vista, hagamos clic en
este botón de reproducción y ahora instalará todas las dependencias, como puede ver, como Pelo o ZIPPI y también algunas
otras dependencias que serán necesarias para ejecutar esto con éxito.
Pero todo el resto, como PLI para los módulos de gimnasio, ya están instalados.
Eso es realmente asombroso.
Esa es realmente la belleza del buen kulam, y es por eso que ninguno de ustedes tendrá ningún problema para
ejecutar el código y visualizar el resultado final.
Todo bien.
Así que esto va a llevar uno o dos minutos.
Así que voy a avanzar rápido aquí y ahora.
Nos vemos muy pronto para el resto de la ejecución del código.
Muy bien, parece que estamos al final de la instalación de las dependencias del
sistema, como puede ver, las está descargando, instalándolas mientras las recopila con todos los requisitos correctos.
Y en cuestión de segundos, debería estar listo.
Correcto.
Y veamos, tres, dos.
Aquí vamos.
Instaló todo con éxito.
No se preocupe por estos errores aquí.
No afectarán la ejecución del código, pero todo se instaló correctamente tal como queremos.
Todo bien.
Así que ahora el siguiente paso, muy importante.
Mira esta importante nota.
Dice que después de instalar todos los Benz, básicamente después de ejecutar esta primera celda aquí, debe
reiniciar su tiempo de ejecución.
De lo contrario, obtendrá aquí algunos errores de ejecución.
Así que hagámoslo rápido.
Es muy simple.
Solo necesita hacer clic en tiempo de ejecución aquí y luego reiniciar el tiempo de ejecución y luego.
Si.
Todo bien.
Esto restaurará su tiempo de ejecución y ahora puede ejecutar todas estas celdas simplemente haciendo clic en el botón de
reproducción.
Así que hagamos esto, comenzando con este primer preprocesamiento de imagen de archivo.
Todo bien.
Así que primero importemos las bibliotecas, luego procesemos previamente las imágenes con la clase de imagen de procesamiento previo.
Y ahora ya pasamos a la implementación de reproducción de experiencias, es decir, esta.
Todo bien.
Así que hagamos esto.
Primero importamos las bibliotecas, luego definimos un paso del entorno.
Luego hacemos la A. YO. Progreso en varios pasos y pasos con la clase de progreso del
paso final exactamente igual a la que tenemos en la carpeta.
Y luego implementamos la experiencia que jugamos construyendo esta clase de memoria de repetición.
Todo bien.
Y ahora pasamos a la tercera falta.
Este A. YO. Supongamos que había solicitado y luego importamos las bibliotecas.
Todo bien.
Así que lleva un poco de tiempo aquí porque importamos todos los módulos de la linterna, luego importamos
los paquetes para abrirlos y hacerlo con el gimnasio y la sabiduría, Jim.
Y la envoltura está bien.
Y luego pasamos a la parte uno aquí, Edificio II, donde vamos a hacer el cerebro,
luego el cuerpo y luego ensamblar todo.
Así que primero hagamos que el cerebro esté bien con la clase de CNN, luego hagamos el cuerpo con la clase de
cuerpo softmax y luego hagamos la IA con una clase.
Todo bien.
Y ahora estamos listos para pasar a la segunda parte.
¿Vamos a entrenar la IA con, por supuesto, un profundo Q Learning convolucional?
Todo bien.
Tan ejecutivo, igual que lo que tenemos aquí.
Primero obtenemos el entorno de Doom con nuestros nuevos módulos con Doom.
No se preocupe por esto.
Esto no es un error.
Luego vamos a construir el A. YO. integrando los diferentes objetos para traer CNN, los cuerpos del cuerpo
de Max y todo el A. YO. que contiene el cerebro y el cuerpo.
Todo bien.
¿Ejecuté esto?
Si.
Luego configuramos la experiencia.
Jugamos con Insteps y la memoria como una memoria de repetición objetiva, y luego implementamos el seguimiento de
elegibilidad.
Todo bien.
Para mejorar el rendimiento.
Luego hacemos la media móvil en cien pasos con la clase M a.
Y finalmente, amigos míos, ¿están listos?
Bueno, ahora es el momento de la parte muy emocionante en la que vamos a entrenar al A. YO. más de veinte dólares.
Todo bien.
Entonces verás que esto ya será un poco largo.
Sabes, tomará como, uh, tal vez una o dos horas porque aumento las dimensiones, siéntete libre
de reducir las emisiones a ochenta por ochenta si te parece demasiado tiempo.
Pero créeme, tendrás videos mucho mejores con estas dimensiones.
¿Estás listo?
Hagamos esto en tres a uno.
Todo bien.
Así que este ejecutará el código del entrenamiento y en unos segundos deberíamos poder ver la primera
época, que tendrá, por supuesto, una recompensa negativa.
Pero verás que, ya sabes, con el paso de las épocas, la recompensa irá aumentando poco a
poco hasta llegar a recompensas positivas y luego hasta llegar a cientos de recompensa.
Bueno, apuntemos a eso, en realidad.
Esperemos que con veintiocho dólares, tengamos una recompensa final de unos cien, ya sabes, como 100
o 200 o 300, porque con estas recompensas, de hecho, experimenté con ellas.
Si.
Primero, una recompensa negativa menos noventa y ocho.
Entonces estaba diciendo que con recompensas de alrededor de 100, 200, 300, ya obtendremos excelentes resultados.
Sabes, veremos al AA logrando matar algunos monstruos o evitarlos o, ya sabes,
moviéndose hacia el chaleco.
Bien, ese es el primer libro, uno menos noventa y ocho.
Y luego, lo veremos en el libro número dos con tal vez ya una mejor recompensa.
Pero, ya sabes, al principio, por supuesto, la EIA no está capacitada.
Está explorando el medio ambiente.
Correcto.
¿Recuerda esta compensación en el aprendizaje por refuerzo, exploración versus explotación?
Bueno, al principio, la idea es puramente explorar y luego se va a entrenar y
luego se hará cada vez más pequeño, y ahí es cuando va a alcanzar una gran recompensa.
Así que está bien tener recompensas negativas al principio.
Quizás lo consigamos.
Durante las tres primeras épocas, pero luego verá que después de un número cuatro, cinco o
seis, bueno, comenzaremos a alcanzar quizás recompensas positivas y luego, con suerte, recompensas alrededor de 100, 200 o 300.
Bien, va a tomar un poco de tiempo, como dije.
Así que no vamos a quedarnos aquí dos horas, de lo contrario me quedaré sin cosas que decir.
Entonces, lo que voy a hacer es poner una música divertida o genial ahora y ahí vamos, época número dos,
menos 62.
Entonces ya hay alguna mejora.
Eso es bueno.
Pero verá que habrá algunas mejoras aún mejores.
Cuanto más avanzamos en las épocas.
OK, entonces, ¿qué estaba diciendo?
Sí, voy a poner música genial ahora y reproducir el entrenamiento en modo acelerado.
Y por supuesto, nos vemos al final del entrenamiento para ver los resultados finales.
Todo bien.
Así que ahí vamos.
Tres a uno.
Muy bien, y aquí estamos al final de la capacitación, felicitaciones, entrenó un modelo de aprendizaje convolucional y profundo
en una aplicación muy desafiante, que es jugar el juego de la fatalidad.
Entonces, ¿por qué decir?
Bueno, como esperábamos, alcanzamos una recompensa promedio de más de 100.
Entonces lo que es importante decir es, por supuesto, que con más épocas, obtendrás mayores recompensas.
Entonces, si está listo para, por ejemplo, entrenar este modelo para más, parece que 100 épocas o
incluso más para alcanzar recompensas más de 300, 400, 500 o incluso 1000.
Bueno, siéntete libre de hacerlo.
Por ejemplo, puede dejar que esto se ejecute durante la noche mientras duerme.
Y cuando se despierta por la mañana, obtiene mejores resultados.
Tenga en cuenta que también puede usarlo en la GPU en tiempo de ejecución, a la derecha.
Si cambia el tipo de tiempo de ejecución, lo cual no debería hacer, porque de lo contrario reiniciará el portátil.
Pero en el acelerador de hardware aquí, puedes elegir GPU o incluso Tipu, pero eso es solo si
quieres, ya sabes, optimizar el rendimiento y hacer un entrenamiento súper duro.
Pero aquí utilicé algo clásico porque solo quiero mostrarte cómo ejecutar todo esto.
Y ahí vamos.
Ahora vamos a ejecutar el resto del libro de trabajo con este código adicional solo específico para este código, ese
cuaderno donde, por supuesto, vamos a visualizar AA en acción.
Todo bien.
Así que hagamos esto.
Primero importemos las bibliotecas.
Correcto.
Todo bien.
Luego imprimiremos la forma de entrada y varias acciones posibles.
Todo bien.
Así que aquí vamos a entender que tenemos siete acciones posibles, ya sabes, en el entorno del corredor de
la fatalidad.
Así que estos son avanzar, retroceder, ir a la izquierda, ir a la derecha, disparar y luego tal vez protegerse o lo
que sea.
No sé cuál es la última acción, pero algo así, entonces estas son las dimensiones del
marco de entrada.
Esto corresponde a la altura del marco.
Tiene 240 píxeles de altura.
Esto corresponde al ancho del marco, ¿verdad?
Tiene trescientos veinte grandes.
Y esto corresponde, ya sabes, al hecho de que trabajamos con imágenes en color y las tres aquí
corresponden a los tres elementos de nuestros canales.
Muy bien, entonces ejecutemos la siguiente celda mostrando un marco del entorno solo para ver cómo
es.
Y, de hecho, recuerde, eso es útil para ver el entorno en el que está trabajando.
Correcto.
Entonces aquí vemos que estamos en Dume Corridor.
Pero si quieres experimentar con algunos entornos más aquí, en realidad, ya sabes, recuerda, también
están en la página principal aquí.
Aquí mismo.
Si.
Tienes todas las listas de los entornos, ya sabes, con los que recomiendo experimentar.
Entonces, ya sabes, si quieres echar un vistazo a otro, bueno, ya sabes, puedo mostrarte,
en realidad, consigamos este y luego volveré a este corredor de zoom.
Correcto.
Entonces, si reemplazo eso por este.
Bien, y lo ejecuto bien, esta vez obtendremos tres acciones, claro, es más simple,
y si lo ejecutamos bien, veremos este entorno, ¿no?
Por lo tanto, es solo una forma de ver rápidamente con qué está trabajando y obtener una vista previa básicamente de lo que
hará la ACA en el entorno.
Todo bien.
Así que volvamos a la esquina.
Ejecutemos esto ahora en caso de que lo necesitemos para las próximas ventas.
Muy bien, perdición perfecta, Cawdor.
Ahora, pasemos a las ventas finales.
Esta es una función auxiliar que se utilizará para las visualizaciones.
Así que ejecutemos la venta y ahora ejecutemos la idea en un episodio.
Y aquí podrás entender el código porque, ya sabes, básicamente es el proceso de, ya sabes, correr
el aire y un episodio completo en el que en cada paso está en un estado específico, va a jugar en
acción dentro de el estado.
Luego obtendrá la recompensa y luego llegará a la próxima fecha.
Correcto.
Así que este es el proceso clásico de MGP, ¿no?
Proceso de decisión de mercado.
Y ahí vamos.
Eso está hecho para un episodio.
Y finalmente, obtendremos el video del juego de nuestro A. YO. , que fue entrenado por veinte dólares, pudo
alcanzar más de 100 recompensas, lo que nos dará algunos resultados bastante buenos, pero tal vez no llegue a
los mejores.
Pero está bien.
Experimentarás eso por ti mismo.
Y ahora me gustaría que haga clic aquí para el botón aquí, porque querré mostrarle cómo se
completa el video.
Entonces estas son algunas carpetas que contienen, ya sabes, algunos elementos como los marcos, ya sabes, los marcos de
los resultados o algunos archivos jasen.
Pero realmente, lo que va a interesar es el video final.
Y para obtenerlo, solo tenemos que hacer clic en el botón de reproducción aquí y verá que se completará en
la carpeta principal aquí.
No te lo pierdas.
Y esta bien.
Ya sabes, parece que la celda ya se ejecutó, que es el caso.
Pero verá que en unos segundos veremos un avatar, que es un archivo de video que se completa aquí.
Aparecerá en unos diez segundos.
Incluso puedo hacer una cuenta regresiva si quieres.
Así que hagamos esto.
Y diez, nueve, ocho, siete, seis, cinco, cuatro, tres, dos, uno, vamos.
Y ahora realmente debería aparecer en unos segundos.
Sí, ahí vamos.
Todo bien.
Entonces, el juego del agente, esa idea, ese es tu video.
Así que descarguémoslo y se descargará en su computadora, que encontraré aquí.
Correcto.
Ese es el modo de juego del agente de video que Evia se asegura de abrir con un reproductor de video que tiene códecs
como VLSI.
Correcto.
No funcionará con el reproductor de tiempo rápido si estás en una Mac, pero definitivamente funcionará con VLCC.
Así que echemos un vistazo.
Y aqui esta el video.
Todo bien.
Así que déjame presionar pausa aquí.
Todo bien.
Así que aquí está el video.
Y como puede ver, estas son las dimensiones de 256 por 256 del marco.
Como puede ver, no es muy grande.
Correcto.
Por eso realmente quería trabajar con estas dimensiones en lugar de 80 por 80.
Así que ahora echemos un vistazo al video.
Entonces este es el A. YO. jugando Doom en un episodio, y tiene que evitar que los monstruos no mueran.
Tiene que avanzar para llegar a los mejores.
Así que veamos cómo funciona tres a uno.
Muy bien, primero se cierra, avanza, está bien, y luego los monstruos lo matan, pero eso
sigue siendo bastante bueno.
Ya sabes, entendió que tenía que avanzar hacia Occidente porque la recompensa más alta es buena
al llegar al chaleco.
Y, por supuesto, ya sabes, si realmente quieres ver el video de tu aire llegando al chaleco y
ganando en este juego, básicamente tendrás que entrenar tu ojo para más épocas y tal vez hacer algún otro tipo de mejora, como
sintonizando tu cerebro de la A. YO. o haciendo algún ajuste de parámetros, como ajustar la
tasa de aprendizaje.
Bueno, tienen muchas opciones si alguno de ustedes obtiene un video increíble o, ya saben, el video de A. YO. habiendo alcanzado una recompensa
de más de 1000, por ejemplo.
Bueno, siéntete libre de compartirlo en las preguntas y respuestas.
Estoy seguro de que otros estudiantes estarán muy felices de recibirlo.
Todo bien.
Así que espero que les haya gustado implementar el modelo de aprendizaje convolucional y profundo.
Ahora vamos a pasar a la siguiente parte, que tratará de implementar el modelo H3C y
un modelo aún mejor y más poderoso que se implementará para jugar el juego de la fuga.
Así que te veré en la siguiente parte.
Y hasta entonces, disfruta de A. YO..