Instructor: Hola a todos y bienvenidos de nuevo.
En este vídeo hablaremos de cómo utilizar
ChatGPT para resolver "Breakout", utilizando
ChatGPT para implementar A3C.
Así que ya lo incité con un montón de locuras, obtuvimos resultados
asombrosos, los veremos en un segundo.
Así que este video será, básicamente,
caminar a través de mi proceso
de pensamiento sobre cómo realmente
llegué a los resultados, y cómo se puede utilizar
realmente ChatGPT para crear algoritmo A3C también.
Vale, empecé de forma similar a lo que hicimos para "DOOM", dije, vale,
eres básicamente un experto en
aprendizaje automático
con años de experiencia en robótica.
Te contrato para hacer el algoritmo A3C para "Breakout". El objetivo es tener un algoritmo SOTA, A3C totalmente
funcional que pueda
jugar al juego "Breakout".
He implementado clases, el entorno
de código de prueba y versiones
personalizadas del optimizador Adam
que se utiliza como optimizador de pesos
compartidos para el modelo A3C.
Así que esto es darle más contexto,
lo que hice, voy a proporcionar estas tres cosas a usted.
Así que como hago referencia antes de generar el resto del código, tu
objetivo es implementar la solución
completa usando Python,
Torch, similar a lo
que teníamos, y optimizar el código
para ser ejecutado en Google
Colab, igual que lo teníamos antes.
Además, comenta cada una de las
líneas del código para que los alumnos puedan
entender lo que has hecho en el código.
Haz preguntas aclaratorias si es necesario, entendido.
Así que tenemos algunas coincidencias con lo que hicimos
para Deep Q conversacional
para "DOOM", pero he añadido un montón de contexto que ya tengo cosas
implementadas, y me gustaría
que se utilizaran.
Así que eso es lo que empiezo y se confirma.
Sí, entiendo y voy a hacer cualquier pregunta,
por favor proporcione el resto del código.
Entonces dije, este es el optimizador Adam,
pegué el código para el optimizador
Adam, para los recursos que tenemos, y le di esta instrucción,
dije, espera el resto del código
antes de implementar, yo solo,
antes de obtener buenos resultados, en realidad
solo pegué e inmediatamente saltó a implementar A3C, sin esperar
el resto.
Así que añadí esto como una
especie de código sistémico,
indicador sistémico, y dijo, está bien, por favor proporcione el medio
ambiente y probar el código.
Así que en realidad se refiere
a lo que dimos en el primer aviso.
Dije, genial, aquí está la
implementación del entorno Gym.
He pegado que el código principal,
he añadido contexto aquí, si usted echa un vistazo,
y este es el archivo principal
de ejecutar todo.
Y entonces dije, vale, guay, espera
al código de pruebas.
Y dijo, sí, yo, sin embargo, todavía
tengo que ver el código
de prueba antes de implementar A3C, dije, genial, aquí es un
código de prueba.
Y usted ve esto es cómo si usted tiene
un proyecto más grande, más grande,
usted puede utilizar eso para un
poco de balanceo a utilizar
esa pieza de un código o como una referencia, en el
estilo para que pueda realmente generar algo
en su estilo de código.
Guay, y cuando hice eso,
dijo, genial, a por ello.
Y dijo básicamente voy a utilizar este
código principal, y las pruebas, y poner en práctica esto.
Y luego decía, modelo creado. py, que en realidad también hicimos
en el curso.
Y dijo, aquí está el modelo de ActorCritic,
y lo comparo con el nuestro.
Esta es la versión más reciente de python, por
lo que gran parte de la inicialización
de pesos y cosas por el estilo se puede hacer de una manera más elegante.
Así que lo hizo y en realidad utiliza bastante
bien, a continuación, genera código de tren, y, básicamente,
ActorCritic.
Y si le echas un vistazo, es bastante simplista,
así que sin duda hay que mejorarlo.
Así que lo que puedes hacer, puedes decir,
vale, he dicho que continúes,
y continúa escribiéndolo.
Creó esto como una especie de pérdida,
pero hay, sí, básicamente
todo lo que necesitábamos, optimizó
todo, y se puede ver que el
optimizador. para al final.
Así que básicamente utiliza
todo lo que hemos definido
hasta ahora, así como
la pérdida adecuada, y sí, optimizador, todo.
Eso es todo.
En un par de sencillos pasos,
conseguimos implementar todo el código
de uno de los modelos de última generación
que pasó a ser como uno de los
mejores de 2017, 2018.
A día de hoy, mantiene una gran
capacidad para resolver entornos complejos
como "Breakout". Así que ya viste, ahora que tenemos ChatGPT
por ejemplo, puedes guiarlo
para implementar ciertas partes del código.
Y si no sabes lo que hacen realmente
ciertas partes del
código, puedes ir y preguntarle,
por ejemplo, guay, ¿puedes explicar
la parte de formación y dónde
está la costumbre de Adán?
Así que lo estoy incitando a que se explique, y esa
es otra forma
de incitarlo a que te dé más razones para su
generación.
Y se puede ver que en
realidad va a explicar paso a paso.
Así que sí, podemos
esperar a que esto, usted puede hacer las mismas
indicaciones y obtendrá resultados muy similares
a la mía, pero en general ahora
lo que va a hacer es que va a tomar la función
de tren que se define a la derecha
en la parte superior aquí, y básicamente
va a ir a través de cada paso y aplicarlo.
Así que sí, eso sería todo.
Definitivamente te animo a probar este código
en Google Colab, Se
puede hacer, Será
un poco demasiado difícil de hacer que funcione, debido a la visualización y las limitaciones
del entorno Goggle Colab.
Sin embargo, usted puede definitivamente
ir y pegar los errores aquí, y usted puede, usted puede ir
y obtener algunos resultados
bastante decente para que para depurar el proceso.
Y sí, con eso te dejo, y ahora tienes
la forma de utilizar ChatGPT sobre
cómo obtener valor para A3C.
Y sí, espero que hayas disfrutado
del curso hasta ahora, adiós.