Hola y bienvenidos al curso de inteligencia artificial.
Hoy hablamos de la primera parte de A-3 que ve la parte de la crítica de actores.
Entonces aquí tenemos una ventaja sincrónica.
Algoritmo crítico del actor.
Y vamos a estar hablando de eso, subrayó Akrotiri.
Ahí es donde vamos a comenzar.
comenzar en cualquier parte, pero tiene mucho más sentido comenzar con un crítico, porque
de esa manera tendremos una explicación muy consecutiva de la comprensión intuitiva de lo que está pasando que nos va a facilitar.
Técnicamente podría
Pero si comenzamos a sorprender aún al final de esta aberración.
Muy bien, hasta ahora en este curso hemos llegado a un profundo aprendizaje condicional de Kule que es ilustrador aquí, así que
tenemos la computadora viendo los píxeles para que la imagen real y los píxeles no sean solo un vector.
Así que no es hacer trampas, es ver exactamente lo que un humano ve, ve a
los monstruos, ve la salud, ve los parámetros en la parte inferior, ve la tarjeta o ve el arma, es exactamente lo
mismo que vería un humano al jugar. juego.
acciones como recordar que tenemos esos valores de cubo luego aplicamos una política de selección de acción para ellos
Luego esa imagen pasa a través de una guarida convolucional y luego pasa a través de un tirón lariat se aplana
y entra en una red neuronal y luego en la salida tenemos
Entonces, por ejemplo, aplicamos un Max suave y descubrimos qué acción queremos realizar.
Y entonces hay algo de exploración y explotación en marcha.
Hay una combinación de los dos.
Así que así es como funciona el aprendizaje cool convolucional profundo.
Pero ahora veamos qué vamos a hacer con eso.
más fácil para nosotros operar es porque vamos a ajustar esta imagen y moverla.
Entonces, por simplicidad solo para que sea
Vamos a reemplazar círculos con cuadrados con estos o estos cuadros rectangulares.
Y también vamos a deshacernos de esas líneas y entre simplemente cambiarlas a flechas para que esto no
cambie la esencia.
Esta es solo la representación en esta tabla.
Aún así, esta representación es aún profundamente convolucional. El aprendizaje de Kule nos
resultará más sencillo para modificarlo y mostrar exactamente qué es.
Así que así es como vamos a representar las cosas desde aquí.
Y lo que hace o esta parte específica está comenzando.
Recuerde que estamos empezando, paso a paso, comenzamos con la parte crítica activa.
Así que vamos a ver cómo vamos desde el profundo aprendizaje crucial de Kule hasta el A-3. Veamos paso a paso y en el primer paso
vamos a presentar este crítico de actores PARTOVI aquí, así que vamos a hablar sobre eso.
Entonces, lo primero que sucede es este último bit.
El resultado es que vamos a volver a dibujarlo así, así que es exactamente la
misma salida, exactamente los mismos valores q son exactamente la misma acción.
la parte superior, por lo que ocupan menos espacio, por lo que hasta ahora nada ha cambiado hasta ahora.
Entonces, si él tuviera ocho acciones posibles, todavía tienes ocho acciones posibles que las colocarán en
Esto y esto son exactamente lo mismo.
Pero ahora aquí es donde entra la parte crítica activa.
Vamos a tener un segundo resultado.
Vamos a tener el primero como un conjunto de resultados y aquí vamos a tener una salida individual
por separado, así que técnicamente vamos a utilizar nuestra red neuronal.
Entonces una vez por hora.
O la imagen y todo lo que se parece a los valores pasan por la red de izquierda a derecha aquí.
No solo escupieron un conjunto de valores que escupen en realidad dos conjuntos.
Y así, la parte superior dijo que realmente sabemos cuáles son sus posibles acciones, pero aquí en realidad vamos a tener
otro valor extra, así que echemos un vistazo a eso.
¿Cuál es ese valor?
Así que aquí vamos, esa es la parte superior.
Así que nos gusta reducir el tamaño de esta ilustración.
El resultado principal es los valores de cubo como discutimos previamente para las acciones.
Entonces son lo mismo.
Todo es lo mismo
Pero ahora esta parte inferior y la parte superior en realidad se llama la X o vamos
a darle un nombre que sea el actor porque esa es la parte donde el agente elige lo que quiere hacer para que
sea como si actuara es como si se está ejecutando en el escenario y tendrá más sentido una vez que tengamos el segundo
nombre en la pantalla también.
Y luego, el segundo resultado es igual que un valor y eso es V de S, de modo que ese es el valor del estado.
q de S es la Q de A es el valor q de una determinada acción y como pueden ver es por eso que hay acción una acción dos acción
tres son acciones de acción seis o más altas que posiblemente estén en ese estado.
Entonces, si
Entonces en un estado dado s ¿Cuál es el valor q de tomar acción una acción para acción una acción para y así sucesivamente?
Luego, aquí también estamos prediciendo que también estamos usando redes neuronales para predecir cuál es el
valor de la etapa en la que estamos actualmente y esta parte se llama crítica.
Y esa es la intuición para el tipo de intuición que no es ni siquiera completa, que es justo como el comienzo
de la intuición detrás del actor. Predice que ahora hay dos salidas de la red neuronal, no solo una.
P antes solo teníamos ese en outbred que ahora llamamos la acción.
Pero ahora tenemos dos salidas Akshara y crítico.
Y habrá una dinámica entre ellos que exploraremos más.
Pero por ahora es importante entender que no solo estamos prediciendo los valores de las acciones que el agente puede tomar del
estado actual, sino que también estamos prediciendo el valor de estar en este tipo de estado
usando esa misma red un año.
Entonces ese es el núcleo del primer paso en la crítica activa.
Y ahora vamos a necesitar hablar de un sincrónico que haremos en el siguiente tutorial
para entender exactamente lo que está sucediendo entre el deber y lo último de hoy es que todos estos valores clave
como sabemos también se llaman Pulso .
Entonces, en algunas publicaciones literarias de algunos blogs y algunas discusiones, puede encontrar en la crítica activa que puede
encontrar al autor hablando de los valores de Cue del lado del actor en alguna otra literatura y publicaciones de blogs
y discusiones. Encontrará la agrah del autor. hablando de la política y por lo general es utilizar
al usuario como una letra griega P para representar la política o simplemente decir política de estado.
Así que en conjunto, esta es la política de estado de porque, como recordamos, la política
es que si juntas todas las acciones, las posibles acciones y luego se decide qué acción tomar.
Entonces estas serán como las probabilidades de tomar cada acción, esa es la política.
Así que no te desanimes si ves uno u otro.
Básicamente significan lo mismo.
Entonces, por un lado, aquí tienes la política o los valores q, por otro lado, tienes el
valor real del estado y se están prediciendo a partir de ese año.
Así que ese es el comienzo de la crítica activa que continuará con esto en el próximo
tutorial cuando estamos hablando de un sincrónico y busquemos allí.
Hasta entonces disfruta del.