Hola y bienvenidos al curso de inteligencia artificial.
En la historia de hoy estamos hablando de la final a en un 3C.
Estamos hablando de ventaja.
Entonces ahí está.
Ya hemos hablado sobre actor crítico y un sincrónico previamente.
Y entonces construyó una manera de lo que vamos a ver hoy y con ventaja vamos a
poner todo junto.
se comparte entre los agentes asincrónicos y luego tenemos la crítica, que también se comparte entre la edad y demás.
Entonces, esto es lo que tenemos hasta ahora: tenemos una red neuronal que
¿Cómo funciona todo esto y por qué esta crítica se comparte entre los agentes?
Echemos un vistazo a eso.
Entiende mejor que vamos a ver un ejemplo. Vamos a ver a este agente, por ejemplo, y veremos
qué sucede cuando se encuentra en cierto estado y debe tomar una decisión sobre qué acción tomar.
es que esta información va a la red neuronal que va a la guarida convolucional luego va a la guarida de acumulación y
luego va a la guarida de aplanamiento y luego de allí va al capas ocultas de la
red neuronal y luego como salida obtiene todos estos valores de política que usted valora como política.
Entonces este agente está en un estado en el que ve esta imagen y luego lo que sucede
Y también le da al valor el crítico.
Y así como conocemos las redes neuronales para operar, necesitan propagar ciertos errores o pérdidas a través
de la red.
Así que de esta manera para actualizar los pesos, qué espera o qué pérdidas vamos a tratar
aquí.
Bueno, somos dos pérdidas.
Tenemos la pérdida de valor y los correos.
Por lo tanto, la pérdida de valor está vinculada al valor de pérdida parcial está vinculado a las agrupaciones y tan valioso.
Ya lo hemos tratado antes.
Sabemos que tenemos recompensas y sabemos que tenemos un factor de descuento, básicamente esto es muy similar
a lo que estábamos hablando en la conversión en tutoriales de aprendizaje profundo.
Básicamente, la red predice un cierto valor V y, al mismo tiempo, podemos estimar lo que debería basarse en lo que sabemos sobre el medio ambiente, hasta
el momento podemos estimar cuál debería ser el valor en el estado y al comparar los dos podemos calcular
el valor la pérdida y luego la red del propagador de regreso actualizan
los pesos.
Así que eso es lo que se está preparando para lo nuevo aquí es la pérdida de pólizas.
Y entonces, ¿qué es esta pérdida de política y cómo funciona?
Bueno, esta es la parte donde toda esta situación donde la crítica se comparte entre los actores
o entre los agentes va a emerger finalmente.
Entonces para entender la pérdida de Palsu necesitamos introducir un valor llamado Advantage, de ahí el nombre de esta
parte de la historia en esta parte del Salyut la ventaja y la ventaja se calcula como Q
de como A menos V de s.
jugar toda la acción que elige jugar en el estado en que se encuentra en estado S menos el valor de ese estado.
Así que, básicamente, el valor de Q o que elige
Entonces esta es la diferencia entre los dos y eso se llama ese.
Y la ventaja se usa en el cálculo del sin pulso.
Ahora no entraremos en la fórmula del cálculo sin pulso porque es bastante complejo, usa entropía o
puede usar entropía no tiene por qué.
No vamos a diseccionar esa fórmula, pero vamos a entender esto en un nivel intuitivo.
¿Por qué lo hacemos? ¿Por qué estamos calculando esta ventaja y cómo nos va a ayudar?
Bueno, veamos esta premisa por un segundo.
El valor Q aquí proviene de lo que la red neuronal predijo para este agente y así predecir en esta acción específica en este estado
específico para la acción que puede jugar, por lo que tiene estas acciones
y puede deslizar una de ellas y puede reproducirla bien, mientras que el valor de Wii es el valor que dicta
el crítico.
Es el valor que tenemos aquí en esta parte compartida y esa es la clave aquí que esta parte se comparte
para que el crítico se rompa porque así es como entra en juego el crédito.
Porque tenemos un valor que elegimos o la acción que elegimos jugar para este agente en
ese estado.
Pero luego el crítico puede decirnos cuál es el valor conocido de ese estado, cuál es el valor conocido general para todo este
grupo de agentes que se están desempeñando juntos porque su intercambio no responde porque la B inicial porque comparten la
crítica. todos están contribuyendo a esto a estos valores v que se están calculando para un conjunto
diferente, por lo que el conjunto a. z algoritmo dice OK.
Por lo tanto, el crítico conoce un valor v de cuánto mejor es su valor q que está seleccionando en comparación con el
valor v conocido.
Eso es lo que está diciendo.
Entonces eso es básicamente eso.
Así que voy a seleccionar un valor q aquí en función de mi política en función de si utilizamos como
función soft max o una política de Epsilon Grealy o algo así.
Y, por supuesto, estaremos fuera de la exploración más la explotación combinada, pero seleccionamos el valor
de Q y ahora la pregunta es ¿cuál es el extra?
¿Qué significa eso regañado en comparación con el valor conocido de ese estado y esa es la esencia
de la ventaja y, básicamente, eso se usa para calcular la pérdida de la política y luego la
pérdida de la política se propaga nuevamente? a través de regreso a la red.
ajustan para que la red represente mejor el valor del crítico y también esa es la parte superior.
Entonces ambos se propagan nuevamente a través de una red y los pesos se
Pero también esta parte de la clave aquí es que el valor de los pesos es bakra.
¿Cuándo se olvida esto de las oficinas de correos que las tasas se ajustan de tal manera que esta ventaja
se maximice, así que esa es la parte intuitiva de la comprensión intuitiva de que
volvemos esta última política a través de la red para ayudar a maximizar esta ventaja
Y lo que eso significa es básicamente que cuando un agente se encuentra con acciones malas como acciones donde
el q valora menos que el valor conocido para el estado.
X y, de repente, te topaste con una acción muy mala y el y lo hiciste lo eliges sobre la acción.
Así que, básicamente, todo el algoritmo ATC sabe que el valor para el estado es algo
Y lo que eso significa para el entusiasmo es que bueno, ¿por qué haríamos algo así cuando es peor de
lo que ya sabemos lo que ya sabemos sobre todo este entorno y lo que podría haber hecho?
Entonces no deberíamos hacer más de eso.
Y, por lo tanto, los pesos son solo en cierto modo, por lo que es más raro.
Entonces eso sucede menos raro.
Entonces, es menos frecuente que elijamos esa mala acción.
manera que el algoritmo de atresia piense bien que realmente es genial que Wantage estuviera muy alto allí.
Por otro lado, si eliges una acción muy buena donde el valor de q
es mayor que V o mucho mayor, entonces durante este backwardation de la pérdida polaca a través de la red los pesos se actualizarán y de
esa manera se reforzará realmente para anime a tranquilizar que vuelva a suceder para que
los pesos se ajusten de tal
Debería hacer más de eso y, por lo tanto, actualizará los pesos de tal manera que sea más probable que ocurra
en el futuro esa acción.
sabes, es cómo la red lentamente se va a adaptar lentamente y lentamente va a construirse en algo que
por un lado calcula el valor correctamente y luego, por otro lado o lo más correcto posible.
Entonces, y eso es lo que
Y, por otro lado, fomenta o tiene acciones que tienen una gran ventaja.
Así que ahí vamos, esa es esa parte.
Y ahora echemos un vistazo a otro solo para reforzar lo que acabamos de discutir en la parte superior 1.
Lo mismo aquí.
necesita decidir qué hacer, ya que esta información para las redes de esta imagen usa internet vuelve a crecer, convolucional, están tirando de su
aplanamiento Lehre va a las capas ocultas y luego de aquí obtenemos un resultado que
obtenemos los valores agudos de la política obtenemos los valores V de nuevo, lo mismo que tenemos dos pérdidas.
Las principales agencias una situación un estado se encuentra en un estado y luego
Tenemos la pérdida de valor, que es aquí la pérdida polaca, que es aquí la pérdida de valor.
Ya sabemos cómo se calcula.
Cuando discutimos esto en el profundo aprendizaje de Q y solo discutimos ahora también.
Entonces, así es como se calculó el valor y luego la pérdida de la política nuevamente para calcular aquello para lo que
no vamos a entrar.
que está bien, así que tomamos una determinada medida, escogimos una determinada acción basada en nuestra política de selección,
ya sea Soft Max o upselling greedy o cualquier otra política social que estamos usando.
Pero a un nivel intuitivo, estamos calculando esa ventaja,
Y entonces, ¿cuál es la acción que tomamos? Ahora, vamos a compararlo con el valor conocido del estado que proviene de las críticas compartidas, por
lo que esta crítica es como si pensaras que es una especie de observación de todos
estos agentes al mismo tiempo. En este único vistazo a este, todos están contribuyendo a un crítico
para que el crítico esté más al día con el medio ambiente, para asegurarse de que
el crítico sea representativo de lo que está sucediendo en el entorno real para que los pesos.
de valor para que los pesos de la red neuronal real reflejen muy bien la situación
real de las cosas en el entorno para que puedan confiar en este valor y luego usarlo aquí.
Aquí es donde entra la pérdida
Y así, básicamente
Entonces todos estos agentes todos estos agentes están contribuyendo a esta crítica.
Pero luego, al mismo tiempo, a través de este valor, pero al mismo tiempo el crítico está observando
las decisiones o las políticas de estas agencias.
Es como mirar hacia atrás como si tratara de dibujar como una flecha hacia los polos, una
flecha, una flecha.
través de ese punto de vista y decir OK, usted tomó una decisión, eligió esta, eligió esta acción.
Así que mirar hacia atrás en la decisión que están tomando es criticar estas decisiones a
Eso es genial.
Ahora calculemos la ventaja o desventaja de que el rancho es igual a usted, sabe que el valor
de Q podría haber tomado la decisión que tomé o que la elección que hice de la que hice eligió tomar menos el valor conocido
para la crítica.
No sobre el crítico.
ese valor Q va a ser menor, de modo que debido a que nuestra política selecciona las acciones basadas
en los valores q, cuanto mayor sea el valor Q, más probable será que se seleccione.
Entonces Kalika la diferencia, si es poca diferencia, eres polaco, entonces cuando pulir tus pérdidas propagadas a través de
la red, la forma en que se va a ajustar alentará que los pesos se ajusten de tal manera que eso no ocurra. una
vez más, ese valor Q o
Entonces, si estuviéramos usando una política de arco máximo, entonces siempre seleccionamos la más alta ya que recuerda
que discutimos esto, entonces siempre seleccionamos la que tiene el valor más alto.
Pero en realidad estábamos usando un enfoque probabilístico en el que estaba usando soft max o
upselling codiciado.
luego básicamente seleccionamos dónde podemos seleccionar cualquiera de ellos, pero cuanto más alto sea el cubo, mejor.
Y
Entonces, si seleccionamos algo y la ventaja es muy baja, la red se agregará de tal
manera que la próxima vez el valor de esa acción determinada será menor y tal vez algo más
sea más.
Así que así es como se divide y si seleccionamos algo donde esa ventaja va a ser alta,
esto va a ir a las leyes de políticas y luego a las redes
y las actualizamos para que se observen más comúnmente eventos como guión.
Y, básicamente, toda esta pérdida polaca ayuda a la red a adaptarse o transformarse de tal forma que nosotros lo hacemos.
Moraleja de las cosas buenas buenas acciones buenas y cosas buenas y hacer menos de las cosas malas.
Y así es como entran en juego estas dos derrotas y así es como han vuelto a ser apropiadas.
Así que afortunadamente, eso se aclara de una manera muy intuitiva, por supuesto, no entramos en las fórmulas en
las matemáticas complejas detrás de todo esto y nos gusta en los detalles muy intrincados.
Pero al mismo tiempo con suerte en la forma intuitiva de una manera intuitiva.
Todo esto aclara por qué tenemos el actor y el crítico y cómo interactúan juntos que usted
sabe que tiene estos agentes de forma asíncrona o sincrónica.
Entonces este es tu actor y crítico y esta es la ventaja y cómo todo eso entra en juego.
Entonces estos son agentes síncronos.
Ellos van.
Están jugando esto o explorando el medio ambiente y trabajando a través del medio ambiente y todos
están contribuyendo por completo a un crítico que luego está observando sus políticas observando a los actores, que es lo que
se llama.
Y a través de esa posición ventajosa y, por lo tanto, surgiendo, esto representa una pérdida y luego una pérdida de política y
valor, o se propaga nuevamente a la red solo para poder.
Por un lado representan la verdadera forma de las cosas en el entorno.
Otra mano para mejorar el rendimiento de los actores.
Entonces ahí vamos
Esa es una recapitulación rápida de la intuición que discutimos.
Una vez más, con suerte, todo esto se logrará a nivel intuitivo y, por supuesto, en los tutoriales
prácticos. Hablaremos más sobre cómo todo esto funciona en Atlanta lo guiaremos a través de este proceso de construcción
de propietarios.
imagen en tu mente y esta como una especie de hoja de ruta de todo lo que está bien,
debería ser, espero que sea de mucha ayuda para que puedas navegar mejor en el lado práctico de las cosas.
Pero tener esta
Y en términos de lectura adicional para hoy, tenemos dos elementos, así que el primero es la ventaja.
Así que aquí tenemos un control continuo demencial alto usando la estimación de ventaja generalizada de John
Shulman y esta es una imagen de una figura de palo levantándose como para ponerse de pie.
Y aquí puede encontrar aún más sobre ventajas y ventajas y encontrará todos los diferentes
tipos de ventajas.
la ventaja y cómo funcionan exactamente, las fórmulas que hay detrás y algunas de las ventajas. los
mejores elementos superiores o fórmulas y no hay agujeros en el espacio de esta ventaja.
Usted tiene la ventaja general de la estimación y tiene ventajas que utiliza realmente en los formularios de los cálculos, por lo que si desea obtener
más información acerca de
Nosotros los discutimos.
Este es el artículo para ir.
Y uno más de otro elemento o trabajo que queríamos recordar es el blog de una serie de publicaciones de blog de
Arthur Giuliani que ya hemos mencionado un par de veces.
Esta es la octava parte, específicamente sobre el mar A-3.
Entonces aquí puedes obtener una explicación adicional.
Entonces, con un poco más de matemáticas sobre lo que está pasando y quizás puedas recoger algunas cosas adicionales a partir
de aquí.
Solo dos cosas para tener en cuenta, en primer lugar, como siempre, este blog es más seguidores. Estamos utilizando la
antorcha pi.
Así que tenlo en mente.
Y lo segundo es que la forma en que estructuramos nuestro enfoque es que primero hablamos de crítica activa y
luego hablamos de un sincrónico.
de Arthur sobre Synchronoss, un actor crítico es una ventaja, así que tenlo en cuenta, así que con suerte eso no te desanime.
Y luego hablamos acerca de la ventaja, mientras que en log las primeras charlas
Pero aparte de eso, por supuesto, es una gran pieza de contenido.
Y recomendamos encarecidamente verificarlo para obtener información adicional.
Entonces, esperamos disfrutar del tutorial de hoy.
Y espero verte la próxima vez.
Hasta entonces disfruta.
YO.