Hola y bienvenidos al curso de inteligencia artificial.
Hoy continuamos nuestro viaje al mundo cada tres ve y estamos hablando del lado sincrónico de otro
C así que ahí tenemos nuestra abreviatura de ventaja sincrónica.
Crítico activo
Y hoy vamos a averiguar qué significa aquí lo sincrónico.
Y retrocedamos un paso.
Veamos en lo que comenzamos este curso completo para la aplicación de la ley, aprendiendo de qué se trata, que el
asiático se encuentra en cierto estado.
Ellos observan el estado.
Toman ciertas decisiones en las que toman medidas en ese estado y luego el estado cambia para que entren en un
nuevo estado y obtengan una recompensa.
Entonces, la recompensa por tomar esa acción o algún tipo de recompensa que también podría ser una penalización y terminan en
un nuevo estado.
Y en base a eso ahora toman otra acción de nuevo.
Obtienen una recompensa y terminan en un nuevo estado y toman otra acción, y así sucesivamente, y
esa es la base de todo el aprendizaje de refuerzo.
Y eso es lo que hemos estado utilizando para aprender en el aprendizaje profundo y en el aprendizaje continuo convolucional
y eso ha permitido a nuestros agentes superar gradualmente los entornos más complejos y complejos.
Pero ahora vamos a presentar un concepto aún mejor e incluso tomar este nivel aún más.
Lo que A-3 ve introduce a través de este elemento y síncrono es en lugar de tener un agente que
ataque el entorno.
Tienen tres agentes o la cantidad de agentes o agentes que atacan el mismo entorno.
Y la clave aquí es por eso que se llama sincronizaciones porque se inicializan de manera diferente, por lo
que sus entradas estrella son diferentes.
Entonces, por ejemplo, como verá en las fuentes prácticas, establece una semilla aleatoria y la configura de manera diferente para
cada uno de los agentes.
Y de esa manera porque sus puntos de partida son diferentes.
Van a atravesar primero los entornos de diferentes maneras y luego van a explorar de diferentes
maneras y luego en las próximas iteraciones también van a explorar de diferentes maneras.
Y así, por ejemplo, tenemos tres agentes.
De repente, recibes el triple de experiencia en lugar de una
sola edad, explorando el entorno y tratando de entender cómo operarlo en ese entorno.
Ahora tiene tres o muchos de ellos pasando por eso y obteniendo esta experiencia y por lo
tanto, cada uno de ellos está aprendiendo para esta experiencia más grande y, además de ofrecer un
rango más amplio de experiencia, también reduce las posibilidades de que un agente atorarse en un máximo local.
Entonces, por ejemplo, si un agente encuentra una forma de vencer al medio ambiente que no es la más óptima, si se
desvía de la solución a la izquierda a la derecha que encuentra que siempre se vuelve más penalizada,
podría quedarse atorada en un máximo local.
Tal vez siga haciéndolo pensando que esa es la solución óptima donde en realidad no es.
que la probabilidad de que un agente se quede atascado en un cierto máximo local podría ser alta, pero O podría tener un cierto valor.
Bueno, la probabilidad de que varios agentes se estanquen en el mismo máximo local disminuye
con la disminución de la cantidad de agentes, por lo
Pero la probabilidad de que tres de ellos se atasque en ese máximo
local es mucho menor.
Y siempre que compartan experiencia entre ellos, pueden ayudarse mutuamente, por lo que si uno de ellos se queda estancado, por ejemplo, está en
un máximo local y simplemente piensa que eso es lo mejor y que esa es la mejor solución y que
es la mejor solución todo el tiempo. sigue haciendo eso.
a través de la forma en que desarrollamos nuestro algoritmo completo a través del celular y ellos lo ayudarán.
Siempre y cuando interactúe con los otros agentes Digamos que este tipo se queda estancado en una acción
tranquila siempre que interactúe con otros agentes
Le darán conocimiento de que en realidad sabes que oye, debes explorar esto o es más
probable que salga de eso.
Y también, en general, el entorno sabrá que aunque este sea un gran máximo, estas otras edades
han visto mejores opciones y deberíamos seguir explorando porque parece que hay mejores opciones.
Por lo tanto, en una forma muy breve de comprensión intuitiva aproximada, esas son algunas de las ventajas de
tener estos son agentes síncronos para que tenga más experiencia para elegir y de la que pueda aprender.
Puede llegar a la solución más rápido y, en general, si hay una menor posibilidad de
quedar atrapado en un máximo local de CRN.
Entonces veamos cómo se desarrolla todo esto.
En este modelo que hemos construido hasta ahora, así es que recuerden que esto es lo que hemos logrado hasta el momento a través
de la crítica real y esto es como si todos estuviéramos burlándonos de esto, por lo que recuerdas desde el principio, hasta la tortuga
que presentamos esto ya sabes que ya lo teníamos incluso en el océano profundo.
pero hasta ahora realmente no tiene sentido cuál es el punto de tener esta crítica y medir el
valor del estado o predecir el valor de una etapa usando el mismo neuronal redes o el mismo enfoque.
Q learning's Así que acabamos de nombrar la X ahora, pero ahora hemos introducido la crítica,
Pero ahora esto es esto, el socio va a comenzar a tener más sentido.
Lo que vamos a hacer es replicar esto porque ahora tenemos múltiples agentes. Si hay varios agentes,
así es como se ve.
Entonces, la primera forma de imaginarlo es que ahora tenemos estos tres días y recordamos lo que dijimos sobre ellos al
compartir sus experiencias entre ellos.
Entonces esto es como ahora, todos son independientes.
Tienes una jugando el juego y aparte de jugar el juego otra jugada en el juego.
Es como lanzar tu agente en tres computadoras diferentes, colocas tres computadoras diferentes una junto a la
otra y las lanzas y sabes que es genial.
Al igual que de hecho te gustaría obtener obtendrá más experiencia obtendrá más variedad, especialmente si
se inicializan.
Entonces, podemos suponer desde aquí que están mal iniciales siempre inicializadas antes, aunque tenemos
la misma imagen aquí.
¿Vamos a saber que en realidad se inicializaron de manera diferente, por lo
que no será idéntico al aprendizaje idéntico de este juego?
Y así, incluso si te gusta poner tres computadoras una al
lado de la otra y las ejecutas sí, vas a tener más experiencia porque vas a tener tres agentes jugando y también vas
a tener una mayor variedad de posibles soluciones .
Entonces eso es verdad
Pero el problema es que no comparten nuestra experiencia entre nosotros o no están aprendiendo unos de
otros.
Entonces ellos no tienen esa sinergia.
tienes un equipo de personas que trabajan mejor juntos que cada uno de ellos por separado.
No tienen la ventaja ni el poder adicional que obtendrían si estuvieran haciendo compering, ya sabes cómo si lo haces si
Entonces, como en un equipo, aquí tienes uno más uno más uno.
Son tres pero en un equipo uno más uno para engendrar y no tres son como los tres
porque aprovechan las fortalezas de los demás y mitigan las debilidades del otro y lo mismo aquí.
Entonces, si coloca estas dos computadoras lado a lado, usted tendrá más memoria de experiencia y posiblemente
alguien obtenga una mejor solución.
Otra genial, pero será aún mejor si comienzan a compartir esa experiencia.
¿Y cómo lo hacen?
Bueno, es a través de esta Wii que lo calculamos, así que este valor de Wii que es la salida de
nuestra red es realmente así.
Así que tienen esto mismo cada tanto cada vez.
Todos estos agentes están contribuyendo a la misma crítica.
No tienen críticos por separado, tienen una crítica común y esa es la clave de cómo el crítico
actor se relaciona con su sincronía.
Entonces, hay un crítico que nos mira a medida que obtienen experiencia.
Entonces, ¿cómo calculamos la Wii?
Tenemos que pasar la Wii.
Como recordarán, podemos transmitir a la televisión los valores que obtenemos, de modo que obtengamos las recompensas que obtenemos a través
del entorno.
Y a medida que los agentes exploran su entorno, son cálculos que predicen la Wii.
Además tienen la Wii que pueden calcular.
Esto es todo lo relacionado con lo que ya hemos discutido en las secciones anteriores
de los puntajes.
existen en este laberinto y que ya han explorado y, a medida que las exploran, ese valor puede cambiar.
Así que ya tienen una Wii que pueden predecir como esperan a través de las recompensas
que saben que
Pero también tienen la Wii de que esta es la salida de la red neuronal, por lo
que a medida que avancen van a ajustar sus redes neuronales para que coincidan mejor con lo esperado.
Así que, básicamente, esto se comparte, la parte crítica se comparte entre los agentes y así es como comparten la información entre
ellos, así es como pueden ver lo que está sucediendo en el entorno y
luego usar eso como nosotros Veremos más en la siguiente parte con ventaja.
Así que úsalo para optimizar la forma en que se comportan en el entorno.
Y la otra cosa a tener en cuenta aquí es.
Así que esto fue a través de C.
Esto es como el núcleo de A-3 ver hasta aquí.
Este es un tipo de versión de 08:30 pero en realidad hay una mejor implementación de esto.
primeros tutoriales y el lado práctico de las cosas, y de lo que hablará es de cómo el creador de Pi
torche realmente hizo un ajuste a uno de los códigos que se compartieron y obtener el centro donde tomó todos estos como
puede ver en este momento tienen redes neuronales separadas y mostraron que el ajuste que se hizo
fue tomar todas estas redes neuronales y ponerlas en una sola tómalos y ponlos juntos.
De la A a la C, de la cual escucharás que me encantaría hablar en uno de
los
Entonces, en última instancia, solo hay una red neuronal compartida entre los agentes.
Entonces, antes de tener cada uno de ellos, tenían una red neuronal que compartían para el actor y el
crítico una red neuronal Shelfer real para la crítica. Una red neuronal compartía la precisión.
Ahora todos tienen una red neuronal que se comparte para el actor o crítica crítica real x o crítico.
Y luego el crítico está aquí en común.
Entonces, veamos, vamos.
Vamos a mover estas imágenes a la izquierda aquí, así que haga un poco de espacio.
Y esta es básicamente la arquitectura o la estructura que vamos a utilizar en los
tutoriales prácticos.
Sé que esto puede parecer un poco abrumador en esta etapa, pero tenemos uno más para hablar sobre
cuál es la ventaja y allí lo veremos mejor en acción.
¿Cómo funciona? Hablaremos sobre la intuición en acción.
Pero en general, esto es lo que es.
Aquí hay una red que cada uno de los agentes usa o comparten.
Básicamente, lo que eso significa es que comparten los pesos que los pesos de la red se comparten entre
las edades y cuando lo actualizan, actualizan toda la red, no solo su propia red.
Y luego tienen salidas que tienen como estas acciones para cada agente y luego tienen la crítica que se comparte
que se va a controlar.
Así que sé que todo esto es algo así como que hay muchas cosas en este momento, pero afortunadamente se está uniendo
lentamente al menos.
Lo principal de aquí es que el crítico porque es compartido.
como los agentes pueden asegurarse de que están cooperando entre sí para obtener el resultado mucho más rápido.
Así es
Y luego en el próximo tutorial veremos aún más cómo todo esto se suma.
Todo esto viene junto.
Y por ahora hay algo que me gustaría recomendar o nos gustaría recomendarle una lectura
adicional.
Así que este es un blog de Jaromir Jansch.
Se llama Vamos a hacer que un A3 vea las implantaciones en realidad es una implementación y una teoría de dos partes.
lo que no es específicamente para este tutorial, no solo para Sutro, sino para toda esta sección.
Está el enlace y es muy similar a lo que Adlon implementará en el lado práctico
del tutorial, por
Fomento allí alguna información adicional algunas ideas adicionales allí.
Y esa es la razón por la que lo estamos planteando aquí.
Pero, sin embargo, en el siguiente tutorial vamos a comenzar a unir todo esto.
Todo lo que hemos discutido
Y espero verte la próxima vez.
Y hasta entonces, disfrute yo.