Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Hoje continuamos nossa jornada no mundo a cada três ver e estamos falando sobre o lado síncrono
de cada C, então, temos nossa abreviatura de vantagem síncrona.
Crítico ativo.
E hoje vamos descobrir o que um sincrônico aqui representa o que isso significa.
E vamos voltar um passo.
Vejamos o que iniciamos neste curso inteiro para a aplicação do direito sobre o que é que o
asiático está em certo estado.
Eles observam o estado.
Eles tomam certas decisões que tomam ações naquele estado e, em seguida, o estado é alterado para que eles entrem em
um novo estado, mais eles recebem recompensa.
Então, a recompensa por tomar essa ação ou algum tipo de recompensa que poderia ser uma pena também e eles acabam em
um novo estado.
E com base nisso agora eles tomam outra ação novamente.
Eles recebem uma recompensa e acabam em um novo estado e eles tomam outra ação e assim por diante,
e essa é a base de toda a aprendizagem de reforço.
E é isso que usamos aprendendo em aprendizagem profunda e profundo convolucional, continuamos aprendendo e isso
permitiu que nossos agentes vençam em ambientes gradualmente mais complexos e complexos.
Mas agora vamos apresentar um conceito ainda melhor e até mesmo para levar esse nível ainda maior.
O que A-3 vê introduz através deste e o elemento síncrono é em vez de ter um agente
atacar o ambiente.
Eles têm três agentes ou qualquer número de agentes ou vários agentes atacando o mesmo ambiente.
E a chave aqui é por isso que é chamado de sincronização porque eles são inicializados de forma diferente para que
suas entradas de estrelas sejam diferentes.
Então, por exemplo, como você verá a partir de fontes práticas, você estabeleceu uma semente aleatória e você definiu de maneira
diferente para cada um dos agentes.
E assim porque seus pontos de partida são diferentes.
Eles vão primeiro atravessar ambientes de diferentes maneiras e então eles vão explorar de diferentes
maneiras e, em seguida, as próximas iterações também vão explorar de diferentes maneiras.
E, por exemplo, temos três agentes.
Você está de repente você está obtendo triplicar a quantidade de experiência em vez de
apenas uma idade e atravessando e explorando o meio ambiente e tentando entender como operá-lo nesse ambiente.
Agora você tem três ou muitos deles passando por isso e obtendo essa experiência e, portanto, lá
para que cada um deles esteja aprendendo por essa experiência maior e, além de estar apenas oferecendo
uma ampla gama de experiências, também reduz as chances de um agente ficando preso em um máximo local.
Então, por exemplo, se um agente encontrar uma maneira de vencer o meio ambiente, o que não é o mais ideal, porque
se desvia um lado esquerdo da solução que achou que sempre fica como se for mais penalizado, ele
pode ficar preso em um máximo local.
Pode continuar fazendo isso pensando que essa é a ótima solução onde, na verdade, não é.
modo que a probabilidade de um agente ficar preso num determinado máximo local pode ser alta, ou pode ser um certo valor.
Bem, a probabilidade de vários agentes ficarem presas nesse mesmo máximo local diminui em
relação às diminuições com o número de agentes, de
Mas a probabilidade quando você tem três deles de todos os três ficando presos no
máximo local é muito menor.
E enquanto eles compartilham experiências entre si, eles podem ajudar uns aos outros, então, se um deles ficar preso, por exemplo, está em
um máximo local e simplesmente pensa que esse é o melhor e que é o melhor que é a
melhor solução o tempo todo e continua fazendo isso.
agentes, através da forma como construímos todo o algoritmo através de celular e eles vão ajudá-lo.
Bem, enquanto interagir com os outros agentes, então digamos que este cara fica preso em uma
ação calma, enquanto interage com outros
Eles vão dar-lhe conhecimento de que, na verdade, você sabe, você deve explorar isso ou ele provavelmente terá
mais chances de sair disso.
E também, em geral, o ambiente saberá que oi, mesmo que este seja um ótimo máximo, essas
outras idades tiveram melhores opções e devemos continuar explorando porque parece que há melhores opções.
Então, em um tipo de entendimento intuitivo muito curto, isso é que essas são algumas das
vantagens de ter esses agentes síncronos para que você tenha mais experiência para escolher e aprender.
Você poderia chegar à solução mais rápida e geralmente falando, se houver uma menor chance
de ficar preso no máximo local do CRN.
Então, vamos ver como isso tudo se desenrola.
Neste modelo que construímos até agora, é lembrar que é isso que conseguimos até agora através do crítico real e isso
é como se estivéssemos todos provocando, isso é tão longe quanto você lembra do primeiro a tartaruga que nós apresentamos
Isso você sabe que nós já tínhamos isso mesmo em um oceano profundo.
agora não faz sentido o que é o ponto de ter esse crítico e medir o valor do
estado ou prever o valor de um estágio usando o mesmo neural redes ou a mesma abordagem.
Q Learning's Então, acabamos de chamar o X agora, mas agora introduzimos o crítico, mas até
Mas agora é isso é que o parceiro vai começar a fazer mais sentido.
O que vamos fazer é que vamos replicar isso porque agora temos vários agentes. Então, se vários agentes
é isso, é o que parece.
Então, a primeira maneira de imaginar isso é que agora temos esses três dias, lembre-se do que dissemos sobre eles
compartilhando sua experiência entre si.
Então, isso é realmente como agora eles são todos independentes.
Você joga o jogo e, além de jogar o jogo, outro jogo no jogo.
É como se fosse como lançar seu agente em três computadores diferentes, você colocou três computadores diferentes um ao lado do outro
e você os lançou e você sabe que isso é ótimo.
Como na verdade você gosta, você terá mais experiência, você terá mais variedade, especialmente se eles
forem inicializados.
Então, podemos assumir a partir daqui que eles são inicialmente inicializados inicialmente antes mesmo que
tenhamos a mesma imagem aqui.
Vamos saber que eles são realmente inicializados de forma diferente, então não será
como um treinamento idêntico de aprendizado idêntico desse jogo.
E mesmo assim, se você gosta de colocar três computadores
lado a lado e você os lança sim, você terá mais experiência porque você terá três agentes jogando e também
terá uma maior variedade de soluções possíveis .
Então é verdade.
Mas o problema é que eles não estão compartilhando nossa experiência entre si ou não aprendendo uns com os
outros.
Então eles não têm essa sinergia.
se você tiver uma equipe de pessoas que trabalham melhor juntos do que cada um deles separadamente.
Eles não têm a vantagem ou o poder extra que eles receberiam se eles estivessem atraindo você sabe como se você tivesse
Então, como em uma equipe, você conseguiu um mais um mais um.
São três, mas em uma equipe, um mais um para gerar e não três é como os três porque eles
alavancam os pontos fortes uns dos outros e mitiram as fraquezas uns dos outros e o mesmo aqui.
Então, se você colocar esses dois computadores lado a lado, sim, você terá mais memória de experiência e possivelmente
alguém terá uma solução melhor.
Outro que é ótimo, mas será ainda melhor se começarem a compartilhar essa experiência.
E como eles fazem isso.
Bem, é através deste Wii que calculamos isso, então esse valor Wii que é o resultado da
nossa rede é realmente assim.
Então, eles têm o mesmo de cada vez.
Todos esses agentes estão contribuindo para o mesmo crítico.
Eles não têm críticas separadas que eles têm um crítico comum e essa é a chave de como o ator
crítico se relaciona com o seu síncrono.
Então, há um crítico que está nos observando enquanto eles ganham experiência.
Então, como calculamos o Wii.
Temos de conseguir o Wii.
Como você se lembra, podemos obter TV através dos valores que obtemos, de modo que as recompensas que recebemos pelo
meio ambiente.
E, assim como os agentes exploram seu ambiente, eles são calculistas, eles estão prevendo o Wii.
Além disso, eles têm o Wii que eles podem calcular.
Isto é tudo isso é tudo de volta ao que já discutimos nas seções anteriores
das pontuações.
existem neste labirinto e que eles já exploraram e, enquanto os exploram, é claro que esse valor pode mudar.
Então eles já têm um Wii que eles podem prever como esperar através das recompensas que
eles sabem que
Mas também eles têm o Wii que este é o resultado da rede neural, de modo
que eles estão passando por isso, eles estarão ajustando suas redes neurais para combinar melhor o esperado.
Então, basicamente isso é compartilhado, a parte crítica é compartilhada entre os agentes e é assim que eles compartilham as informações entre si
e assim são capazes de ver o que está acontecendo no ambiente compartilhado entre si
e depois usar isso como nós Veremos mais adiante na próxima parte em vantagem.
Então, use isso para otimizar a forma como eles estão se comportando no meio ambiente.
E a outra coisa a notar aqui é.
Então, isso foi um C.
Isto é como o núcleo da A-3 até aqui.
Este é um tipo de versão de 08:30 Mas existe uma implementação ainda melhor do que isso.
e o lado prático das coisas e sobre o que ele vai falar é como o criador de Pi Torche
realmente fez um ajuste para um dos códigos que foram compartilhados e obter o hub onde ele levou tudo isso, como você
pode ver agora, eles têm redes neurais separadas e eles mostraram que o ajuste que foi feito
foi realmente levar todas essas redes neurais e colocá-las em uma Pegue-os e coloque-os.
A através de C, na qual você vai realmente ouvir, gostaria de falar sobre um dos primeiros
tutoriais
Então, em última análise, existe apenas uma rede neural compartilhada entre os agentes.
Então, antes de cada um deles possuía uma rede neural compartilhada pelo ator e pela crítica, uma
rede neural Shelfer real para o crítico, uma rede neural compartilhada por precisão.
Agora todos eles têm uma rede neural compartilhada pelo ator ou crítico crítico real x ou crítico.
E então o crítico está aqui em comum.
Então vamos ver.
Vamos mover essas fotos para a esquerda aqui, então faça algum espaço.
E esta é basicamente a arquitetura ou a estrutura que vamos usar nos
tutoriais práticos.
Eu sei que assim pode parecer um pouco irresistível neste estágio, mas nós temos mais um para falar
sobre qual é a vantagem e aí vamos vê-lo melhor em ação.
Como é que vamos falar sobre a intuição em ação.
Mas, em geral, isso é o que é isso.
Isto é, existe uma rede que cada agente usa ou compartilha.
Basicamente o que isso significa é que eles compartilham os pesos dos pesos da rede são compartilhados entre as
idades e quando atualizá-lo, eles atualizam toda a rede não apenas a sua própria rede.
E então eles têm resultados que eles têm como essas ações para cada agente e então eles têm o crítico que
é compartilhado, que será monitorado.
Então eu sei que tudo isso é como se houvesse muitas coisas agora, mas espero que ele esteja lentamente se
juntando pelo menos.
O principal takeaway daqui é o crítico porque é compartilhado.
que os agentes conseguem garantir que eles estejam cooperando juntos para obter o resultado muito mais rápido.
É assim
E então, no próximo tutorial, veremos ainda mais como tudo isso se resume.
Tudo isso vem junto.
E por enquanto, há como eu gostaria de recomendar ou gostaríamos de recomendar uma leitura
adicional.
Então este é um blog de Jaromir Jansch.
É chamado Vamos fazer um A3 ver implantações é realmente duas partes de implementação e teoria.
é especificamente para este tutorial, apenas não apenas para o Sutro, mas é para toda essa seção.
Existe o link e é muito semelhante ao que a Adlon estará implementando no lado prático do
tutorial, portanto, não
Incentive algumas informações adicionais sobre isso.
E é por isso que estamos trazendo isso aqui.
Mas, no entanto, no próximo tutorial, vamos começar a puxar tudo isso juntos.
Tudo o que discutimos.
E espero vê-lo na próxima vez.
E até então, aprecio I.