Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Na história de hoje, estamos falando sobre o final a em um 3C.
Estamos falando de vantagem.
Então está lá.
Nós já falamos sobre crítico ator e um síncrono anteriormente.
E então ele construiu um caminho para o que estaremos olhando hoje e com vantagem
vamos juntar tudo.
entre os agentes os agentes assíncronos e depois temos o crítico que também é compartilhado entre a idade e assim.
Então, é isso que temos até agora, temos uma rede neural que é compartilhada
Como tudo isso se desempenha e por que esse crítico é compartilhado entre os agentes.
Vamos dar uma olhada nisso.
Bem entende melhor, vamos ver um exemplo, vamos olhar para este agente, por exemplo, e ver o que acontece
quando ele está em um determinado estado e ele precisa tomar uma decisão sobre as ações a serem executadas.
é que esta informação entra na rede neural que ela vai para o covil convolucional, depois entra na laje de agrupamento, depois
entra no covil achatado e, a partir daí, entra no camadas escondidas da rede neural e, em
seguida, como saída, ele obtém todos esses valores de política que você valoriza é a política.
Então, este agente está em um estado em que ele vê essa imagem e, então, o que acontece
E também ele obtém o valor do crítico.
E assim que conhecemos as redes neurais para operar, eles precisam propagar certos erros ou perdas de
volta pela rede.
Então, desta forma, para atualizar os pesos, então, o que espera ou então, quais perdas nós vamos tratar
aqui.
Bem, somos duas perdas.
Temos a perda de valor e os postagens.
Portanto, a perda de valor está vinculada ao valor que a perda parcial está vinculada a pools e tão valiosa.
Nós já lidamos com isso antes.
Sabemos que temos recompensas e sabemos que temos um fator de desconto, basicamente, isso é muito
semelhante ao que estávamos falando na conversão em tutoriais de aprendizagem profunda.
Basicamente, a rede prediz um certo valor V e, ao mesmo tempo, podemos estimar o que deveria basear-se no que sabemos sobre o meio ambiente até
agora, podemos estimar o que o valor deve ser no estado e comparando os dois, podemos calcular o
valor A perda e, em seguida, a rede de propagação traseira atualizam os
pesos.
Então, é por isso que está a favorecer o novo problema aqui é a perda da política.
E então, qual é a perda dessa política e como isso funciona?
Bem, esta é a parte em que toda a situação em que o crítico é compartilhado entre
os atores ou entre os agentes vai finalmente surgir.
Então, para entender a perda de palsu, precisamos introduzir um valor chamado Advantage, portanto, o nome desta
parte da história nesta parte inteira do Salyut, a vantagem e a vantagem é calculada como Q
como um A menos V de s.
jogar toda a ação que você escolheu para jogar no estado em que você está no estado S menos o valor desse estado.
Então, basicamente, o valor Q ou que você escolheu para
Então, esta é a diferença entre os dois e isso é chamado aquele.
E a vantagem é usada no cálculo do sem pulso.
Agora, não vamos entrar na fórmula do cálculo sem pulso porque é bastante complexo usar entropia
ou pode usar entropia não precisa.
Não vamos dissecar essa fórmula, mas vamos entender isso em um nível intuitivo.
Por que estamos fazendo isso por que estamos calculando essa vantagem e como isso vai nos ajudar.
Bem, vamos ver essa premissa por um segundo.
O valor Q aqui vem do que a rede neural previu para este agente e, portanto, preditiva nesta ação específica nesse estado específico
para a ação que pode desempenhar, de modo que tenha essas ações
e pode deslizar uma delas e pode reproduzi-la bem, enquanto o valor Wii é o valor que é ditado pelo
crítico.
É o valor que temos aqui nesta parte compartilhada e essa é a chave aqui que esta parte é compartilhada
para que o crítico quebra porque é assim que o crédito entra em jogo.
Porque temos um valor que escolhemos ou a ação que escolhemos jogar para esse agente
nesse estado.
Mas então o crítico pode nos dizer qual é o valor conhecido desse estado, o que é o valor conhecido para todo esse
grupo de agentes que estão se apresentando juntos porque o compartilhamento não responde porque o B inicial porque eles estão
compartilhando o crítico Todos eles contribuem para isso para esses valores de v que estão sendo calculados
para um conjunto diferente para o todo a. O algoritmo z diz OK.
Então, o crítico conhece um valor v quanto melhor seu valor q você está selecionando em comparação com o
valor v conhecido.
Isso é o que está dizendo.
Então é basicamente isso.
Então, eu vou selecionar um valor de q aqui com base em minha política baseada em se o que quer que possamos usar como
uma função máxima macia ou sobre ou uma política de Epsilon Grealy ou algo assim.
E é claro que iremos explorar a exploração e a exploração combinada, mas selecionamos o valor
Q e agora a questão é o que é extra.
O que isso repreende, qual é a vantagem que a ação selecionada traz em comparação com o valor conhecido desse
estado e essa é a essência da vantagem e, basicamente, isso é usado para calcular a perda de política e,
em seguida, a perda de política é então propagada novamente através da rede para a rede.
são ajustados para que a rede represente melhor o valor do crítico e também é a parte superior.
Então, eles estão de volta propagando através de uma rede e os pesos
Mas, então, isso também faz parte da chave aqui é que o valor dos pesos é o bakra.
Quando é que estas postagens de volta esquecem que as taxas são ajustadas de tal forma que esta vantagem é
maximizada, de modo que é esse o lado intuitivo da compreensão intuitiva de que estamos
de volta essa política por último através da rede para ajudar a maximizar essa vantagem.
E o que isso significa é, basicamente, que quando um agente se depara com ações ruins, como ações em que
o q é menor do que o valor conhecido para o estado.
algo X e, de repente, você encontrou uma ação muito ruim e o que você escolheu sobre ação.
Então, basicamente, todo o algoritmo ATC sabe que o valor para o estado é
E o que isso significa para o entusiasmo é tão bom porque faremos algo assim quando é pior do
que já sabemos o que já conhecemos sobre todo esse ambiente e o que poderia ter feito.
Então não devemos fazer mais disso.
E, portanto, os pesos são apenas de uma maneira para que isso aconteça é mais raro.
Então isso acontece menos raro.
Então, é uma ocorrência menos frequente que escolhemos aquela ação ruim.
assim, o algoritmo de atresia pensará bem, o que realmente é legal, que o Wantage estava muito alto lá.
Por outro lado, se você escolher uma ação muito boa, onde q valor é
maior do que V ou muito maior, então, quando durante este atraso da perda polonesa através da rede, os pesos serão atualizados e de forma a
reforçar isso para incentive-se a tranquilizar que isso aconteça de novo para que os pesos
sejam ajustados de tal forma que,
Eu deveria fazer mais disso e, portanto, você atualizará os pesos de tal forma que será mais provável que
ocorram no futuro essa ação.
que a rede está lentamente a adaptar-se lentamente e, lentamente, vai se construir em algo que, por
um lado, calcula o valor corretamente e, por outro lado, ou o mais correto possível.
Então e, portanto, você sabe
E, por outro lado, incentiva ou tem ações que possuem uma grande vantagem.
Então, vamos lá. É essa é essa parte.
E agora vamos dar uma olhada em outro apenas para reforçar o que acabamos de discutir no topo 1.
Então, o mesmo aqui.
e, então, precisa decidir o que fazer, uma vez que esta informação para as redes dessa imagem usam a internet para se convolucionar, eles
estão puxando seu achatado Lehre entra nas camadas ocultas e depois daqui obtemos um
resultado que obtemos os valores agudos da política, obtemos os valores V novamente a mesma coisa, temos duas perdas.
As principais agências de uma situação em que um estado está em um estado
Nós temos a perda de valor que é a perda polonesa aqui que é perda de valor aqui.
Nós já sabemos como é calculado.
Quando discutimos isso na aprendizagem Q profunda e apenas discutimos agora também.
Então foi assim que o valor foi calculado e, em seguida, a perda de política novamente para calcular o que não vamos
entrar para ele.
que está certo, então nós tomamos uma determinada ação, nós escolhemos uma determinada ação com base em nossa política de seleção,
seja o Max macio ou o aumento de ganância ou qualquer outra política social que estamos usando.
Mas, em um nível intuitivo, estamos calculando essa vantagem, o
E então, qual é a ação que tomamos? Agora, vamos comparar isso com o conhecido e o valor do estado, que vem dos críticos compartilhados,
de modo que esse crítico é como se você pensasse que é meio que observa todos
esses agentes, ao mesmo tempo, está olhando Com este olhar para este, todos eles estão contribuindo para
um crítico para obter o crítico mais rápido com o meio ambiente para se certificar de
que o crítico é representativo do que está acontecendo no ambiente atual para que os pesos.
valor vem para que os pesos da rede neural real que eles refletem muito bem a situação
real das coisas no meio ambiente para que eles possam então contar com esse valor e depois usá-lo aqui.
É aí que a perda de
E, basicamente, basicamente.
Então, todos esses agentes, todos esses agentes estão contribuindo para esse crítico.
Mas, ao mesmo tempo, através desse valor sem valor, mas ao mesmo tempo o crítico está observando
as decisões ou as políticas dessas agências.
É como se fosse olhar para trás, eu estou tentando desenhar como uma flecha nos pólos, uma flecha
e uma flecha.
essa vantagem e dizendo que OK, você tomou uma decisão que escolheu, você escolheu essa ação.
Então, olhando para eles na decisão que eles estão fazendo, está criticando essas decisões por
Isso é ótimo.
Agora vamos calcular a vantagem ou a vantagem da desvantagem é igual a que você sabe que
o valor de Q pode ter feito a decisão que fiz ou a escolha que fiz naquilo que fiz escolhi pegar menos o valor
conhecido para o crítico.
Não sobre o crítico.
de Q ou esse valor de Q vai ser menor para que, porque nossa política seleciona as ações com
base nos valores de q, quanto maior o valor de Q, mais provável será selecionado.
Então, Kalika a diferença se é uma diferença baixa, você é polonês, quando você polir suas perdas de
volta propagadas através da rede da maneira como ela será ajustada vai encorajar os pesos a serem ajustados de tal forma que isso
não aconteça novamente que esse valor
Então, se estivéssemos usando como uma política de arco máximo, nós sempre selecionamos sempre um dos mais altos,
como você se lembra, discutimos isso, então sempre selecionaremos aquele com o maior valor.
Mas nós realmente estávamos usando uma abordagem probabilística em que eu estava usando como soft Max ou upselling
política gananciosa.
então estávamos basicamente selecionando onde podemos selecionar qualquer um deles, e quanto maior o cubo melhor.
E
Então, se selecionarmos algo e então a vantagem foi muito baixa, então a bomba será adicionada
de maneira que a próxima vez que o valor dessa ação seja menor e talvez outra coisa
seja mais.
Então é assim que isso é dividido e, por outro lado, se selecionarmos algo em que essa vantagem
será alta, então isso vai entrar nas leis de políticas e, em seguida, as
redes e a atualizamos para que seja mais comummente observado evento como cenário.
E, basicamente, toda essa perda polonesa ajuda a rede a se adaptar ou se transformar de forma tal que fazemos.
Moral das coisas boas, boas ações boas e coisas boas e faça menos coisas ruins.
E é assim que essas duas perdas entram em jogo e é assim que elas estão de volta.
Então, espero que isso se acerte de uma maneira muito intuitiva, é claro, não entrou nas fórmulas para
a complexa matemática por trás de tudo isso e gosta nos detalhes muito intrincados.
Mas, ao mesmo tempo, espero que seja intuitivo de maneira intuitiva.
Tudo isso aclara por que temos o ator e o crítico e como eles interagem juntos que você sabe
que você tem esses agentes de lado assíncrono ou síncrono de coisas.
Então, este é o seu ator e crítico e esta é a vantagem e como isso tudo entra em jogo.
Portanto, esses são agentes síncronos.
Eles estão indo.
Eles estão jogando isso ou explorando o meio ambiente e trabalhando através do meio ambiente e
todos contribuem para um crítico que está observando suas políticas observando os atores que é o que isso é
chamado.
E através dessa vantagem e, portanto, chegar isso representa uma perda e, em seguida, a perda de política e valor ou
propagação de volta para apenas a rede, a fim de.
Por um lado representam o verdadeiro caminho das coisas no meio ambiente.
Outra mão para melhorar as performances dos atores.
Então vamos lá.
Esse é um rápido recapitulação da intuição que discutimos.
Mais uma vez, espero que tudo isso esteja se juntando em um nível intuitivo e, claro, nos
tutoriais práticos. Falaremos mais sobre como tudo isso funciona em Atlanta, nós o seguiremos por esse processo de proprietários
de edifícios.
imagem em sua mente e este tipo de como um roteiro de tudo como se juntará será
bom, é o que espero seja muito útil para você navegar melhor o lado prático das coisas.
Mas ter esta
E em termos de leitura adicional para hoje, temos dois elementos, primeiro o primeiro em vantagem.
Então, aqui temos um controle contínuo demencial elevado usando a estimativa de vantagem generalizada por
John Shulman e esta é uma imagem de uma figura de vara levantando-se como pé.
E aqui você pode encontrar ainda mais sobre vantagens e vantagem e você encontrará todos os diferentes
tipos de vantagens.
a vantagem e exatamente como funciona as fórmulas por trás disso e alguns dos
os principais elementos ou fórmulas superiores e sem furos no espaço desta vantagem.
Você obteve a vantagem geral na estimativa e você tem vantagens que você usa realmente nos formulários nos cálculos, então, se você
quiser saber mais sobre
Nós os discutimos.
Este é o artigo a seguir.
E mais um outro elemento que ou um trabalho que queríamos lembrá-lo sobre o blog é uma série de postagens
do blog de Arthur Giuliani, que já mencionamos algumas vezes.
Esta é a segunda parte, que é especificamente sobre o mar A-3.
Então, aqui, você pode obter uma outra explicação.
Então, com um pouco mais de matemática sobre o que está acontecendo e você talvez você possa pegar algumas coisas
adicionais daqui.
Apenas duas coisas a ter em mente, antes de tudo, como sempre, este blog é seguidores mais intensos, estamos usando
pi tocha.
Portanto, tenha isso em mente.
E a segunda coisa é que a forma como estruturámos nossa abordagem é que falamos sobre crítico ativo primeiro,
então falamos sobre um síncrono.
Arthur sobre um Synchronoss um ator crítico, uma vantagem, então tenha isso em mente, então espero que não o expulse.
E então conversamos sobre vantagem, enquanto que no primeiro registro de
Mas, além disso, claro, é um ótimo conteúdo.
E recomendamos que verifique algumas informações adicionais.
Então, vamos lá, espero aproveitar o tutorial de hoje.
E espero vê-lo na próxima vez.
Até então, aproveite.
EU.