Olá e bem-vindo à história.
Agora, vamos fazer o loop for para calcular a perda de política e a perda de valor e,
uma vez que temos essas duas lições, poderemos usar nosso otimizador para colocar para obter cigarro na
areia para reduzir as perdas.
Tudo bem, então vamos lá.
Começamos aqui, a propósito, no tutorial anterior, implementamos esta seção e esqueci de remover as
sangrentas desculpas por isso.
Então, a partir daqui, não está no outono.
E agora estamos iniciando um novo ciclo completo, então eu estou começando aqui com quatro.
E agora, o que vamos fazer é que vamos começar do último passo que foi feito durante a
exploração e vamos avançar no tempo.
Então é por isso que eu estou fazendo por mim em recompensas de terra de alcance reverso, as maiores recompensas são as menores.
E dado que cada passo da exploração está associado a onde trabalhamos, porque em cada etapa recebemos recompensa
quando, então, nós falamos.
Esse número de etapas e este reverso aqui são usados ​​para que possamos voltar para o tempo para que possamos ir.
o que faremos é atualizar a recompensa cumulativa que está longe e vamos atualizá-la dessa maneira.
E agora,
Na verdade, é o mesmo que fizemos com a Doom.
É igual à gama que obtemos de nossos parâmetros e a partir dos primeiros programas que não são muito maiores,
além da recompensa deste, que podemos obter ao receber a menor recompensa e tomar o índice.
Então, para nós, este será o trabalho do último e depois será a recompensa do dia anterior e etc.
e cada vez que atualizamos nossa, multiplicando-a por gama e depois adicionando esta recompensa no conjunto.
E assim, fazendo isso, lembre-se de que iremos no final.
vierem e nós receberemos nossa recompensa da comunidade que será legal no final do loop para o nosso zero.
Então eu vou escrever isso à medida que eles
A recompensa do passo zero mais os tempos de gama são um.
Nós fomos os primeiros que mais a gama de vezes são a palavra.
O segundo passo mais que mais a gama na potência de e menos uma vez a recompensa alcançada no passo e menos 1, onde qualquer
número de etapas, mas depois tenha cuidado no final, teremos uma gama na medida do
número de etapas.
Os tempos desvalorizam o valor da função aplicada ao último estado.
É o que devemos conseguir ainda.
E isso vamos conseguir isso porque lembre-se aqui, obtivemos esse valor e o último passo, porque isso foi feito
no final deste loop aqui.
E então obtivemos o valor e estabelecemos que seja igual a esse valor.
Então, no momento, no início do segundo ciclo completo, será igual ao valor da última
data.
Mas então, ao fazer isso, isso é o que receberemos no final são iguais ou zero por cento ou um campo
de tênis ou dois mais podem adicionar o poder e menos uma vez que estávamos no passo e menos
um jogo mais ao poder do número de passos, esse valor dos Últimos tempos.
Então, essa é a principal coisa a entender e esta pode ser a ação da recompensa cumulativa.
E é por isso que é importante começar com isso inicializando ou com o aqui e fazendo esse
loop invertido para obter esta equação final perfeita.
E agora, agora que temos o valor certo para a recompensa cumulativa. Bem, calcularemos a vantagem e
a vantagem aqui é apenas a vantagem de obter essa recompensa em relação a elas.
Então, vou apresentar uma vantagem evolutiva e, portanto, será igual a essa recompensa cumulativa
menos o valor da função V obtida no estágio.
Então, portanto, esses são os nossos valores negativos.
Perfeito.
E agora que temos a comunidade em que trabalhamos e a vantagem, podemos obter a perda de valor.
Este é o primeiro que podemos obter agora.
Então, vamos conseguir que nosso valor seja muito bom e isso será atualizado da seguinte maneira.
Lembre-se até agora de que nos desvalorizamos foi inicializado para zero.
E então vamos levar a perda de valor novamente e em 0. 5 vezes o quadrado para a vantagem para que possamos conseguir isso
dessa maneira.
Advento pensou também.
Então, isso significa apenas compensar a vantagem do poder e esse é exatamente o valor
mais a perda gerada pelas previsões do valor das saídas de função pelo riacho.
E então faz sentido que isso seja desvalorizado apenas porque lembrar a vantagem da ação no estado
s é a diferença entre o valor Q eo valor da função B.
E assim, quando jogamos a ação ideal Bem, obtemos o estado estacionário com Q otimizado da ação ideal,
um jogador estrela no estado é igual ao valor ideal.
Vistar do estado s.
entender que, quando a vantagem não é igual a zero, haverá uma diferença entre esses dois.
Portanto, é bastante intuitivo
E, portanto, é assim que o último é medido.
ESTÁ BEM.
Então, o último cálculo final acabou.
Agora temos mais um para ir.
da política e é isso que vamos calcular agora e, para computá-la, precisamos considerar
novamente a estimativa da vantagem generalizada porque, para calcular a perda de políticas, precisamos estimar a vantagem generalizada
e obter as vantagens generalizadas da nação precisamos primeiro da diferença temporal das válvulas de estágio.
É a perda
Então, temos várias coisas para calcular aqui e vamos começar com essa diferença temporal uma vez que
obtemos a diferença temporal.
Obteremos a estimativa da vantagem generalizada e, uma vez que obtenhamos as vantagens
generalizadas, faremos as penínsulas.
Tudo bem.
Então vamos começar com a diferença temporal T. G. gera o valor desta dívida mais uma
e adicionamos esses dados para acessá-lo menos o valor do passo I e o mesmo que adicionamos os dados.
DD é igual à recompensa do passo I, mais Gana, que obtemos a nossa lista de programas, então a Bromstad
Tudo bem.
Essa é a fórmula da diferença temporal e os valores do estado.
E agora podemos atualizar a estimativa de vantagem generalizada e como é datado.
Bem, nós tomamos o R-GA e nós o multiplicamos por gamma times gamma times, de modo que nós também acessamos com nossos
parâmetros.
Então, levamos programas de células e adicionamos essa diferença temporal dos valores do estado.
Por isso tem cuidado.
Estamos no circuito.
E cada vez que multiplicamos o passo a passo e acrescentamos uma diferença temporal.
Por isso, é importante entender que no final deste loop. Bem, essa estimativa de
vantagem generalizada será igual à soma em todas as etapas de tempos-gama, de modo que o poder de i vezes a diferença temporal no passo
seja tão importante para manter isso em mente.
E agora que temos a estimativa de vantagem generalizada e a diferença geral, podemos
finalmente calcular a política.
Então vamos fazer isso.
Vamos atualizar as nossas leis de política da seguinte maneira, levando a política antiga para nós e restravemos as
probabilidades de LUGG obtidas no passo que multiplicamos por esta estimativa de vantagem generalizada que temos que colocar uma
variável porque então vamos computar os gradientes.
Portanto, ele deve ser anexado aos gradientes no gráfico e depois adicionamos menos 0. 1 vez a entropia.
A entropia obtida no passo no outono.
E de novo.
Agora tenha cuidado.
alguns sobre as etapas do luggin do produto na política nos tempos de etapa para estimativa de vantagem generalizada.
Este é o interior do loop, o que significa que no final da gripe o que você receberá é política mais
igual, menos
Além disso, 0. 01 vezes a entropia faz o que nós conseguimos.
E agora, qual é a política do eu.
Bem, essas são as probabilidades macias de Max das ações e a entropia disso que eu vou saber o
que é é onde nós calculamos anteriormente.
E o que pretendemos fazer uma lista.
Então nós já temos isso.
Mas este ano eu ouço que é a probabilidade macia de Max das ações.
E por que colocamos um menos aqui.
Isso porque a sorte da probabilidade e a entropia são valores negativos.
E como queremos minimizar seu valor absoluto, devemos ver isso como a probabilidade de LUGG, ao contrário
de uma distância.
Não, queremos maximizar a probabilidade de ação que maximize a vantagem.
Essa é a ideia por trás disso.
para aqueles de vocês que possam estar se perguntando qual é o propósito dessa entropia eficiente.
Queremos maximizar a probabilidade de jogar a ação que maximizará a vantagem e
Existe esse fator 0. 01 aqui.
Bem, o objetivo disso é apenas evitar que ele caia muito rapidamente em uma armadilha onde temos uma distribuição de
probabilidades com zeros para todas as ações, exceto uma que tenha uma probabilidade de uma.
E se isso acontecer, isso minimizaria a entropia.
Então é por isso que estamos adicionando essas pequenas revisões 0. 01 ano que fará com que a entropia
aumente no Grande no sentido.
Ok, então agora a boa notícia é que a parte mais difícil é feita.
Nós temos as duas perdas e, portanto, o que precisamos fazer agora e já sabemos como fazê-lo é
realizar apenas para obter uma nota no sentido de reduzir essas duas classes.
E então o que vamos fazer agora é sair deste loop e nós vamos pegar o nosso otimizador.
O que fizemos separadamente, então lembre-se que a primeira coisa que temos a fazer é inicializar todos
os parâmetros de classificação para zero e, para isso, adicionamos que, em seguida, a zero e é chamado de método de graduação.
Tudo bem, então está pronto.
Agora vamos fazer propagação para trás, mas vamos dar duas vezes mais importância à
política do que o valor perdido porque a política é menor.
Então, para fazer isso, vamos colocar a política de parênteses e a pontuação mais mais 0. 5 perda de valor, portanto 0. 5 vezes o valor para nós e vamos adicionar
aqui que aplicamos o método atrasado para realizar a propagação para trás e graças a este truque aqui
com a política menos mais metade do valor que temos duas vezes mais importância
para a política do que o Vaness.
OK, então vamos usar outro truque, que é para evitar que o gradiente tire
valores extremamente grandes e, portanto, gere o algoritmo.
o módulo da biblioteca da tocha, em seguida, o submodule utils e agora vamos usar uma função
CLEP undercore grad's na norma de pontuação e vamos entrar no nosso parâmetros do modelo com uma segunda entrada que será 40.
E o truque para fazer isso é obter primeiro a nossa biblioteca de tocha, em seguida, o fim e
E esse truque basicamente assegurará que os gradientes não tomem valores extremamente grandes
e gerem o algoritmo.
E para aqueles de vocês que talvez estejam se perguntando se esses 40 anos.
Exatamente.
Bem, isso significa que estamos usando esses valores, de modo que a norma do gradiente permanece
entre 0 e 40 e, portanto, é assim que impedimos o gradiente de levar para grandes valores.
OK, agora já terminamos.
Lembre-se de que fizemos esta e certeza a função Gretz compartilhada no início do outono, que é garantir que
o agente e o modelo compartilhado compartilhem os mesmos gradientes e para fazer isso para garantir que possamos
aplicar esta função aqui.
E então vamos adicionar e com certeza compartilhar grad's para garantir que o modelo moral e compartilhado compartilhe os
mesmos gradientes.
Tudo bem, então é apenas uma precaução.
Não tenho certeza de que isso seja totalmente necessário, mas você sabe, pelo menos, não vamos ter um problema aqui.
OK.
E, finalmente, a última linha de código, é claro, vamos realizar o passo de otimização para reduzir
as perdas e você sabe como fazê-lo, é claro, nós levamos o nosso otimizador e adicionamos esse passo com parênteses e
então vamos ao treinamento de nossos cérebros é sobre.
Então, parabéns.
Espero que isso não seja muito esmagador.
Não se preocupe. Vou fornecer o código com todos os comentários.
Então, se você perdeu qualquer detalhe, pode dar uma olhada nos comentários.
E não se preocupe se você não entendeu nada, isso é muito avançado.
Mas tenha a certeza de que esta é também a visita de lembrança mais poderosa feita pelo criador de pi.
Então, estamos realmente trabalhando com o melhor aqui.
O estado da arte por isso é totalmente normal se você não conseguiu tudo pela primeira vez,
mas trabalhando nisso muitas vezes, você ficará cada vez mais confortável.
Então, acabamos com o treinamento.
Então, basicamente, fizemos todas as coisas mais importantes que você conhece que criamos os cérebros construindo as arquiteturas das
redes neurais com as convoluções do LCN e as camadas totalmente conectadas.
Nós treinamos seu cérebro fazendo este código de trem aqui.
Então, basicamente, o coração do algoritmo está pronto.
Você fez o A3 ver parabéns.
Agora, temos mais algumas coisas a fazer, mas isso é apenas para obter a parte divertida.
Você sabe que precisamos fazer este teste que descobrimos que testará os agentes e fornecerá os vídeos e
o avião explodir.
Então, isso será muito divertido de assistir, não codificaremos todas as linhas desse teste que eu caí porque, como
dissemos, fizemos o mais importante.
relacionados, mas, claro, explicaremos o código e, eventualmente, teremos esse compósito que eu encontrei, que executará o código.
Todos os 23C
E a partir do momento em que executamos este código, todo o código será gerado.
Então os cérebros serão feitos.
O treinamento acontecerá e o olho vai jogar novos jogos de fuga e nós vamos receber todos os vídeos.
Então eu não posso esperar para eventualmente vê-los.
Vamos ver se ele é inteligente o suficiente para pegar a bola.
Então, agora vou ver no próximo tutorial para esta UI de desktop, para que possamos testar a AI em
alguns novos jogos.
E até então, desfrute da AI.