Olá e bem vindo a este tutorial no Statoil de hoje, vamos sincronizar com o modelo compartilhado.
Então, o que vamos fazer é ainda enviar a função, é claro, e então inicializar o comprimento de
um episódio.
Então, vamos chamar o comprimento de um episódio e os comprimentos desse núcleo que vamos e
vamos inicializar para zero.
Mas, então, esse comprimento presente será incremental.
E falando de incrementos em que é exatamente o que faremos.
e usar esse truque para dizer, enquanto verdadeiro Kallen, repetir o que vai acontecer agora, o que acontecerá dentro desse mundo.
Então, vamos usar um loop de tempo
E então, a primeira coisa que vai acontecer neste loop é esse incremento da duração de
um episódio.
Então, a primeira coisa que vamos fazer é incrementada em 1 e, assim, podemos simplesmente
ter comprimentos de episódios e adicionar aqui mais é igual a 1.
E agora vamos sincronizar com o compartilhamento mais.
Isso significa que é agora que o agente obterá usará o modelo compartilhado para fazer sua pequena exploração em
um certo número de etapas e como o modelo vai conseguir esse modelo compartilhado.
Bem, precisamos levar a nossa moral do que isso e, em seguida, usar o método de carga do Dick, porque vamos
usá-lo para obter o dicionário de estado do nosso modelo compartilhado, então nós temos que colocar o modelo compartilhado primeiro e aplicar então
o método estático para obtenha os parâmetros do modelo compartilhado.
E é assim que o nosso modelo aqui irá obter o modelo compartilhado para sua pequena exploração Ok.
E uma vez que o modelo obtém esse modelo compartilhado, agora temos que distinguir dois casos.
O primeiro é se feito significando se o jogo é feito para que o jogo esteja pronto, então o que acontece nesse caso.
Bem, devemos reinicializar os estados escondidos e os estados celulares do LSD e do shopping.
X os estados celulares e também envelhecer X os estados escondidos e vou re-inicializar livros e como você vai reinicializá-los.
E então é por isso que vou pegar Ver
Bem, com apenas zeros, haverá um vetor de 256 zeros, porque lembre-se das saídas do resto.
Como mencionei 1 e 256.
Então, vamos lá, vamos iniciá-los usando a biblioteca da tocha e a função do zero.
E uma vez que queremos um vetor de 256 zeros, iremos ouvir as dimensões um para o vetor e
256 para o número de elementos que serão zero e depois iremos.
Mas, então, vamos converter isso em uma tocha Voivode porque, em seguida, alguns gradientes serão computados.
Portanto, precisamos integrar isso com um gradiente.
Tudo bem.
E nós vamos fazer o mesmo para os estados escondidos logo abaixo e realmente analisá-los da mesma maneira.
Aqui vamos nós.
Então, se o jogo estiver pronto.
E agora o outro caso com o qual podemos acessar com Else além do que acontece nesse caso.
Bem, vamos manter os antigos estados da célula e as apostas escondidas e, muito
facilmente, podemos manter os antigos desta forma digitando ver X igual a variável cx que dados e mesmo para isso nos Estados Unidos,
podemos simplesmente adicionar aqui H x igual variável xx que os dados estão em.
Bom feito.
Agora, podemos sair do outro, porque basicamente terminamos com estes dois casos, se o jogo acabou
ou não, mas ficamos no loop while, porque agora vamos fazer mais coisas que
basicamente são todos os treinamentos processo.
E então, o que vamos fazer agora é inicializar várias variáveis ​​que estarão no
centro dos cálculos no treinamento.
Então, vamos fazer isso, vamos precisar dos valores que lembram é a saída do crítico.
Essa é a função.
E nós os inicializaremos como um ninho vazio.
Desta forma, então, precisaremos ter probabilidades de arrastar.
Então, problemas de sorte e também o inicializaremos como uma lista vazia.
Então, é claro, vamos precisar de todas as palavras que também vamos inicializar como uma lista vazia.
E, finalmente, vamos precisar que a entropia é algo novo.
Mas isso é, de fato, no cerne das condições de treinamento.
Então, até mesmo assim.
iniciar um novo loop FOR e, em seguida, esse nymphal atualizará os valores dessas quatro variáveis.
Então, agora que inicializamos essas quatro variáveis, podemos
E então, este novo Foluke vai ser um aro completo durante as etapas de expiração e, portanto, a
variável de looping será os nossos passos.
Então, para um passo no alcance e no interior, podemos colocar diretamente pontos não-paradas porque o parâmetro em alguns passos é
exatamente o número de etapas da aceleração.
Então, para todas as etapas da aceleração, o que fazemos.
Bem, nós vamos conseguir as previsões do modelo.
levar o modelo e aplicá-lo às entradas que o sinal de entrada passa pelos cérebros no modelo.
Agora, o que é retornado pelo modelo e para obter essas previsões, podemos simplesmente
E isso nos dará as saídas, mas obterá vários resultados que você sabe que nos obterá
os valores da função que é a saída do crítico.
Então, o q valoriza QSA, que é a saída do ator, mas também não se esqueça de que
ele também produzirá o derrube dos estados de Doheny e estados pequenos, porque lembre-se se voltarmos para
nosso modelo bem na função direta, podemos ver isso mesmo Retorna a saída do crítico.
Esse é o valor da função sim, então a saída do ator que do cubo valoriza QSA e também o
resultado do CM, que é esse duplo verifica e vê X então Estados e os Estados celulares.
Portanto, devemos ter cuidado com isso.
Isso é bastante diferente do que aconteceu antes e, portanto, agora vamos aplicá-los todos
aos insumos que são o estado.
Mas agora existem várias coisas a fazer relacionadas à tortura.
Mas isso dá, naturalmente, o poder para o que estamos fazendo.
A primeira coisa que precisamos fazer é espremer os estados para adicionar essa dimensão que deve ter o
índice 0.
Isso porque o modelo só pode aceitar um lote de entradas e não um fim por si só em um vetor ou intenso.
Essa é a primeira coisa que devemos fazer e espremer, mas isso não é tudo o
que precisamos para converter nossos estados de entrada em uma tocha inesperada e eu aqui.
Então, agora estamos com o estado da polícia estadual, mas lembre-se de que as entradas das quatro funções são na verdade
a imagem de entrada.
Isso é o que acabamos de cuidar, mas também esse tipo de idade X os estados e os estados celulares e,
portanto, precisamos adicionar aqui.
Esta segunda parte da contribuição com seu apelo de idade X e 6.
Tudo bem.
E devemos seguir os parênteses.
Lá vamos nós temos nossas duas entradas, o primeiro é o estado de entrada que é imagens de entrada
todas convertidas em variável e espremidas para adicionar esta dimensão falsa do lote e eles param todos os estados
e os estados do Sul.
Então, estamos todos bons para ir.
Estamos prontos para obter nossas previsões.
E agora desde este retorno.
resultado do crítico, até o ator e o topo de todos os reinícios exigidos pelo CME.
Bem, nossas três previsões, o
Bem, vamos apresentar algumas três novas variáveis ​​agora que liberarão três saídas.
Então, nós obtemos o primeiro resultado é o valor da função V, que é a saída do crítico.
Então, vamos chamar isso.
Então vamos lá.
Esse é o primeiro resultado.
Então, o segundo resultado será a saída do ator.
E esse é o Q QSA dos valores.
Mas, como os valores de q estão associados às ações, também podemos chamá-los de valores de ação.
Tudo bem.
E, em seguida, encontrar uma saída retornada pelo dia seguinte.
Esse é o dobro do imposto de vendas escondido e os estados das células vêem X e então nós vamos, temos três
saídas retornadas por todos eles perfeitos.
Então, agora que temos as prédições, precisamos usar um Max suave para jogar a ação correta.
E agora, isso vai ser exatamente o mesmo que fizemos antes.
e quais, naturalmente, os valores reais que são os valores de q que são as saídas do ator no modelo.
O próximo passo é obter nossas probabilidades para que possamos chamá-las de e é aí que costumamos usar o
método Max que tomamos do módulo funcional que possui um tiro no ff que sofreu Max
e que irá gerar uma distribuição das probabilidades da entrada que estamos prestes a colocar agora
Ocasionalmente, temos nossas probabilidades, mas como você percebeu que vamos trabalhar com a entropia e
a entropia conjunta não só lideraria as probabilidades, mas também as probabilidades LUGG porque a entropia
é a soma do produto Lucke prob. vezes trub tudo isso multiplicado por menos 1.
E também precisamos ter nosso amor sobre o qual os mesmos serão gerados a partir de LUGG soft max.
que aplicamos ao cubo e usamos o que chamamos de valores de ação.
Então, em vez de tomar uma distribuição das probabilidades, tomamos uma distribuição das probabilidades e é isso que fazemos com o LUGG sofreu
a função Optimax para dizer
Tudo bem, então agora temos o problema e o bloqueio.
E então estamos prontos para obter a entropia e a entropia.
Qual é a fórmula para isso.
Bem, como acabei de mencionar, tomamos o prompt de chance que multiplicamos pelo produto.
Então vamos tomar a soma de tudo isso e, para isso, podemos adicionar aqui que alguém que realmente usamos a
rua muitas vezes agora.
E, como dissemos, multiplicamos isso por menos 1.
Portanto, é o menos da soma do produto.
Muitas vezes.
Perfeito.
E agora vamos armazenar essa entropia que foi calculada apenas na nossa lista de entropia.
Aí nós temos o último cálculo da entropia.
E, portanto, precisamos armazená-lo na lista de entropias e para fazer isso, nada mais simples, vamos usar
a função de anexar, é claro, porque as entropias são uma lista.
Então, nós levamos a nossa lista de entropias, em seguida, comece e usamos a função de anexar para adicionar
a entropia que é computada.
Tudo bem, então vamos dar uma pausa agora.
Vamos fazer isso passo a passo na próxima história, vamos jogar a ação fazendo um sorteio
aleatório dessa distribuição gerada de probabilidades.
E depois de jogarmos a ação, obteremos o valor desse estado e, eventualmente, vamos armazenar nossa
nova recompensa de estados de transição.
E assim será um novo grande passo feito e vamos completar isso no próximo obstáculo.
Até então, eu.