Olá e bem-vindo ao Statoil.
Então, agora o agente fez sua exploração e, em seguida, quando ele está prestes a fazer é atualizar a rede compartilhada.
Então, a primeira coisa que vamos fazer é inicializar o cumulativo do que vamos chamar de capital R
e nós o inicializaremos como um tensor da tocha, mas isso terá dimensões um por um porque é apenas um valor,
mas nós queremos para ser um tensor.
E então estou usando aqui, mas zeros e depois 1 1.
Então, basicamente, a recompensa cumulativa é inicializada para 0.
Ok, então, dizendo se não terminamos, se o jogo não acabar.
O que queremos agora é a recompensa cumulativa para ser igual ao valor do último comércio
alcançado pela rede compartilhada.
Então, vamos conseguir o resultado do valor.
Você conhece o valor das saídas de funções do nosso modelo e este é o valor que daremos à comunidade em
que trabalhamos.
Então, primeiro obtenhamos esse valor, podemos obtê-lo dessa maneira.
seguida, o sublinhado novamente e, em seguida, obtemos o nosso modelo, porque ele irá produzir esse valor, mas apenas o primeiro resultado
da coisa moral a fazer é o dobro em seu curso aqui e aqui podemos copiar apenas o que temos aqui.
Valor, então você sabe, pois só queremos o valor que podemos adicionar aqui sub-core e, em
Essa é a entrada do modelo com as imagens de entrada e a atração dos estados e estados do Sul.
Então eu apenas coloco isso e lá vamos nós.
Obteremos o valor.
E agora, o que vamos fazer é dar o nosso valor para que todos sejam iguais ao valor e para acessar o
valor que começamos a começar.
Tudo bem.
obter o resultado do modelo, o primeiro resultado do modelo, que já anexa esse novo valor à lista de valores.
Agora, a condição if é feita e agora o que vamos fazer, já que acabamos de obter um
novo valor, você sabe
Portanto, podemos levar diretamente nossa lista de valores, em seguida, em direção a uma barraca e nós colocamos a variável são porque a nossa.
Este último valor tão grande que é feito agora.
Vamos inicializar as perdas e recordar as palestras de intuição.
Você tem duas perdas.
Você tem a última da política que é a última relacionada com as previsões do agente.
E então você tem o último valor que está menos relacionado às previsões do crítico.
Então, vamos apresentar essas duas variáveis ​​inicializadas em zero e eles vão levar
aqui política para nós perda de política horrível.
Inicialize-o para zero e, em seguida, o valor perdeu muito do valor e diga inicializado para zero, então não vamos esquecer de
definir a recompensa cumulativa como uma variável de tocha porque precisamos que ela seja uma tocha Roybal
porque estaremos calculando um gradiente com respeito a isso porque a recompensa cumulativa será um
termo da perda de valor.
Então, isso é viável, agora está ligado aos gráficos dinâmicos com um gradiente.
tendência que você conhece quando aplicamos o gás degradado ao sol para reduzir esse último entre as previsões e os objetivos.
E agora, finalmente, a última coisa que precisamos fazer antes de iniciar o loop de grande
Bem, precisamos inicializar o GAAP para estimativa de vantagem generalizada e não obtê-lo ou não revestido.
Tenha cuidado com essa GAAP, a variável que estamos prestes a inicializar agora é uma estimativa de
vantagem generalizada.
Assim, como lembrete, a estimativa de vantagem generalizada é, por definição, a vantagem de jogar a
ação a observando o estado s.
Portanto, é uma função da ação e do estado s e é igual à diferença entre os q
valores Q A S e o valor da função V.
Então, na verdade eu posso escrever aqui.
A estimativa de vantagem generalizada é uma função da ação e do estado s e que é igual aos
q valores da ação A e do estado S menos o valor da função V aplicado ao
estado s.
Estas são as vantagens generalizadas a mencionar e é isso que queremos inicializar agora.
E vamos inicializá-lo para zero.
para dançarinos que iriam usar o mesmo truque que o que acabamos de fazer aqui, vamos pegar
a biblioteca da tocha e aplicar a função da zebra para configurá-la como um tensor de um único valor que é zero.
Mas tem que ser
E vamos usar essa nova variável g e isso será igual àquela tocha que os zeros 1 um como
nos inicializamos.
Então, isso será inicializado para zero e, portanto, os q valores da ação o estado s será igual
ao valor da função V do estado s.
Tudo bem.
E agora estamos prontos para iniciar o loop for.
Então vamos ter uma aventura aqui.
Então dê uma boa pausa e vejo você no próximo tutorial para atacar isso.
E então eu.