Olá e bem vindo a este tutorial do Python.
Então, vamos fazer isso, vamos fazer isso para o loop a partir da direita e indo para a
esquerda e, para isso, vamos adicionar quatro.
Então, este é um VAR iterativo seria o nosso passo porque iremos do último passo para o primeiro
passo de uma série de transições e assim por diante.
E então, o truque para ir da direita para a esquerda é usar para a inversão invertida.
E agora só precisamos inserir uma seqüência e esta seqüência será, naturalmente, nossa série.
Então podemos colocar nossas séries, mas como você pode ver no papel, vamos de T menos 1 para começar.
Então, não vamos do último passo que é o estágio terminal, mas o passo antes disso é para
menos, mas para começar é o primeiro passo.
E então, aqui para ir de não para dar esse passo antes que precisemos adicionar entre colchetes coluna menos um.
Tenho certeza de que para aqueles de vocês que seguiram a máquina aprendendo em um curso mais
profundo, você conhece esse truque. Kollin menos um significa que você está indo até o elemento antes do último elemento, mas não
até o último elemento e, portanto, nós conseguimos a sequência que queremos.
Isso é o que vamos passar do elemento antes do último elemento para o primeiro elemento e que fazemos
as coisas invertidas para ir da direita para a esquerda.
Tudo bem, então estamos prontos para entrar no loop for.
E então, dentro desse loop, o que vamos fazer.
Onde vamos fazer exatamente como no papel.
Vamos atualizar a recompensa cumulativa, multiplicando-a por Gana e adicionando a palavra alcançada na etapa
atual que está no passo do seguimento.
Tudo bem, então vamos fazer isso voltando para o Python.
E então queremos atualizar o nosso acumulado, trabalhamos da seguinte maneira, multiplicando-o primeiro pela gama.
Aqui vamos nós.
Aqui, multiplicamo-lo por gama e depois queremos adicionar a recompensa daquela que podemos acessar dessa maneira com
a estrutura especial.
Lembre-se que a palavra é um atributo do objeto.
E então, é claro, adicionamos uma vantagem.
Tudo bem, é uma recompensa cumulativa.
Igual queremos esse passo.
Estamos no momento agora o loop mais Gahanna vezes a recompensa acumulada anterior antes de ser um.
Perfeito.
Então, agora acho que estamos bem.
Estamos seguindo completamente o algoritmo.
E agora tempo para os próximos passos.
Bem, agora vai se tornar muito fácil.
Voltamos ao primeiro acompanhamento, porque este para o loop é apenas para calcular a recompensa cumulativa, não
indo da direita para a esquerda, atualizando desta forma.
Seguindo o algoritmo e agora, como você lembra, o objetivo de fazer isso é preparar nossas insumos e nossos objetivos
prontos para que possamos minimizar a diferença quadrática entre os dois para o treinamento.
E agora, o único que temos que fazer é obter essas insumos e os WC preparados.
Então, faça isso primeiro, o que precisamos fazer é adicionar a primeira data da série na nossa lista de peças.
Até agora, esse estado está em parte em nosso objetivo.
Isso foi apenas para calcular o resultado.
Então, vamos ter esse estado de entrada do primeiro passo separadamente, porque é exatamente isso
que precisamos acontecer na nossa lista.
Então, vamos fazer isso separadamente.
Portanto, nós vamos chamá-lo de estado.
E exatamente o mesmo que aqui, podemos obter desse modo, levando o primeiro índice da série que contém a
primeira transição e, em seguida, adicionando esse estado para obter o estado desta primeira transição.
Então, esse é o site que precisamos, em seguida, dizendo que vamos obter separadamente os objetivos associados a
esta etapa de entrada da transição.
E então, uma nova variável interessante aqui alvo que será igual ao valor da primeira etapa.
E uma vez que o valor Q é retornado pela rede neural e seu conteúdo e saída e,
uma vez que as saídas são a saída associada a esta entrada que contém a primeira transição bem, podemos obter
esse valor q da primeira data apenas tomando saída aqui e levando o índice zero.
E então, adicionamos esses dados que simplesmente nos obterão o valor Q do estado de entrada da primeira transição e esse
é exatamente o horário.
Q Então, daqui a pouco, vamos atualizar essa variável de destino, mas apenas para a ação que foi
selecionada no primeiro passo da série e acessar esta primeira etapa da série.
Bem, precisamos tomar a primeira série 0 porque este é exatamente o primeiro passo em uma série 3 0.
E para acessar a ação correspondente a este primeiro passo da série bem, precisamos adicionar aqui que a ação
novamente essa é essa estrutura de atributos que estamos usando você sabe que a ação é um atributo
do primeiro passo da série.
Essa é a primeira transição da série, porque cada transição da série tem a seguinte estrutura
de estado de ação de ação e, portanto, a ação aqui, essa ação de atributos aqui significa que estamos
simplesmente começando a ação desta primeira data.
E assim, o objetivo dessa ação específica do primeiro passo é exatamente o que precisa ser atualizado
pela comunidade do mundo.
Então, basicamente, aqui, vamos apenas escrever esse alvo associado à ação que foi tocada.
O primeiro passo da série é essa recompensa cumulativa que acabamos de computar.
estamos finalmente prontos para atualizar nossa entrada, acrescentando esta primeira estadia aqui e esta primeira está aqui pela primeira hora.
Tudo bem e agora
Só precisamos atualizar o primeiro passo da série, porque você sabe que treinamos o AI em 10 etapas e, portanto,
a entrada é o primeiro passo das dez etapas.
E também obtemos o alvo neste primeiro passo, mas, em seguida, não recebemos nenhum insumo ou
nenhum banheiro nas seguintes etapas das 10 etapas, porque basicamente o aprendizado acontece 10 etapas depois.
É por isso que agora nós apenas recebemos o estado e o alvo do primeiro passo da série.
Portanto, é importante entender isso e, portanto, se entendermos que agora entendemos que devemos
inseri-los em nossa lista de insumos e nossa lista de metas.
Então vamos fazer isso.
Primeiro vamos anexar os estados às nossas entradas.
Então, nós levamos nossa lista de insumos e usamos a função de anexar para adicionar o estado que lembra o estado de entrada
do primeiro passo da série e então vamos anexar o alvo no primeiro passo da nossa lista de alvos e
para fazer isso nós levamos nossa lista de objetivos e dizemos que usamos a função de anexar
para anexar este primeiro alvo.
Aqui vamos nós.
que precisávamos, como dissemos no início deste tutorial as entradas e os alvos que agora estão atualizados.
Quase pronto e agora precisamos retornar as últimas coisas, que são, naturalmente, o
Então, vamos adicionar aqui a cada turno e nós vamos começar nossas entradas primeiro, mas então
é a coisa que precisamos para convertê-las em uma matriz de números primeiro, então faça uma conversão de tipo para
ter certeza de que temos um único tipo com o tipo você é igual e isso flutua 32 o mesmo.
E então, convertemos isso em um tensor da tocha porque, claro, estamos trabalhando com uma tocha
totalmente obrigatória.
E então estou usando a tocha de uma função não tailandesa novamente.
E isso nos dá nossas entradas.
Perfeito.
E agora vamos fazer o mesmo para os alvos.
Agora podemos usar esse truque que é mais rápido.
Nós vamos empilhar os alvos juntos e, para fazer isso, precisamos levar a primeira nossa
biblioteca de tochas porque vamos usar a função de pilha pela tocha para empilhar os alvos.
Tudo bem.
E, portanto, esta linha de código basicamente retorna as entradas e os banheiros que foram atualizados apenas
por este algoritmo Sarsour de rastreio de elegibilidade.
Ou podemos chamá-lo e entrar e enviar nossos parabéns.
Estávamos prontos para fazer o treinamento final porque basicamente o treinamento consiste em minimizar as
diferenças quadradas entre as previsões de nossos insumos e os banheiros.
Então, procuremos nossos olhos inteligentes.
Isso se tornará inteligente e o próximo.
E então, até então, desfrute da AI.