Olá e bem vindo a este padrão, é horror.
Tudo bem, então acabamos de atualizar a memória depois de chegar ao novo estado.
E agora vamos cuidar do dia seguinte.
De acordo com você agora, qual será a próxima atualização.
Bem, basicamente, terminamos com uma transição que datamos do último elemento da transição, que é o
novo estado.
Então agora é como se estivéssemos começando de novo.
E quando começamos de novo.
É como se você soubesse que estamos neste novo estado do meio ambiente e, portanto, o que precisamos fazer agora, naturalmente.
Bem, é claro que é uma ação porque já recebemos a observação dos estados de notícias.
Agora, o que temos que fazer é desempenhar uma ação e, portanto, o que precisamos fazer agora é,
naturalmente, usar a função de ação selecionada para executar a ação.
Então, vamos fazer isso, vamos criar uma nova ação Voivode e vamos tocar a ação com a ação selecionada, então
eu estou tomando.
Bem primeiro auto para especificar que a função de ação selecionada é um método do objeto da classe
que será criado.
Então, um eu que seleciona a ação.
Aqui vamos nós.
Então essa é a próxima ação.
E então, claro, uma vez que a função de ação de seleção leva o estado como entrada porque,
claro, a função de ação de seleção retornará a saída da rede neural quando o estado de entrada atual entrou
na rede neural.
e, dado que são os estados que acabamos de alcançar no ambiente agora, onde o estado de entrada é claro,
você declara porque este estado que acabamos de chegar no momento em que estamos agora é o Newstead.
Então, temos que inserir o estágio de entrada aqui
Então, nesta função de ação seletiva, quero dizer, colocar novas varas.
Tudo bem, então, com esta linha de código, simplesmente jogamos a nova ação depois de chegar ao novo estado.
OK e agora que jogamos uma ação. Bem, recebemos a recompensa e, portanto, recebemos feedback com a recompensa.
E, portanto, se tivermos mais de 100 elementos na memória, seria hora de aprender.
E, portanto, o que devemos fazer agora é o que, logicamente, vem depois de selecionar uma ação que, é
claro, para diminuir a AI precisa começar a aprender.
Se estiver fazendo as coisas do jeito certo.
E agora, uma vez que apenas jogou bem a ação, faremos o AI aprender com suas ações
nos últimos 100 eventos.
Mas antes de aplicar esta função aprendida, temos que fazer essa condição para garantir que já alcançamos mais
de 100 eventos, porque você sabe que estamos aprendendo com as amostras aleatórias da memória.
Você sabe que temos essa enorme memória de 10000 elementos.
Nós estamos levando algumas amostras aleatórias da memória de 100 elementos e a AI está aprendendo com
as informações contidas nesta amostra de 100 transições aleatórias.
objeto de sua classe de memória de repetição, mas a classe de memória de repetição tem uma atributo que é memória.
Então, vamos apenas fazer essa condição se para garantir que o número de elementos da memória
dessa memória e, em seguida, ter cuidado apenas um pequeno truque aqui, a memória autodidata é o
Então, de fato, precisamos tomar parte da memória de que a memória da primeira memória é o objeto da classe de
memória de repetição e a segunda memória é o atributo aqui próprio dessa memória.
Então, se o número de elementos na memória estiver bem, queremos que seja maior do que 100, então Cullin E então o
que acontece.
Bem, podemos aprender, mas para aprender precisamos obter essa amostra aleatória de 100 transições e isso
podemos obter com a função simples.
E uma vez que a função simples retorna os diferentes lotes para os estados no tempo t esses dados 20 mais uma
das ações do tempo t e estávamos em 20.
Bem, o que precisamos fazer agora é criar alguns novos avivamentos que irão ser o
lote dos estados no tempo t o lote das datas seguintes o lote das palavras e
o lote das ações e podemos simplesmente dar os mesmos nomes como nós demos para os argumentos aqui e eles estão aqui.
E essas variáveis ​​serão iguais ao que a função simples retorna porque retorna exatamente esses lotes e o
próximo do estado leva palavras e ações.
de memória e, a partir desse objeto de memória, usaremos o método simples que será usado como entrada.
Então, o que simplesmente precisamos fazer é obter primeiro o nosso objeto
Bem, o número de transições que queremos que nossa AI aprenda com isso é 100.
É por isso que nos certificamos de que tivemos mais de cem transições.
Então, vai aprender de 100 transições da memória.
Então, a aprendizagem será muito melhor.
E agora vamos fazer isso realmente acontecer.
Bem, uma vez que o método de aprendizado é um método do nosso na sala de aula.
objetos futuros que serão criados a partir de uma classe diferente e, portanto, o que precisamos tomar é auto.
Bem, precisamos acessar este método de Aprendizagem a partir dos
O eu se refere a esse objetivo para fazer durante a aula e, em seguida, aprenda como este aprendido método método aprendido para
o qual, quando colocado. É claro que esses caras aqui são o estado ruim do estado belga, o mundo natural e
a ação Bachche.
Estes são os nossos lotes amostrados da nossa memória e nós conseguimos 100 deles porque temos 100 transições
dessas 100 transições que levamos 100 Estados 100 próximos estados 100 recompensas e 100 ações vamos enfrentar o
aqui e aí vamos agora a aprendizagem acontecerá.
Isso acontecerá a partir de todos esses lotes aleatórios.
Perfeito.
E agora o que precisamos fazer é as últimas atualizações depois de saber chegar a um novo estado e jogar
em ação.
Bem, nós realmente conseguimos jogar, mas ainda não tivemos essa reação.
Esse é o nosso próprio voivode da última ação.
Então, asseguremos que não esqueçamos isso.
Vamos fazê-lo agora mesmo.
ação que a última ação é igual e, claro, ação a ação que ficamos aqui com esta função de ação selecionada.
Atualizaremos o último eu de
Tudo agora a última seção é atualizada então.
O mesmo para o novo estado.
Chegamos ao novo estado, mas ainda não atualizamos a última data, porque, claro, o último foi antes do estado
no tempo t.
Mas, desde então, atingimos o novo superávit estadual quando é hora de passar um.
Bem, o último se torna este, você disse aqui.
Portanto, precisamos atualizar também.
Aquele último estado é igual ao nosso novo estado.
Aqui vamos nós.
E agora, o que precisamos para namorar.
Bem, só resta uma coisa.
É claro que a palavra e a palavra são exatamente a palavra que recebemos na realidade.
Então, esse será o argumento desta função que, se fizermos a conexão com o nosso mapa, será
a última palavra.
Essa é a palavra que temos logo depois de jogar a ação nestes estados novos alcançados.
Então, se avançarmos para algum som, esta última palavra será aquela menos uma, se formos mais longe, vamos
ter uma palavra ligeiramente ruim menos 0. 2 se nos aproximarmos do objetivo.
Obteremos uma recompensa ligeiramente boa 0. 1.
E se chegarmos muito perto de uma borda do mapa bem, isso será sobre punição.
Obteremos menos um para cada um.
Então, essa é a última palavra que recebemos.
Na realidade, é quando isso acontece de forma real no mapa.
E este será o argumento da função.
A última palavra aqui.
É exatamente esse.
E assim, uma vez que este é o argumento da função de atualização
bem que corresponde a isso, não estávamos aqui e, portanto, a nossa própria variável da palavra anterior inicializada no início nesta
função torna-se a nova palavra que recebemos na realidade, que é a palavra ou aquilo a mesma última palavra.
Tudo bem.
Agora nós atualizamos nossa última palavra.
E agora, já que acabamos de receber nossa última palavra.
Bem, agora podemos namorar o mundo.
Você se lembra da guerra quando inicializamos aqui como uma das variáveis ​​do objeto da nossa classe.
Essa é a janela que vai acompanhar a forma como este trem está indo tomando a
média da última recompensa 100.
Então você sabe que será como uma janela deslizante mostrando-nos como a média do mundo está evoluindo.
E assim que acabamos de receber nossa última palavra.
Bem, podemos atualizar o que fomos direto para como atualizá-lo.
de guerra para que digamos quando ouvirem isso e eu vou usar a função de anexar.
Bem, simplesmente precisamos acrescentar esta última palavra à janela e, portanto, o que eu vou fazer é levar minha janela
E dentro da função aberta, precisamos inserir o elemento que queremos acrescentar ao que
estávamos ao fazer, é claro, queremos.
Tudo bem perfeito.
E então, uma vez que esta janela de guerra vai ter um tamanho fixo, você sabe que não vai ser uma janela
crescente, será uma janela de tamanho fixo que desliza com o tempo para mostrar a evolução do mundo.
E agora, precisamos decidir por um tamanho deste inverno.
E é simplesmente o número de meios da recompensa que teremos nesta janela.
E por isso, por exemplo, vamos fazer você conhecer os últimos 1000 meios das últimas 100 palavras.
E para ter certeza de que vamos adicionar se planejar, então nós levamos nossa janela de trabalho e simplesmente
adicionamos aqui se o número de elementos na janela for maior do que 1000.
Bem, o que queremos fazer é excluir o primeiro elemento desse que nossa janela e o
primeiro elemento desta janela tiveram que indexar zero.
Tudo bem.
Agora, certifique-se de que esta janela de guerra nunca terá mais de 1000 elementos.
perfeitas, isto será uma janela de tamanho fixo para que possamos ver se a média da palavra está aumentando.
Há mil meios das últimas 100 palavras que são
E, portanto, se o treinamento está indo bem e, consequentemente, o tribunal faz o que queremos.
Perfeito.
E agora, uma pequena coisa pequena a fazer, de acordo com você, o que será.
Bem, lembre-se desta função de atualização não só atualiza os diferentes elementos da transição na janela
de guerra, mas também retorna a ação que foi tocada ao atingir esse novo estado.
É por isso que temos e, em seguida, essa ação é igual a trazer essa data que somos menos sinal
e, portanto, é suposto retornar algo e o que devemos retornar é, claro, a ação.
Então, a simples última coisa que precisamos fazer aqui é apenas retornar a ação que foi jogada apenas ao chegar
ao novo estágio.
E essa é a nossa função de atualização está pronta.
Ele vai fazer todas as atualizações necessárias e ele virará a ação ao atingir a nova etapa.
Perfeito.
Essa foi a última ação difícil para fazer de tudo isso um processo.
Agora, o resto será bom.
Nós simplesmente criaremos uma função central para retornar os meios que queremos na janela.
Então, faremos uma função segura para salvar o cérebro do carro sempre que quiser sair do aplicativo
e voltar para ele.
E, claro, porque você quer carregar o cérebro do seu carro quando você voltar para ele, volte
para o aplicativo.
Bem, vamos acabar fazendo uma função de carga que irá carregar seu modelo depois de salvar seu modelo
com a mesma função.
Então, três funções para fazer isso, mas será simples.
a seção mais emocionante deste primeiro módulo que é a demonstração, veremos se o ar funciona.
E então teremos
Veremos se o carro atinge os objetivos e veremos como podemos melhorar e, eventualmente,
você terá que construir seu primeiro AI.
Então eu não posso esperar para começar a demonstração.
Vamos fazer essas três funções primeiro e até então I.