Olá e bem-vindo de volta.
Na última palestra, acabamos finalizando ou finalizando a definição real do nosso ambiente, a representação
de nossos valores, nossa punição em recompensas e nossas ações no ambiente.
Nesta palestra, o que eu quero fazer é apresentar o treinamento, a ideia por trás de como treinar o
modelo e ajudar você a começar.
E então, na próxima palestra, forneça a solução e mais detalhes para as etapas envolvidas.
Então precisamos treinar o modelo o que seria necessário de treinamento.
Essa é uma abordagem que podemos usar para as etapas a seguir para treinar o modelo.
Queremos escolher um estado não terminal aleatório, que seria o quadrado branco do nosso agente, e é
assim que queremos começar nosso episódio de treinamento.
É claro que queremos escolher uma ação para o estado atual.
Precisamos que nosso agente seja capaz de se movimentar pelo ambiente.
Portanto, as ações para nós e nosso agente neste desafio serão escolhidas usando o Epsilon Greek.
Esse algoritmo geralmente escolherá a ação mais promissora para o agente, mas ocasionalmente escolherá uma
opção menos promissora.
Para encorajar o agente a explorar o ambiente, realmente queremos encontrar a política ótima.
Então queremos realizar a ação escolhida e fazer a transição para o próximo estado.
Mover para o próximo local.
E por que estou dizendo isso, quero que vocês pensem em como podem dividir isso em
funções para resolver esse problema.
Em seguida, precisamos receber uma recompensa por ir para um novo estado e depois calcular a diferença temporal.
Temos que atualizar o valor Q para o estado anterior e o par de ações e, se a nova moeda for
um estado terminal, iríamos para um.
Caso contrário, iríamos para o passo número dois.
Então, todo o processo, vamos ter como objetivo correr mil episódios para treinar.
Isso nos dará oportunidade suficiente ou ao nosso agente oportunidade suficiente para calcular o caminho mais curto entre a área
de embalagem do item e outros locais em nossa cidade de exemplo.
Impressionante.
Então, por favor, pense em como você aborda isso e eu quero ajudar a dar uma ideia para tentar resolver isso.
Então, estaríamos olhando em nossa solução, usaremos as seguintes funções.
Na verdade, posso comentar isso, pois é um código, então minhas desculpas.
Não queremos um cifrão.
Queremos comentá-los e eu ajudarei você a começar o primeiro.
No geral, teremos essas funções definindo nossas etapas para treinar o modelo e para ajudar você a
começar.
Vamos dar uma olhada em como abordaríamos o estado terminal na criação de uma função dentro do python para
isso.
Em primeiro lugar, é claro que gostaríamos de definir nossa função como está.
Estado terminal.
E estes são os nomes das funções que você verá para dar uma ideia que pode ajudá-lo a
decompô-lo.
O que queremos fazer é pegar o índice da linha atual e o índice da coluna atual.
Isso ajudará a nos dar a posição de nosso agente, e podemos adicionar aqui para nossas recompensas um verdadeiro ou
falso.
Então nós precisamos.
Então vamos definir nosso if nossas recompensas.
Da nossa corrente.
Índice de linha.
E atual.
Índice da coluna igual a um negativo se estiverem nesse estado.
Nós retornaríamos false ou de outra forma ou então.
Nós voltaríamos.
Verdadeiro.
Bastante direto.
E é assim que vamos ter nossa ideia do nosso estado terminal depois de sabermos se ele existe no
estado terminal, então queremos obter o local inicial.
Como dica, você pode dar uma olhada em usar o índice de linha atual no índice de coluna atual
e definir numpy com um random.
Queremos inicializar isso aleatoriamente nas colunas do ambiente das linhas do ambiente.
Mas na próxima palestra você verá um colapso.
Você verá o restante das funções com algumas notas para ajudar a ter uma ideia.
Eu realmente espero que vocês tenham a chance de experimentar isso, porque é apenas uma maneira incrível de
aprender, ajudar a dar uma ideia e isso é para você começar.
Então não se preocupe, você terá a solução na próxima palestra.
E então vamos encerrar as coisas realmente atribuindo um excelente fator de desconto para aprendizado, esse tipo de
coisa para treinamento, execução do treinamento e visualização dos resultados.
Impressionante.
Vamos parar aqui novamente.
Tente resolver isso.
Mas se não, se você quiser apenas avançar, vá para a próxima palestra e você terá
a solução para o treinamento para definição dessas funções.
Certo, vejo vocês na próxima palestra.