Olá a todos e bem-vindos de volta.
Nesta palestra, vamos configurar nosso ambiente.
E quero apresentar esta visão geral de alto nível para aqueles que desejam tentar resolvê-lo por conta
própria.
E isso pode parecer familiar na última palestra que você viu.
Então, se você lê-lo, minhas desculpas.
Nós vamos passar por isso muito rapidamente.
Primeiras coisas primeiro.
Neste projeto, realmente pretendemos mantê-lo o mais simples possível no sentido de não precisarmos
importar muitas bibliotecas.
Basicamente, usaremos o NumPy para isso.
Só precisamos importar NumPy como e P, geralmente a referência comum para numpy.
E também queremos configurar nosso ambiente, como você verá aqui.
E vamos passar por isso de novo muito rapidamente como uma visão geral.
O primeiro passo para o nosso aprendizado Q é que queríamos encontrar um ambiente no qual o carteiro tenha que navegar.
Precisamos desse ambiente configurado para que possamos realmente iterar e passar por ele.
Nesta palestra, o ambiente vai consistir em estados, ações e recompensas.
Estados e ações são entradas para o agente de aprendizagem Q, enquanto as ações possíveis são os agentes,
saídas são estados sobre os quais podemos pensar e olhar para esta imagem como nossa representação.
Os estados em nosso ambiente são todos os locais possíveis dentro da cidade que podemos chamar de cidade de
exemplo.
Alguns desses locais são os limites da cidade que serão nossos quadrados pretos, enquanto outros locais são ilhas
que o carteiro pode usar para viajar pela cidade.
Esses serão os quadrados brancos.
O Quadrado Verde indica a área de embalagem e envio do item.
Os quadrados pretos e verdes são o que vamos chamar de estados terminais.
Portanto, no geral, nosso objetivo ou o objetivo de nosso agente, queremos usar o caminho mais curto.
Queremos que nosso agente conheça o caminho mais curto entre a área de embalagem do item, jarra, verde e todos os
outros locais da cidade onde o carteiro tem permissão para viajar.
Na imagem acima, temos 121 estados ou localizações possíveis dentro da cidade.
Esses estados são organizados em uma grade de 11 por 11.
Cada local pode ser identificado por seu índice de linha e coluna.
Então, qual seria o nosso primeiro passo?
E isso é realmente quero que vocês comecem a pensar em como podem defini-lo.
Precisamos definir nosso ambiente.
Este é um bom exemplo da nossa imagem e como vamos abordá-la.
Então, como você modelaria isso?
Lembre-se, estamos usando NumPy, então precisamos definir esses limites e podemos definir um array numpy 3D para
manter nossos valores Q atuais para cada par de estado e ação conforme vemos nossa representação.
E para aqueles de vocês que não estão familiarizados com isso, ou talvez isso seja
novo ou você queira apenas atualizar, o manual do Air Z deste curso é extremamente útil, altamente recomendado.
Então o que temos que fazer aqui?
Nós podemos na verdade.
Deixe-me apenas expandir isso muito rapidamente para nós, para que possamos visualizá-lo um pouco mais fácil.
Deixe-me apenas adicionar algumas células de código.
Vamos definir nosso império 3D.
Como você faria isso?
Então temos algumas opções.
Mas a opção mais direta e simples, vamos chamá-la de linhas de ambiente.
Rose e vamos definir para 11.
É um 11 por 11.
Então também podemos fazer o ambiente, sublinhar as colunas.
E também poderíamos definir isso para 11.
Por fim, podemos definir nossos valores Q, pois precisamos adicionar nosso numpy às linhas do ambiente, colunas do
ambiente.
E podemos definir isso como valores Q iguais a zeros NumPy e precisamos usar nossas linhas de ambiente, colunas de
ambiente.
E temos nossa matriz numpy 3D, nossa representação de ambiente 3D definida com nosso ambiente.
Impressionante.
Agora vamos deixar aqui, mas eu quero que vocês comecem a pensar em como resolver isso já que
vocês já têm seu ambiente configurado.
A próxima coisa que você vai querer fazer como dica é configurar suas ações.
Seu agente precisa ser capaz de se mover pelo ambiente.
Então, como você representaria isso?
Como você escreveria isso?
Para este problema, vamos deixá-lo aqui.
No próximo vídeo, vamos revisitar essas ações.
Impressionante.
Vejo vocês no próximo vídeo.