Você está pronto?
Vamos fazer isso, vamos começar instalando todas as dependências do sistema para o Vista, vamos clicar
neste botão play e agora ele vai instalar todas as dependências, como você pode ver, como Pelo ou ZIPPI e também algumas
outras dependências que serão necessárias para execute isso com sucesso.
Mas todo o resto, como o PLI para os módulos do ginásio, já está instalado.
Então isso é realmente incrível.
Essa é realmente a beleza do bom kulam, e isso é graças ao qual nenhum de vocês terá qualquer problema
para executar o código e visualizar o resultado final.
Tudo certo.
Então, na verdade, isso vai levar um ou dois minutos.
Então, vou avançar aqui e agora.
Vejo vocês em breve para o restante da execução do código.
Tudo bem, parece que estamos no final da instalação das dependências do
sistema, como você pode ver, está baixando-as, instalando-as e coletando-as com todos os requisitos certos.
E em questão de segundos, isso deve ser feito.
Certo.
E vamos ver, três, dois.
Aqui vamos nós.
Tudo instalado com sucesso.
Não se preocupe com esses erros aqui.
Eles não afetarão a execução do código, mas tudo é instalado com sucesso como desejamos.
Tudo certo.
Agora, a próxima etapa, muito importante.
Olhe para esta nota importante.
Diz que depois de instalar todos os Benz's, basicamente depois de executar esta primeira célula aqui, você
tem que reiniciar seu runtime.
Caso contrário, você obterá alguns erros de execução aqui.
Então, vamos fazer isso rapidamente.
É muito simples.
Você só precisa clicar em runtime aqui e reiniciar o runtime e então.
Sim.
Tudo certo.
Isso irá restaurar seu tempo de execução e agora você pode simplesmente executar todas essas células apenas clicando no botão
play.
Então, vamos fazer isso, começando com o pré-processamento deste primeiro arquivo de imagem.
Tudo certo.
Portanto, vamos primeiro importar as bibliotecas e, em seguida, pré-processar as imagens com a classe de imagem de pré-processamento.
E agora já passamos para a implementação de repetição de experiência, ou seja, esta.
Tudo certo.
Então vamos fazer isso.
Primeiro importamos as bibliotecas e, em seguida, definimos uma etapa do ambiente.
Então fazemos o A. EU. progresso em várias etapas e etapas com a classe de progresso
da etapa final exatamente igual à que temos na pasta.
E então implementamos a experiência que jogamos construindo esta classe de memória de repetição.
Tudo certo.
Tudo bom.
E agora passamos para a terceira falta.
Este aqui A. EU. presuma que eu tenha me inscrito e, em seguida, importemos as bibliotecas primeiro.
Tudo certo.
Então, demora um pouco aqui porque importamos todos os módulos da tocha, depois importamos os pacotes para
abrir e fazer isso com a academia e a sabedoria, Jim.
E o invólucro é bom.
E então passamos para a parte um aqui, Edifício II, onde vamos fazer o cérebro,
depois o corpo e depois montar tudo.
Então, primeiro vamos deixar o cérebro certo com a classe CNN, depois vamos fazer o corpo com a classe corporal softmax
e então vamos fazer a IA com uma classe.
Tudo certo.
Então tudo bem.
E agora estamos prontos para passar para a parte dois.
Vamos treinar IA com, é claro, Q Learning convolucional profundo.
Tudo certo.
Tão executivo, igual ao que temos aqui.
Primeiro, obtemos o ambiente doom com nossos novos módulos com doom.
Não se preocupe com isso.
Isso não é um erro.
Então, vamos construir o A. EU. integrando os diferentes objetos para trazer na CNN, os corpos de
Max body e todo o A. EU. contendo o cérebro e o corpo.
Tudo certo.
Eu executei isso?
Sim.
Em seguida, configuramos a experiência.
Jogamos com Insteps e a memória como uma memória de repetição objetiva e, em seguida, implementamos o rastreamento de
elegibilidade.
Tudo certo.
Para melhorar o desempenho.
Em seguida, fazemos a média móvel de cem passos com a classe M a.
E finalmente, meus amigos, vocês estão prontos?
Bem, agora é a hora da parte muito emocionante em que vamos treinar o A. EU. mais de vinte dólares.
Tudo certo.
Então você verá que isso já vai demorar um pouco.
Você sabe, vai demorar tipo, uh, talvez uma ou duas horas porque eu aumento as dimensões, fique à vontade para
reduzir as emissões de volta para oitenta por oitenta se você achar isso muito tempo.
Mas acredite em mim, você terá vídeos muito melhores com essas dimensões.
OK, então você está pronto?
Vamos fazer isso de três em uma.
Tudo certo.
Então isso executará o código do treinamento e em poucos segundos poderemos ver a primeira
época, que terá, é claro, uma recompensa negativa.
Mas você verá que, sabe, com o passar das épocas, a recompensa vai aumentando aos
poucos até atingir recompensas positivas e depois até atingir centenas de recompensas.
Bem, vamos tentar isso, na verdade.
Vamos torcer para que, com vinte e oito dólares, tenhamos alguma recompensa final em cerca de cem, você sabe,
como 100 ou 200 ou 300, porque com essas recompensas, eu realmente experimentei com elas.
Sim.
Primeiro, uma recompensa negativa menos noventa e oito.
Eu estava dizendo que com recompensas em torno de 100, 200, 300, já teremos alguns resultados excelentes.
Você sabe, veremos o AA conseguindo matar alguns monstros ou evitá-los ou, você sabe,
movendo-se em direção ao colete.
OK, então esse é o primeiro livro, um menos noventa e oito.
E então você sabe, veremos o livro número dois com talvez uma recompensa melhor.
Mas, sabe, no começo, claro, o EIA não é treinado.
É explorar o meio ambiente.
Certo.
Lembra-se dessa troca em aprendizado por reforço, exploração versus exploração?
Bem, no início, a ideia é puramente explorar e depois vai treinar e
depois vai ficar cada vez menor, e é aí que vai alcançar uma grande recompensa.
Portanto, é perfeitamente normal ter recompensas negativas no início.
Talvez consigamos isso.
Ao longo das três primeiras épocas, mas então você verá que depois de um número quatro, cinco
ou seis, bem, começaremos a alcançar recompensas talvez positivas e então, esperançosamente, recompensas em torno de 100, 200 ou 300.
OK, então vai demorar um pouco, como eu disse.
Portanto, não vamos ficar aqui por duas horas, senão ficarei sem o que dizer.
Então, o que vou fazer é colocar uma música divertida ou legal agora e lá vamos nós, época número dois,
menos 62.
Então, já houve alguma melhora.
Isso é bom.
Mas você verá que haverá melhorias ainda melhores.
Quanto mais avançamos nas épocas.
OK, então o que eu estava dizendo?
Sim, vou colocar uma música legal agora e tocar o treino em modo acelerado.
E claro, te vejo no final do treinamento para ver o resultado final.
Tudo certo.
Então vamos lá.
Três para um.
Tudo bem, e aqui estamos nós no final do treinamento, parabéns, você treinou um modelo de aprendizagem convolucional profundo
em uma aplicação muito desafiadora, que é jogar o jogo da destruição.
Então, o que dizer?
Bem, como esperávamos, atingimos alguma recompensa média em mais de 100.
Então, o que é importante dizer é, claro, que com mais épocas, você obterá recompensas maiores.
Então, se você está pronto para, por exemplo, treinar este modelo para mais, parece que são 100 épocas
ou até mais para alcançar recompensas mais cerca de 300, 400, 500 ou até 1000.
Bem, fique à vontade para fazer isso.
Por exemplo, você pode deixá-lo correr durante a noite enquanto dorme.
E quando você acorda de manhã, você obtém seus melhores resultados.
Observe que você também pode usar na GPU em tempo de execução, certo.
Se você alterar o tipo de runtime, o que eu não devo fazer, porque senão irá reiniciar o notebook.
Mas no acelerador de hardware aqui, você pode escolher GPU ou mesmo Tipu, mas isso só se você
quiser, sabe, otimizar o desempenho e fazer um treinamento super duro.
Mas aqui eu apenas usei uma coisa clássica porque só quero mostrar a vocês como executar tudo isso.
E lá vamos nós.
Agora vamos executar o resto da pasta de trabalho com esse código extra específico apenas para esse código, aquele
notebook onde, é claro, vamos visualizar AA em ação.
Tudo certo.
Então vamos fazer isso.
Vamos primeiro importar as bibliotecas.
Certo.
Tudo bom.
Em seguida, imprimiremos a forma de entrada e uma série de ações possíveis.
Tudo certo.
Então aqui vamos ver de fato que temos sete ações possíveis, você sabe, no ambiente do corredor da
destruição.
Então, estes são mover para frente, mover para trás, ir para a esquerda, ir para a direita, atirar e então talvez se proteger ou o que
quer que seja.
Não sei qual é a última ação, mas algo assim, então essas são as dimensões do
quadro de entrada.
Isso corresponde à altura do quadro.
Possui 240 pixels de altura.
Isso corresponde à largura da moldura, certo?
É trezentos e vinte grandes.
E isso corresponde, você sabe, ao fato de que trabalhamos com imagens coloridas e as três aqui
correspondem aos três elementos de nossos canais.
Tudo bem, então vamos executar a próxima célula exibindo um quadro do ambiente apenas para ver como
é.
E, de fato, lembre-se, isso é útil para ver o ambiente com o qual você está trabalhando.
Certo.
Então, aqui vemos que estamos no Corredor Dume.
Mas se você quiser experimentar mais alguns ambientes aqui, na verdade, você sabe, lembre-se, eles
também estão na página principal aqui.
Bem aqui.
Sim.
Você tem todas as listas de ambientes, sabe, que recomendo experimentar.
Então, você sabe, se você quiser dar uma olhada em outro, bem, eu posso mostrar a você,
na verdade, vamos pegar este aqui e então eu voltarei para este corredor de zoom.
Certo.
Então, se eu substituir isso por este.
Certo, e eu executo bem, vamos conseguir três ações dessa vez, claro, é mais simples, e
se a gente executar bem, vamos ver esse ambiente, né.
Portanto, é apenas uma maneira de ver rapidamente com o que você está trabalhando e ter uma prévia do que
o ACA fará no ambiente.
Tudo certo.
Então, vamos voltar para o canto.
Vamos executá-lo agora, caso seja necessário para as próximas vendas.
Muito bem, desgraça perfeita, Cawdor.
Agora, vamos passar para as vendas finais.
Esta é uma função auxiliar que será usada para as visualizações.
Então, vamos realizar a venda e agora vamos apresentar a ideia em um episódio.
E aqui você será capaz de entender o código porque, você sabe, basicamente é o processo de,
você sabe, executar o ar e um episódio completo onde a cada etapa está em um estado específico, ele vai jogar
em ação dentro o Estado.
Então, receberá a recompensa e chegará à próxima data.
Certo.
Portanto, este é o processo MGP clássico, certo.
Processo de decisão de mercado.
E aí vamos nós.
Isso é feito por um episódio.
E, finalmente, vamos obter o vídeo do jogo do nosso A. EU. , que foi treinado por 20 dólares,
conseguiu chegar a mais de 100 recompensas, o que nos trará alguns resultados muito bons, mas talvez não atingindo
os melhores.
Mas tudo bem.
Você vai experimentar isso sozinho.
E agora eu gostaria que você clique aqui para o botão aqui, porque vou mostrar como o
vídeo é preenchido.
Então, essas são algumas pastas contendo, você sabe, alguns elementos como os frames, você sabe, os frames
dos resultados ou alguns arquivos jasen.
Mas, realmente, o que interessa é o vídeo final.
E para obtê-lo, basta clicar no botão play aqui e você verá que ele será preenchido na
pasta principal aqui.
Não perca.
E está tudo bem.
Sabe, parece que a célula já foi executada, que é o caso.
Mas você verá que em alguns segundos veremos um avatar, que é um arquivo de vídeo sendo populado aqui.
Ele aparecerá em cerca de dez segundos.
Posso até fazer uma contagem regressiva, se quiser.
Então vamos fazer isso.
E dez, nove, oito, sete, seis, cinco, quatro, três, dois, um, vá.
E agora deve realmente aparecer em alguns segundos.
Sim, vamos lá.
Tudo certo.
Então, jogabilidade do agente, essa ideia, esse é o seu vídeo.
Então vamos baixá-lo e ele será baixado no seu computador, que vou encontrar aqui mesmo.
Certo.
Essa é a jogabilidade do agente de vídeo que Evia se certificou de abrir com um reprodutor de vídeo que possui codecs
como VLSI.
Certo.
Não funcionará com o reprodutor de tempo rápido se você estiver em um Mac, mas definitivamente funcionará com VLCC.
Então, vamos dar uma olhada.
E aqui está o vídeo.
Tudo certo.
Então, deixe-me pressionar pausa aqui.
Tudo certo.
Então aqui está o vídeo.
E como você pode ver, esta é a dimensão de 256 por 256 do quadro.
Como você pode ver, não é muito grande.
Certo.
É por isso que eu realmente queria trabalhar com essas dimensões em vez de 80 por 80.
Agora vamos dar uma olhada no vídeo.
Portanto, este é o A. EU. jogando Doom em um episódio, e tem que evitar que os monstros não sejam mortos.
Tem que avançar para alcançar o melhor.
Então, vamos ver como funciona de três para um.
Tudo bem, primeiro ele se fecha, avança, OK, e então ele é morto pelos monstros, mas
ainda é muito bom.
Você sabe, ele entendeu que tinha que avançar em direção ao Ocidente porque a maior recompensa
é boa alcançando o colete.
E, claro, você sabe, se você realmente quiser ver o vídeo do seu ar alcançando o colete
e ganhando neste jogo, basicamente você terá que treinar seu olho por mais épocas e talvez fazer algum outro tipo de melhoria,
como ajustando seu cérebro do A. EU. ou fazer algum ajuste de parâmetro, como ajustar a
taxa de aprendizagem.
Bem, você tem muitas opções se algum de vocês conseguir um vídeo incrível ou, você sabe, o vídeo de A. EU. tendo alcançado uma recompensa
de mais de 1000, por exemplo.
Bem, fique à vontade para compartilhá-lo nas perguntas e respostas.
Tenho certeza de que outros alunos ficarão super felizes em obtê-lo.
Tudo certo.
Espero que tenha gostado de implementar o modelo de aprendizado convolucional e profundo.
Agora vamos passar para a próxima parte, que será sobre a implementação do modelo H3C
e um modelo ainda melhor e mais poderoso que será implementado para jogar o jogo do breakout.
Então, vejo você na próxima parte.
E até então, aproveite A. EU..