Olá e bem-vindo ao terceiro módulo do discurso do mar H-3 como agentes críticos ativos síncrona.
E agora, posso realmente dizer boas vindas ao aprendizado da máquina de última geração.
Bem, no momento, estou dizendo isso porque talvez alguns de vocês possam seguir o curso em um
a dois anos, mas no momento em que eu estou dizendo isso em 2017.
Bem, você está prestes a trabalhar em um dos modelos mais poderosos da inteligência artificial, mas há
mais que não é a única coisa especial sobre este módulo.
mais poderoso, mas vamos implementar a versão mais poderosa deste algoritmo, que é a versão
otimizada versão implementada do modelo A-380 porque você pode imaginar que existe o coração de o algoritmo.
Não só estamos a ponto de trabalhar com o modelo
Mas, em seguida, existem muitas ferramentas que podemos usar para otimizar todo o modelo.
E não só você vai ter o coração do caminho através do algoritmo, mas
também vai implementar todas essas ferramentas em torno dele para tornar o modelo super poderoso.
E por que eu queria fazer isso.
Bem, isso é por dois motivos.
O primeiro motivo é que nos aproximamos do fim do discurso.
Este curso é o curso de nível mais alto entre os três cursos e eles irão lidar com a AI.
É agora que acho que você está pronto para levá-lo ao próximo nível.
E o segundo motivo é que a solução de problemas é realmente super desafiadora.
Lembre-se no vídeo de promoção que queríamos colocar como o primeiro módulo porque pensávamos que seria o
desafio mais fácil, mas na verdade, na verdade, era o desafio mais difícil e a maneira mais
fácil de explicar isso é bem na pena que os monstros são grandes e, portanto, mais fácil de detectar e, portanto, mais
fácil de matar ou evitar.
Mas em Breakout temos essa pequena bola que o olho tem que detectar também porque o olho ainda
terá olhos.
Você ainda vamos fazer uma aprendizagem de reforço profundo.
Então, é realmente super desafiador e é por isso que na verdade não temos a opção de implementar.
A versão mais poderosa do A-3 ver agora porque eu digo que esta é a versão mais poderosa.
Isso é por um motivo particular.
Não é como se eu dissesse que eu vou implementar a versão mais poderosa do A-380.
Não, não é isso.
especial que vamos fazer é, na verdade, uma versão do 3 C implementada por alguém,
mas corrigida por uma das pessoas mais influentes na máquina de aprendizagem hoje, que é o criador da tocha Pi.
A razão que eu estou dizendo é que a versão que estávamos prestes a implementar e isso
é algo muito
O nome dele é Dan Pashka.
Agora, o que vamos fazer.
Nós vamos continuar a ter na página principal e se você rolar para baixo até o final até a
parte inferior, você verá o time que a equipe luta contra criadores e contribuidores.
E você pode ver aqui que minha tocha atualmente é mantida por Adam Pascal.
fugir e ele corrigiu um dos códigos para a A-380 para que o trabalho seja perfeito.
Essa é a pessoa a quem devemos realmente agradecer, porque há poucas versões das três coisas
que funcionam bem para
Portanto, Pascal não está apenas mantendo por direção, mas também é um dos criadores da tocha e, como disse
hoje, ele está entre as 10 pessoas mais influentes no aprendizado de máquinas.
Então, podemos nos sentir confiantes de que a versão que estamos prestes a implementar é, provavelmente, a versão mais
poderosa do A-3, ver hoje.
E então, qual é essa implementação?
Bem, originalmente, vem de um desenvolvedor chamado história ilíaca de.
E assim como você pode ver, ele fez um até a implementação do A3 C, que originalmente não funcionou bem
para fugir, mas, em seguida, alguém fez uma solicitação de puxar.
Se nós vamos ao pedido da piscina aqui podemos ver no próximo que nós vamos, temos uma solução mais
limpa para o problema de Gretchen.
E acho que essa solicitação de atração foi feita.
Foi feito de Adam Pashka criado pela tocha e que resolveu o problema que faz o A-380
funcionar muito bem, sem esperar por dias e dias.
se retornarmos a esta implementação, podemos ver os quatro contribuintes desta implementação mais poderosa.
E, portanto,
E aqui estão os contribuintes.
Então, obrigado a todos e podemos dizer um grande e especial agradecimento à paixão de Adam por
corrigir o problema de compartilhamento de tópicos.
Ele começou fazendo um garfo que é uma subestrutura do código.
E então ele fez uma solicitação de puxar para o desenvolvedor para corrigir esse problema.
e foi assim que ele se tornou um dos principais contribuintes desta implementação, fazendo com que tudo funcionasse
perfeitamente bem e confie em mim. Eu fiz muitas experimentações no modelo AC DC implementado atualmente em cinco modelos.
Não havia um código que fosse um grande problema de compartilhamento
Eu estava mesmo desesperado que não funcionou bem, então fiz minha própria descoberta e cavy para ter uma
bola maior e, portanto, um pré-processamento mais fácil das imagens.
Então eu voltei aos olhos e fiz minha própria implementação do 3C.
Mas isso levou as idades para correr e treinar em um computador bastante poderoso.
Então eu queria encontrar uma maneira melhor.
E é assim que é.
poderosa do Silmaril, de que um dos principais contribuintes é o Criador pela tocha.
Implementação muito
Então, o que vamos fazer neste Mudgal, acho que você está pronto para isso é implementar este código de
nível mais alto para a implementação do A3.
Então, basicamente, vamos reimplementar todos esses arquivos e, principalmente, insistiremos nos arquivos que estão diretamente
relacionados aos três C, todas as partes que estão diretamente relacionadas ao que vemos.
Vamos implementar o código linha por linha para os outros.
Eu vou apenas expandir o código para que possamos ser capazes de resolver isso sem achar isso muito esmagador,
de modo que vamos um módulo bastante especial.
Não só trabalhamos em um modelo de arte mais avançado, mas também no momento em que estou falando
e altamente confiante, estamos implementando a versão mais poderosa do A-380.
Então, vamos fazê-lo.
Vamos voltar para Python e vamos começar tudo isso antes de começar.
Vamos fazer a coisa mais simples que faremos neste módulo.
Configurando a pasta do diretório de trabalho.
Vamos para a nossa AI é que os módulos de pasta de modelos que lançamos mais desafiadores.
E nós vamos lá.
São todos os nossos arquivos.
Então, vamos ver quais estão diretamente relacionados ao A-3 C.
E então vamos ver quais são as que vamos implementar.
Linha por linha e concentra a nossa energia.
Então, existem dois arquivos.
O primeiro não é todo o caminho que é esse, então vamos re-implementar linha a linha, porque é o mais importante
é o lugar onde fazemos que o A-3 veja os cérebros.
modelo compartilhado que terá os mesmos dados dos pesos para o ator e o crítico.
E o mais importante para entender aqui é que teremos um
Essa é uma parte desta versão especial do A-3, veja o modelo compartilhado com os dados compartilhados,
os pesos e, em seguida, o outro fundador mais importante para implementar.
Linha por linha é a raça selvagem treinada, é claro, logo depois de fazermos os cérebros da visão.
Bem, nós temos que treiná-los e treiná-los neste trem que eu esposa.
Então, este é um código bastante longo, mas isso é o que contém o coração do modelo A3
C que terá que Lass reduzir o valor nos EUA, que é o último relacionado às previsões
do crítico e a última política que é a última relacionado às previsões do átomo.
Então, isso é bastante novo, mas você sabe que é porque o A-380 estava basicamente trabalhando com vários agentes, cada
um com sua própria cópia do meio ambiente.
Também temos essa camada totalmente conectada que produz um valor da função e, basicamente, é uma
visão comum do que está acontecendo no jogo.
Então, isso será bastante desafiador.
Então, certifique-se de estar em boa forma e para o resto dos companheiros. Bem, eu vou apenas explicá-los em detalhes, mas
não gastando muito tempo neles, acredite em você, você quer manter sua energia para isso.
Isso já será muito.
Então, esses companheiros são formigas ducky Y que é uma melhoria do ambiente de ginástica graças ao universo.
Então, basicamente, isso apenas melhora o ambiente de ginástica com o universo e isso nos
permite ter um ótimo pré-processamento das imagens e também normalizar todos os valores do ambiente, como as
intensidades de cores ou as intensidades de recompensas.
Bem, todos os valores do ambiente este arquivo normalizam todos esses valores e também garantem que temos o
suficiente para não continuar o processamento das imagens.
E, como você pode ver, isso é tirado dessa abertura, recebo sua página onde o agente da história do universo.
Então não vamos gastar muito tempo com isso, nós realmente pararemos aqui.
Você só precisa entender que melhoramos o ambiente de ginástica com o universo para obter o suficiente para
não ser o processamento das imagens.
O resto não é tão importante, especialmente para o PC.
Então, temos o principal que P Y, que é o código que executará o todo.
Então, você conhece o código que executará o todo, crie o cérebro treinando o cérebro e produzindo o vídeo.
E isso é porque ele executará todos esses códigos aqui.
Então, mais nós vimos onde estava, então, pode ter aparecido.
Por que o otimizador especial.
Esse é basicamente o otimizador de átomos, mas adaptado a esse modelo compartilhado que estamos implementando.
Então, explicaremos todo esse código em um tutorial.
Então, temos teste W-porquê.
Na verdade, é o último a testar.
P Por que basicamente é o arquivo que implementará um agente de teste.
Então, existe um agente que irá jogar sem atualizar o modelo.
Então, isso é totalmente independente do treinamento.
E também expandiremos este código em detalhes.
Além disso, a boa notícia é que você terá dois códigos um código que será o código que
implementamos nos tutoriais, mas sem qualquer comentário.
E um dos códigos que é uma das pastas de código com todos os códigos o comanda.
Então, com todas essas seis faltas, tudo bem conectado.
Então, se você perder alguma coisa e um tutorial, você poderá analisar o conteúdo do código para entender
o que está acontecendo.
Então vamos lá.
Espero que você esteja ansioso para implementar isso.
Você está realmente no topo da montanha agora ou logo abaixo do topo, porque você precisa entender
isso primeiro, mas você está chegando lá.
Então tire uma boa respiração de oxigênio.
E lá vamos uma jornada super emocionante.
Até então, aproveite.