Olá e bem-vindo de volta ao curso sobre inteligência artificial.
No tutorial de hoje, nos divertiremos.
Vamos dar uma olhada e a inteligência artificial realmente atravessando aquele labirinto sobre o qual falamos há
tanto tempo e vamos usar matar aprender a navegar no seu caminho e encontrar a saída e veremos o
que acontece com a q valores iriam acontecer com a política e assim por diante.
Então vamos dar uma olhada.
Nós vamos usar alguns materiais gentilmente fornecidos pela Universidade de Berkeley.
Então, se você for para um, eu não Birk apenas o E R K E L E Por que você não acede a esse link novamente.
Você verá este site e saberá o que vamos analisar é a necessidade de ir
para os projetos PacMan.
Eu acho que os projetos do Pacman e aqui se você se deslizar para baixo e você olha para eles em primeiro aprendizado, isso é o
que estamos trabalhando.
Então, você pode baixar o arquivo zip.
Então, se você quiser.
Então, você não precisa disso é que não vamos passar por uma solução juntos neste teste,
apenas informando de onde isso é tudo porque somos muito parecidos.
Realmente apreciamos isso.
A UC Berkeley disponibilizou estes materiais.
Mas se você deseja experimentar com isso por conta própria.
Basta ter em mente que isso não faz parte.
Não vai fazer parte dos nossos cursos como parte do curso de Berkeley.
Não tenho certeza de como funciona para fins de ilustração, mas se você quiser experimentar com
isso, você pode encontrar aqui o arquivo zip e todas as instruções antigas.
eu queria mostrar é que aqui nós temos as informações de licenciamento, então isso é o que eu quero dizer.
E nós só vamos entrar em Python imediatamente e a primeira coisa que
Temos muita sorte de terem dito que somos livres para usar ou estender esses projetos para fins educacionais
desde que você conheça a distribuição de soluções publicitárias que não faremos.
Você mantém este aviso que temos e você fornece um arcebispo claro para a UC Berkeley, incluindo um link para
o qual também temos.
Então, mais uma vez, se você quiser saber mais, o link.
Você pode dar uma olhada.
E muito obrigado a todas essas pessoas que trabalharam neste projeto, então aqui está o mundo da grade.
Nós vamos trabalhar se houver uma solução lá.
Você teria que fazê-lo funcionar, você teria que resolvê-lo sozinho ou possivelmente encontrar uma solução.
Talvez algumas das suas pessoas que alguém conheça possam ajudá-lo com isso.
Se novamente, o que você quer, não é necessário, porque nós apenas vamos ver isso nesta
tela agora.
Então, depois de criarmos todos esses arquivos, poderíamos iniciá-lo aqui.
Então, existem alguns parâmetros que estão envolvidos neste mundo inteiro e não vamos mostrar apenas o
que parece se o lançarmos.
Então, vamos tentar iniciá-lo no modo manual.
Então, se eu for menos um desses panoramas são manuais, então eu posso comandar seu agente de controle.
Então, aqui, você pode ver todas as redes para que eu possa subir para que você possa ver que está tomando medidas
começando e começando nos estados onde eu estava.
E então você viu que eu pressionei e tomei a ação na Norf e, pela primeira vez, acabei em zero depois
de subir.
Mas na segunda vez que tomei medidas, Norf e eu terminamos no mesmo triste, não nos mudamos.
Então, algo aconteceu, você sabe que a aleatoriedade aconteceu, eu fui para a esquerda ou para a direita.
E, por padrão, os parâmetros são definidos.
Você pode ver aqui, por padrão, eles estão configurados exatamente sobre o que discutimos, a que frequência realmente resulta
em direção não intencional.
20 por cento do tempo para 10 por cento para a esquerda, um pouco para a direita.
Então, se eu subir e dizer que eu subi eu vou direto.
Fui certo agora não aconteceu.
Certo novamente e certo e acabei.
precisa clicar novamente para sair desta saída final, então, de lá, clique novamente e você terminou.
Mas nesta implementação você
Esse é um estado terminal para que possamos executar o nosso manual.
Você pode ver isso se eu for direita direita à esquerda.
Então, aqui, o que vimos anteriormente, que o agente não iria direto para a direita.
Qual é o objetivo de subir se houver uma chance de entrar no poço.
Então, vamos ver o que o agente faria.
Vai para a esquerda e vai para o oeste, iria para o oeste.
E você vê que eu cliquei para a esquerda, mas subiu e aqui eu clicaria direito.
E eu termino na fase de saída final e você vê a recompensa de Deus igual a uma.
Então, é isso que parece manualmente.
Agora vamos conectar um AI para isso e deixá-lo passar.
Então vamos fazer um H aqui e vamos adicionar alguns Brandner.
Então, deixe-me apenas ver o que eu digitei aqui, então, espero que você possa ver pelo mundo da grade, porque então,
menos nossos meios.
Essa é a recompensa pela vida.
Então eu tenho dois deles, então eu provavelmente deveria remover esse.
Então, k k é quantas iterações.
Isso é muitas outras iterações.
Vamos fazer menos Vamos fazer como 10 iterações devem ser suficientes.
Minus a é agente.
Que tipo de agente não quer fazer honra e imagem e algum valor ou uma Q.
Q Então eu quero uma Q.
O agente de aprendizado Q fazendo isso menos s é qual é a velocidade do s, de modo que é muito grande
uma força que apenas usa a velocidade máxima por enquanto menos R é uma penalidade viva, portanto, por padrão, é zero.
Então, lembre-se, no início, reinicie 0 penitências de vida, então, ligue para isso também 0 0 e
pode simplesmente remover este parâmetro e D é o que é desconto d.
Então, eu apenas um tipo de fator, então vamos manter o ponto zero e muito
similar ao que estamos começando nesta seção no curso, então vamos rodar esse OK, muito rápido novamente, tudo realmente tão bonito para que
você possa ver como ele é explorando.
E até agora ele bateu negativo três vezes e você pode ver como os valores q estão
sendo atualizados nesses quadrados.
Portanto, estes são valores-chave.
Eles são uma espécie de zero.
Você pode ver agora o valor Q.
Então ele aprendeu que este é um implemento um pouco diferente porque, uma vez que você chegar ao estágio
final, você tem que sair disso.
Você deve clicar em mais um botão para sair.
E por isso é muito próximo a um, mas não exatamente um.
valor lentamente, as mãos cristalizadas são um ponto em que um ex-colega está chegando a algum lugar, mas eles são tão longe
que eles são um pouco de zero porque ele não tem informações suficientes para entenda o que está acontecendo.
Mas, ao mesmo tempo, você pode ver que aqui você conhece o
Ok, então vamos ver, vamos ver o que acontece aqui.
Explorando a explorar o que vai acontecer.
Bem, foi um tempo.
E nós conseguimos isso algum envolvimento aleatório aqui.
Então, há uma boa por vezes.
Agora, ele só recebe 10 iterações.
Então ele tem que aprender rápido, eu preciso de você lá.
Vamos ver o que está acontecendo.
Vamos.
Saia desse labirinto já.
E sim 10 episódios tão médios que acabam por isso.
Isso não está realmente interessado nisso.
Então, aqui vamos ver.
Nunca vi um clique suficiente.
Certo.
Aqui vamos nós.
Então, você pode ver que esta é a política que ele criou.
Mesmo com apenas 10 episódios ele já tem pulso.
Eu vou subir de uma bomba e aqui eu vou descer aqui, vou descer aqui, vou entrar
na parede e depois irei saltar, estamos aqui.
Isso é bem legal.
ESTÁ BEM.
Então, agora vamos aumentar a velocidade.
Qual foi o parâmetro s lá.
E isso é como uma falta de lei.
Isso é quádruplo da velocidade e aumentamos o número de iterações, então digamos 20 para racionar este tempo e vamos
ver se ele pode passar por um pouco mais agora.
Então você pode ver que ele está indo um pouco mais rápido.
E ele está aprendendo que ele está aprendendo que não é realmente você sabe desse estado, não há muitas ações
boas Orio essas ações que o direito e direito não são tão bons.
Definitivamente, isso definitivamente não era bom.
Ele ainda precisa aprender que, daqui, também é bom.
Você pode ver que esta ação é muito boa.
Tudo bem.
O que ele conseguiu.
ESTÁ BEM.
Então política interessante aqui você decidimos subir.
Apenas não há informações suficientes.
Então vamos fazer isso.
E vamos aumentar a velocidade para gostar de 100.
Super rápido e o número de iterações lhe dará 100 iterações desta vez é executado
essa cena como louco rápido e você pode ver isso porque há tantas mais iterações. Ele
tem mais informações para mais experimentar e realmente construir esta matriz ou matriz esses valores para
cada estado.
Ele agora sabe que você pode ver esse ponto zero oitenta e nove.
O que dissemos no nosso ponto zero 86.
Outra coisa a lembrar é o valor de qualquer estado dado.
Lembre-se que a fórmula que tivemos é o máximo dos valores do cubo.
Lembre-se daquilo que criamos uma fórmula de atalho.
Então, o que é o que com o valor neste estado seja o V disso.
Seria 0. 18.
Porque esse é o mais alto dos quatro aqui o valor desse estado 0. 7 você quer o valor deste
dia.
Existe o ponto sessenta e um, e assim por diante.
Então é algo para lembrar.
Lembro-me de quando acabei, acho que tivemos como zero ponto 86 ou algo assim praecox.
E então, se vamos no próximo ano, simplesmente desaparecer ou desaparecer novamente e isso pode fazer com que ele volte.
ESTÁ BEM.
Lentamente lentamente, encher lentamente alguns espaços.
Entendo.
E também é bastante aleatório porque não só o ambiente tem aleatoriedade, mas também a maneira como
ele explora que a estrela realmente não conhece a política é que ele está explorando ao acaso.
Apenas continua a desaparecer.
Eu não entendo o porquê.
De qualquer forma, vamos ver o que acontece se você aumentar o número aqui e, aqui,
deve levar a mesma quantidade de tempo se a velocidade não tiver um limite.
OK, então ele é como se ele tivesse mais oportunidades de explorar coisas.
OK, vamos ver como tudo corre.
E você pode ver os valores que estão convergindo, eles vão para cima e para baixo, dependendo de
você, porque há alguma aleatoriedade e ele pode acabar como no poço, mesmo que ele vá assim.
Mas, ao mesmo tempo, estão começando lentamente a convergir para algum tipo de valores e valores de referência.
Provavelmente, mil é um pouco demais em termos de tempo.
Não parece que a velocidade também esteja aumentando proporcionalmente.
Então, pode cortar essa parte.
Quero dizer, como reduzir a velocidade.
Você sabe, enquanto isso é muito baixo, você não precisa assistir até o final deste tutorial.
Eu só quero experimentar um pouco, de modo a dar-lhe alguns exemplos do que trabalhamos, mas você
entendeu que Ele passa por tudo isso.
Tem alguma aleatoriedade como o Rambler incorporado ao seu comportamento.
Então, mesmo quando tem como uma política, ela continuará explorando, então não será como uma vez que tenha uma
política básica que não apenas continuará seguindo sua política.
Ele ainda experimentará outras variações de vez em quando para aprimorar sua política, talvez não tenha encontrado
a melhor política já de imediato.
Talvez possa melhorar a política.
E é por isso que, mesmo depois de tantas iterações, você ainda pode ver alguns efeitos aleatórios, é às vezes salta para estados aleatórios,
não apenas por causa da aleatoriedade no ambiente, mas também porque existe algum nível como um parâmetro que
você poderia controlar, o que você poderia configurar para o seu agente dizendo que você sabe a maior parte do
tempo 80 por cento do tempo faça o que quer que sua política lhe diga para fazer, mas 20
por cento do tempo você apenas tem alguma experiência divertida e ver o que acontece e usar
as informações que você reunir para atualizar sua política.
OK, isso está demorando muito.
Vamos tentar isso de novo.
Sim, é assim que o agente aprende em diferentes estados.
Talvez vamos passar mais um pouco por curiosidade.
Então, há algo mais que possamos mudar sobre isso.
Iterações.
ESTÁ BEM.
OK, vamos dar uma olhada.
Sim, podemos mudar a discussão, por exemplo.
Então, neste caso, poderíamos dizer que K menos cem menos um Q menos dois e menos são OK mil.
Então, recompensa.
Nós queremos mantê-lo talvez, vamos manter isso em 0. isso, mantenha sempre a recompensa em meu ponto zero do deserto.
04 Mas, digamos, defronte com
E então aqui vamos dizer que o desconto não é zero nove pontos, mas é como ponto zero ponto
cinco.
Então, ele é bastante descontado enquanto você passa pelo jogo.
Então, na verdade, agora será incentivado a aproximar-se do acabamento em vez de uma nova rota, os estados próximos ao
final obterão um valor alto para que você possa ver que os valores realmente cai, não
é tão verde quanto antes.
Então, você pode ver que esta é a política agora.
Então, é assim como esse, semelhante ao que vimos antes, provavelmente, apenas as diferenças
de aqui saltando diretamente aqui.
Então é um.
E ok, vamos apenas correr mais um.
Isso é tão divertido.
Vamos apenas rodar mais um k menos k 100 a q descartar.
Mantenha-o como original Então, vamos apenas rodar esta configuração básica de baunilha, ok, ok, ok.
Vai ver se isso nos mostrará a política.
E sim, conseguimos a política.
Sim.
Bom acabamento.
Então, aqui temos a política.
Você sabe que isso é familiar.
Lembre-se daquele momento em que vimos que a IA superou a bomba humana na parede para ir lá
e boom na parede para ir assim para aumentar o problema.
Então vamos lá.
Esse é um exemplo de inação da inteligência artificial muito, muito simples, mata os ganhos, então não há aprendizado
profundo nesta fase.
Mas, ao mesmo tempo, já é bastante inteligente e espero que você tenha gostado do tutorial de hoje.
E, mais uma vez, agradeço a UC Berkeley e espero que você tenha gostado do tutorial de hoje e eu olho para a frente
scenics eles.
Até então, desfrute da AI.