Olá e bem-vindo ao nível final do desafio automóvel auto-dirigido.
Então, desta vez, meu objetivo será vencer o carro auto-dirigido não o nível quatro porque eu
quero desafiá-lo em melhorar as curvas melhorando a IA ou talvez melhorando a estratégia para que você
possa vencer esse desafio sozinho.
Então eu vou fazer uma estrada altamente complexa que ainda vai do aeroporto para o centro da cidade, mas talvez seja
muito complicado para o carro encontrar o caminho.
Então esse será o meu desafio para que possamos nos divertir com a tarefa desafiadora.
Então, vamos fazer isso, vamos abordar esse nível.
Então, vamos selecionar tudo, então vamos carregar o cérebro e lá vamos nós.
Agora, com as viagens de ida e volta entre o aeroporto e o centro da cidade.
Então vai demorar algum tempo, então eu vou colocar alguma música e aqui vamos com a estrada.
E nós vamos lá.
Aqui está a estrada.
E como você pode ver o carro parece ter muitos problemas.
Então é exatamente isso que eu queria.
Você sabe fazer essas pequenas viagens na mesma parte da estrada.
Isso é um problema.
Não encontra o caminho agora para o centro da cidade.
Então, como podemos corrigir isso.
Podemos precisar mudar a estratégia ou precisamos mudar os parâmetros das redes neurais
que mudaram a sinopse no cérebro do carro.
Precisamos fazer algo com as palavras que você conhece, talvez obtenha uma palavra pior quando não está encontrando o objetivo, como
é o caso agora.
não sei que para você descobrir como você pode ver as recompensas não é muito grave quando não está encontrando o objetivo.
Então, eu
Você sabe que não está se aproximando do objetivo.
A recompensa é apenas menos 0. 2.
Essa não é uma grave recompensa ruim.
Você poderia tentar diminuir a recompensa ainda mais como definir uma recompensa igual a menos 0. 5.
Talvez isso funcione.
E apenas atirando algumas sugestões para ajudá-lo.
Então, essa é uma mudança que você pode fazer com a palavra estratégia.
E, claro, pode fazer algumas outras mudanças com sua nova rede.
Então, você sabe que nesta seção criamos a arquitetura da nova rede que escolhemos para ter 30
neurônios escondidos em uma camada oculta.
Talvez você possa tentar mudar a arquitetura tentando algumas camadas mais ou alguns neurônios mais escondidos que
eu não conheço.
Essa é outra sugestão de melhoria.
E então você também pode tentar mudar algo em um algoritmo de aprendizado profundo ou algo que
você pode seguir no curso e descobrir os outros algoritmos.
Talvez haja outro que gerencie lidar com essa situação.
Então boa sorte.
Estou ansioso para ver suas soluções tentar desenhar a mesma estrada que é perfeita.
Esse é realmente um enigma bastante emocionante.
E se você quiser que eu lhe dê uma dica ou se você quiser que eu explique rapidamente qual é o problema.
Bem, você pode ver isso aqui.
Quando ele atinge esse ponto, ele está voltando e é porque quando está chegando a esse ponto está
ficando muito longe do objetivo que agora é o centro da cidade.
Você sabe quando está chegando a esse ponto se vai mais longe. Bem, ele vai mais longe do objetivo.
Então é por isso que está voltando aqui.
E então você tem que mudar algo no código de algo na estratégia para talvez puni-lo menos quando está
ficando mais longe do objetivo.
Talvez essa seja a solução.
Estou apenas atirando algumas sugestões.
Eu não quero lhe dar uma solução muito rápida, mas isso seria um bom exercício.
geralmente é um problema que pode ser combatido pelos engenheiros quando eles estão fazendo um carro auto-dirigido.
E isso
Mas, de qualquer forma, acho que é um enigma muito legal.
Então espero que você se divirta e antes de resolver esta lição de casa talvez você possa fazer outra lição
de casa muito eficiente que seria simplesmente tentar implementar tudo isso de novo.
Você sabe que acaba de implementar exatamente o mesmo que será uma prática excelente, porque
até agora você apenas ouvi minhas explicações, mas há uma enorme diferença entre ouvir algo e tentar fazer
a coisa sozinho.
Oh, você viu o que aconteceu?
Acabou de encontrar o caminho.
Isso é incrível.
É divertido como ele saiu disso.
Mas tenho certeza de que há uma estratégia melhor para sair dele de forma mais eficiente.
E agora parece ser muito bom.
Talvez eu esteja falando muito rápido, talvez ele vá resolver isso.
Não.
Aqui vamos nós.
Está ficando preso aqui novamente.
Isso é muito desafiador para o carro certo.
Mas tenho certeza de que isso pode ser resolvido.
Essa é sua vez.
Então, boa sorte e por favor me avise sobre suas soluções.
E então eu.