Olá bem-vindo de volta ao curso sobre inteligência artificial.
No tutorial de hoje, vamos abordar um tutorial bastante complexo chamado de rastreamento ou etapa
de elegibilidade.
Q aprendendo e isso é algo que vou implementar no lado prático das coisas, então é
por isso que precisamos sair e no centro é um assunto bastante complexo, então temos uma abordagem muito
interessante para nos atualizar com a intuição por trás.
Então eu tenho uma abordagem diferente em mente do que costumamos solapar o simples olhar para isso e ver
como isso acontece.
Então eu quero dar um exemplo para começar.
Eu vou dar um exemplo neste tutorial e isso irá demonstrar o poder de elegibilidade.
E nos da a intuição por trás das coisas.
E então, se você quiser aprofundar os traços de elegibilidade, darei o melhor lugar onde você
pode ler sobre isso.
Eu lhe darei uma referência a um livro, mas de outra forma.
Então, enquanto isso vai ser diferente porque estamos dentro dele primeiro, em vez de mergulhar
na intuição, vamos ver um exemplo e a intuição torna-se óbvia depois que falamos.
E essa é a minha esperança.
Então vamos dar uma olhada.
Vamos ver, vamos ver se podemos fazer isso.
Então, aqui temos dois agentes e eles estão navegando no mesmo ambiente e vamos ver como esses dois
agentes funcionam.
O primeiro vai trabalhar com nosso rastreamento de elegibilidade.
O segundo vai trabalhar com rastreamento ilegítimo e, espero, veremos por que o segundo será muito
mais poderoso do que o primeiro.
Então vamos dar uma olhada.
Vamos primeiro olhar para este agente.
E a maneira como ele opera é a maneira exata em que discutimos a coisa circular profunda até agora.
Então, o agente vai dar um passo ou vai se mover, levar uma ação para um novo estado.
Bom para obter uma certa recompensa, vai colocar isso através ou através de seu algoritmo atualizar
a rede neural que está executando esse agente ou está funcionando na mente desse agente.
Então, é basicamente como isso está aprendendo a partir desse momento vai dar um novo passo.
rede neural está dizendo para fazer é obter recompensas atualizando e assim por diante e continuará fazendo isso.
Então, a partir deste novo estado, vai tomar uma nova ação com base no que sua
Então, obviamente, isso vai fazer um bom trabalho e, como já vimos anteriormente, do Escudeiro prático
anterior para os DROs, vamos conseguir alguns bons resultados aqui, mas agora vamos adicionar um novo recurso.
Agora, este agente, número dois, esse cara aqui, ele vai navegar no mesmo ambiente.
O que ele usará legibilidade das árvores.
E isso é o que isso significa.
passos que ele vai tomar neste caso, cinco fórceps vai dar quatro passos e,
depois de seguir estas etapas, ele calculará a recompensa total que ele obteve desses passos e ele irá coloque-o na sua rede.
O que ele vai fazer é que ele vai tomar os
Ele passará por sua rede neural que está governando o processo de tomada de decisão e, em
seguida, a rede neural aprenderá com isso.
Então, qual.
De imediato, como o que você acha que é mais poderoso.
O cara que está apenas levando um passo de cada vez e meio como cutucar no cego ou no escuro e ele é como
OK, então eu vou dar um passo para ver o que acontece.
Dê um passo para ver o que acontece.
Tome medidas.
O que acontece.
O cara no topo ou o cara que leva apenas com muita coragem a Marsha através de quatro passos seguidos e então
ele decide se foram bons passos ou não, e por que você pode ver aqui ou por que provavelmente está tendo uma
idéia de por que o O segundo cara é melhor ou é mais poderoso porque o
segundo cara realmente sabe o que está no final.
O primeiro cara quando ele está quando ele está avaliando se este passo é bom ou não ele está apenas olhando a
recompensa que ele está recebendo.
E então ele é apenas guiado pela recompensa que o meio ambiente lhe está dando.
A mesma coisa aqui, ele apenas é guiado pela recompensa que esse ambiente está lhe dando aqui.
Então, cada vez que é seu único tipo de bússola que ele tem a recompensa, recompensa a recompensa.
Enquanto aqui ele realmente pode avaliar depois de tomar as medidas que ele pode avaliar.
OK, então eu cheguei à linha de chegada.
Então, essa combinação de passos foi boa.
Todos eram bons.
Ou Oh, não acabei no fogo ou Ohno I.
Eu fiz e quando o meu carro não chegou à linha de chegada ou cruzei a parede de areia ou perdi o jogo da
desgraça ou algo assim.
E então, ele decide que toda essa combinação de passos é ruim.
E, portanto, para essas etapas anteriores, ele tem mais informações.
Ele tem mais idéias em abordagens muito intuitivas.
Mais uma vez, este é um tema muito mais complexo do que estamos retratando aqui.
Mas, de forma intuitiva, por exemplo, se você tomar este passo, esta etapa apenas possui informações para você obtê-lo, você
só tem informações que retornam desta recompensa aqui.
E, para este passo neste caso, o mesmo passo exato.
Tem mais informações que tenham vindo da informação.
OK então, qual foi o resultado depois de quatro passos ou cinco passos ou o que for.
Sim, então é assim que funciona e por que se chama rastreio de elegibilidade é porque, durante esse processo, ele
não só olha a recompensa do computador sobre o que está acontecendo e, em seguida, a perda cumulativa e,
em seguida, tudo o que é apropriado.
Mas na verdade, há um vestígio de elegibilidade como o que é chamado de confiança de deficiência.
que recebemos uma punição, obtemos uma recompensa negativa, então, quais desses passos é mais provável que sejam elegíveis para essa punição.
Há um rastro que é mantido em um algoritmo que diz OK, então, se obtivéssemos, digamos
Então, não só sabemos o que é todo esse padrão ou a combinação de etapas da
escola, mas também mantemos um traço de elegibilidade, quais as etapas que vamos atualizar se conseguimos todos.
Então, por exemplo, se, como uma recompensa negativa, possamos ter um rastreamento de
elegibilidade que nos indica que este é um passo que é o mais responsável pelo que obtivemos no
final ou se é uma recompensa positiva de novo, podemos saber que o algoritmo nos ajuda a acompanhar este algoritmo de
elegibilidade também nos ajuda a acompanhar o que é o passo ou a ação que precisa ser elegível para ser atualizado com base na
recompensa que obtemos.
E é por isso que se chama rastreio de elegibilidade.
E essa é a intuição básica por trás da elegibilidade e espero que esses dois
exemplos desses agentes o tornem bastante óbvio ou sejam bastante intuitivos, enquanto essas habilidades podem ser tão poderosas.
E se, como prometido, se você gostaria de aprofundar ainda mais os traços de elegibilidade tópica ou a aprendizagem progressiva, então um maravilhoso
livro incrível que é o que você pode encontrar é chamado de aprendizagem de reforço.
Uma introdução é de Richard Sutton Andrew Barto 1998.
Eu acho que eles estão no processo de criar uma segunda edição ou a questão muito crítica.
mais popular ou o mais referenciado sobre o aprendizado da lei, obteve um número ridículo de citações.
Mas este é o livro mais comum ou
Penso como dezenas de milhares se não me enganar.
E também o capítulo que você precisa para isso é o Capítulo 7.
Então, para analisar as escolhas de elegibilidade, há um capítulo inteiro sobre o Capítulo 7.
Você pode ler sobre isso e vai em muitos detalhes.
Traços de elegibilidade de avanço para trás e também como a diferença temporal integral de uma mão e a outra extremidade
do espectro que você possui métodos Monte-Carlo entre você tem traços de elegibilidade supostamente traços ou
você liga para passar de diferenças temporais aos métodos de Monte-Carlo.
Muito interessante, leia muitas imagens que realmente apreciei explicações muito intuitivas.
Então, há muitas coisas que você pode aprender com este livro sobre inteligência artificial e aprendizagem de
reforço, mas especificamente os traços de elegibilidade são como um ótimo lugar para se chegar a este livro para os traços
de elegibilidade.
E a segunda referência para hoje é algo que irá mostrar-lhe nos ensaios práticos o aprendizado profundo ou o
trabalho de pesquisa da mente profunda do Google sobre métodos síncronos para uma aprendizagem de reforço mais
profundo.
o papel que é o único artigo em que o A-3 vê o papel que vamos discutir mais abaixo na pontuação.
Sim, esse é
Estamos cada vez mais perto disso.
E, como você pode dizer, estamos muito entusiasmados com isso, então, isso será um pouco sobre
como eles implementaram vestígios de elegibilidade neste artigo, então vamos usar isso mais para o lado prático
das coisas.
Então, espero que tenha gostado do tutorial de hoje e saiba que você está um pouco mais confortável com vestígios de
elegibilidade e não posso esperar para vê-lo na próxima vez.
Até então, desfrute de um.