Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Tudo bem, espero que você esteja gostando do tutorial até agora, acabamos de fazer com a intuição que, em breve,
logo chegaremos ao lado prático das coisas que acabamos de receber algumas pequenas coisas que precisamos cobrir.
Tudo bem, então, anteriormente, falamos sobre como adicionamos redes neurais a toda essa equação da aprendizagem CULE
e levamos o ular ao próximo passo e transformamo-lo em aprendizado profundo.
E hoje vamos adicionar uma característica extra importante que codificará no lado prático das coisas, então mandei e eu decidi que é
importante para nós cobri-lo muitas vezes no lado intuitivo das coisas para que você esteja mais preparado para
isso quando se trata do lado da codificação das coisas.
Então, como discutimos, temos a rede lá, há duas partes que acontecem.
Antes de tudo, é a aprendizagem, então a rede realmente aprende com cada novo estado.
Ele atualiza lentamente suas esperanças para melhorar cada vez mais e melhor em lidar com esse ambiente.
E então há a atuação dentro do estado, então após os valores q foram contados no estado, então, uma vez
que você selecionou.
Então, hoje, ainda vamos falar sobre a parte de aprendizagem, vamos encontrar uma característica
interessante que vai ajudar no graduação a criar esse recurso, mas
falaremos sobre um recurso que é muito importante para um aprendizado profundo e esse recurso é chamado de repetição da experiência.
Tudo bem.
Então, aqui está nossa rede, então nós apenas copiamos isso aqui.
Perdemos que Calcott está no fundo é propagador traseiro através da rede.
E vamos dar uma olhada em um exemplo do que acontece para entender o problema que estamos lidando
um pouco melhor.
Então, aqui é um exemplo realmente das pontuações.
Este é um tiro de tela disparado exatamente a partir deste curso, isso é o que você estará programando.
de auto-condução que está dirigindo através deste através desta estrada e tem que aprender a navegar nesta estrada.
Este é um carro
E então, o que é, como discutimos anteriormente. O que é isso neste estado.
E, claro, o estado não vai ser x1 x2. Lundell apenas descreve-o com muito mais detalhes sobre o
que é o estado, será um par de parâmetros que se relacionam com o ângulo do carro e alguns parâmetros relativos, quais
são os sensores leitura e assim por diante.
Então, haverá mais parâmetros do que isso para descrever o estado.
Mas, no entanto, será um vetor de valores que passará por uma rede neural e, em
seguida, na saída, você terá alguns valores de ACU.
Novamente haverá uma diferença dependendo do ambiente.
Eles podem ser um número diferente de ações ações possíveis.
Mas vamos simplesmente por motivos de simplicidade, deixe-o apenas para que possamos entender melhor o que
está acontecendo aqui.
Então, neste caso, qual é a questão é até agora o que é isso.
Essas entradas para esta rede neural ou, mais especificamente, com que frequência desencadeamos essa rede neural.
Com que frequência esse crescimento líquido neural.
o carro acaba em um novo estado, então o carro faz um movimento, ele acaba em um novo estado e então tudo corre.
Bem, cada vez que
Todos os dados que toda a informação sobre o estado passam pela rede dão a Alice os
erros calculados.
Este erro é calculado com base no que discutimos em tutoriais anteriores.
Isso é propagado de volta e seus pesos são atualizados.
Em seguida, o carro seleciona qual ação foi a tomar faz que o movimento acabe em um novo estado no novo estado.
Tudo começa de novo.
E, basicamente, isso acontece toda vez que o carro está dentro e você disse que dê uma olhada neste exemplo.
Eu especificamente tirei a tela porque parece que é muito bem ilustra o problema que é abordado através da
repetição da experiência e as repetições de despesas não são apenas algo que usamos neste curso
ou neste problema específico.
É algo que você verá usado por toda parte.
De vez em quando e de novo e de novo em algoritmos de inteligência artificial porque é tão poderoso e é
tão importante.
Então, olhe para este carro neste carro neste problema ou neste ambiente, o objetivo é vir de aqui para aqui
e para trás.
Seu objetivo é navegar aqui aqui sem cruzar essas paredes que são feitas de areia.
E então, o carro começou aqui, desceu e, como sua recompensa é baseada em você, sabe o quão perto
é começar.
Então, o carro foi daqui, desceu e continuou assim como este, como este ou ao longo
deste muro ao longo do paredão.
E o que isso vai fazer em seguida vai virar vai continuar.
Bem, o que queríamos fazer é continuar aqui.
Mas vamos pensar sobre isso por um segundo.
Uma vez que chegou a esta parede, cada vez que ela se move para a frente, ela avança.
Ele avança para a frente, move-se para a frente, move-se para a frente, move-se para a frente, move-se para a frente e, assim, continua.
Então, pode haver como, dependendo da estrutura, o ambiente pode ser como uma centena de movimentos
aqui ou 50 movimentos aqui.
Ele simplesmente continua avançando para a frente para a frente para a frente e nada muda.
Na verdade, as mudanças não conseguem chegar mais longe, começaram mais perto dessa história.
Isso é adorável.
Mas, em termos do ambiente circundante, muitas coisas estão mudando ainda é a mesma parede.
Se você está sentado no carro, provavelmente viu a situação quando está dirigindo no que quer que esteja
a ver, é como o ambiente é tão monótono que você está apenas vendo um tipo de coisa que
está passando.
Mas como eu imagino que você está dirigindo por um deserto e você está apenas vendo a mesma coisa, é
o mesmo som. É o mesmo que nada está acontecendo.
Nada está mudando.
E, portanto, baseados, cada vez que colocamos esse estado nesse novo estado aqui.
para nós enquanto você está dirigindo o carro e seu GPS está mostrando que você está mais perto do seu destino.
Sim, claro, algo pode estar mudando
Então, uma dessas entradas é estranha, mas muitas dessas outras entradas, os sensores, por exemplo, que
estão no carro, não estão mudando e, portanto, como você está dirigindo devagar nesse dia, coloque as insumos
no seu próprio aqui aqui aqui aqui aqui aqui e aqui aqui o tempo todo, as entradas são
praticamente as mesmas.
E, portanto, se você continuar inserindo os mesmos valores dos mesmos vetores ou vetores muito similares na
sua rede porque não há variedade.
O carro vai aprender muito bem.
Uma coisa que você vai aprender muito bem como dirigir ao longo deste muro que está à direita e assim é
assim que a rede irá atualizar e ele será recompensado vai começar lentamente a ser recompensado por dirigir tão bem que
será como.
OK, então, a partir daqui, eu vou aprender tudo o que estou fazendo tão bem, eu estou melhorando, eu estou melhorando.
Tudo isso.
Isso terá essa falsa percepção de que realmente está indo muito bem, embora só aprenda a conduzir, assim como outras
redes neurais tornar-se-ão muito adaptadas para conduzir ao longo deste bem e, de repente, há
essa curva eo carro não Não sei o que fazer.
E não se enquadra completamente nessa rede neural.
E, mesmo que sim, de alguma forma, digamos hipotéticamente, passa um ponto e depois termina neste
muro.
O mesmo acontecerá vai chegar aqui aqui.
OK agora, a rede neural está se reestruturando para se adaptar a essa parede e então, isso acontece.
E então, mesmo que, de alguma forma, ele seja aprovado para que ele vá além dessa coisa e depois o mesmo ao longo
dessas linhas.
estão de alguma forma correlacionados ou são de alguma forma interdependentes e não queremos que a interdependência prejudique nossa rede.
Então, basicamente, este é um exemplo muito vívido do problema de que somos o que temos
é porque a maneira como estamos usando a rede neural atualizando-o todos os estados uma vez que
temos muitas coisas consecutivas, eles nem precisam ser o o mesmo, mas há em ambientes que são normais, que são estados
consecutivos
Nós não queremos que o carro apenas aprenda a conduzir como uma linha reta ou uma longa
linha curvada ou como qualquer coisa que você pensa que você possa pensar na vida em que um
agente seria um ambiente navegante onde podemos pensar em correlação ou estados interdependentes que vêm após o outro que podem realmente
estragar sua rede neural.
Se você apenas deixa o agente aprender com isso.
E é aí que entra a reprodução da experiência.
O que acontece na repetição da experiência são essas experiências, por isso, afirma que está em um
dois três, no entanto, muitos 50 estados aqui em neuro não recebem a rede imediatamente.
Eles são realmente salvos na memória do agente.
E, por exemplo, economiza tudo isso e salva todos estes e alguns em algum momento, uma vez que atinge um
certo limite que você poderá codificar e Atlanta irá mostrar-lhe como fazer isso.
Uma vez que atinge um determinado limite, então o agente decide por si mesmo, é hora de aprender.
Eu tenho esse lote de experiências que eu tenho, não vou aprender com isso e, assim,
seleciona aleatoriamente uma uniformidade de distribuição e uniformidade, a chave é importante aqui porque é algo sobre
o qual falaremos no próximo slide.
Nós iremos mencionar isso.
Mas é preciso uma amostra uniformemente distribuída.
Então, basicamente, todas as experiências são consideradas iguais.
dessa ação nesse estado específico, então quatro elementos em cada experiência são um O estado de ação dois e recompensa e,
portanto, leva todas essas experiências e depois as passa pela rede e aprende.
É preciso uma amostra uniformemente distribuída desse lote de experiências que tem e depois
passa por elas e aprende com elas, por isso não leva toda a experiência ou simplesmente leva a distribuição
uniforme de amostras, que pode demorar um par daqui um casal de Aqui, um par daqui e cada experiência é
caracterizada pelo estado que foi na ação que levou o estado em que acabou e a recompensa
que conseguiu através
E dessa forma ele quebra o padrão desse viés que vem da natureza seqüencial da experiência como se você fosse colocá-los através
da rede um após o outro.
Então esse é o foco principal da experiência que jogamos.
É aí que é o problema e o endereço e outro benefício da repetição da experiência é que,
por vezes, em um ambiente como este, você pode ter experiências raras muito valiosas.
Então, por exemplo, eu não sei, digamos, vamos ver essa esquina, este é o canto direito.
Certo.
E um afiado é afiado.
Então virá daqui assumindo que vai estar abraçando este canto.
Então, tendo você ninhos afiados, temos neste neste todo, teremos um canto
direito aqui e um canto direito aqui.
Certo, então, quando estiver vindo dessa maneira, esse é o canto direito.
E então, quando está voltando, é um canto direito afiado aqui.
Então, este não é nítido desta maneira na loja, então há apenas uma oportunidade em
todo o ambiente para aprender com um canto direito afiado.
E essa é uma experiência muito importante, porque pode ser realmente bom na condução ao longo de linhas
retas, é realmente bom em fazer como cantos suaves desse tipo.
direito afiado simplesmente porque simplesmente porque não tem tanta oportunidade de aprender com isso e, portanto, ele aprenderá tudo o
mais rapidamente, mas vai demorar muito para aprender o direito curso.
E então continuará estragando este canto
É um exemplo muito simplificado, uma explicação muito simplificada, mas ilustra o conceito de
que, por vezes, são experiências raras que podem ser valiosas.
E se você está apenas fazendo uma rede neural simples onde você está colocando seus valores aqui e você
sabe que eles estão passando e você sabe, mesmo que se esqueça desse problema da natureza sequencial
das experiências e como elas podem ser interdependentes e todos correlacionados com Thimphu até esquecem disso
por um segundo.
vez que você coloca uma experiência nela através de redes de dados, então você esquece instantaneamente, mas esquece essa experiência.
O que acontece é uma
Você passa para o próximo.
É assim que funciona a rede neural.
Em seguida, você passa para o próximo estado no próximo passo no próximo passo, a próxima experiência X experiência
que a experiência e assim por diante.
Então, este canto direito, assim que atravessa uma rede, desapareceu e você não tem nenhuma memória
dessa experiência valiosa.
seu lote, então, quando ele voltar daqui, é assim que Isso registrou essa experiência em seu lote.
Enquanto nós experimentamos a repetição porque você está colocando essas experiências em lotes, você pode
organizar seu bash como uma janela que rola, por exemplo, você poderia ter como 100 lotes.
Assim, cem experiências em
Então, como em algum momento, ele corre, toma uma distribuição uniforme de seu lote de experiências e, depois, há uma janela que
rola para que ele esqueça essas experiências, mas depois mantém essas experiências.
E, novamente, ele aprende de uma vez que está aqui, ele aprende com esse lote e, uma vez que está aqui, esquece todo
o caminho até aqui.
Mas, então, tem um lote de experiências como essa, portanto, não aprender com essas experiências.
E dessa forma, o que você está recebendo é que esse canto da mão direita pode surgir várias vezes em seu processo
de aprendizagem, porque estava nesse lote quando o lote era assim por aí do que
havia no lote aqui aqui por aqui, então surgiu em vários lotes porque o abash
pode ser atualizado como uma janela de experiência.
Então, as experiências mais antigas são expulsas, as experiências mais recentes são adicionadas e, novamente, a experiência mais
antiga é obtida.
Então, experimente que permanece no lote por algum tempo e o carro ou agente pode aprender com essa
experiência várias vezes.
Então, essa é outra vantagem da repetição da experiência.
E é claro que a vantagem final é a repetição da experiência que lhe dá uma oportunidade de aprender
com mais experiências do que se você estiver apenas aprendendo por uma vez porque você possui
esse lote e, portanto, é uma janela que rola e, portanto, mesmo que seu ambiente seja limitado para experimentar a sua abordagem de repetição
de experiência pode ajudá-lo a aprender mais rápido.
E, em vez de apenas refazer, há muitas muitas vezes que você pode aprender rápido porque você não
precisa refê-lo.
Você ganhou essas experiências.
Então, essas são as principais vantagens da experiência.
Vamos recapitular que temos o.
Estamos rompendo esse padrão com a independência e a correlação de experiências seqüenciais, economizando experiências raras
que podem ser importantes, portanto, podemos aprender com elas com mais freqüência e podemos
aprender em ambientes, podemos aprender os ambientes Fosler que são experiências.
Temos uma escassez de experiências que não possuem muitas experiências que o agente passa
e ainda podemos aprender isso.
Então, é disso que a experiência repete tudo.
Se você gostaria de ler um pouco mais do que isso.
Há um artigo interessante, publicado pela mente profunda em 2016, chamado de repetição de experiência
priorizada e fala sobre o porquê.
Por que estamos usando uma distribuição uniforme para selecionar nossas experiências da experiência Bachche porque não
encontramos uma maneira melhor de selecionar nossas experiências e priorizar algumas das experiências
que consideramos importantes.
é uma coisa bastante interessante, você não só reforçará ou não reforçará seu conhecimento
sobre a repetição da experiência, mas você realmente poderá se mover com a vanguarda da tecnologia.
No entanto,
Então, isso é 2016 e é publicado por mentes profundas.
É um documento muito recente muito poderoso para que você possa realmente explorar os limites ou explorar ainda
mais esse algoritmo e levá-lo ao próximo nível.
Então, deixarei isso para você descobrir o porquê e como podemos mudar o uniforme para uma abordagem diferente para experimentar
a repetição deste artigo, se você quiser.
E espero que você goste disso.
que é realmente a experiência e podemos usá-lo com confiança em nossos círculos práticos e eu procuro ver você na próxima vez.
Tauriel e agora sabemos o
Até então, desfrute da AI.