Olá e bem-vindo de volta ao curso sobre inteligência artificial.
E, finalmente, estamos com as coisas divertidas que estamos aprendendo profundamente.
Tudo bem, então vamos dar uma olhada.
Bruce falamos sobre ganhos assassinos e sobre o que se trata.
E aprendemos sobre o ambiente do Agente e como o agente examinará o estado.
Ou ela está em uma ação ganha uma recompensa.
Entre em um novo estado e com base nesse ciclo de feedback eles continuarão a tomar ações
e aprenderão disso.
Compreenda quais são as melhores ações a serem tomadas.
E então olhamos para este exemplo básico de um labirinto.
Entendemos que, à medida que a Ásia explora o ambiente, entende quais são os valores dos estados.
Em seguida, passamos a lidar com os valores dos estados para lidar com os
valores das ações com os valores e, em seguida, A-Basin que entendemos como os planos em ambientes não sarcásticos funcionam e como
as políticas funcionam em ambientes estocásticos e isso é um exemplo de uma política.
Então, esse é um recapitular rápido de tudo o que discutimos na aprendizagem básica.
dar uma olhada em como isso pode ser levado ao próximo nível através de aprendizado profundo através da adição de aprendizado profundo.
E agora vamos
ESTÁ BEM.
Então, este é o nosso ambiente e o que vamos fazer agora é que vamos adicionar em vez
de apenas fazer cálculos básicos nesta matriz que temos o que é bastante simples.
O que faremos é que vamos adicionar dois eixos que adicionem um eixo x e y ou
os chamaremos x1 e x2.
Apenas para tornar as coisas ainda mais gerais.
E aqui temos o número real da linha as colunas 1 2 3 4 ele regerá o número das linhas 1 a 3.
E assim, agora, cada estado pode ser descrito por um par de dois valores x1 e x2 para que qualquer
um desses quadrados em que o agente possivelmente possa entrar pode ser descrito por x1 x2.
Então, por exemplo, agora ele está no quadrado com X1 igual a 1 e x 2 igual a 2.
E, portanto, não é assim que podemos escapar em seu quadrado, o que significa que podemos descrever em seu estado.
Então, é claro, esta é uma versão muito simplificada de um ambiente de estados que descrevem.
Mas, no entanto, funciona neste caso.
E isso significa que agora podemos alimentar esses estados em uma rede neural.
x número um e uma palhaçada e dois para prosseguir com sucesso nesta seção.
E, a propósito, gostaria apenas de mencionar que, no final do curso de bons anexos, temos um
Altamente recomendável que você verifique o que não é acessível, que está na rede neural
artificial, para que você entenda como eles funcionam para que não possamos aprofundar isso e
podemos usar os benefícios do conhecimento de como funcionam as redes neurais artificiais e por isso alimentamos essas
informações sobre o estado em uma rede neural e, em seguida, processará essas informações, o X1 e x2, dependendo da estrutura da rede
neural, talvez tenha múltiplas camadas ocultas e assim por diante.
Então, isso é algo que você descobrirá nos tutoriais práticos, mas no final, vamos estruturar
de forma que ele esculpe valores e esses quatro valores realmente serão o nosso valor Q.
Portanto, os valores que determinam quais ações precisamos tomar e não neste tutorial veremos exatamente como
esses valores-chave são usados ​​para decidir qual ação é tomada.
Mas o ponto principal aqui é que não mais olhamos apenas este labirinto a partir de uma perspectiva de aprendizado.
Agora estamos levando os estados do labirinto e estamos alimentando-os em uma rede neural profunda para
obter esses cubículos e.
E no final do dia, ainda vamos encontrar uma ação, ainda entenderemos as ações
que precisamos tomar e vamos discutir tudo isso com mais detalhes, mas a questão agora é por que
razão é porque estamos fazendo tudo isso por isso chamamos isso.
Por que as coisas são muito mais complicadas quando essa abordagem inicial de aprendizagem já estava
funcionando bem.
A razão para isso é aprender a trabalhar neste ambiente muito simplista e continuamos a lidar
por enquanto com este ambiente muito simplista, a fim de entender melhor os conceitos.
Mas, ao mesmo tempo, o aprendizado simples do Kial não funcionará mais em ambientes mais
complexos e estamos falando, por exemplo, dos carros auto-dirigentes que estarão criando ou jogando Doom
quando a inteligência artificial estiver jogando Doom ou outros jogos do Atari como breakout ou
mesmo auto-condução de carros e reforço mais avançado aprender coisas como, como, robôs andando e realizar ações em
todos esses casos, basicamente aprender é insuficiente não é forte não é poderoso o
suficiente para poder dominar esses desafios.
E assim como vimos no curso de aprendizado profundo, se você esteve em nossa disciplina ou se você fez
as seções anexas no x número um e X-2, você saberá que o aprendizado profundo é muito superior a
qualquer tipo de aprendizagem de máquinas, muito menos um simples aprendizado legal.
E é por isso que estamos aproveitando o poder da aprendizagem profunda aqui, então estamos alimentando
a informação sobre o meio ambiente como um vetor de valores.
e, em seguida, estamos usando isso para realizar as ações que queremos decidir quais ações os agentes serão levados.
Neste caso, apenas para usar em uma rede neural profunda
Então, é como uma visão geral de alto nível sobre por que estamos fazendo isso.
E agora vamos dar uma olhada em um pouco mais de detalhes o que acontece com o conceito
de aprendizado legal quando transferimos quando fazemos a transformação ou a transição do aprendizado simples para o Killary profundo.
Então, como você viu nos tutoriais de intuição anteriores, tivemos um slide como esse, que é o fundamento da
aprendizagem da diferença temporal.
Esta é a fórmula para a diferença temporal e basicamente, então vamos passar.
Então, basicamente, nós tínhamos um agente que estava nesse estado por aqui, o que é indicado na seta azul.
E nós entendemos como a diferença temporal funciona para esse valor, por exemplo, subindo.
E então, o que vimos aqui foi antes disso, é o simples Killary, não o aprendizado profundo é o simples
assassino.
O que vimos foi antes que o agente tivesse um valor de matiz subseqüente que ele tinha aprendido sobre essa ação
de subir.
E então ele decidiu tomar o tom para subir.
E logo depois que ele toma sua ação ele recebe uma recompensa por tomar essa ação neste estado.
ações que ele pode assumir no primeiro estado como impressão e leitura multiplicada pelo fator DK da gama.
E essa é a recompensa mais agora ele pode avaliar o valor do estado atual em que ele é o
máximo de todos os novos valores q de todo o cubo das novas
Então, isso é essencialmente o sinal do novo valor do cubo ou tipo de como o valor do cubo empírico que ele
acabou de receber para tomar essa ação.
E, idealmente, esses dois dois devem ser os mesmos.
Então, na verdade, o valor Q que ele tinha em sua memória sobre essa ação neste estado
deve equiparar a recompensa real Além da gama vezes o valor do estado em que ele acabou.
está procurando menos o que ele conseguiu o que ele tinha em mente o que ele esperava.
E, portanto, é assim que calculamos a diferença temporal que tomamos o que você
Você subtrairia um do outro.
Essa é uma diferença temporal.
E então você usa sua taxa de aprendizado Alpha para ajustar seu valor q seu novo valor q pela diferença temporal,
mas com um coeficiente de Alfa.
Então, essa é a essência da aprendizagem simples.
Agora vamos dar uma olhada em como ele muda no Killary profundo e então ainda vamos trabalhar com
o slide, mas nós vamos apenas ver exatamente o que está acontecendo.
Então, em uma aprendizagem profunda, a rede neural irá prever para Valis como vimos no anterior e como
veremos.
Donna Citronelle a rede neural irá prever valores ou pode prever mais valores de ações
mais possíveis em um determinado estado.
Mas neste caso, sabemos que apenas quatro ações estão de pé para serem feitas.
E assim a rede neural irá prever quatro desses valores, de modo que não haverá fim em uma situação de aprendizado
profundo é importante, não há antes ou depois.
E é assim que vamos conhecer isso um pouco melhor.
Assim, a rede neural irá prever quatro desses valores e não irá comparar o que
acontecerá depois, mas a rede neural se compara a esse valor exato, mas foi o valor que
foi calculado no passo anterior.
Então, no tempo anterior, quando o agente estava nesse quadrado exato.
Então, digamos que não sei há algum tempo, o agente foi novamente também neste
quadrado exato e calculou esse valor anteriormente.
Então, no tempo anterior há muito tempo, o agente calculou esse valor, então os agentes armazenaram esse
valor para o futuro e agora o futuro chegou.
Então agora ele está no quadrado novamente e agora ele tem esses valores de cubo que está previsto e um
deles é para os quatro que estão subindo.
Então, agora, o que ele vai fazer é comparar o valor previsto de Q com esse valor que ele
gravou no passo anterior e entenderá exatamente por que isso é importante neste momento, então é
importante entender aqui.
Não há antes de um oficial nesta praça específica esse tempo específico.
comparamos isso com esse valor que ele teve no tempo anterior do tempo anterior, ele estava nesta
praça, avaliando toda a situação e você sabe como o anterior tempo em que ele realmente executou essa ação.
Estamos levando o valor Q que ele previu usando a rede neural desta vez e
Então vamos lá.
Agora vamos dar uma olhada em como tudo isso funciona na rede neural e por quê.
Por que é como se eu soubesse que parece um pouco complicado agora, mas vamos dividi-lo em termos simples apenas
em um segundo.
Então, isso em sua própria rede, nós estamos alimentando os estados do meio ambiente na rede
neural está passando pelas camadas escondidas que está saindo com essas saídas Q1 Q2 Q3 Q4.
estado específico, estes são os valores do cubo que a rede neural está prevendo para possíveis ações.
Nesse
Esses são os cumulos.
Então, estamos aparecendo para atingir e esses alvos existem exatamente, então, se voltarmos aqui, esse é o
alvo, então esse é o valor que foi previsto.
E então, mas também sabemos que temos um alvo da última vez que estávamos na praça.
Nós temos um alvo para esta mesma ação, que é por exemplo.
Então, aqui temos um alvo e vamos comparar, estamos comparando o Q1 versus esse alvo,
estamos comparando o Q2 versus o objetivo do alvo que tivemos do Q3 anterior ao de um Q4 alvo versus o alvo.
E, portanto, esta é a parte em que a rede neural ou o agente está agora aprendendo através de um
aprendizado profundo para melhor passar.
E o ponto chave aqui é que ainda estamos aplicando uma aprendizagem legal, mas a resposta a conceitos é simples, você
aprende a aprender com diferenças temporais que são bastante diretas, que já discutimos e
sabemos muito bem por que não.
Mas, ao mesmo tempo, aprendendo profundamente como as redes neurais aprendem redes neurais aprendem através do
ajuste das ponderações.
de adaptar os conceitos de reforço aos conceitos de aprendizagem de matar simples à maneira como as redes neurais realmente funcionam.
Por isso, temos
E isso é através da atualização de seus pesos.
E isso é o que estamos tentando descobrir aqui como podemos adaptar esse
conceito de diferença temporal à sua própria rede para que possamos aproveitar todo o poder das redes neurais.
Até agora, conseguimos isso, então entramos em nosso estado de ambiente aqui, à medida que um vetor passa por uma
rede neural, obtemos previsão de valores-chave e, a partir do momento anterior, o agente estava nesse estado.
Nós temos esse novo objetivo para atingir um dois três e quatro para cada uma dessas ações respectivas.
E agora estamos fazendo isso.
OK, vamos comparar cada um com cada um.
E daqui é que se torna bastante direto se você estiver atualizado com as redes neurais.
Mais uma vez, está em um Anax.
Número um, vamos calcular uma perda que está aqui e vamos ser q alvo esta menos
Q menos essa.
Vamos calcular que, assim, a diferença quadrada de cada um desses e nós
vamos resumi-los.
das diferenças quadradas desses valores e seus alvos e nós vamos enviá-los e isso vai ser uma perda.
Então, nós levamos a soma
E de modo ideal exatamente como nós tínhamos na diferença temporal, aprendendo, então, se voltarmos
para um segundo, lembre-se, dissemos. Idealmente, queremos que isso seja igual a isso, então queremos que a diferença
temporal seja zero, então isso significa que basicamente o agente é Prever corretamente o que você conhece, o valor de
Q é que o agente está preditor exatamente ou que ele possui e a memória é exatamente descritiva do
meio ambiente e, portanto, o agente nunca pode obter o ambiente muito bem direito.
Não há surpresas de que não há, não há s. uma vez que uma diferença temporal é um piloto altamente
positivo ou altamente negativo.
Então nós temos algumas surpresas.
Mas se as diferenças gerais zero, ele conhece o ambiente tão bem que ele pode prever
o que está acontecendo e ele pode e, portanto, sua política vai ser muito boa e ele será capaz de navegar.
Então aqui.
Mesmo assim, queremos que esta lei seja tão próxima de zero, suponho que seja o menor possível.
em que vamos alavancar o verdadeiro e verdadeiro poder da rede neural, então vamos tomar essa perda e vamos usar a propagação
traseira ou ficar como a descida gradiente para assumir essa perda e passá-la através da rede
posit de volta ou de trás propagada através de uma rede e através de lançar uma grande e decente data dos pesos.
E é por isso que agora estamos indo para isso é a parte
Todas essas sinopses na rede para que a próxima vez que passemos por esta rede da maneira como já é um pouco
melhor descritivo do meio ambiente e é exatamente isso que somos.
Então, aqui você tem, se você voltar, isso é uma perda calculada Kalka e adivinhe provar propagador para a rede que
os pesos são atualizados.
isso acontece uma e outra vez aqui, isso acontece novamente e assim por diante e continua e continua acontecendo
e é assim que este agente aprende ou, basicamente, agora, a rede neural que é o cérebro do agente é
aprender está se tornando mais e mais descritivo do meio ambiente e, portanto, o agente é capaz de navegar no meio ambiente.
Então, na próxima vez que chegarmos aqui,
Quando dizemos que o ambiente descritivo significa, basicamente, que quando colocamos os estados do ambiente em
que esse agente se encontra, é mais provável que nos aproximemos dos valores reais da sugestão e que acontece porque os
valores do cubo que queremos encontrar o direito ação e isso acontece porque esses
novos alvos são realmente empiricamente derivados, então ele todos os dias como ele encontra esses alvos fofos.
Na verdade, está lá, então ele realmente observa.
OK então, uma vez que eu dou esse passo, qual é a recompensa que recebo.
E então, quais são os valores desse estado.
Da mesma forma que vimos anteriormente na aprendizagem Q e na intuição de aprendizagem simples.
Então, ele aprende isso através de tentativas e erros e então ele constrói sua rede ou é assim
que é de tal forma que os valores previstos estão próximos e próximos.
Consumindo esse alvo.
Q valores muito semelhantes ao conceito que discutimos aqui na simples diferença temporal aprendendo do
algoritmo de aprendizagem de habilidades simples.
Então, você vai.
É assim que o agente aprende.
Então estamos aqui.
E essa é a parte de aprendizagem.