Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Hoje estamos falando sobre a diferença temporal.
Agora é muito importante para o julgamento porque a diferença temporal é o coração e a alma do algoritmo de
aprendizagem Q.
Esta é, na verdade, como tudo o que aprendemos até agora vem em jogo dentro da aprendizagem chave.
Então vamos dar uma olhada.
Lembre-se do momento em que falamos sobre pesquisa determinística versus não determinista.
E lembre-se de como dissemos neste caso é quando o agente quer subir, ele sobe e quando.
Nesse caso, ele quer subir de uma chance de 10 por cento de que ele vá para os tempos e as hipóteses
mais baixos, e vá para a direita e uma chance de 80 por cento vai direto.
Siga em frente.
Embora esses números sejam, obviamente, arbitrários e podem ser diferentes.
E este conceito inteiro pode ser diferente e problemas diferentes, de modo que não precisa se preocupar de
que jeito ele está movendo apenas que há algo de aleatoriedade que está fora do
controle do agente que acontece dentro desse ambiente.
que, no exemplo determinista, foi muito fácil calcular os valores do Wii, embora não necessariamente sempre seja muito fácil.
E o efeito que teve é, como você lembra,
Mas, no nosso caso, poderíamos simplesmente calculá-los usando a equação de Belman e nós tínhamos os
valores exatos.
E então, como você lembra, eu mencionei muito cuidadosamente que esses valores para o exemplo de pesquisa não
determinista estão no topo da minha cabeça.
Eles não são Kalka, nós sabemos.
A última vez que eu disse não é que precisamos calcular porque é muito complexo.
o computador pode fazê-lo e nós apenas fomos junto com esses valores que são apenas valores que eu compus.
Mas
Mas eles fizeram o trabalho.
Eles nos ajudaram a entender o conceito.
Bem, agora vamos voltar a isso um pouco e entender o que exatamente está acontecendo aqui.
Por que é muito mais difícil calcular esses valores no exemplo não determinista ou geralmente falando nesses
problemas nesses ambientes e o agente que os atravessa.
Por que é isso.
Por que pode ser tão difícil calcular esses valores.
Bem, quando você pensa sobre isso, porque quando o agente se move, por exemplo, daqui para a
direita, ele não sempre sempre se move dessa maneira às vezes como uma chance de ele ir para
ganhar em vez de ir direto, então vamos chamar esses nordeste-sudoeste, então é um pouco indo para o oeste.
O agente pode, às vezes, ir para o sul e, por exemplo, daqui a norte é uma espécie de norte.
Ele pode às vezes ir para o leste.
Sinto muito.
Então, em lugar de ir para o leste, ele pode às vezes ir para o sul e ele está indo para o norte.
para o leste ou para o oeste e, em vez de ir para o norte, ele pode às vezes ir para oeste, leste ou oeste e assim por diante.
Ele pode, às vezes, ir
Então, portanto, para calcular esse valor, você precisaria saber qual é esse valor, mas o interessante é
que, para calcular esse valor, você precisa saber qual é esse valor.
Então, há muita recursão acontecendo aqui e, portanto, você não pode simplesmente decidir definir quais são
esses valores.
E, além disso, essa recursão não é determinista.
Às vezes, acontece assim, por vezes, é uma espécie de subida para ir à direita às vezes, em
vez de levantar-se e ir às vezes às vezes.
Quando ele quer subir.
Ele vai subir.
Por isso, está sujeito a hipóteses e talvez talvez muitas vezes o agente atravesse esse caminho e ele subirá de cima
e você pensará que daqui você sempre subiu e o valor do estado irá
será bom e, de repente, ele vai cair no poço e esse valor irá cair.
E, portanto, você pode ver como há alguma aleatoriedade estocástica para todo esse cálculo nesses
valores porque todos estão interligados.
tem essa aleatoriedade neste inerente ao meio ambiente porque há uma marca de processo de decisão.
Mais no topo, você
Então é aí que tudo isso se junta e é aí que vamos introduzir
o conceito da diferença temporal que permitirá ao agente calcular esses valores.
E aqui estávamos lidando com os valores.
E desde então, já nos mudamos para os valores de Q, então é isso que vamos trabalhar.
Nós estaremos olhando para valores enormes.
Então, como me lembro, esta é a nossa equação de Belman para valores de q.
imediatamente após executar uma ação e você obtém o máximo, você obtém a gama da soma de todos os possíveis .
Então, o valor AQ ou o valor de executar um tipo de ação A no estado s é igual
à recompensa que você obteve depois de realizar essas ações
Então, você obtém o valor esperado do estado em que você vai acabar.
Então, como você lembra, havia uma fórmula para a equação de Beldon e agora, apenas por simplicidade, dizemos
que vamos reescrevê-la à moda antiga e, de uma maneira que costumávamos falar sobre a equação dos bellmen
antes de sabermos sobre o seqüestrador.
Então lembre-se que esta foi a nossa equação de Belman no sentido de um exemplo de busca determinista, porque aqui você não
tem esse valor esperado, você não tem o mesmo em todas as probabilidades.
Você apenas tem isso como se estivesse determinado que você vai acabar com o estado em que você vai acabar
e então você lhe dirá Max nesse único estado.
E a razão pela qual estamos reescrevendo é simplesmente o único motivo porque é mais fácil escrevê-lo e será
mais fácil cair junto com a fórmula.
Então, vamos lembrar que substituímos esta parte desta barra.
E também você encontrará esta notação em muita literatura, então será mais fácil para você
acompanhar outras fontes se estiver estudando essas.
essa abordagem probabilística aqui em vez de esta notação é mais fácil para nós operar isso e entender o que está acontecendo.
Mas lembre-se de que, de fato, o que queremos dizer é que
Eu só gosto de olhar as equações para que elas não estejam muito confusas, mas, mais uma vez,
lembre-se de que, de fato, o que queremos dizer é essa abordagem probabilística aqui.
E então, estamos realmente sabendo que Tom Silis dá uma olhada no que está acontecendo.
Então, aqui está o nosso estado em branco do labirinto, nós não temos nenhum valor de q, vejamos ou quando possamos, mas vamos deixá-lo
em branco por agora, vamos apenas olhar para um dos estados ou uma das células.
Este especificamente.
E aqui temos respostas para a ação de subir.
Nós temos um valor q que calculamos.
Então, não é que não temos nenhum valor de q, mas nós o fazemos.
Mas não estamos ilustrando nada.
Estamos apenas mantendo um espaço em branco por motivos de simplicidade.
Mas nós temos a idade andando por algum tempo e digamos hipoteticamente, de alguma forma,
ele calculou este valor de cubo de subir ou Norf desse estado a partir desta célula específica e os valores.
Q S e A e agora, agora, o que temos.
Então ele está atualmente com seu ponto de setas azul e o agente está sentado nesta célula.
E agora ele precisa fazer uma escolha para onde ele está indo.
E ele sabe o valor desta ação indo para o norte e isso é q Senay e aqui estou dizendo antes e a razão para
isso é porque ele é antes de tomar. Na verdade, ele não tomou
medidas ainda assim ele ainda está na cela e Antes de tomar a ação, o valor aqui é q e SNH e agora ele realmente adota
a ação.
Então, digamos que ele decide é o melhor.
Ele toma a ação e ele se move para a célula.
recompensa de tomar essa ação, mais a gama vezes o máximo deste novo estado em que ele acabou de entrar Prime.
Bem, agora o que acontece agora é depois, então, depois que ele tomou a ação, podemos medir
o que é esse valor, vamos apenas calcular esse valor, o valor da
E, portanto, o máximo em todas as ações possíveis e aspirina.
E então, o que temos aqui é o valor antes dessa ação.
E depois calculamos essa métrica depois.
Mas, como você pode se lembrar dos quatro meses anteriores, se voltarmos muito rapidamente da fórmula anterior, onde acabamos de calcular é de fato o
valor que é como Q de s. uma. a é calculado.
Então, essa parte de Arite simplesmente foi calculada separadamente, mas depois de tomar medidas.
Então, como novamente antes de conhecermos um Q de um S e um valor algo que calculamos através de nossas iterações,
o Preuss é algo.
Então, um valor que está armazenado em nossa memória.
Então, assim como um número que conhecemos e agora, depois que a ação está sendo realizada, sabemos qual recompensa ele
realmente obteve o que recompensa o agente realmente obteve.
E podemos calcular esse novo valor.
Então, em essência, estamos rectificando esse valor, mas agora com novas informações a nova informação é
a recompensa que obtivemos.
E mais o que ficou, acabamos e o máximo do que esse
novo valor é para esses dados específicos.
Então, qual é o valor desse ser nesse estado?
Então, basicamente, a Cure Vanessa-Mae, mas forneceu novas informações e agora a diferença temporal é definida como
um tanto de um e s desses dois da diferença entre esses dois.
Então, aqui, o primeiro elemento é o valor off-Terra.
Então, o tipo de Q de Esson um pouco calculado depois.
E o quvenzhan anterior que você armazenou em sua memória.
E a questão é que eles são diferentes.
Então, idealmente, eles deveriam ser os mesmos.
Idealmente, este deve ser o mesmo que isso simplesmente porque esta é a fórmula para calcular isso.
Mas o que é que isso não é algo que nós, Kalka, é algo que temos de evidências empíricas, algo
que temos de atravessar o labirinto várias vezes e calcular.
Então, isso é algo que chegamos até agora.
Não está relacionado com a iteração atual.
surgimos anteriormente há muito tempo, mas em uma de nossas iterações anteriores que atravessam o labirinto.
É algo que
Enquanto isso é algo que calculamos agora e não há garantia de
que eles sejam os mesmos ou por causa da aleatoriedade que existe no labirinto porque isso poderia ter sido calculado
e visto alguns eventos aleatórios CRN foram desencadeados e isso pode ser chamado para eventos aleatórios
diferentes que foram desencadeados.
E agora, escrevemos os nossos heróis apenas mova-o para lá.
Então, como podemos usar isso.
A questão está OK então, temos essa diferença temporal.
Como usamos isso.
E por que isso é chamado de diferença temporal.
Bem, o motivo é chamado de diferença temporal porque você está basicamente calculando o mesmo que você
está calculando Q de S e A, de modo que o valor Q dessa ação.
Seu Calcott aqui e você está calculando isso aqui.
Mas a diferença é o tempo.
Este é o Q de S e eles anteriormente esse é yo Q de S e A.
Agora, sua nova cura é inata e a questão é que houve uma diferença.
Tem havido uma mudança entre eles no tempo.
E como podemos usar isso para nossa vantagem se realmente houve uma mudança no tempo.
Bem, uma coisa que podemos fazer é que poderíamos dizer OK, você conhece nossa Q de s. uma. a não faz.
Este novo valor não é igual a antigo, então vamos nos livrar do antigo ou esquecer o antigo e
vamos usar isso é tudo um novo valor.
Mas isso não seria inteligente.
E o motivo disso é que, em nossos ambientes, eventos aleatórios podem às vezes acontecer.
E se o nosso antigo QSA do s. uma. A era algo que sempre acontece como 80% do tempo.
E então, como foi representado pelo que acontece 80 por cento do tempo.
E, em seguida, esse novo, exatamente o que aconteceu devido à aleatoriedade.
Nesse caso, vamos descartar aquele que é responsável pela maior parte da situação e vamos substituí-lo por
algo que acontece apenas 10 ou 20 por cento do tempo.
Essa não seria a melhor abordagem para ir e é por isso que é exatamente por isso que não queremos mudar
completamente os valores Opu.
Nós queremos usar como mudar um pouco a cada passo um pouco por pouco.
uma maneira específica, então vamos dizer que aqui está uma fórmula, vamos tomar nossa sugestão de SNH.
E é por isso que vamos usar esta diferença temporal de
E vamos atualizá-lo de tal maneira.
Vamos tomar o antigo valor da cura Senay e vamos adicionar todas as cinco vezes
a diferença temporal.
Então, Alpha vai aprender tudo corretamente.
Esse é um novo parâmetro que estamos apresentando.
É assim que é rápido o aprendizado do algoritmo.
estamos tomando essa diferença e, o que quer que seja, estamos adicionando isso à nossa cobra KJo anterior.
Então, basicamente,
Agora, esta fórmula provavelmente não faz nenhum sentido ou, assim, apenas parece que não faz sentido porque você conseguiu
Covisint aqui e nos da um A aqui.
É o mesmo, então provavelmente deve se negar, mas devemos reescrever isso de uma
maneira diferente.
Então vou mostrar-te novamente, então estou apenas adicionando tempo a essas fórmulas.
Então, aqui é q t menos um nos anos anteriores.
Q T menos 1 nos anos anteriores.
Q T O Novo, este deve ser um círculo aqui em círculo aqui também, mas não importa e aqui tenha
diferença alfa-temporal.
Então você a diferença temporal atual.
Então, você pode ver o que estamos fazendo, estamos dizendo.
OK, vamos tomar nossa corrente.
Q será igual a todos os anteriores Q mais qualquer diferença temporal que encontramos o Times Alpha.
Esta fórmula aqui é o coração e a alma do algoritmo de aprendizagem do cubo.
É assim que o cubo é ou atualiza.
E é bom que já aprendemos quais valores q são o que a gama é o que é e o que
é tudo isso.
E agora tudo o que precisamos ver é que você tem um valor Q anterior Sim, isso é bom.
E então, o que pode acontecer é que, quando você toma quando você realmente toma a ação quando o agente
toma medidas, você saberá que receberá uma recompensa e ele vai acabar em um estado.
E, com base nisso, ele pode calcular Aha.
OK então, o que seria o que deveria ter sido o valor Q desse movimento que eu fiz.
E agora essa é essa parte da equação.
Subtrair o valor Q antigo obtém você uma diferença temporal e agora você precisa tirar uma diferença de amostra de tempo
Alpher e é assim que você consegue ajustar.
Q Você tem o que você quer dizer.
Eu só acho que você vai e agora apenas para terminar com isso.
Isso é meio que isso é suficiente para entender o que está acontecendo, mas apenas para esclarecer
as coisas ainda mais ou talvez talvez confunda ainda mais as coisas.
O que precisamos fazer para tomar essa diferença temporal ou essa diferença simples ou aqui uma maneira de conectá-la
a este formato.
Então, vamos pegar toda essa parte e conectá-la a esta fórmula e acabar com uma enorme equação.
Aqui vamos nos.
Existe nossa equação.
Então esta é a equação completa com a diferença temporal escrita completamente.
E a razão pela qual eu escrevi isso também, em primeiro lugar, você provavelmente encontrará isso
em outra literatura se você estudar.
E a segunda coisa é que faz com que algumas coisas um pouco mais complexas tenham fórmulas mais longas, mas também tornem
algumas coisas um pouco mais claras.
Então, por exemplo, você pode ver aqui o papel que o Alpha reproduz.
Você pode vê-lo melhor, pois olha isso.
Aqui.
Q T menos um e aqui você vai.
Q T menos um com um sinal negativo.
Então, se você conectar o Alpha igual a 1 se você colocar um 1 aqui, isso negará isso.
Então, eles vão se destruir e tudo o que você terá deixado é essa parte.
é exatamente essa situação em que dissemos Tudo bem, então você tem um novo valor que deveria ter sido.
E o que isso significa
Vamos atualizar o nosso valor Q com o novo valor e esquecer o que tivermos anteriormente.
E, como discutimos, não é a melhor abordagem porque há eventos aleatórios aqui e queremos atualizar as
coisas passo a passo.
E, por outro lado, se você disse que o Alpher é igual a zero, o que acontece, então, é que
você esqueceu completamente essa parte inteira e você é fofo, o novo ou o atual será sempre igual
ao anterior, então você está não vai aprender nada.
no labirinto não importa porque você decidiu sobre você Kuchi valor há muito tempo e você apenas vai mantê-lo.
E isso significa que tudo o que está acontecendo
Então, é por isso que a Alfas não deve ser 0 ou deveria ser uma que deveria estar em algum lugar intermediário.
E vai permitir que você aprenda lentamente passo a passo vai permitir que você, como seu ou o
agente, ao longo do labirinto, vai ter a diferença temporal.
E, lenta mas seguramente, esse valor irá obter atualização e atualizar o ibed e o
que acontecerá eventualmente é que, em algum momento, espero que o algoritmo converja.
mais próxima de zero e, eventualmente, estará bem muito perto de zero ou mesmo 0 0
0 0 e o que isso significa é que cada vez que seu novo valor cutesie ou seu novo valor calculado.
E o que isso significa é que essa diferença temporal começará a se tornar cada vez
O que deveria ter sido.
Então, não este, mas o que hipoteticamente deve ser suficiente para dar o passo será igual ao seu
valor Q2 anterior.
E então, um que é zero e isso significa que quando sua diferença
de temperatura é zero, seu algoritmo convergiu e não é realmente necessário continuar atualizando o que está acontecendo.
Isso faz essa pesquisa para continuar atualizando seus valores de cubo.
continuar a executar esse conjunto, você sabe atualizar os valores da fila se o ambiente estiver mudando constantemente.
A ressalva aqui é que a única vez, provavelmente, uma das únicas vezes em que você ainda deseja
Se não é que não está lá, apenas tem alguns randoms para os eventos Kostic.
Mas o próprio ambiente está modificando, assim como o morphing está mudando com o tempo.
Então você continua a aprender, porque não é possível para você aprender tudo e criar
a política ideal porque as políticas ótimas também mudaram com o ambiente o tempo todo.
Nesse caso, você precisará continuar CALKIN e diferença temporal e calcular os valores de Q.
Mas, além disso, é como uma complicação extra.
seus valores e encontrando exatamente o que está acontecendo nesse ambiente, para que ele possa encontrar a política ideal.
Além disso, é assim que a atualização de valores Q é assim, esta é a principal
fórmula do algoritmo de aprendizagem Q e isso é como a versão expandida disso e agora deve
se unir e ter sentido por que temos a equação de Belman e não apenas o que representa o gewgaws, mas também
como o agente atua atualizando
Então, eu sei muito para entrar, mas espero que tenha gostado deste tutorial e espero que você possa
tirar os conceitos subjacentes e a intuição por trás dos seus valores e qual é a noção total
de diferença temporal e por que é importante por que isso nos ajuda a treinar lentamente agentes e entenda seus ambientes
em que eles estão operando.
E se você gostaria de aprender um pouco mais sobre as diferenças temporais, então um artigo muito popular
é aprender a prever pelos métodos das diferenças temporais por Richard Sutton de mil novecentos e oitenta e oito.
Nós já tivemos uma referência por Richard Sutton, mas isso é como outro
e, na verdade, tem um livro, então, se você entendeu, você conhece seu estilo de escrita e seu estilo de comunicação, então confira
seu livro também.
É como uma versão mais expandida de todas essas coisas.
Eu não li o livro, mas é isso que eu estou imaginando ao mesmo tempo.
papel e você pode aprender um pouco mais ou, provavelmente, muito mais sobre diferenças temporais lá.
Isso vai adicionar ao
E espero que tenha gostado também.
Nós a veremos na próxima vez.
Até então, desfrute da AI.