Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Hoje vamos falar sobre a equação de Belman.
É um tópico bastante complexo e vamos apresentá-lo passo a passo durante toda essa
seção do curso, então não vou simplesmente pular direto para a versão mais
complexa da equação de Belmont, mas sim nós '' vai apresentá-lo lentamente para
entender gradualmente como isso funciona.
E espero seu objetivo com essa abordagem se você for G. R. Vamos direto para ele.
ter um par de conceitos-chave com os quais estaremos operando e esses conceitos são.
Então, vamos
S significa estados para que o estado em que nosso agente seja ou qualquer outro estado possível em que
possa ser a representa uma ação que um agente pode tomar.
Portanto, um agente pode ter acesso a uma determinada lista de ações e as ações são muito
importantes quando são analisadas em uma combinação de estados.
um estado realmente não faz sentido porque você não sei onde você está e onde você
pode acabar e então nós teremos o nosso que representa uma recompensa e isso é
através da ala que o agente obtém para entrar em um determinado estado e a gama é o fator de desconto.
Então, quando você está em um estado de balanço e então você olha as ações e começa a ter sentido o que
será o resultado dessas ações porque você verá uma ação por si só ou
E vamos falar sobre o fator de desconto em um segundo, tudo faz sentido agora, mas eles estão apenas tomando
notas.
Faça uma nota mental para que possamos ter esta carta Gamelin que estará operando mais tarde.
Então, a pessoa que está por trás da equação do Bellman é Richard Ernest Bellman.
Ele era um matemático de vôo e criou os conceitos de programação dinâmica que agora somos, que agora chamamos de
aprendizagem de reforço ou que chamamos de equação de Belman agora.
Bem, isso é o que chamamos agora.
E em 1953 ele veio com esse conceito e foi aí que veio a mim a equação de Belmont Belman.
Então, vamos dar uma olhada em como tudo isso funciona.
Há nosso agente adorável no canto inferior esquerdo e ele está em um labirinto e este é um
labirinto clássico onde você tem alguns blocos, os blocos largos são blocos em que o agente pode entrar no
bloco cinzento é aquele que é simplesmente não acessível diz como uma parede neste labirinto.
O verde é onde o agente deve estar apontando para acabar naquele lugar onde queremos que o agente vá para
o final.
E o vermelho é firepits ou o motor cai no poço do fogo.
Ele perderá o jogo.
Então, no fogo, a recompensa que é R é menos 1.
Então, essa é nossa maneira de dizer ao agente que não é algo que queremos que você faça.
Como lembre-se no exemplo de quando estamos treinando cachorros, queremos dizer-lhes como um mau cão, se não estiver fazendo o
certo que queria fazer o mesmo aqui, somos um dizer ao agente que isso não é algo que você deveria
ser fazer você não deveria estar terminando na praça, então, cada vez que não
acontece, o esquilo ganha uma recompensa menos, então você será punido com uma recompensa menos uma.
Por outro lado, se acabar na Praça Verde, terá uma recompensa mais uma, o que
significa que é o que queríamos fazer.
Então, essas são as duas recompensas que o agente não pode obter.
E como ele aprende a operar neste labirinto.
Assim como nesse exemplo dos cachorros de robô que aprenderam a caminhar, o que o deixará saber, só vai dizer
que aqui a ação que você pode fazer.
Você pode subir para a direita ou para baixo, são quatro ações possíveis que você pode tomar e é isso.
Tenha um brincar com isso, veja o que você pode encontrar.
Então, o agente pode ir para a direita, então eles podem ir mais dois para a direita, eles podem voltar
para a esquerda, pressionando aleatoriamente o botão e eles estão tentando ver o que acontece e eles voltam aqui.
Eles vão subir, vá para baixo, vá para a direita.
Então, por enquanto, eles não aprenderam nada que até agora nada aconteceu.
Eles vão para a direita e, em seguida, bam eles acabam na Praça Verde.
Então, eles percebem wow, eu acabei de obter uma vantagem. Então, assim que entrei na Praça Verde, eles receberam
uma recompensa mais.
E isso desencadeia o algoritmo para dizer OK, isso é realmente legal.
Eu sou recompensado por acabar na praça, então eu quero acabar na praça.
Então, o que isso significa para o agente.
Isso significa que ele começa a fazer a pergunta como eu cheguei a este quadrado.
Qual era o estado anterior em que eu estava e que ação eu tomava para chegar ao quadrado e
depois olhava para trás e dizia, então o estado anterior era esse.
Acontece ser valioso nesse estado.
Aquele que provoca a seta vermelha.
sonhe de mais um como um biscoito para um cachorro assim que eu sei se eu já estou nesse estado.
Porque daquele estado você é, eu estou, estou apenas a um passo de obter a máxima recompensa que eu possivelmente
Esse quadrado marcado com a seta vermelha.
Tudo o que tenho a fazer é pressionar direito.
Então, como eu me digo para lembrar que esse estado é valioso.
Bem, para mim, na verdade não há diferença como agente.
Não há diferença se estou no Green Square ou no quadrado branco, na Praça Verde, recebo
a recompensa de um.
valor de 1 porque leva exatamente a recompensar um logo que estou no quadrado branco, eu sei que vou tomar mais uma ação.
Então, eu vou marcar para mim que a Praça Y tem para mim tem um
Estarei no Green Square e receverei uma recompensa ou uma, por isso vou dizer que o valor
desse quadrado é igual a um, porque ele leva diretamente a se em qualquer tipo de subtração assim que Quero dizer, eu sei que
minha recompensa será uma, então eu vou marcar esse quadrado como o chamado a um
que é o valor que é o valor percebido de estar no estado.
Em seguida, o agente estará OK.
Então, como faço para entrar neste quadrado?
E você sabe que ele pode andar novamente e assim por diante.
E voltei na praça e seja como OK, como eu entrei nessa praça antes disso.
E a maneira como eu entrei nesta praça era desta praça.
Interessante.
Ok então, assim que eu entrar nesta praça, eu sei que tudo o que tenho que fazer é ir para a direita.
E então, daqui, eu já sei que vou ganhar.
Eu sei exatamente como tudo vai se desvendar a partir daqui e eu sei que o valor de estar neste
estado é igual a um.
valor nisso é um valor percebido, eu tenho grande valor aqui como um veículo para querer, porque isso significa que eu sei.
E uma vez que não há nada que me impede de crescer a partir daqui até
aqui, o
Esteja aqui e eu estarei aqui muito rapidamente.
Então eu vou ganhar.
E então, como você entra nesse quadrado antes disso.
Bem, entrei neste quadrado a partir desta praça.
estar aqui também é igual a um e assim por diante, então o valor de estar aqui é igual a um valor de estar aqui é igual
a um porque cada um deles leva ao próximo e estes para a linha de chegada.
Portanto, o valor é semelhante, o valor de
Então, isso é muito lógico nesta fase.
Este é o projeto muito bonito da equação de Belman agora.
Então, é possível que possamos pensar em projetar uma equação que ajude um agente a atravessar o labirinto.
Então, olhe para a recompensa, em seguida, o estado anterior dá-lhe um valor igual a recompensar os procedimentos e,
portanto, esses são um tipo de como criar um caminho é tudo ótimo e bom, mas o problema aqui está OK
o que acontece se o nosso agente por algum motivo começar em Este estado em vez de começar aqui e tomar essas ações e
que ele realmente começa no estado.
Como sabe como ele lembra quais as ações a serem tomadas, deve ir para a direita ou deveria cair ou talvez devesse ir
para a esquerda ou deveria subir?
Como lembra qual é a próxima continuação a partir daqui.
Se os únicos valores que tem é que esses valores são iguais a uma vez que não pode ver o que está mais longe.
Só pode ver.
Tudo bem.
O que tenho aqui e o que tenho aqui.
Como sabe o caminho a seguir?
Bem, nesta fase, não é tão idêntico para a idade e para onde seguir.
E é por isso que essa abordagem realmente não funciona.
É uma explicação muito simplista.
Claro que há muito mais para isso.
Mas de uma maneira intuitiva, é por isso que não podemos simplesmente atribuir apenas continuar esse valor para trás como esse.
Porque um dos motivos é uma vez que o agente está entre estes dois valores, onde é o que vai acontecer.
Não pode ficar confuso assim.
E então, como solucionamos esse problema, o que vamos fazer?
E é aí que vamos começar a introduzir a equação de Belman em sua forma real lentamente passo
a passo.
Então, a equação de Belman parece ser assim.
Então já falamos sobre o valor de estar em um determinado estado, como é o seu
estado atual ou qualquer estado dado, e também existe.
E como Prime é o estado, o seguinte afirma o estado em que você vai acabar depois do estado
e tomando uma ação concertada.
Mas sabemos que há muitas ações e um agente pode tomar e é por isso que temos esse Max aqui.
Então, ao fazer uma ação, o que acontecerá com um agente, então digamos que estamos no estado como
fazendo uma ação nos ativos do estado e agimos.
O que acontecerá será instantaneamente obter uma recompensa entrando em um novo estado.
E lembre-se de que a recompensa pode ser uma ou mais uma ou menos se estiver no final do jogo ou pode
ser um zero se é durante todo o jogo, neste caso, nossa recompensa ao longo do jogo é zero.
Então, essa é a recompensa Além disso, entraremos em um novo estado que tem valor de s prime.
Então esse é o valor do novo estado e gama.
Falaremos sobre isso em um segundo.
Mas o ponto que eu estou tentando criar aqui ou o ponto que eu estou criando aqui é que você tem muitas ações diferentes
que podemos tomar e é por isso que temos o máximo.
Então, ao agir, obtemos recompensas. Mais, acabamos em um novo estado.
E, portanto, para cada movimento do nosso caso antes de nossas possíveis ações para cada
uma das possíveis 4 ações, teremos uma equação como essa.
Então, isso vai ter um valor para eles terem um valor diferente para cada uma das
quatro ações e vamos olhar apenas o máximo porque, claro, o agente quer tomar o estado ideal.
vai encontrar o máximo com base na ação e vai tomar essa ação que precisa do máximo desses valores.
Então, se ele estiver no estado s, ele vai olhar para esses valores, ele
Então, espero que isso faça sentido porque estamos tomando o máximo aqui.
Então, uma vez que obtivemos a recompensa e o valor que dizia por que temos esse parâmetro Gabaa aqui.
Bem, é exatamente para resolver esse problema de onde o agente não sabe o caminho a seguir porque
não pode.
Está comparando os valores de dois estados em ambos os lados e eles são os mesmos.
É por isso que os jogadores chamaram o fator de desconto, então vamos dar uma olhada
nisso e entender melhor.
Então vamos tomar uma fórmula, vou colocá-lo aqui no canto superior direito.
E agora analisaremos quais são os valores dos diferentes estados.
E cada estado aqui é um quadrado.
Não.
Então, um desses um desses quadrados brancos é um estado, eu vou dizer, vamos calcular o
valor de estar nesse estado.
Então vamos começar com a praça.
Qual é o valor de estar neste estado.
Bem, precisamos ter o máximo desse valor em todas as ações.
E sabemos que esse valor representa é maximizado à medida que nos aproximamos da linha de chegada
e é assim que é construído e apenas observando que você pode ver porque aqui obteve
a recompensa e aqui tem um fator de desconto multiplicado pelo valor do próximo Estado.
E é só ter sentido que é assim que construímos essa equação, então faz sentido que, a partir
daqui, o valor máximo desse valor seja se mudarmos para a direita.
Então é assim que calculamos os valores que esse valor desse estado ele chama de máximo ou
igual a esse valor.
Se nos mudarmos para a direita se tomarmos uma ação de mudar para a direita.
Então, qual será esse valor.
Bem, a recompensa de mover para a direita é igual a 1.
E, independentemente da gama de cores, não temos um valor no estado porque já estamos
no melhor estado possível.
Então, esta é a fase final.
Não terá um valor, só obteremos uma recompensa aqui e esse é o fim do jogo.
Portanto, o valor será desse máximo será igual a 1.
E é por isso que o valor do estado é igual a 1.
Agora, as coisas ficam interessantes quando nos movemos para a esquerda quando nos movemos para trás um pouco.
Então, agora é calcular o valor deste de estar neste estado e para isso vamos precisar de Gabaa.
Então, digamos que nosso fator de desconto é um ponto zero nove e faz sentido o que um fator de desconto é uma
vez que calculamos isso.
Então, daqui apenas com base em nossa intuição e baseados porque sabemos como isso está funcionando como isso funciona.
Sabemos que a melhor ação possível é ir para a direita porque daqui vamos aqui.
Então, isso significa que o máximo será alcançado neste estado, você vai para a direita.
E então, vamos ver o que acontece se o conectarmos aqui.
Então, se você passar daqui até aqui, você não ganhará sua recompensa será zero.
Mas então você receberá camis que receberá zero ponto nove vezes o valor do novo estado que é um.
Então, neste caso, o valor todo o resultado disso é 1 vezes a 0. 9 vezes um é igual a 2. 9.
Então, são todos os valores por.
Então, se calcularmos isso agora, você verá isso daqui.
Sabemos apenas observando o labirinto que conhecemos, porque nós, como seres humanos, estamos entendendo como
esta equação funciona, é claro, um agente da IA ​​precisaria experimentar essas coisas.
Mas, como temos uma bola de cristal, podemos ver este labirinto inteiro.
Nós temos como a visão do olho de pássaro agora.
Sabemos que a melhor ação vai para a direita.
Então, se conetarmos tudo aqui, será zero sem recompensa. Mais o relatório nove vezes o
valor no estado 0. 9 é zero oitenta e um e assim por diante.
Então, aqui será 0. 23 e ele será 0. 66.
Então, você pode ver que a maneira como o fator com desconto funciona é descontar o valor do estado à medida que você
está mais longe.
Então, se você está familiarizado com a teoria das finanças, então é algo semelhante ao valor do tempo do dinheiro, como o que você pensaria
sobre isso dessa maneira, o que você prefere ter US $ 5 hoje ou US $ 5 em 10 dias a partir de agora.
Apenas se alguém fosse para lhe dar uma escolha eu lhe darei cinco dólares hoje todos vocês $ 5 10 dias
de todos.
Claro que você escolheria US $ 5 hoje.
Por que é que.
Bem, porque você pode aceitar US $ 5 e você pode investir a uma certa taxa de juros, que é muito semelhante
à da gama.
E seus $ 5 em 10 dias realmente crescerão em talvez 5 dólares e 73 centavos ou algo assim.
E é assim que o valor do tempo do dinheiro funciona.
E conceito muito similar aqui.
E o importante para entender aqui, isso é apenas uma teoria que é uma aprendizagem de reforço.
Então Richard Belman veio com esta equação.
E a partir daí, é assim que a usamos.
Então, você poderia seguir em frente e encontrar uma equação diferente.
Não precisa ter Gamla, talvez tenha algum outro fator, talvez você não conheça um fator.
Mas esta abordagem funciona e é por isso que estamos usando e isso é o que parece, então, quanto
mais longe você tem menos valor no estado e em termos de tempo e dinheiro.
Se eu pudesse dizer-lhe onde você preferiria ser, você preferiria estar aqui.
Você preferiria estar aqui.
Você diria que eu preferiria estar aqui.
Então, estamos criando esse mesmo fenômeno como o valor do tempo do dinheiro que estamos criando artificialmente através da
gama, de modo que, para incentivar os agentes ou inspirar os agentes a estarem mais próximos da linha de chegada.
você preferiria estar aqui ou aqui por causa da maneira como essa equação funciona, ele escolheria estar aqui.
Então, se um agente fosse solicitado,
Não há nada mais para isso, nada menos.
Não é algo que o mundo funciona dessa maneira.
Não, é apenas algo que estamos criando artificialmente para que nossos agentes compreendam que isso é bom, isso é bom,
isso é bom, antigo, mas esse é melhor do que este e este é melhor que
este e este esteve neste.
E assim você pode ver todo o agente pode ver em que direção precisa ir.
se você estiver aqui, eu vou para baixo ou se estou de repente aqui para subir ou eu vou para baixo.
Então, pode ver que, se eu estiver aqui, lembre-se desse problema que tínhamos ou estava ele aqui, então,
Bem, agora não há mais problema porque ele pode ver que é realmente melhor subir porque
os valores estão aqui.
E, a partir daqui, ele tem que ir direito porque o valor é maior aqui do que aqui.
E, a partir daqui, Bertschi está certo porque o valor aqui é maior do que você sabe.
E daqui ele já sabe que ele precisa ir bem, porque ele receberá uma recompensa aqui de um.
Então é assim que funciona toda essa abordagem.
Agora vamos dar uma rápida olhada no resto do quadrado.
Então, como calculamos o valor neste quadrado?
Bem, aqui é onde as coisas ficam complicadas.
Então, daqui, você pode não ir para a esquerda, você pode realmente ir para a direita, então podemos continuar
assim porque pode ser mais curto para seguir assim.
Então, o que vamos fazer é que vamos calcular primeiro o valor no quadrado.
E porque, obviamente, a partir daqui, as melhores maneiras de ir é para cima.
a tripulação que temos a bola de cristal, podemos ver as coisas e você verá mais abaixo na
seção, você verá como o agente realmente explora isso entende isso em seus gostos através da experimentação.
Novamente, é porque vemos
Mas para nós, sabemos que é melhor seguir assim, então vamos calcular o valor aqui
e é por isso que vamos calcular primeiro o valor neste quadrado.
Então, aqui temos três possíveis ações.
Na realidade, na verdade, temos quatro, também podemos ir para a esquerda.
O agente poderia hipoteticamente pressionar para a esquerda e colidir com a parede e ficar aqui.
conjunto de simplicidade que vai mostrar as ações que sabemos o que sabemos e ter a bola de
cristal, sabemos quais ações são as que realmente levam a algo diferente do mesmo estado novamente.
Mas por um
E assim, aqui, daqui, sabemos que novamente, só porque temos uma bola de cristal, sabemos que o melhor caminho a
seguir é assim, um agente, é claro, teria que experimentar e encontrar a melhor maneira e você verá como
isso acontece.
Mais abaixo, na seção, você verá como um agente anda ao redor e como você experimentaria
tentando encontrar esses valores.
Mas para nós, sabemos que é assim.
Então, aqui, se contermos tudo em um, então o máximo é a melhor saída quando você subir.
E aqui está um relatório 9: 0 Então você colocou isso.
Você recebe zero ponto nove.
Ok, então Kalika é aquele que calcula este.
A mesma abordagem.
Isto é, você tem três maneiras de ir.
Na verdade, quatro para o agente, mas para nós, podemos ver que são apenas três.
Então, zero ponto oitenta e um daqui você tem ZERO ponto setenta e três.
com esse valor porque em você se você desconto novamente, você coloca 66 e aqui você tem 0.
E realmente liga muito bem 23 porque esta é a rota ideal.
Então, você vai.
Esse é o valor de todos esses estados.
E agora você pode ver isso porque criamos essa equação ou criamos sinteticamente todo este
conceito de quanto mais perto você está na linha de chegada, mais valioso esse estado não é porque tememos que agora
seja bastante óbvio para a agente do jeito que deveria ir.
E vamos falar mais sobre isso na próxima.
pouco que pode soar um pouco muito básico nesta fase, mas ao passar por esta seção, adicionaremos um pouco mais de complexidade a ela.
Espero que você tenha gostado da sessão de hoje e sei que é um
Ao mesmo tempo, se você não pode esperar se você quer pular nela, então há um papel que
você pode ver e é o documento original de Richard Belman.
É chamada de teoria da programação dinâmica a partir de 1954.
E você pode encontrá-lo neste link.
E lá você vai para que você possa pular diretamente nela e ler do autor da equação de Belman.
Mas basta ter em mente que este é um assunto bastante matematicamente pesado.
E nessa nota vou procurar o seu próximo.
E até então, desfrute da AI.