Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Hoje estamos falando sobre a pena de viver.
Tudo bem, então aqui temos toda a equação de Belman e, como passamos
por esse curso, ficamos cada vez mais complexos, até agora já adicionamos essas probabilidades aqui.
E também adicionamos o fator de desconto.
Agora, vamos analisar com mais detalhes neste lado da questão, onde temos a recompensa agora.
que temos um agente e executa ações no meio ambiente e em uma troca ou como resultado
de que ele recebe um novo estado e que está agora e uma recompensa por essa ação.
Lembre-se anteriormente quando falamos sobre como o aprendizado de reforço funciona, dissemos
Bem, até agora, em nosso exemplo, nós apenas recebemos recompensas no final, se chegarmos à linha de
chegada ou se nós, para o agente, acabar na fogueira, ele recebe uma recompensa mais ou menos.
Mas essa é uma abordagem muito simplista para o aprendizado de reforço e, em cenários mais realistas, você provavelmente terá
recompensas ao longo da jornada, não apenas no final, você pode ter recompensas ao longo da
jornada.
Por exemplo, se é um AI jogar um jogo e se, por exemplo, é como disparar a alguém em desgraça, pode
obter pontos para matar esse inimigo ou pode ser um outro jogo diferente.
Se ultrapassar outro carro ou algo assim, apenas por causa das regras do jogo, não por
sua maneira de analisar o jogo, mas, na verdade, o jogo está estruturado de forma a reforçar os pontos de
ação para realizar certas ações mesmo antes do jogo. sobre.
Então Sinatras gosta disso são muito comuns e não apenas em jogos e também na vida real e é
por isso que vamos apresentar algo semelhante ao nosso exemplo, uma versão simplificada disso, mas, no entanto,
uma recompensa que é continuamente dada ao agente ao longo do jogo não apenas no final e a
maneira como vamos fazer isso é olhando para os outros azulejos.
uma recompensa mais uma no azulejo final e recompensa menos 1 na outra telha final da fogueira.
Então, agora, nós só temos
Mas agora vamos adicionar recompensas em cada momento.
Vamos adicionar uma recompensa muito pequena será menos 0. 04.
E, como você pode ver, é negativo, então, cada vez que o agente se move, ele receberá uma recompensa negativa e é isso
que se chama pena de vida, porque não importa onde ele vá, ele sempre obterá essa recompensa negativa, exceto por
esses azulejos finais, porque esse é o fim de o jogo.
E assim você pode ver a recompensa, mesmo neste azulejo é loucura ou um quebra-cabeça.
Mas isso não significa que ele comece com essa recompensa.
Ele só recebe essa recompensa.
E isso é importante lembrar que ele só recebe sua recompensa quando ele entra em uma telha, então, sempre que ele
prometeu uma ação que ele vai aqui, ele receberá esta recompensa menos 0. 04 e depois ele volta a esse estilo, ele terá
outra mente e 0. 04 palavra.
E assim, quanto mais ele se aproxima, mais ele acumula sua recompensa negativa e, portanto, é um incentivo para
ele terminar o jogo mais cedo o mais rápido possível.
E então, vamos dar uma olhada em como nossa política ou como a política de agentes vai mudar
de acordo com o valor que definimos para essa recompensa.
Então, aqui estão quatro ambientes e em cada um, vamos explorar um diferente.
Não vamos fazer os cálculos.
Nós apenas vamos projetar os resultados e você verá que intuitivamente eles fazem todo o sentido.
Então, aqui temos uma recompensa por qualquer passo oferecendo qualquer para entrar em qualquer estado.
É igual a zero.
Assim como o que vimos antes, a recompensa será o 0 de Mei. 0.
Para o que acabamos de fazer agora, você sabe que a recompensa será em menos 0. 5 ou o nível de penalização será o meu é
fogo aberto muito mais alto você pode vê-los aqui mais de 10 vezes maior.
E aqui estão os Penhall vivos, serão menos dois.
Então, ainda mais do que as recompensas que você obtém por saltar ou mesmo menos do que a recompensa que você é o agente,
fica por acabar na fogueira.
Então, vamos dar uma olhada em como as ações ou a política ótima para passar este ambiente vão mudar de
acordo com essa recompensa.
Então, esta é a nossa política original.
E, como você pode se lembrar, tivemos estes dois muito interessantes e até um pouco estranho uma
decisão do agente, mas que realmente faz sentido se ele puder viver o tempo que quiser.
Se você puder viajar por todo o tempo que quiser sem ser penalizado por permanecer vivo
por muito tempo.
Ele por que não, por que ele não entraria no canto aqui na parede e continuaria fazendo isso
até acontecer.
Acontece que ele vai por aqui e depois anda por aí.
E o mesmo aqui é muito mais seguro para ele pular na parede, esperando que um desses
venha eventualmente e então ele vai até a linha de chegada, porque, ao escolher essas duas ações, ele não corre o risco
de entrar no poço do fogo .
Agora vamos ver o que acontece se adicionarmos uma recompensa recompensa negativa por apenas ser uma vida para fazer um passo.
Mova-se aqui, você pode ver que, instantaneamente, esses dois mudaram.
Agora, o agente não quer pular na parede.
Ele é mais provável que arrisque chegar ao firepit com uma chance de 10 por cento de saltar aqui, mas
ele irá em frente, porque cada vez que ele vem para assistir aqui se ele fosse fazer isso aqui também toda
vez que ele pula bem ele executa uma ação que ele termina nesse estado com 80% de
chance.
E isso significa uma chance de 80% de obter um menos 0. vai conseguir isso acumulando essa recompensa negativa.
04 recompensa significando que o tempo todo ele
Mesmo assim, se ele pular na parede esperando por esse momento em que ele será realmente movido aleatoriamente
para a direita.
Se ele continuar fazendo isso, ele irá acumular essa recompensa negativa e que o resultado disso,
se você executar os cálculos, você verá que o resultado desse valor esperado dessa abordagem pulando
para a parede é pior do que correr o risco de avançar e na verdade terminando na fogueira.
disso, avançar e aqui se mudar para a esquerda, mesmo sabendo que existe o risco do fogo do foguete, simplesmente porque agora quanto
mais tempo ele estiver vivo, mais tempo ele irá acumular essa penalidade viva no próximo ambiente.
Então, ele muda suas decisões nesses dois quarteirões para, em vez
Agora estamos aumentando o Pouncey vivo até um número maior de Meinzer, ponto cinco, e vamos ver o
que muda aqui.
Então, agora você pode ver isso em comparação com esse ambiente.
A única coisa que mudou aqui é que esta seta está apontando para a direita.
E o que isso significa é que agora não é mais uma boa opção para o agente ou, na verdade, também as
setas apontando apontaram para a esquerda e o nariz dos bicos apontando para cima.
longo do caminho, porque se ele sair mal, sim, ele está seguro ou há uma chance menor de que não haja chance de conseguir a fogueira.
Então, agora não é mais uma boa idéia para o agente dar uma volta por aqui ou dar
uma volta ao
Mas, ao mesmo tempo ou há menos chance, vão acontecer.
Mas, ao mesmo tempo, ele irá acumular uma recompensa substancial negativa quando ele anda por aí.
Então é só que o caminho é longo demais.
Então, isso o obriga se ele está aqui ou aqui para pegar o caminho mais curto para chegar aqui, embora ele tenha um
risco muito maior de entrar no foguete, porque assim que ele termina na praça, há 10% de
chance de chegar ao fogo .
De acordo com seus cálculos.
É apenas o valor esperado desta abordagem é melhor do que o valor esperado de acontecer
simplesmente porque aumentamos essa penalidade viva.
E, finalmente, estamos chegando ao exemplo com a penalidade viva de menos dois pontos zero.
Então, eu encorajo você a publicar o vídeo agora que você viu como a política mudou à medida que
aumentamos a penalidade de cobrança.
Eu encorajo você a pausar o vídeo e pensar por si mesmo o que acontecerá neste cenário.
que a política ótima será dada que a pena de vida é tão alta, então, todo esse vídeo suposto se você quiser.
O que você acha
E agora vou pular para lhe mostrar a solução, então neste caso se você
aumentar a penalidade para menos 2. 0 é tão alto, lembre-se de que a penalidade aqui é apenas menos 1. 0 é tão alto que o agente só quer
sair do jogo de qualquer maneira possível, mesmo que seja apenas saltando para a fogueira.
Ele vai fazer isso.
Ele será como toda vez que eu dar um passo a cada vez que acabei em um novo no seu estado
ou toda vez que eu faça uma ação eu acabei recebendo uma recompensa de menos dois.
Então, qual é o objetivo de tentar chegar à linha de chegada, se daqui me levantarão duas etapas extras?
Eu só vou para aqui e depois direto para o foguete, porque
dessa forma minha recompensa será menor do que a recompensa negativa será tão ruim quanto no caso de apenas fazer passos
adicionais para que você possa ver que adicionando essa vida recompensar e, dependendo do valor da recompensa viva que
estamos adicionando os resultados, serão diferentes.
E o agente vai selecionar diferentes políticas e, basicamente, é como o valor da recompensa pode ser incorporado pela equação de
Belmont, mesmo quando não está apenas na linha de chegada ou no final do jogo, mas
mesmo ao longo do jogo.
vez mais, não precisa estar em cada um em cada estado, dependendo do próprio ambiente.
E novamente, uma
Pode ser dado ao agente em certos estados específicos não em todos os estados, mas em nosso exemplo
simplista, estamos apenas usando recompensas em cada estado dado.
Para ilustrar este conceito, espero que tenha gostado do tutorial de hoje.
E, como você pode ver, já fizemos nossa equação de Belman bastante sofisticada e agora pode ser aplicada em
muitos cenários diferentes e não posso esperar para ver no próximo tutorial.
E até então, desfrute de um I.