Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Anteriormente, tínhamos um tutorial bastante extenuante e longo nos processos de decisão do Margrove e, esperançosamente, você se
deu bem com isso.
E espero poder explicar as coisas de forma acessível e atraente.
E hoje vamos falar sobre políticas versus planos.
estamos entrando em um novo mundo em que estamos entrando em um mundo de pesquisas de pesquisa não determinística
de pesquisa estocástica quando você não está apenas passando pelo labirinto, mas também é responsável por fatores aleatórios que podem ser atingidos você
na cabeça quando você está passando por este labirinto e você precisa estar preparado para isso.
Haverá um tutorial rápido e divertido porque agora
Esse é o mundo.
Nosso agente está vivendo e é mais divertido, mas também é mais perigoso, é mais menos previsível.
Então, como nosso agente vai se comportar.
Vamos dar uma olhada.
Há nossa marca de estrutura de processo de decisão que é mais uma vez nossa equação de Belman favorita.
No entanto, a versão mais avançada da equação de Belman com a qual estamos trabalhando.
Então, de agora em diante, vamos chamar isso de equação de Beldon.
E aqui temos a nossa ação máxima e Crucell para que o valor de um estado seja um estado como o máximo em
todas as ações que um agente possivelmente possa executar nesse estado.
E a máxima foi tirada da recompensa que o agente obterá ao executar a ação A instaurar como Plus
um fator de desconto multiplicado pelo valor esperado do novo estado em que estará.
E eu esperaria que aqueles que estão aqui, porque eles não sabem exatamente o que acabam.
São alguns efeitos aleatórios presentes no ambiente que podem alterar o estado e não podem não
acabar no estado desejado.
Pode acabar em um estado diferente.
É por isso que estamos levando o valor esperado por aqui aqui.
Então, vamos dar uma olhada nisso como nosso exemplo nosso ou em nosso exemplo do labirinto.
Então, isso é o que tínhamos anteriormente, então anteriormente estamos lidando com pesquisas determinísticas ao vivo.
Então nós sabíamos disso.
Tudo bem, então, se eu estiver aqui, eu definitivamente preciso ir aqui se eu estiver aqui.
Eu definitivamente preciso ir aqui se eu estiver aqui, eu definitivamente preciso ir aqui se eu estiver aqui, eu estou aqui.
Então, foi tudo bastante direto.
Uma vez que você tenha este mapa e lembre-se, chamamos isso de plano.
Uma vez que você tem o plano, é bastante fácil de fazer.
Tem.
Então esse é o plano com setas.
E daqui foi muito direto, nós somos estas são as rotas que eles tomarão sempre que você
começar nesta linha azul.
Isso é exatamente assim que você iria.
No entanto, agora não temos mais um plano.
que quer que planeje, pode não acontecer, não está sob controle ou o plano é quando você sabe exatamente o que precisa fazer em seguida.
Nós não podemos ter um plano, porque você sabe o
Você sabe os passos.
Então você tem um ponto de partida que você tem um objetivo e você conhece cada passo para que você possa
planejá-los. Você fará isso. Eu farei isso. Eu farei isso como na vida como um plano .
Mas, ao mesmo tempo, há muito agora aleatoriedade.
Você pode ter um plano, porque, se você chegar aqui e depois clicar na direita e, na verdade,
você derruba.
Então isso não faz parte do seu plano.
Então é por isso que se chama o planejamento mais.
E aqui vamos calcular os valores, na verdade, vamos apenas ver os
valores calculados para este mesmo problema.
Mas com base nisso dado que temos essa aleatoriedade dentro.
Então estes são os novos valores.
E então, por que esses valores são diferentes, então vamos comparar o que tínhamos anteriormente.
É o que tínhamos anteriormente.
Estes são então você.
Então, mais uma vez, tivemos anteriormente porque ele ganhou 3. 9 por cento.
Ele realmente era 366.
E isso é o que temos agora um a menos de uma vez em vigor e 1 6 3.
E, a propósito, estes não são exatamente os ritos atuais no topo da minha cabeça, mas se nós estivéssemos a
executar um agente, alguns valores seriam algo semelhante a isso e os valores poderiam mudar
porque, dependendo da aposta que ele escolheria 3. 9 ou outro valor, mas, no entanto, por causa
do argumento, estes são os valores que estamos lidando agora e são aproximados eles transmitem a noção inteira da maneira correta,
então vamos dar uma olhada neles.
Por que eles mudaram.
Bem, por que aqui esta aqui o valor era um.
Por que é de repente 0. 26 Por que é menos do que um.
Apenas vá daqui aqui.
Bem, nós realmente chamamos porque daqui se nós formos a direita qual é a nossa intenção, se nós formos a direita, nós poderíamos
realmente ter uma chance de 10 por cento de que acabássemos aqui.
Então, atingimos a parede e estaria de volta a este estado.
um Gamla Então, o valor seria descontado e ou estamos fora ou desligado às 10 e a chance acabaria aqui neste estado.
E lembre-se de que temos
Portanto, não é uma probabilidade de 100 por cento que eu chegaria aqui, então, portanto, a desvalorização não pode mais ser
uma, é algo menos e é 0. 26.
Então, esse é um exemplo de por que é assim.
E você poderia obter o valor exato se você calculou a equação de Belman como a cheia, mas a minha pergunta
que temos agora.
porque você precisaria saber o valor para isso e então você precisa saber o valor para
isso que é bastante complexo e é por isso que não estamos fazendo os cálculos manualmente aqui.
O único problema é que haverá alguma recursão
É por isso que eu posso fazê-los enquanto está passando por tudo isso. É como se fosse como nada muito complexo
para um.
Você não pode jogar essas coisas.
Então esse é o nosso valor aqui.
Mas disso é diferente.
Então, aqui, apenas seja 0. de desconto, lembre-se de aqui para aqui novamente agora, a
partir daqui, as faculdades saltam daqui até aqui, simplesmente porque, mesmo que nós saltem, se assim for, podemos acabar de volta aqui de volta.
9 apenas por causa do fator
Certamente esta possibilidade de 20 por cento que ainda vai ficar na praça, porque vamos chegar a uma parede.
E novamente e assim por diante.
Portanto, o valor de estar aqui é zero ponto setenta e um.
Mais uma vez este e o fator de desconto.
Você sabe que isso pode parecer estranho para você que isso é mesmo com o desconto em fator, isso é muito alto.
Talvez o fator de desconto neste exemplo não seja 0. 9 talvez seja sete pontos noventa e nove ou
algo que não se preocupe com isso.
Apenas um pouco de foco nisso.
Os valores mudaram de fato que os valores são agora menores.
Principalmente porque não é uma probabilidade de cem por cento chegar ao estado que deseja obter e
ao que você encontrará.
Um interessante é aqui que aqui apenas é 0. 9 realmente caiu muito caiu substancialmente.
Por que é que.
10 por cento de acertar uma parede, mas há 10 por cento de chances de realmente acabar
na fogueira e perder menos uma para recompensar e, basicamente, isso significa para o agente que é esse fim do jogo.
Bem, porque se você vier daqui, qual a nossa intenção, há uma chance de
E este é um estado muito ruim para se encontrar.
Então, de repente, lembre-se de que tivemos zero ponto nove anos de intervalo e então eles eram equivalentes.
Não importa que você ouça aqui, eles são praticamente iguais em termos de valor de estar em cada um desses estados.
Mas agora, de repente bam, esta data é quase duas vezes mais boa do que essa, simplesmente porque aqui, se você
for direto, vá exatamente para onde quer ir.
Você sabe que as consequências da ocorrência de aleatoriedade é que você fica aqui.
Aqui, uma das conseqüências é uma chance de 10% de você acabar no poço.
Então, como você pode ver, isso não é mais um bom estado, simplesmente por causa de algo que
flutuação pode acontecer.
Como você pode ver este também é muito ruim porque é tão ruim quanto este em termos de você sabe que é apenas
10% de chance de terminar no poço e 10% de chance de acabar na parede.
Mas, ao mesmo tempo, há um fator de desconto. Então, antes de tudo, o fator de desconto e também depois
disso você teria que ir aqui.
E mesmo se você fosse hipoteticamente aqui, você poderia acabar no poço novamente.
lembre-se de que esses valores derivam desse valor e esse valor é derivado desse valor.
Então, essa chance também seria levada em consideração porque
Certo.
E, portanto, é pequeno, mas, na realidade, o que eu disse era errado.
Esse valor não é derivado do Fed.
Então, se você apenas olha agora, você notará que esse valor aqui é realmente maior do que
este.
Você perceberá que, para o agente, é melhor seguir esse caminho do que isso e faz sentido.
Porque dessa forma não o perde, não há chance de entrar no poço.
Sim é um pouco mais e, portanto, o fator de desconto tem um efeito maior.
Mas, ao mesmo tempo, simplesmente porque há uma chance de entrar no poço aqui se for
direto, haverá uma chance de saltar.
Então, vai demorar um sorteio para aproveitar seu tempo e simplesmente dar uma volta porque dessa maneira há uma chance muito menor
de conseguir, mas ainda existe.
Então, daqui aí, a partir daqui vai lá.
Poderia entrar no poço porque poderia acabar lá e isso poderia acabar na conta.
Mas, no entanto, é uma chance menor, então isso vai continuar assim.
Então, muito interessante para ver como eles são todos mudanças, lembre-se de você, daqui você iria assim.
Daqui você iria assim e daqui vamos assim.
E agora, de repente, você pode ver sua mudança.
Vamos rodar as setas e ver o que parece agora e voila.
Você vê mesmo uma coisa mais aleatória certa.
Então, sim, isso é verdade.
Mas veja o que aconteceu aqui.
Olhe para este.
Você estava esperando isso.
Isso é algo que eu definitivamente gostei quando vi essa uma primeira vez que fiquei muito impressionado.
Eu não estava super, não estava surpreso e não esperava isso.
E este é um exemplo de você saber quando posso superar um ser humano.
Parece algo que você pegou, mesmo que você poderia prever, mas o eu através da aplicação da lei, lembre-se que o
exemplo dos cães pode às vezes funcionar melhor do que a vida real normal.
pré-programados. Os cachorros do robô podem jogar futebol simplesmente porque eles apresentam essas idéias que nem podemos ver.
Os cães são
E, como um excelente exemplo, você provavelmente não estava esperando isso também que os asiáticos em
vez de subir é como por que eu.
Como se eu subisse, há uma chance de 10% de pular no poço.
Mas o que ele consegue ao entrar na guerra.
Bem, 80 por cento do tempo vai voltar e ficar no estado.
Mas 10 por cento do tempo vai aqui e 10 por cento do tempo eu vou aqui.
Então, de repente você pode ver que agora é realmente nesta nova abordagem de saltar para a parede.
Existe uma chance de zero por cento que vai entrar no fogo, mas desse ponto, então.
E é como se realmente não desejasse entrar no poço da fogueira tão bombeado na parede um
par de vezes e então vai direto à direita ou à esquerda em algum momento porque essa aleatoriedade vai acontecer.
E assim soube que através da experimentação ele aprendeu que OK quando eu vou para a frente os resultados não são tão bons quanto
quando eu vou para o muro.
E se você pensa sobre isso, é assim.
Este robô, se você pensa sobre isso, é um firepit é muito, isso é como se um quadrado é como
uma borda muito pequena e, então, isso é como uma montanha como um penhasco.
E este robô está apenas abraçando o penhasco e apenas como tentar esperar até que ele pareça empurrar para a direita ou para
a esquerda, pois, bem como um ser humano, você provavelmente fará o mesmo, você não estaria de pé
de frente ou você estaria abraçando o penhasco direito.
Ou algo assim.
E espero que você saiba que precisamos acabar nunca acabar em situações como essa.
Mas, visualmente visualmente, apenas se você pensar sobre algo aqui.
E isso é bastante intenso.
eu irei aqui e algo acontecerá e eu vou acabar aqui e eu vou estar seguro e então eu vou apenas continue assim.
Para que a AI surgiu com essa idéia e a mesma coisa que está indo para a esquerda e
Riskin entrar em uma briga, mas vou tentar bolas na parede, como você sabe abraçar uma parede tentar pular na parede e
em Um ponto que eu sei que você sabe, só que existe uma probabilidade de
chance de 10% cada vez que eu faço,
Então, uma abordagem muito interessante que eles levaram aqui e você pode ver as rotas são assim, então, daqui, ele pode ir para
a direita e depois vai para a saída ou aqui ou vai para a esquerda assim.
E aqui, em algum momento, você vai para a esquerda e vai assim novamente.
Isso é importante.
Eu não sou uma política, mesmo assim, quando ele pula daqui, irá aqui.
Talvez e, a partir daqui, possa chover diretamente.
Pode realmente voltar para a direita e depois daqui e eu vou me deixar entender isso.
Então, há muitas opções diferentes para eles, que talvez não sigam exatamente esse ferreiro ir para o
outro lado.
Esta é apenas as rotas desejadas que foi projetada para si.
Mas a maneira como ele vai funcionar é realmente pode ser diferente.
Depende do mundo real.
Então vamos lá.
Esse é o mundo da inteligência artificial.
Isso é o que é uma política versus um plano e, espero, você está começando lentamente a ficar entusiasmado com
o que a AI pode fazer, especialmente devido ao que vimos aqui.
Estes são alguns tipos de decisões muito virtuosas que os AIs estão chegando.
E, como você pode ver quando está jogando AI mesmo a partir deste pequeno exemplo, você pode
ver que, mesmo quando você toca em um mundo real, talvez você venha com idéias e decisões que às vezes as pessoas podem
surgir.
E isso é exatamente como o que aconteceu nos jogos em que o objetivo do Google Alpha
estava jogando contra o campeão da meta da Lisa idole, na Coréia, no campeão do mundo de ir.
E eles estavam jogando na Coréia de volta bakla em 2016, acho que é março de 2016.
Ele surgiu com alguns movimentos que os humanos nunca tinham jogado em 3000 anos ou os humanos não estavam acostumados a tocar.
E este é este é exatamente um exemplo disso.
Então, mais uma vez, espero que você fique entusiasmado e bombeado sobre o discurso e sobre o que podemos integrar.
E eu procuro isso.
Vejo você na próxima vez.
Até então, aproveite.
EU.