Olá e bem-vindo de volta ao curso sobre inteligência artificial.
E hoje estamos falando de Mark dos processos de decisão ou M. D. Vejamos o que temos hoje.
Então, da última vez que paramos no conceito de um mapa.
Então, porque calculamos os valores com
base na equação de Belman, podemos derivar esse mapa para o nosso agente neste labirinto.
E, basicamente, o que isso significa é onde quer que o ange que um agente comece, vamos dizer que começa por lá.
Sabe exatamente quais os passos a seguir para chegar à linha de chegada, então ele sobe bem à direita.
Direito e feito.
E então a questão aqui é que é isso.
É realmente assim tão simples.
O reforço é realmente a aprendizagem que você conhece pela falta de uma palavra melhor aborrecida.
É sim sim.
Uma vez que você tenha a matemática, é tudo o que você precisa fazer se você tiver feito isso cheio deles.
Bem, a realidade é que na verdade não é tão simples.
E isso é bom porque torna este curso mais
interessante para nós e podemos realmente resolver problemas muito mais complexos.
Então, é aqui que uma marca de um processo está chegando.
Mas primeiro vamos falar sobre duas coisas.
Estamos em busca determinística versus pesquisa não determinística.
Então, vamos falar sobre o conceito de pesquisa determinista.
Este é o nosso agente no labirinto e a
busca determinista significa que, se o agente decidir subir, o que acontecerá será 100 por cento de probabilidade, ele vai subir.
Isso é exatamente o que acontecerá.
Não há outras opções.
Uma vez que uma vez diz, vá para cima ou clique na seta para cima que vai subir.
Não há outras opções.
Agora, por outro lado, a busca não determinista é quando nosso agente diz que quer subir.
Na verdade, são algumas das opções.
Por exemplo, pode haver três opções e
vamos procurar um exemplo onde existem três opções, mas não precisa ser um
limite para três antes de poder ser diferente, dependendo do problema, a aleatoriedade pode
ser diferente, mas no nosso caso, poderia ser três opções com 80 por cento de chance de ele subir.
Mas então, com uma chance de 10 por cento, quando quiser subir, ele vai realmente para a esquerda apenas porque.
Porque é assim que o ambiente funciona, é o mundo em que ele mora.
E com outro cheque em 10 por cento de chance, ele realmente vai para a direita.
E neste caso ele vai cair no foguete.
Então é assim que tudo funciona.
estocástico e qual é o objetivo de
fazer um modelo mais realista do que realmente poderia acontecer no mundo real em um
tipo de problema do mundo real, porque raramente você consegue situações como essa quando você faz alguma coisa e acontece exatamente dessa maneira.
Esse é um exemplo de uma pesquisa não determinística certeza de um processo
E mesmo se você pensa sobre isso em termos de jogos, digamos que você tenha um agente jogando Pac-Man.
Bem, nem sempre é o caso que, se ele estiver na praça, ele sobe.
Ele terá o mesmo resultado exato sempre.
Bem, ele vai subir, mas pode ser em um caso que você não será comido por um fantasma em ambos os casos.
Ele será comido por um fantasma.
Então, como você pode ver, há alguma
aleatoriedade porque depende de como os fantasmas estão se movendo e nem sempre se movem da mesma maneira.
Eles nem sempre começam nos mesmos locais.
Portanto, é muito lógico que seja
muito justo que haja alguma aleatoriedade, há algo que não está sob o controle do agente e é isso, é
apenas uma maneira de apresentar isso para que possamos aprender como podemos lidar com isso e como
que afeta uma equação de Belman como ela afeta todo o processo de aprendizagem de reforço.
para a direita ou temp e simplesmente ir para
a esquerda ou se você derrubar até 10 por cento de chances de ir direto ou à esquerda ou você ' Está certo, há uma
chance de 10 por cento, subida ou baixa, sutil, limitada a onde você vai acabar, às vezes você pode ter um problema que é exatamente.
Mas, ao mesmo tempo, a aleatoriedade é, naturalmente, não se limita a se você subir, há uma chance de 10 por cento de ir
Às vezes, as possibilidades podem ser diferentes.
Às vezes, a aleatoriedade pode se resumir a outra coisa que pode ser reduzido como esse exemplo.
Os fantasmas de Pacman que comem você não estão comendo você ou podem se resumir a algo diferente.
Por exemplo, como existe, existe como se o agente estivesse jogando Doom e depois
algo como um monstro que o atira em um caso e outros casos, há como se
houvesse uma probabilidade se todos nós devêssemos disparar e nós não receberíamos tiro.
E, portanto, algo que está fora do controle dos agentes é algo que não consigo prever.
Isso é o que estamos modelando aqui na busca não determinista e é
aqui que abordamos diretamente dois novos conceitos, uma marca de processos e / ou uma
marca de processo e um marcador de processo de decisão, então vamos dar uma olhada nestes.
E você sabe o quanto eu não gosto de colocar definições e muito texto ao lado.
Mas neste caso, é necessário que passemos por isso.
Então, vamos dar uma olhada em um processo estocástico tem uma marca de propriedade.
Se a distribuição de probabilidade condicional de estados futuros do processo condicional e
estado passado e presente depende apenas do estado atual não na sequência de eventos que o precederam.
Um processo com esta propriedade é chamado de marcador.
Uma definição muito complexa e, assim
como você, introduz um pouco, não só se contradiz, mas parece que isso se contradiz, por
isso é condicional à presença positiva que depende do seu ponto de vista.
Mas, ao mesmo tempo, só depende do estado atual.
Então não fique tão atolado nisso.
Eu vou dividi-lo em termos simples, então uma marca de propriedade é quando seus estados futuros.
Então não é apenas a sua escolha, mas o todo.
A sua escolha e o ambiente que
apenas irá gostar dos resultados de todas as ações que você realizar nesse ambiente dependerão de onde você está agora.
Não dependerá de como você chegou lá.
E é isso.
Então, é uma questão de público e um processo que tem essa propriedade é chamado de processo de mercado.
Então, coloque isso em um exemplo, então, se o
seu agente estiver aqui e se ele for, se ele decidir subir, ele pode ir.
Ele, no nosso caso, em nosso exemplo de pesquisa não determinista, ele realmente pode ir para a esquerda e para a direita.
Tudo bem.
Isso porque
nós temos essa vantagem dessa cidade dentro de nosso ambiente, temos essa aleatoriedade dentro do nosso ambiente.
Então, qualquer uma dessas coisas pode acontecer.
Mas a chave aqui é que esta é uma marca de processo porque não nos importa como você chegou aqui.
Ele poderia ter vindo do topo acabou aqui, ele poderia ter vindo da esquerda e
até aqui você poderia vir do fundo e acabar aqui.
Ele poderia ter como jogar um movimento aqui como 100000 vezes e depois chegou aqui.
Não importa o que aconteceu antes, apenas o que importa é em que estado ele está agora.
E então, as probabilidades de ir para a esquerda ou
para a direita ou para cima, sempre serão as mesmas se ele estiver neste estado agora.
E isso é basicamente apenas dizer que não importa o que aconteceu antes de estarmos aqui agora.
Este é o estado em que você está.
E não esqueça que esse estado não significa apenas onde ele está de pé.
monstros à direita ou os monstros à esquerda ou você sabe
que o fantasma vem de uma parte superior ou inferior, seja qual for o estado em que você está agora .
O estado é o estado de toda a totalidade do agente no meio ambiente, então há como
Não importa como você chegou
lá não importa como e como tudo aconteceu que você está lá nesse estado.
Agora, o que acontecerá no futuro só é determinado pelo estado em que você está agora.
Além disso, as ações que você irá levá-las, mais, claro, a aleatoriedade que é superada em cima disso.
Então, essa é uma marca de processo e um processo de decisão de marcador ou um processo de decisão MVP ou marcador.
Fornecer um quadro matemático para modelar a tomada de decisões em situações em que os
resultados sejam parcialmente aleatórios e em parte sob controle sobre a tomada de decisões.
Tão importante entender que a marca dos processos
do processo de decisão são diferentes e diferentes marcas inteiras do processo para marcar o processo.
Há, assim, um quadro matemático.
Mas, ao mesmo tempo, pensei que era importante
para nós entendermos o que é uma marca de processo porque acho que
ainda ajuda na compreensão da marca do processo de decisão e, portanto, uma marca de processo de decisão está lá.
como ele anteriormente
e tenha o controle total do que está acontecendo, mas agora ele tem um pouco menos controle.
Isso é exatamente o que discutimos Até agora, para que o agente viva neste ambiente onde ele tenha controle
Pode decidir subir, mas realmente sabe.
OK, então, se eu subir, há uma chance de macacos,
eu irei até as tentativas e as chances vão para a esquerda e a chance irá para a direita.
Portanto, nem tudo está totalmente sob seu controle.
Há alguma aleatoriedade neste ambiente e é exatamente
isso que uma marca de processo de decisão e processo de decisão
de Markov é a estrutura que o agente usará para entender o que fazer neste ambiente.
Então, temos um ambiente com alguma toxicidade alguma aleatoriedade.
E agora o agente tem que escolher, por exemplo, deve subir para a esquerda ou para a direita.
Ele deve tomar essa decisão.
Ele não sabe o que fazer.
E para que essa decisão
seja aplicada, um quadro irá usar uma marca de processo de decisão para tomar essa decisão sobre o que acontecerá onde ela vai acontecer.
decisão, de modo que é a estrutura que o agente usa ao mesmo tempo
em que o ambiente é referido que o agente está operando em um ambiente de processo de decisão de mercado.
E, basicamente, esse ambiente que coloca este problema é referido à marca do processo de
E, portanto, basicamente, aqui temos dois conceitos que temos a
marca do processo, é a forma como esse ambiente é projetado que o PA faz o trabalho.
O que acontece de onde você está agora não depende do passado.
E na mesma hora em que temos a marca do processo
de decisão é a estrutura que o agente irá usar para resolver este ambiente.
E a boa notícia é que a marca do processo de decisão ou a
estrutura em que estamos falando é, na verdade, apenas uma adição à nossa questão da equação de Belman é a equação de Belman, mas apenas um pouco mais sofisticada.
Então vamos dar uma olhada nisso.
Esta é a nossa equação de Belman até agora.
É o máximo de todas as ações possíveis.
Portanto, o valor de estar em um
estado é o máximo de todas as ações possíveis que você pode tirar desse estado.
O máximo é retirado
da recompensa que você obtém ao tomar essa ação nesse estado, mais um fator de desconto, o valor do próximo estado que é o primeiro.
Então foi o que tivemos até agora.
Agora, porque temos alguma aleatoriedade em
todo o nosso processo, esta parte mudará, porque na verdade não sabemos qual estado vai
acabar e não sabemos o que é o melhor será, se houvermos, será Acima ou
será deixada ficará correta, então nós realmente temos que colocar isso com o valor esperado da próxima data.
Então, aqui vamos substituir isso, então há três estados possíveis nos quais podemos acabar.
E então vamos substituir isso com algum valor que o estado tenha um valor como um primeiro.
Que tem uma visão de como prime para prime.
E este estado tem o valor de nós três Bryne.
Então agora vamos multiplicar o estado em que realmente estamos pretendendo entrar em
80 por cento porque é assim que a probabilidade de chegar a esse estado mais a probabilidade de chegar
a esse estado é de 10 por cento mais as pessoas que entram no estado, então
isso é apenas o nosso valor esperado, então, se das estatísticas se tomarmos o valor esperado de entrar no
estado em que entraremos, é como a média Qual é a média do que receberemos e, em seguida, substituímos isso por aqui.
Então nós conseguimos essa agressão e ela salta muito rapidamente só porque há uma grande, mas se
você olhar com cuidado, você verá o mesmo sobre o Max aqui Max aqui.
Então você tem r de S e A R de S e eles têm gamma que você tem gamma.
E então, finalmente, você tem v.
Então você sabia exatamente que era uma busca determinista que você sabia em quais estados você entrará.
Agora, você não sabe em que estado você entrará desde a tomada de V.
Você está tomando o valor esperado do estado
em que você entrará ou do estado futuro ou apenas em termos mais simples, você está apenas tomando a média do que você vai entrar.
Então, você sabe que era como
por mais de 30% de chance, será como esta divisão de Plus por três, basicamente.
Mas, neste caso, não é exatamente como a média média.
É uma média ponderada por causa das probabilidades aqui.
Então, aqui, você tem a probabilidade de isso quando você está
neste estágio para tomar essa ação de entrar no estado como prime time o valor de s prime
e alguns para cruzar todos esses primes que você poderia entrar em quem somos.
Então exatamente o que tínhamos três aqui um dois três.
Adicione-os, multiplique estes, adicione-os.
O mesmo aqui.
Um dois três.
Multiplique-os pelas probabilidades e adicione-os.
E essa é a sua nova equação de Belman.
Parabéns.
Isto é o que vamos trabalhar para avançar.
E essa é a estrutura que
é usada nos processos de decisão, de modo que é a estrutura que resolve isso.
Os agentes costumavam
resolver esse problema de pesquisa não determinista estocástico total onde há eventos aleatórios que estão acontecendo que não podem controlar.
Então, é muito mais complexo.
Mas como você pode ver porque construímos lentamente.
Agora, já sabemos sobre isso que conhecemos.
Há uma preocupação com isso.
Nós sabemos disso.
Nós sabemos o que são.
Então, tudo o
que fizemos é que acabamos de apresentar essa parte aqui porque existem probabilidades envolvidas na ação ou as conseqüências de sua ação em não deterministas, elas são baseadas em probabilidades.
E então, vamos lá.
É assim que funciona um marcador de processo de decisão e a equação subjacente por trás disso.
Mais uma vez, é algo que se parece mais com os problemas reais do mundo
real ou Sinatras ou mesmo cenários de jogos porque nem tudo é direto.
Há alguma aleatoriedade de todos os envolvidos e nem sempre
vai tomar uma ação em um determinado estado sempre Nawal nem sempre irá levar ao mesmo resultado.
E assim é o que vamos tratar
com a frente e isso vai tornar as coisas mais interessantes.
Então, espero que você esteja entusiasmado com isso e ansioso para ver o que virá a seguir.
E, entretanto, encontrei um papel muito legal para você dar uma olhada neste momento.
É um papel muito aplicado.
Então, este é realmente muito interessante para ler.
Chama-se uma pesquisa de aplicações
de Marcos de processos de decisão processo e foi escrito por branco em 1993.
Há o link e
eu vou mostrar-lhe exemplos de onde os processos de decisão de Markov realmente são usados ​​para modelar Sinatras da vida real. Eu acho que eu estava muito animado com isso.
Fiquei impressionado com alguns exemplos de colheita populacional, por exemplo.
Então, digamos que você tem algum peixe e você sabe o que a população
de peixes é que você precisa para decidir quantos peixes podemos pescar este ano e o que.
Então esse é o seu estado atual.
Essa é a ação que você está levando Quantos nós podemos filmar neste ano.
Então, quais são os possíveis resultados disso?
Quantos peixes teremos no ano que vem.
Quantos peixes teremos no ano seguinte e no ano seguinte e assim por diante.
E não é determinista porque não é como se você demora em uma hora
e 90 por cento da população no ano que vem, você saberá de volta a 100 por cento não é exatamente sermão.
Existem certos fatores aleatórios envolvidos que estão fora do nosso controle e,
portanto, temos que entender o que vai acontecer, temos que modelar o que
acontecerá, onde é que uma decisão de mercado processa a agricultura.
Há um exemplo como algo como
colher colheitas quanto colhemos nós colhemos quanto dinheiro não colhemos.
de seu controle.
Outro que eu olhei para finanças e investimentos como uma companhia de seguros precisa decidir quanto de seus
fundos irá investir em qualquer um dia ou ano ou algum período de tempo e há esses fatores são
Por exemplo, você conhece os
movimentos do mercado, não sabe o que pode acontecer, por isso precisa realmente modelar isso de alguma forma.
Uma marca de processos de decisão utilizados para isso.
Então, aqui você pode ver muitos e muitos exemplos.
E este é o número de exemplos que eu penso para cada um.
de automóveis e manutenção e reparos também é muito interessante.
Para que você conheça até mesmo exemplos esportivos para inspeções de riscos e inspeções de esportes e epidemias e inspeções de seguros
Dê uma olhada nisso.
Apenas para
lhe dar uma compreensão de ey, isso não é apenas tudo inventado de coisas hipotéticas do tipo Matrix.
Este é realmente o
cenário do mundo real, então, eu darei uma melhor compreensão e é disso que falamos no vídeo promocional para as pontuações que
ou a descrição do curso que vamos inspirar você e sua intuição para lhe dar idéias para como usar AI na vida real.
Esta é a sua oportunidade.
Veja este artigo para entender.
OK, então vamos lidar com o processo de decisão do futuro.
É realmente legal o que eles parecem na vida
real e isso possivelmente poderia desencadear algumas idéias para você como você poderia
se candidatar no futuro para tornar o mundo um lugar melhor e ficamos super felizes com isso.
Ficamos felizes se você pudesse usar o que aprendeu neste curso para tornar o mundo um lugar melhor.
Quão fantástico com isso.
Então, naquela nota, espero que você tenha gostado do tutorial de hoje.
Estou ansioso para ver a próxima vez.
E até então, desfrute da AI.