Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Hoje estamos finalmente falando sobre o aprendizado de Kule.
Tudo bem, então nós já entendemos esta equação, a equação de bellmen que nós adicionamos muitos
componentes.
Temos aqui a recompensa que pode não ser apenas no final, mas pode ser a qualquer passo.
Temos o fator de desconto.
Nós temos a probabilidade porque agora estamos olhando a marca de processos de decisão.
acabar em um estado diferente, independentemente da ação que tomamos ou realmente dava a ação que tomamos.
E aqui temos a possibilidade de
Pode haver vários estados em que podemos terminar e depois obtemos o valor dos próximos estados,
porque ele gosta de uma função recursiva e assim por diante, mas você provavelmente ainda tem uma pergunta.
A questão é onde, em tudo isso, não há nenhuma letra Q Por que tudo é chamado de q.
Aprendendo.
Então, onde está a sugestão.
E essa é a questão que vamos responder hoje.
de estar em um determinado estado e agora vamos ver como Q se encaixa em tudo isso também.
Até agora, estamos lidando com valores o valor
Então, aqui temos dois exemplos à esquerda é o que seríamos fazer até agora nosso agente vem analisando.
Ok, eu estou aqui.
Esta é uma marca de processo de decisão, então não importa como eu cheguei aqui.
O resto do ambiente não cuida dos passos que me levou a chegar aqui a partir de agora.
Eu tenho que tomar a decisão ideal para ir aqui aqui ou aqui.
Com base no estado atual e em todos os estados futuros que vêm daqui, mas não do passado.
E então ele pode ver que há três opções, existe estado um estado para indicar três.
E, com base em sua experiência, ele calculou os valores nesses estados e agora ele vai usar a
equação dos bellmen.
Então, embora este seja um Proceso clássico, ele sabe que ele irá aqui, mas há a chance de ele ir
para a esquerda direita e assim por diante.
Então, com base nesses valores, vamos tomar uma decisão, o que fazemos até agora e isso é uma abordagem
totalmente legítima aqui.
Mas agora nos modificamos um pouco.
cada estado em que ele pode acabar, vamos analisar os valores ou o valor de cada ação.
Vamos ter o mesmo conceito exato do mesmo problema exato, mas aqui em vez de olhar para os valores de
Então, nós não vamos mais usar a letra V porque, pelo valor do estado,
vamos usar um Q e você pode ter uma pergunta por que a letra Q Bem.
Algumas pessoas especulam disso.
P Vou ler isso.
Eu penso em Quora.
referências para isso, por isso pode não ser porque isso só pode ser porque a carta que foi usada no momento e
agora tornou-se super popular porque é Todos chamaram de aprendizagem chave por causa disso.
Alguém mencionou que Q é por causa da qualidade, mas ao mesmo tempo não consegui encontrar outras
Portanto, nenhum motivo exato foi válido.
Q Mas, no entanto, pelo menos isso nos ajuda a distinguir entre V e Q So Q aqui.
Havia presentes em vez do valor do estado que representa, deixa a qualidade.
Representa a qualidade da ação que representa.
OK, então eu tenho quatro ações.
Quais são as diferentes qualidades dessa ação.
tudo bem como faço para quantificar essa ação e então posso compará-los e isso é exatamente o que Q é.
Qual é o valor da ação ou a qualidade da ação que a ação é mais lucrativa, então eu
preciso de uma métrica que me diga
E então ele tem quatro ações possíveis.
Como sempre, vá para a direita ou para baixo.
E, com base na ação, haverá uma fórmula que nos diga o valor quantificável dessa ação
que chamamos de valor Q q dessa ação.
Então, vamos dar uma olhada em como vamos derivar essa fórmula.
Q Como é que ele realmente se relaciona com estes?
Porque, como você pode imaginar, porque as ações levam aos estados, tem que haver algum tipo de ligação entre
os dois.
Certamente, nós já determinamos como calcular isso e estamos muito bem nisso.
Sabemos como usar a equação de Belman em ambientes muito diferentes com muitas complicações diferentes.
Bem, vamos aproveitar esse conhecimento para entender como podemos calcular agora.
Q Para fazer as mesmas previsões porque, como você pode imaginar, o ambiente não muda dependendo
dependendo da abordagem que usamos, o ambiente será o mesmo independentemente.
sempre dar o mesmo resultado e, portanto, essa é outra razão pela qual esses dois devem ser vinculados.
Portanto, essa abordagem e essa abordagem devem
Então vamos dar uma olhada.
Então, aqui está a nossa abordagem de visão, onde acabamos de ver o valor de qualquer estado desse estado ou
de qualquer outro estado.
E aqui entramos, estamos apenas usando a liderança aqui, porque esse é o estado atual.
E, portanto, a terminologia será a mesma em ambas as equações e aqui estamos usando q como um Q é
o estado e a ação.
A porque a ação está subida, mas em que estado realizamos essa ação, realizamos essa ação no Estado.
OK, então agora vamos montar a equação de Belman para a primeira abordagem,
como você pode ver aqui, temos o de s ou o valor de qualquer estado dado é o máximo da recompensa que você obtém uma aposta máxima baseada nas
ações que você tem três.
Neste caso, você realmente tem quatro ações para maximizar todas as ações possíveis desta parte
que ouvimos discutidas muitas vezes, então esta é a nossa recompensa que obtemos de realizar essa
ação naquele desconto de plaza estadual, de fato, multiplicado pelo esperado valor do novo estado em que estaremos no
valor esperado porque é um processo estocástico.
certeza que vamos acabar por aqui, podemos acabar no tipo de probabilidade à esquerda ou à direita.
Nós não sabemos exatamente com
É por isso que essas probabilidades estão em você.
Tudo bem, então esse é o nosso valor.
E agora vejamos.
Q Então Q será definido.
Nós vamos usar isso para definir Q Então digamos que o agente desse local desse estado
executa a ação.
Para o qual o q valor será chamado.
Bem antes de tudo, vejamos o que ele receberá em troca de realizar essa ação.
A primeira coisa que você receberá é uma recompensa certa.
Não sabe nenhuma dúvida sobre isso.
Haverá algum tipo de regra ou pode ser zero, mas sabemos que o todo é o modo como esse
processo de aprendizagem de reforço é que algumas cidades estão realizando certas ações de um dado estado ou dois.
Então vou adicionar isso aqui.
E então vamos adicionar o que vamos adicionar.
Bem, vamos pensar sobre isso.
Qual é a próxima coisa que acontece depois que ele está indo lá.
Bem, a próxima coisa que acontece é que agora o agente está em certo estado, ele poderia acabar aqui com
uma probabilidade de 80% ou alguma probabilidade.
Mas na verdade aqui mesmo.
Mas onde quer que ele acabe agora, já temos uma métrica quantificada para esse estado em que ele está.
E esse é realmente o valor desse estado.
Mas porque ele surgiu em muitos estados diferentes e em três dos diferentes estados possíveis, temos
que observar o valor esperado do estado em que ele estará.
E então vamos adicionar isso em nós vamos adicionar.
Claro que o fator descontado como anteriormente tínhamos, porque isso está em algum lugar no futuro.
E então, vamos adicionar alguns de todos os estados possíveis em todos os estados possíveis que ele poderia
acabar levando essa ação.
Termos de probabilidade.
Então, o que estamos dizendo aqui é que está bem então, ao realizar uma ação, você receberá uma recompensa Plus,
que é uma métrica quantificada Plus, você vai conseguir.
Você acaba em um estado, não sabemos qual deles poderia estar aqui.
Poderia estar aqui, poderia estar aqui.
Mas aqui está o valor esperado do estado em que você vai acabar.
E agora vamos multiplicar pelo fator de desconto, porque isso é um afastamento.
Então, esse é o nosso valor Q para esta seção de desempenho e o que você notará aqui imediatamente é
isso.
Q O valor Q é realmente exatamente idêntico ao que está dentro desses suportes aqui.
E por que isto.
máximo em todas as ações possíveis do resultado que obtemmos ao tomar cada uma dessas ações e enqueue estamos definindo.
Bem, se você pensa sobre isso aqui, estamos levando o máximo de resultados, obteremos
o máximo em todas as ações possíveis, de modo que obtivemos uma ação que leva o
Interessante.
O que obteremos tomando uma determinada ação.
Então, se você pensar sobre isso, faz sentido que o valor de um estado.
Então, por exemplo, este estado é o máximo de todos os possíveis valores de Q.
Assim, então, nos Estados, ao estar no estado, o agente tem um valor-chave para manter o valor 3Q para o
valor q.
Então, sim positivo para possíveis valores de Q enquanto o valor da permanência faz
sentido que o valor do estado é o máximo de todos esses quatro valores-chave.
É exatamente isso que podemos ver aqui.
Essa é uma boa confirmação dessa nova fórmula que derivamos.
Se não fosse esse o caso, se isso não corresponderia, então teríamos perguntas.
Então, por que porque não combina.
Por que não coincide se.
Q valor é uma métrica quantificada de executar uma ação e V depende do chão.
É como o máximo dos possíveis resultados das quatro ações que ele pode realizar ao longo do que faz
sentido.
E isso confirma a fórmula que acabamos de derivar e agora vamos torná-la ainda mais interessante.
Nós vamos nos livrar do Wii inteiramente porque você pode ver aqui, você tem Wii é uma função recursiva.
De vez em quando você me pegou e depois B e depois B e depois B e assim por diante.
Então você pode expressar essa visão através de todos os seguintes Vee's os mais ótimos que serão
apresentados aqui.
função recursiva do OR como uma função do próximo V e então você teria que conectar este V e depois voltar para o B.
Estamos esperando Q Como um funk uma
Então, o que vamos fazer é que realmente vamos levar este V e nós vamos substituí-lo
com Q Right então vamos dar uma olhada nisso.
Nós vamos levar este V do próximo estado e vamos ligar isso a essa fórmula aqui.
E como você pode ver agora, então esta parte não muda, esta probabilidade não muda.
Mas como acabamos de discutir o de s é o máximo por todas as ações de q de S e um direito aqui.
Então, é isso que vamos substituir aqui.
é a nova ação a ação que vamos tomar, porque aqui temos o Wii de como principal.
Então, vamos dizer o máximo de, é claro,
Então, agora, temos o console máximo em primeiro lugar.
Então, as ações que vamos tomar deste estado são de
onde quer que outro estado acabe, mas a ação que vamos levar de lá e o Maxima em
todos esses e o máximo é de todos os valores de cubo que irão que estão disponíveis para nós nesse novo estado como primeira vírgula.
E essa é a ação.
Então, esse é o.
Então, haverá mais quatro.
Q valores lá.
Então agora, como você pode ver, vamos passar novamente.
Então, a partir do que derivamos esta palavra seria apenas uma causa apenas através da lógica e da intuição, para
que possamos ver que os VNS são realmente vistas de AS e de e estão ligados.
O de S é o máximo em todas as ações de Cuba S e você pode ver aqui, então esta
parte é idêntica a esta parte.
E então, vamos aproveitar isso e nós vamos substituir esse bit com o VNS daqui, mas não
este embudo exato, vamos levar essa parte interna e substituí-la por matar inocentes.
Então vamos ligar isso aqui e esta parte será q de s prime um máximo máximo de cubo por
Crucell um Priam's de Q como Prime um primeiro.
E agora temos nossa fórmula.
Então, agora temos uma fórmula recursiva para o valor q, então agora o agente pode pensar qual é o valor da seção
qual a qualidade desta seção foi o novo valor dessa ação.
Bem, isso depende da recompensa que recebo no passo imediato depois disso, mais depende
do fator com desconto, o máximo de todas as possíveis ações Q nesse estado.
valor esperado por aqui, então nós temos alguns tempos de probabilidade, o máximo que é o valor esperado.
Mas eu não sei se eu vou conseguir que seu lado precise também olhar para esse estado nesse estado e é por isso que
temos esse
Então, uma fórmula muito semelhante à que você pode ver, mas desta vez estamos expressando coisas
através dos valores de q e é por isso que todo esse algoritmo é chamado de Kill learning porque isso é o que é analisado, é o que os agentes
realmente usam eles não parecem nos estados analisam suas ações possíveis e, em seguida, com base
nas ações sobre o valor q das ações, eles decidirão qual ação tomar.
Então, eles apenas olharão para o valor Q máximo neste dado estado, ele tem quatro ações.
ação e depois se envolver vai repetir esse processo, repita esse processo e assim por diante.
Qual é a melhor ação a ser tomada para que possa comparar um tipo de comparação entre os diferentes estados que podem
acabar acabando é comparar as ações possíveis que atualmente ele tem, então, encontrando o melhor que vai
tomar essa
Então agora você pode ver como tudo isso se junta como a recompensa que os fatos de
desconto ou a decisão de mercado estocástica processam e os valores e os valores de q
se juntam para cueist esta equação de Belman super potente para q valores que agora podemos aplicar e deixe nossos agentes
aprenderem como vencer o meio ambiente.
E então é uma explicação intuitiva sobre o que está acontecendo.
Sei que passamos pelas fórmulas, mas é necessário, porque é como a nossa fórmula,
é que estamos passando por todo este capítulo e acho que é uma boa transição do To.
Q E ilustra como existem links entre Yishun E se você gostaria de obter um pouco mais de uma aproximação matemática de abordagem rigorosa
e, como você vê a matemática por trás disso e aprender um pouco mais sobre valores
de q e como eles funcionam.
Então, temos uma leitura adicional para você.
Este artigo é chamado de conceitos e algoritmos de processos de decisão Markov por martÃn von Autor low 2009.
complexo, como esse artigo, se quisermos obter algumas informações adicionais sobre isso, a fim de obter uma compreensão mais profunda.
Então, você corta o link aqui como sempre e aqui você pode ler um pouco mais
de detalhes para entender todos os graciosos por trás dos valores de Hugh e assim por diante e agora
que discutimos todas essas coisas relacionadas à equação de Belman agora estamos prontos para olhar para algo mais
Mas mesmo que você não leia o jornal ou o rádio, você deve ter um bom conhecimento sobre o
que é aprender e sobre como os agentes apresentam as ações que eles precisam levar em um determinado ambiente.
Então espero que você aproveite hoje Statoil e estou ansioso para o seu próximo.
Até então, aproveite.
EU.