Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Espero que você esteja gostando do curso até agora.
E hoje estamos falando sobre a ação das políticas de seleção.
Tudo bem, vamos entrar diretamente nisso.
Anteriormente, falamos sobre a adição de uma rede neural ao nosso aprendizado simples
e, até agora, estamos aprendendo profundamente.
Nós conversamos um pouco sobre a parte de aprendizagem, incluindo a adição de alguns elementos.
E hoje estamos falando sobre essa parte, estamos falando sobre a atuação.
Então vamos dar uma olhada.
Então, aqui, temos o que discutimos sobre a atuação que, uma vez que você inseriu os valores, os parâmetros são o vetor que
descreve o agente do estado é claramente nesse ambiente, então é depois de todo o aprendizado é feito ou mesmo
antes que o aprendizado seja feito.
Basicamente, nós obtemos todos os valores de q, então não estamos interessados ​​em aprender agora,
insistimos em agir, então, uma vez que temos esses valores fundamentais, como entendemos qual deles precisamos usar.
Bem, se você pensar sobre isso.
Os valores de Q são simplesmente previsões para o cubo.
Então, como fizemos no algoritmo de aprendizagem simples, o que fizemos, acabamos de selecionar aquele com o melhor
do maior valor.
Uma vez que temos o valor de QI mais alto, nós apenas tomamos essa ação, porque isso nos
traz o valor mais alto e sabemos que a recompensa imediata da calculadora de Duval que esperamos receber
mais o fator DK vezes o valor da próxima data.
E é um cálculo recursivo, então por que não, por que você não tiraria o melhor valor, e esse é
o fim do fim.
aqui, estamos usando uma função máxima macia e é aqui que vamos falar sobre políticas de seleção reais.
Mas, como você pode ver aqui, não é tão simples
Então, na realidade, não precisamos ter apenas uma função de software.
Podemos ter diferentes políticas de seleção de ações, por exemplo, temos o Epsilon gentil Epsilon suave e nós temos os
Macs suaves e aqueles são como as políticas de seleção de ação mais usadas,
é claro, existem outras.
Por exemplo, o mais básico é uma ação muito simples, é só selecionar o melhor.
Aquele com o valor Q mais alto.
esse pulso de ação não voa e por que temos diferentes tipos de políticas de seleção de ação de pulso de ação.
Mas por que
Bem, tudo se resume à exploração versus exploração.
E esse é o núcleo da aprendizagem de reforço porque já falamos sobre isso um pouco que o seu
agente quando ele está operando em um ambiente, ele pode prever certos valores de fila
que podem ser bons e pode resultar ótimo, pode afirmar que estão disponíveis e será forçado a explorar.
Então, se, por exemplo, neste caso, preveamos que o Q2 é o melhor e, em seguida, leva Q
To para agir e para ele.
Então, daqui até a Seção 2 e depois obtém uma recompensa muito negativa.
Então, o ambiente está forçando o agente a ir e a explodir, porque agora ele vai
aprender que, na verdade, pensei que o Q2 seria muito bom, mas acabou muito mal.
Então, os resultados não são muito ruins.
Então, as redes podem atualizar-se, então da próxima vez que ele estiver no estado, ele provavelmente vai comer minha
alma, apenas chegar a ela.
Você sabe como se fosse muito muito favorável, então você pode pensar que é como se você soubesse
que você precisaria de um par de vezes um par de penalidades ou punições para aprender sobre a ação.
vou tomar uma ação diferente e tomar a ação do pulso porque agora tem o melhor valor.
Mas talvez ele já aprenda logo que
Então, às vezes, o ambiente força o agente a tomar diferentes para explorar ações diferentes, mas às vezes o
agente pode conseguir que ele se encontre preso em um máximo local que possa achar que ele seguiu através de sua
exploração inicial e descobriu que é uma ação muito legal como Eu vou aqui mesmo.
E essa coleção d'esprit.
é a melhor ação, simplesmente porque não explorou, é explorada subindo seu nariz ou indo para a esquerda é
explorar indo certo, mas não explorou a queda desse estado específico em que está e agora que é tipo de
tendencioso em relação a esta ação e pensa que uma boa ação continuará levando, ela continuará recebendo.
Mas o problema é que ele pensa que
Ele vai continuar a tomar, na verdade, vai continuar a receber uma boa recompensa.
Mas e se essa ação tivesse sido ainda melhor se essa ação tivesse sido muito melhor que, se soubesse sobre essa
ação, ele realmente mudaria para essa ação, mas porque ficou preso em um máximo local
é conseguir que essas boas recompensas apenas aconteçam para ser reforçada.
Isso vai continuar reforçando isso ou a violência vai reforçá-lo de que esta é uma boa
ação a seguir, continue fazendo isso.
Mas, na verdade, a realidade é que existe essa outra ação que ainda não encontrou ou nem sequer explorou.
Isso teria sido muito melhor.
Então, o que queremos fazer é que queremos criar uma política de seleção real que permita que nosso agente não
fique preso em um máximo local.
Sim, é importante para você saber continuar fazendo as boas ações que são a parte de exploração.
Não exploraremos o que encontramos.
Mas, ao mesmo tempo, ainda queremos explorar, nunca queremos parar de explorar, como na vida, você nunca quer
parar de aprender, você não consegue aprender a morrer.
você está morrendo ou algo assim é que você quer continuar aprendendo e seu agente quer continuar aprendendo.
É assim que, quando você não está crescendo,
E é aí que essas políticas de seleção de ações entram.
Então nós temos três que você listou aqui, então o primeiro é Epsilon ganancioso, é muito simples, isso parece
bastante complexo no sentido de que, como se ele tivesse um nome legal e geralmente coisas com nomes cirúrgicos.
Na verdade não é.
Então, basicamente, o que ele faz é que ele selecionará aquele com o melhor valor de Q e epsilon como Epsilon, você
pode ouvir outros lugares, é como uma política de seleção.
como o que tem o valor Q mais alto o tempo todo, exceto para o percentual Epsilon do tempo.
Então, neste caso, estamos usando isso para escorregar, então nossos valores Al-Q são por vendas,
Então, por exemplo, se você definir epsilon para 10 por cento, então você está indo para ou 0. 1 do que 10% do tempo em
que a ação será selecionada aleatoriamente.
Então, 90 por cento do tempo você ainda estará selecionando a melhor ação com base no valor mais alto.
Mas 10 por cento do tempo vai selecionar uma ação aleatória.
Uniforme, será absolutamente aleatoriamente uma ação ou se você disser
epsilon para zero ponto cinco para 0. 05, o que significa que 95 por cento do tempo que o agente vai tomar a ação
com o maior valor.
Mas 5 por cento do tempo ainda está selecionando e ação aleatória.
Então, vai sair e explorar.
Então, o soft de Epsilon é muito parecido com a forma como gosta do motivo pelo
qual se chama FCL ganancioso porque então você está escolhendo a ação com ganância, a boa ação, exceto pelo pequeno episódio.
Algumas vezes.
Então, quanto menor o negócio de EPS, eles diminuirão o Lepp Epsilon, mais graciosamente você está selecionando esse tipo
de ação que é a ação ideal e menos você deixa menos chances de sair para a exploração. O
soft de Epsilon é o oposto.
Então, basicamente, você está selecionando aleatoriamente, você está selecionando um centavo menos Epsilon do tempo.
Então, se você gostar de 0. 1 a 10 por cento, então apenas 10 por cento do tempo que você está tomando essa ação.
E 90 por cento do tempo que você está selecionando uma ação aleatória.
Então, muito simples, apenas algoritmos invertidos e um Max suave é um pouco como o próximo passo ou
é uma versão mais avançada, eu diria sobre o algoritmo epsilon voraz, embora ambos tenham
mérito e ambos tenham um lugar.
Nós vamos usar a autofinanciamento em nossa codificação em nosso tipo prático.
Então, é isso que vamos falar com mais detalhes sobre soft max.
Então vamos dar uma olhada.
Então, vamos para o próximo esperançoso.
É bem claro que Ebsen concorda que é um algoritmo bastante direto.
Selecione este.
Na maioria das vezes, exceto por vezes, vá e explore.
E agora também vemos por que é importante fazer essa exploração para que não acabemos nos máximos locais
em nosso processo de otimização, então agora vamos conversar um pouco mais sobre soft Macs.
Há um tutorial sobre soft notes no final do curso.
Eu acho que é um anexo número dois, onde falamos sobre o conceito de Maxim, porque você atualiza um
pouco aqui, então estamos falando sobre redes neurais e, por sinal, todos nós estaremos
cobrindo convolucional.
Não estamos abrangendo as redes neurais de evolução nesta seção.
Claro que nesta seção ainda estamos usando um vetor.
Mas na próxima seção do curso, quando estivermos criando um AI para jogar Doom, iremos usando uma rede
neural convolutiva para que possa ser benéfico para você olhar em redes neurais relacionais e,
em seguida, tomar uma auto máx. Funciona ou você pode aprender um pouco mais sobre Max macio.
Depois de tomar as redes neurais convolutivas e, claro, mais tarde.
Mas aqui está uma rápida atualização. Então, aqui temos nossa rede neural convolutiva que decide se é um
cão ou gato.
Então, aqui, temos o processo de votação entre esses neurônios e este diz que é que tem os recursos
que você conhece as orelhas macias. Qual é o tipo de face pontiaguda e o tipo de características são os tipos de
olhos com o olho com Olhos olham todas essas características que pertencem a um cachorro.
Então, é uma chance de 95% que seja um cachorro e a chance de 5% de que seja um gato.
é como chegamos naquele Tauriel, estamos falando sobre como podemos obter esses valores para adicionar até um.
Mas a questão
Bem, seja o que for convolutivo, todas as nossas redes neurais completas são a rede neural convolutiva,
mais os Lares totalmente conectados, independentemente dos valores que aplicamos à função máxima macia,
estão aqui.
É aqui que apresentamos a fórmula para a próxima função suave.
É o que parece.
E então obtivemos esses valores.
E, basicamente, isso é uma rápida atualização.
Esta é a fórmula para o Max suave.
É o que faz, é necessário, no entanto, muitas saídas que você tem não importa.
Vai levá-los e os abobirá em valores entre 0 e 1, independentemente de quão grande eles sejam justos, é para mim
que você pode ver que há uma soma total na parte inferior para que esses dispositivos
sejam zero e dentro.
E também todos esses valores vão adicionar até um sempre.
E isso é muito benéfico para nós, porque quando estamos usando a função maxima macia, o que acontece é
que nós obtemos esses valores, selecionamos esse melhor valor de exibição.
Mas, na realidade, o que acontece é que esses valores que chegamos são verdadeiros números.
Então, este é algum tipo de números.
Eles não têm que adicionar um máximo e não precisam estar entre 0 e 1.
Apenas alguns números.
Mas quando aplicamos Soft Max, não selecionamos apenas o melhor em que realmente recebemos números assim,
para que possamos obter nossos números no intervalo entre 0 e 1 e também isso também somam 1.
E então, o que mais sabemos, isso se resume a um.
podemos dizer aqui que temos valores de q, mas aqui, de repente, temos soft ou temos probabilidades.
Bem probabilidades, sabemos que as probabilidades sempre têm que adicionar até 1, por isso
Portanto, podemos dizer que a probabilidade de esta ser a melhor ação é de 90%.
Esta seção lésbica 5 por cento 2 por cento 3 por cento porque sabemos que quanto mais alto seu valor, melhor
será a ação.
Então, se os esmagarmos de 0 a 1, estes se tornam possibilidades e podemos lidar com eles como tal.
E, portanto, agora é quando a ação é selecionada e é assim que surge o Q2.
Mas se você olhar isso de perto, isso não é um 100 por cento rígido e estes não são Saroo 0 por cento.
Então, isso é de 5% a 3%.
Portanto, a maneira mais natural de aplicar o Max suave para preservar a exploração no algoritmo é usar essas probabilidades
exatas como a freqüência em que vamos tomar essa ação.
Então, essas probabilidades realmente apresentam a distribuição dessas ações que estamos tomando, basicamente, Soft Max
torna muito fácil para nós encontrar uma maneira de combinar exploração e exploração.
Portanto, a melhor das melhores ações sempre terá a alta probabilidade porque tem o valor Q mais alto e, portanto,
aqui vamos usar apenas essas como nossa distribuição ou vamos dizer que sim, vamos tomar Q2
90 por cento do tempo, mas 5 por cento do tempo que ainda estamos a tomar Q1 e 2
por cento do tempo que chegamos a 3 e 3 por cento do tempo que vamos estar a tomar Q4.
E a beleza aqui também é que, à medida que esses valores se atualizam à medida
que o agente passa pela rede cada vez mais, torna-se mais familiarizado com o ambiente e, portanto, com essas atualizações, então esse valor,
por exemplo, pode se tornar como se pudesse verificar que esse valor é realmente menor ou isso realmente
é maior e, portanto, essas probabilidades também mudarão à medida que um agente passar.
Então, mesmo assim, temos Choo-Choo.
Ninguém deve dizer que, às vezes, 5 por cento do tempo para ser mais preciso, iremos selecionar o Q1 como
a ação a ser tomada e as vezes ou a ação será uma ação.
através de duas ações, três por cento do tempo e a ação será tomada cerca de 3 por cento.
Às vezes, estaremos agindo
Então, cada ação tem chance de jogar neste processo, desde que tenhamos suficientes iterações, um agente passa por muitas
e muitas vezes através desses estados em que eles estão.
E é assim que é assim que funciona assim qualquer tipo de algoritmo de aprendizado profundo que você
deseja fazer muitas vezes para que você aprenda com a experiência e, portanto, como você pode ver aqui,
é uma transição muito natural.
que ele pareça ter alguma lógica por trás disso, não apenas não apenas aquele 10% aleatório do tempo em que
estamos selecionando uma ação aleatória, mas há alguma lógica por trás de como a estamos fazendo e com base nos valores-chave que exploramos.
Nós não somos apenas aleatoriamente como um algoritmo irritado da Epson e não apenas selecionando aleatoriamente
as ações que estamos selecionando com base em seus valores máximos suaves, o que faz com
E essa é a política de seleção de ações que vamos usar neste curso.
Você pode conferir definitivamente a seção de ação de Ebsen Greedy, Polsce, se você quiser, mas
vamos usar predominantemente a política de seção de ação suave Max e eu tenho uma leitura interessante
para você.
Então, isso é chamado de desenvolvimento adaptativo Epsilon ganância em aprendizagem de reforço com base em diferenças de valor
é o artigo de 2010.
E é interessante porque Mike Michel não tenho certeza de como pronunciar Michelle e Miquel tóxico apresenta
um tipo diferente de Algren e algoritmo Epsilon codicioso e chamado algoritmo VDB VDB ou algoritmo VDB voraz
epsilon que você pode ver aqui.
E ele realmente compara se compara ao Ebsen ganancioso e macio Max e é um
algoritmo ganancioso absoluto que basicamente a principal idéia por trás disso é ajustar o valor de epsilon dependendo do estado em que o
agente está.
Então, se, se o agente estiver muito certo sobre o estado, Epsilon deve ser menor, então eles devem ser
menos explorados se o agente for respondido. O Epson deve ser maior deve ser mais exploração.
Então, é um artigo de 2010.
Não tenho certeza se é se este novo algoritmo proposto é amplamente utilizado ou está sendo aceito na comunidade
ou, ou se o Times artificiais tiver uma maneira dessa sugestão.
Mas, no entanto, certamente irá ajudá-lo a reforçar o seu conhecimento sobre as políticas de seleção de ações
que discutimos o Epsom Ingredion, o Naxal suave, ajudando você
a oferecer uma oportunidade para compelir o site Subha e também em que direção as pessoas
realmente pensam quando querem melhorar a inteligência artificial então, se você já planeja criar algoritmos realmente interessantes que estão empurrando
a vantagem da inteligência artificial de Elche e empurrando o envelope neste espaço, então isso poderia
ser uma boa maneira para você ver em que direção as pessoas pensam às vezes quando tentam para melhorar as normas de
inteligência artificial ou as normas que existiam na época em 2010.
Então vamos lá.
Espero que você tenha gostado do tutorial de hoje sobre as políticas de seleção de ações e aprendemos sobre o
sal da Epson abseil gengibre e os Macs suaves e agora você está ainda mais preparado para o lado prático das coisas.
E nessa nota aguardo com expectativa o próximo passo.
E até então, desfrute da AI.