Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Hoje estamos falando sobre a primeira parte da A-3 para ver a parte crítica do ator.
Então, temos uma vantagem síncrona.
Algoritmo crítico de ator.
E vamos falar sobre o Akrotiri sublinhado.
É aí que vamos começar.
começar tecnicamente em qualquer lugar, mas só faz muito mais sentido começar com
um crítico, porque dessa forma teremos uma explicação muito consecutiva sobre a compreensão intuitiva sobre o que está acontecendo nos facilitará.
Você pode
Mas se começarmos a surpreender no final desta aberração.
Tudo bem, até agora neste curso, surgimos um aprendizado profundo de Kule condicional que é ilustrador aqui, então nós temos
o computador vendo os pixels para que a imagem real e os pixels não sejam apenas um vetor.
Então, não é enganar, é realmente ver exatamente o que um ser humano vê que vê os
monstros que vê a saúde que vê os parâmetros na parte inferior que vê o cartão ou vê a arma, é exatamente o mesmo
que um ser humano veria ao jogar isso jogos.
como lembrar que temos esses valores de cubo, então aplicamos uma política de seleção de ação para eles.
Então, essa imagem é passada através de um covil convolucional e depois é passada através de lariats puxando se abaixa e
entra em uma rede neural e, em seguida, na saída, temos ações
Então, por exemplo, aplicamos um Max suave e descobrimos quais ações queremos tomar.
E então há uma exploração mais exploração em andamento.
Há uma combinação dos dois.
Então é assim que o aprendizado legal convolucional profundo funciona.
Mas agora vamos ver o que vamos fazer com isso.
que seja mais fácil para nós operarmos seja porque vamos ajustar essa imagem e movê-la.
Então, por motivos de simplicidade, apenas para
Vamos substituir círculos por quadrados com estas ou estas caixas retangulares.
E também vamos nos livrar dessas linhas e entre apenas mudá-las para as setas, então isso não
muda a essência.
Esta é apenas a representação neste gráfico.
Ainda assim, essa representação ainda é profunda. O aprendizado Kule convincente só será
mais fácil para nós modificá-lo e mostrar exatamente o que é.
Então é assim que vamos representar as coisas daqui.
E o que isso ou esta parte específica está começando.
Lembremos que estamos começando como passo a passo, estamos começando com a peça crítica ativa.
Então, vamos ver como nós passamos do crucial Kule aprendendo para A-3, veja passo a passo e primeiro passo, vamos
apresentar este crítico de ator PARTOVI aqui, então vamos falar sobre isso.
Então, a primeira coisa que acontece é esse último bit.
A saída é, na verdade, nós apenas vamos redesenhá-lo assim, então é exatamente a mesma
saída exatamente os mesmos q valores são exatamente a mesma ação.
possíveis, que as colocará no topo, então elas ocuparão menos espaço, então nada, até agora, nada mudou.
Então, se ele, se você tivesse oito possíveis ações, você ainda tem oito ações
Isto e isso é exatamente o mesmo.
Mas agora é aqui que entra a parte crítica crítica.
Vamos ter um segundo resultado.
Nós vamos ter o primeiro como um conjunto de resultados e aqui vamos ter uma saída individual
separada, de modo que tecnicamente vamos usar nossa rede neural.
Então, uma vez por hora.
Ou a imagem e tudo como os valores passam pela rede da esquerda para a direita aqui.
Eles não apenas cuspiram um conjunto de valores que custam na verdade dois conjuntos.
E assim, o top disse que realmente sabemos o que é, é que é possível ações, mas aqui, na verdade,
teremos outro valor extra, então vamos dar uma olhada nisso.
Qual é esse valor.
Então, vamos lá, é o topo.
Então, apenas gostamos de reduzir o tamanho desta ilustração.
A saída superior é os valores do cubo como discutimos anteriormente para as ações.
Então eles são o mesmo.
Tudo é o mesmo.
Mas agora, agora, esta parte inferior e a parte superior são chamados de X ou vamos
dar um nome que é o ator, porque essa é a parte em que o agente escolhe o que quer fazer para
que seja como se fosse agir como se fosse Está se apresentando no palco e vai fazer mais sentido quando tivermos o
segundo nome na tela também.
E então a segunda saída é como um valor e é V de S, de modo que é o valor do estado.
q de S é o Q de A é o valor q de uma determinada ação e, como você pode ver, é por isso que há ação uma ação duas ações
três são até a ação seis ou mais ações de significado que possivelmente existem nesse estado.
Então, se
Então, em um determinado estado s Qual é o valor q de agir uma ação para ação uma ação para e assim por diante.
Então, aqui, também estamos prevendo que também estamos usando a rede neural para prever qual é
o valor do estágio em que estamos realmente e essa parte é chamada crítica.
E isso é o intuitivo para o tipo de intuição intuitiva, mesmo assim, como o começo da intuição
por trás do ator, prevê que existem duas saídas da rede neural não apenas uma.
P antes que acabamos de ter aquele em outbred que chamamos a ação agora.
Mas agora temos duas saídas Akshara e crítica.
E haverá uma dinâmica entre eles, que exploraremos ainda mais.
Mas, por enquanto, é importante entender que estamos prevendo não apenas os valores das ações que o agente pode tomar do
estado atual, mas também prevêem o valor de estar nesse tipo de estado usando essa rede
de mesmo ano de idade.
Então esse é o núcleo do primeiro passo para o crítico ativo.
E agora vamos precisar conversar sobre um síncrono que vamos fazer no próximo tutorial, para
entender exatamente o que está acontecendo entre o dever e o final para hoje é que todos esses valores-chave, como sabemos,
também é chamado de Pulso .
Então, em alguma literatura em alguns blogs e algumas discussões que você pode encontrar no crítico ativo, você pode
encontrar o autor falando sobre os valores de Cue do lado do ator em alguns outros artigos e postagens de blog
e discussões você encontrará a agrah o autor falando sobre a política e, geralmente, é usar o
usuário como uma letra grega P para representar a política ou simplesmente dizer política de estado.
Por isso, esta é a política de estado, porque, como lembramos, a política é que se
você juntar todas as ações nas ações possíveis e depois decidir quais as ações a serem tomadas.
Então, estas serão as probabilidades de tomar cada ação, de modo que essa seja a política.
Então, não seja descartado se você ver um ou outro.
Eles basicamente significam o mesmo.
Então, por um lado, você tem a política ou os valores de q, por outro lado, você tem
o valor real do estado e eles estão sendo preditos a partir desse ano.
Então, esse é o começo do crítico ativo continuará nisso no próximo tutorial quando
falarmos sobre uma síncrona e procure por ver lá.
Até então, aproveite o.