Olá e bem-vindo de volta ao curso em um I I na parte anterior, falamos sobre
a intuição Killary, que aprendemos profundamente, começamos lá.
E na verdade, nós realmente conseguimos todo o caminho para esta parte e onde conversamos sobre aprender e
agora vamos passar para a parte de ação real.
Então, há duas partes para partes distintas que temos que lembrar.
Então, essa é a parte de aprendizagem, mas agora ele realmente fez tudo isso.
Isso é bonito.
uma ação que ele tem para decidir o que ele vai fazer é fazer uma ação de dois ou três.
Agora ele realmente tem que tomar
E então, como ele faz isso.
Bem, o jeito que ele faz agora é dado esses mesmos valores para que os valores não mudem depois que nós temos esses
valores para compará-los com Calcott os últimos dois por era arrogada, nós atualizamos os
pesos, mas os valores não mudança nesse processo inteiro.
Para obter os valores do cubo lá.
Eles são corrigidos.
Nós sabemos o que são.
Tudo isso acontece.
Redes atualizadas e usadas usando os mesmos valores que tivemos.
O que nós vamos fazer é que vamos analisá-los através de uma função máxima macia.
E, novamente, Max macio como descrito.
Eu acho que um anexo 2 e vamos falar um pouco mais sobre soft max.
Mais adiante, ou falaremos sobre esta política de seleção de ações mais abaixo no restante desta seção.
Então, apenas em alguns tutoriais.
Mas, por enquanto, vamos apenas dizer que estamos passando por uma próxima função suave.
Basicamente, o que faz é que ele permite que ele ajude a selecionar o melhor selecionando a melhor ação possível.
E há uma pequena advertência para isso.
Não é apenas o melhor possível.
Falaremos sobre isso no tutorial da política de seleção de ações.
Mas, por enquanto, digamos que seleciona a melhor ação daqui, diz OK, então, Q1, você conhece a probabilidade.
Basicamente, sabemos que os valores de q previam o valor de Q para que ele possa examiná-los e diga OK, então
o valor Q mais alto desses, tal como fizemos no algoritmo de aprendizagem Q simples.
para tudo isso, por exemplo, digamos, os valores mais altos que eu vou selecionar essa ação, vamos tomar esses.
Eu apenas olho
E isso é praticamente isso.
É assim que ele escolhe qual ação leva toma ação e então todo esse processo acontece novamente.
Para a próxima etapa, o agente acaba em nosso caso e no próximo quadrado do labirinto.
Mas geralmente falando no próximo estado.
Então vamos lá.
É assim que alimentamos um problema de aprendizagem de reforço em uma rede neural através de um vetor descrevendo o estado
em que estamos.
E uma vez que nos encaixamos.
Há duas partes do processo que acontecem. A primeira parte é a aprendizagem.
Então lembre-se da parte em que comparamos cada um dos valores do cubo com o alvo
e, em seguida, voltamos a propagar a perda através da rede para atualizar os pesos para que nossa rede esteja
aprendendo enquanto passamos por este labirinto ou através deste ambiente.
E também a segunda parte, é claro, temos que agir, temos que selecionar uma ação e é aí
que passamos os valores através de uma função maxima macia e, ou basicamente, uma política de seleção de
ações que falaremos mais abaixo.
E então, simplesmente selecionamos a ação que queremos tomar e nós executamos essa ação e então todo esse
processo começa novamente.
E então, talvez o agente consiga, talvez o agente não faça o jogo.
Em qualquer caso, o jogo termina.
E, mais uma vez, todo o processo repete que o agente joga o jogo inteiro de novo e então pára tão basicamente que é
esse outro parque aéreo sempre que o agente que você conhece sempre que o jogo termina com um favor além do
fairie que é o fim de um aeroporto.
E então ele começa de novo e então ele começa de novo e então ele começa de novo.
E assim por diante.
Então, isso acontece e esse processo acontece sempre que o agente está em você em um novo estado, então o estado
está codificado aqui, de modo que é importante não apenas para cada jogo que ele joga, mas para
cada estado.
Então ele está em um estado que passa por suas datas de processo e assim por diante e acontece a cada momento.
E assim a aprendizagem acontece e a atuação também acontece.
Então, isso é uma aprendizagem profunda na intuição por trás do aprendizado profundo.
cobrir e, claro, prático e, entretanto, se você quiser obter algumas informações adicionais sobre continuar aprendendo.
Nós temos muito mais para
Nós temos uma leitura recomendada para que já falamos sobre a série de postagens de blog de Arthur Giuliani.
Se você olhar para a aprendizagem informal simples Lifton's flow part 4 você encontrará a parte que é relevante para
o que discutimos hoje.
Note-se que aqui ele fala sobre convoluções que não estamos cobrindo revoluções nesta seção, vamos falar sobre
elas na próxima seção do curso.
Então, a diferença aqui é que é apenas pular as conclusões por agora e vamos falar
sobre elas na próxima parte do curso, mas a diferença está em evoluções.
Você é como procurar que o agente esteja olhando a imagem e, portanto, ele tem que processar uma
imagem uma complicação adicional por agora, onde gradualmente estamos gradualmente construindo isso.
Por enquanto, estamos codificando o nosso ambiente através de você, olhamos aqui, estamos codificando o nosso ambiente ou
talvez como olhar para este provavelmente na codificação do nosso ambiente como um ou para indicar que o agente está como um vetor.
Então, no nosso caso, era um vetor de valores muito simples.
Às vezes, as pessoas, mesmo que naquele simples podem às vezes ou como você verá a partir desta postagem no blog.
Às vezes, as pessoas preferem a versão quente e codificada desse estado.
Então, basicamente, onde cada caixa do labirinto tem um.
Então você tem como um vetor de um caso nulo seria 12 valores três por quatro.
Portanto, não é igual ou 1 ou 0, dependendo de quais elementos e em qual caixa você está.
No ambiente.
Então, em qualquer forma que você decida codificar o seu ambiente e o estado do seu ambiente, é assim que na
codificação. É basicamente um vetor.
A chave aqui é que não é uma convolução. Então, não é como uma imagem e não há volvo de convolução.
Então, esta parte virá mais tarde.
Para nós, começa aqui e isso simplesmente simplifica o processo para que possamos entender gradualmente melhor.
E, claro, não esqueça que esta publicação é rude e tende a fluir e estamos usando pi torche
em nossos tutoriais.
Então espero que você goste disso.
Uma rápida introdução em um profundo conhecimento convolucional profundo, ainda não profundo.
E com essa nota, espero ver você em seguida.
E até então, desfrute da inteligência artificial.