Olá e bem-vindo de volta ao curso sobre inteligência artificial.
No tutorial de hoje, vamos falar sobre um add on que vamos implementar para
o nosso algoritmo 8: 3.
É chamado de "Memória de curto prazo longo" ou "LSD" para breve.
Então, vamos dar uma olhada no que temos até agora e então vamos discutir por que precisamos do LSD e o
que mais é para ele, até agora, nós discutimos por meio de nós.
pouco mais completo ou muito mais complexo do que o que temos nesta imagem, na verdade, temos três ou mais
agentes múltiplos que atravessam o meio ambiente e eles estão se comunicando entre si e assim por diante.
E falamos sobre as três letras A no 3C e, claro, já vimos que é realmente um
Mas por razões de simplicidade para a história de hoje, vamos apenas ilustrar tudo com este agente
no final, temos esse relatório da parte crítica.
Então, basicamente, uma vez que temos um estado, vamos declarar a esta imagem à medida que ela passa por convolucional, então,
passa por uma Lego tirando de arrumar uma camada.
camadas ocultas e então, como saída, obtemos as partes da política ou do ator e obtêm o valor do
estado ou recebemos a parte crítica e o que vamos fazer hoje é que vamos falar
sobre essa parte oculta nas camadas escondidas, podemos levá-lo ao próximo nível e podemos adicionar uma notificação.
E neste ponto, temos valores ou números que são propagados pela rede e eles
entram nas
E já vimos que existem múltiplas notificações para que elas vejam uma delas, nós
vimos que, em alguns casos, você pode ter essa parte principal da rede que é individual para cada agente.
Ou você pode ter esta parte principal da rede que é compartilhada e é isso que vimos que em nossos
experimentos de intuição anteriores tivemos uma parte compartilhada da rede.
Esta rede foi compartilhada entre os agentes e, como Adlon vai lhe contar mais nos tutoriais
práticos que realmente ajudam com o desafio da separação.
E há muitas outras maneiras de modificar o algoritmo.
Muitas outras adições que podem ser implementadas.
E um deles, vamos discutir, porque na verdade vamos ter
no lado prático dos trolls aqui antes de bater e Lares, que você pode adicionar, é um Himmler elist
uma rede neural Klare que permite que seu algoritmo de avaliação tenha memória que permite ao algoritmo lembrar o que aconteceu antes e falamos
sobre a LACMA agora em mais detalhes.
de outro recurso e o que você realmente verá nos Sorrells práticos é que nem precisamos de camadas
ocultas depois de todos eles serem semelhantes Então você verá isso na implementação de Atlanta.
Mas, basicamente, você pode adicionar uma camada extra aqui, que é elist ele Lehre e aprimorar seu algoritmo com algum Nimer adicional
Ele tem o achatamento lá imediatamente.
Depois disso, ele tem o stemware. Então, basicamente, esta caixa representa o jogador elist.
E então, depois disso, você obteve a saída para que você nem precise de nenhum outro Lares escondido
depois disso, simplesmente porque é a quantidade de energia que a lâmina LSM acrescenta ao algoritmo.
E, novamente, o algoritmo ou a arquitetura da sua própria rede, é uma coisa muito visual, é
uma preferência pessoal.
muito criativa, então você pode querer ter jogadores elist que você possa ter o analista bem-aprendido Jim Lehrer.
É uma coisa
Isso é muito parecido com cinco camadas ocultas depois de listá-las.
Isso é totalmente para você e para você experimentar e explorar.
Mas isso é o que surgimos nos tutoriais práticos para que você veja que temos uma camada
achatada plana e, depois disso, temos uma lidra de ls e, em seguida, a saída.
Então, agora falamos sobre o outro semelhante, o que é um manipulador.
lama LACMA adiciona memória dá uma característica como permite que a rede neural tenha memória sobre
o que aconteceu nas iterações anteriores e muitas vezes é simbolizada ou mostrada com um símbolo que se parece com isso.
Bem, o
Isso está apenas começando e eu estou apenas colocando aqui.
Eu sei que parece muito tortuoso, mas vou colocá-lo aqui para que você possa ver quando discutimos esta imagem.
Você pode ver o que está acontecendo, de modo que o resultado desta carta seja aqui e esse é o nosso.
Então, esta é uma camada inteira que vai aqui, então é um vetor de valores x um vetor avows entra no
tronco, que simplesmente descartaremos a célula.
E, em seguida, como um resultado, você obtém outro vetor que é que você conhece a concatenação desta loja ou
alguma. De alguma forma, ele se liga no nosso caso como um resultado que você obtém isso e você obtém isso.
Então, vamos dar uma olhada nisso com mais detalhes.
Então, vai se concentrar nessa parte.
Na verdade, entramos como você provavelmente percebeu que as letras estavam do lado, vamos virar
para o lado.
Então, assim, e todo esse todo, como se envolver, foi apenas para reiterar o fato de que, mesmo que pareça,
o que realmente está acontecendo é uma camada de valores que um vetor de valores inteiro está
acontecendo aqui.
Algo está acontecendo, o que só vai acontecer agora e agora, uma valise de vetores inteiro está acontecendo.
Então, esta é a camada, não é apenas um elemento da esta é a própria camada.
Então vamos voltar novamente apenas para reiterar que Lehre vai para isso onde algo acontece. Lehre sai.
Então é isso que a LACMA está do seu lado.
Então, é apenas mais fácil dessa maneira e essa é uma representação comum.
Agora, nós concordamos por que essa imagem estava do seu lado e como vamos continuar com isso.
Vamos começar a cavar mais um pouco para essa situação da LACMA.
Então, o que acontece dentro de Ellis Jim Lehrer.
Então, é isso que parece.
E é claro que isso parece muito complexo e definitivamente não vamos passar por
tudo isso agora, simplesmente porque há muito a discutir.
O ponto era as operações sábias da Operação Xolair e apenas há muito ou muitos detalhes intrincados em que não vamos
entrar, pois, de outra forma, estragariam isso, é claro, e isso não é o propósito
não é falar sobre Else represas aqui que vão utilizar o LACMA.
E se você quiser saber mais sobre os sistemas Ellis, você pode ir ou estamos aqui.
O blog de Christopher Ola.
descrição de seus talos ou também falamos sobre a LACMA em nossa profunda idade de aprendizagem, é claro, você pode verificar isso.
Ele tem uma boa
Temos uma seção inteira sobre redes e sistemas neuronais recorrentes também.
Então, basicamente, esta é a parte interna do sistema.
E o que acontece é como se a perna acontecesse, então vamos falar sobre isso em um nível intuitivo
em um nível muito básico exatamente o que seria o suficiente para entender o que acontece ou porque
há memória.
E para que você também possa entender melhor o que Atlanta está falando quando ele está implementando isso.
Então o Largo é tudo isso é algo que basicamente acontece aqui Larry sobe.
O que precisamos para realmente ver é que existem essas partes dessas entradas, na verdade, são
entradas adicionais neste Lehre.
Então, lembre-se disso, geralmente você tem como uma entrada de um Lehre anterior, então esta carta e, então, você
tem uma saída se você pensa naquela imagem que tínhamos anteriormente a rede normal, que não está do seu lado, que é
como da esquerda para a direita do topo para o topo.
Mas a menos que você realmente tenha mais insumos.
Então eu sei que está ficando ainda mais complexo, mas essas coisas, pelo menos, podemos compreendê-las.
Então esta é a sua célula de memória.
Esta é a chave e é o que você ouvirá falar sobre Heidel Atlanta.
Então, a célula de memória é algo que é salvo no elist ele, então essas entradas e saídas estão realmente aqui, o que
você está olhando é o eixo do tempo.
Então, isso é desviado no tempo, então, em uma iteração específica, isso acontece, mas esse valor é tirado do possed e esses valores passaram para esses
valores, esses valores são retirados do passado e esses valores são passados ​​para o futuro
e como eles passam a riqueza através do jeito que o trabalho em equipe, então, seguimos
nos preocupando demais com o que está acontecendo aqui.
que veio do passado, que é armazenado dentro do LSD dentro da memória de longo prazo.
Tudo o que precisamos entender é que quando a letra entra e aqui, nós realmente temos um valor
Nós conseguimos essa célula de memória e qualquer valor que estava aqui antes é que apenas permanece aqui, como você pode ver, apenas
atravessa, ele flui livremente, exceto por essas operações de ponto onde ele pode ser fechado
ou algo pode ser adicionado a isto.
Mas, independentemente disso, é apenas um valor que flui livremente, por isso é basicamente que é passado para o
próximo ponto no próximo ponto.
ou algo parecido com essa célula e, assim, apenas se lembra do valor anterior que
estava aqui e depois pode usar isso para adicionar ou Leia sobre esse valentimento.
Então, você poderia pensar nisso como uma lembrança semelhante a uma movimentação flash
E esse valor é o estado oculto.
Portanto, daí o H e o estado oculto é basicamente.
E agora o valor que vem do passado e depois é usado dentro do sistema.
E como você pode ver no final depois que tudo isso acontece, o que você obtém é que você recebe uma carta
que sai e é para que você obtenha esse valor que sai e é o mesmo valor passado.
Então, basicamente, a equipe de Ellis lembra duas coisas, há um valor constante que é como permanecer na lista
e que pode ser alterado, como esta é uma unidade flash para como um valor constante.
Então, a célula de memória.
E assim você pode, você pode ter o luxo de armazenar algo nesse espaço e naquela memória, e
será passado para o futuro, sempre que na próxima iteração.
Assim como o algoritmo estava em um ambiente, viu algo fazia algo e assim por diante.
E então, no LACMA, você pode armazenar um certo valor e lembrará desse valor mesmo quando
estiver no próximo estado.
E também o outro valor que eles vão lembrar, lembro-se de sua saída anterior.
Ele lembrará automaticamente a saída anterior, então a saída vai aqui e vai aqui.
Então, esse é basicamente o nível muito muito alto do que acontece em um LSM.
Mais uma vez, se você quiser mais detalhes, como muitos recursos onde você pode encontrar e,
nesta fase, não precisamos entrar nesse detalhe em todas essas coisas.
Nós só precisamos entender que você sabe o que uma célula de memória é o que a adesão à
célula de memória é o que é o estado de espírito e como é como facilita a memória para ele.
E a questão é tão agora que nós temos uma visão geral de tudo isso para reforçar
ou solidificar esse conhecimento que você é como dar uma razão para esse conhecimento.
Vamos fazer a pergunta por que precisamos de memória.
Por que precisamos de memória em nosso A-3 ou outros algoritmos.
Bem, vejamos nosso exemplo o desafio que estamos adotando nesta seção.
Então, o desafio é breakout e o que acontece e quebrar vai e irá sair, você tem esse ambiente esses
pequenos blocos que você precisa destruir com esta pequena bola e você precisa ter certeza de que este
é o tipo de raquete ou plataforma que está em movimento por aí.
E deve, sempre que a bola estiver voando, deve pegar a bola e saltar da plataforma e voltar e
bater bolas das paredes também.
Volte um bloco e volte.
E essa é a essência do que você precisa para realizar.
Mas agora vamos ver esta bola como se você es um algoritmo e um algoritmo de 83 C ou um agente dentro de um
desses agentes dentro das 08:30.
Você vê esta imagem o que você extrai daqui.
Qual seria a sua ação aqui para você.
Então você pode ver as bolas voarem direito.
Tão bem está voando bem.
Então, está em algum lugar e talvez esteja voando para a direita, você pode.
Você poderia fazer essa conclusão, você poderia antecipar que está vindo em sua direção?
Você provavelmente poderia e talvez você estivesse no lugar certo para pegar a bola.
Mas e se a bola realmente não estiver voando desse jeito, mas está voando, e se ele estiver voando desse jeito.
O que é que você não pode dizer a partir desta imagem de que maneira está voando porque você
não sabe onde estava no momento anterior.
Então, se estava aqui, está voando assim.
Então, se você tivesse se você soubesse o momento do momento anterior se soubesse que estava aqui, você estaria lá, agora você
sabe que aqui é como um humano, você apenas traça uma linha para estes dois e você vai dizer que vai assim.
Mas se você soubesse aqui, você desenha linhas exatamente como indo dessa maneira.
Além disso, veja isso.
Na verdade, poderia estar em algum lugar aqui.
Talvez esteja acontecendo, talvez seja assim, então, talvez estivesse aqui e eu
estava indo para lá, então, apenas daquela imagem é muito difícil é realmente impossível.
É exatamente como geometricamente impossível dizer de que maneira a bola está voando.
é por isso que a memória LSD na verdade realmente realmente ajuda a nossa Mfat a memória ainda pode ainda fazer um bom trabalho,
mas provavelmente poderia adivinhar ou você sabe encontrar outras maneiras de entender para onde ir.
E
Mas, com o tallo, mova-se mesmo para aquela memória, então, se voltarmos, mesmo com esse valor que era semelhante
ao resultado do valor anterior ou talvez você conheça, talvez, você pode armazená-lo aqui ou com
base nesse valor ou baseado sobre as informações obtidas a partir do ponto anterior no tempo.
Então, digamos do que aconteceu aqui.
Então, é aí que a sua bola estava antes, para que você possa transmitir informações sobre o meio ambiente desde
o ponto anterior até aqui.
Então agora você tem agora, você sabe que não só tem suas informações da imagem.
Se voltarmos ainda mais, você lembrará dessas informações da imagem.
Bem, isso está condenado, mas estamos realmente trabalhando para divulgar informações.
A imagem veio aqui aqui, converteu-se nesses valores achatados.
E para que a informação para eles.
Imagem que entra em todo o sistema.
E agora, de repente, como você se lembra de ter vindo de não desde algum lugar, mas do
ponto anterior.
Então é aí que você realmente demonstra vir do topo ou da bola da esquerda à direita.
Na verdade, é só ficar no elist the lair.
Você possui essa informação apenas através da arquitetura.
Eles dirão que você tem informações sobre o que aconteceu anteriormente.
E então, devolvemos essa informação aqui, que ajuda você a tomar uma decisão sobre o que fazer.
Ajuda o algoritmo a tomar uma decisão.
E agora, de repente, sabe disso.
ESTÁ BEM.
Então, a bola também está mentindo.
Digamos que está voando nesta direção ou nesta direção, então eu estou no lugar certo, eu deveria ficar por
aqui, a bola está chegando na minha direção ou se ela perceber que a bola está lá, deve começar
a se mover para a esquerda porque se esperar um pouco mais, será muito tarde.
E eles vão perder a bola.
Então, basicamente, é assim que o Elist eles realmente ajuda no algoritmo e é exatamente isso que vamos
ver quando você está fazendo os tutoriais práticos de Atlanta.
Então, você vai, é assim que funcionam essas equipes.
E apenas uma nota adicional como mencionamos no início, as equipes Ellis não são 100 por cento necessárias.
Eles não são completos Eles não estão completamente anexados ao algoritmo deles.
Você pode querer tê-los em um algoritmo Through C, você pode não querer tê-los dependendo da
situação para trazer o Arctic que você escolher.
Há muitas adições e já discutimos a adição ou a modificação onde a rede neural é
compartilhada entre atores não são compartilhados entre agentes ou não.
Agora, no entanto, elist Jim, há outro que você verá nos tutoriais práticos onde adicionamos
entropia, que é calculado através de uma política. Adlon irá acompanhá-lo através disso.
Então, basicamente, existem muitas modificações diferentes que podem acontecer em um algoritmo A-380.
Basta lembrar que isso depende do que você deseja alcançar e também é algo que
incentivaria você a explorar se você vai implementar muitos desses e tentar algoritmos diferentes.
Nós já discutimos um casal e talvez você possa encontrar algumas modificações adicionais que possam ser de seu
interesse ou, talvez, quando você estiver assistindo esses tutoriais, talvez os compre mais
modificações foram reveladas, que são muito interessantes.
Então, definitivamente, isso é algo que você poderia procurar e que poderia aprimorar ainda mais seu
conhecimento de inteligência artificial e como criar esses algoritmos.
E com essa nota, espero que você tenha gostado deste tutorial e vou buscá-lo na próxima vez.
Até então, aproveite.
EU.