Olá e bem-vindo de volta ao curso sobre inteligência artificial.
Espero que você esteja entusiasmado com o tutorial de hoje porque estamos dando o primeiro passo para
o mundo.
E hoje estamos falando sobre o aprendizado de reforço.
É uma história muito importante porque apoiará tudo o que acontecerá neste curso.
Então vamos começar aqui.
Temos um pequeno labirinto e este labirinto é a nossa representação de um ambiente e é
isso que vamos tratar neste curso.
Nós vamos lidar com certos ambientes nos quais a nossa inteligência artificial
vai estar executando, vai tomar medidas, ela vai estar procurando vencer isso no meu caminho,
ela estará procurando ganhar nesses ambientes.
E aqui temos um agente.
O agente é a nossa inteligência artificial.
Essa é a pessoa ou essa é a mente que vai estar navegando nesses ambientes e aprendendo
com o feedback que suas mentes vão dar para realizar determinadas ações.
E assim, a maneira como funciona é que o agente realiza certas ações nesse ambiente.
E, como resultado, o estado em que se encontra mudará para que seja mais ou mais próximo ou mais à esquerda
mais à direita.
Pode ter uma espécie de outros parâmetros que descrevem esse estado e esses parâmetros.
Então, o estado vai mudar por causa da ação e também receberá recompensas com base na
ação.
Então, cada vez que leva uma ação, o estado mudará e receberá recompensa.
Agora tenha em mente que, às vezes, pode acontecer que não altere o estado em que
a ação não alterará uma estadia ou não haverá uma recompensa por tomar essa ação.
Nesse sentido, era.
Mas, no entanto, o agente vai continuar fazendo isso, vai tomar atitudes para enganar
o estado, recebendo recompensas, mudando a ação tomando ações mudando o estado e recebendo recompensas.
E ao fazer esse processo, estará aprendendo sobre o que seria explorar o meio
ambiente, entendendo quais ações levam a boas recompensas e estados favoráveis ​​e quais ações as
duas recompensam um estado desfavorável.
E este é um problema muito global de representação muito global.
Então, se você pensa sobre isso, os ambientes realmente não precisam ser apenas labirintos.
Não se trata apenas de sair de um labirinto ou encontrar um tesouro em um labirinto.
Um ambiente pode ser praticamente qualquer coisa na vida.
Então imagine que você acorda de manhã e cozinhe uma omelete.
Então, para fazer essa omelete você precisa passar por certas etapas que você precisa para obter o sal, pegue os
ovos para obter as frigideiras que disparam e assim por diante e soa como uma coisa comum rotineira.
Mas tornou-se uma rotina porque você fez isso tantas vezes.
ações que você está levando para colocar você no fogo, colocando uma frigideira no fogo, você está colocando
todos os ovos na frigideira e você coloca um pouco de sal nos ovos e você está virando e assim por diante.
Mas, na realidade, é um ambiente onde você está realizando certas
Então, como você pode ver, são ações de ações do CRN que estão levando certos estados e essas ações levam
a certos outros estados e às vezes recompensam.
Então, por exemplo, quando você coloca o fogo e espera, espere, espere, espere, espere, espere,
espere, espere, espere, aguarde muito e então coloque os ovos na frigideira.
As recompensas serão muito negativas.
Tudo vai queimar.
então também é muito importante entender que as ações devem ser tomadas nos momentos corretos no tempo.
Por outro lado, se você fizer todas as ações corretas na hora correta,
Então, por exemplo, colocar o sal na frigideira antes de colocar os ovos pode não ser a
melhor idéia.
Você pode querer tomar essa ação de colocar o sal na frigideira depois que os ovos estão lá,
de modo que em um estado diferente.
Portanto, é importante lembrar disso.
E ao mesmo tempo, então, se você tomar todas as ações corretas na ordem correta nos
estados corretos, sua recompensa final pode ser que você obtenha uma omelete que você possa comer.
E assim é uma atividade muito básica em sua vida, mas se você pensa sobre isso, é realmente um ambiente e
você é o agente que passa por esse ambiente e executa uma tarefa que você realmente não precisa aprender
nada porque você já conhece muito bem .
Mas, ao mesmo tempo, você poderia aprender, talvez você pudesse aprender a fazer um omelete melhor ou, especialmente,
se é sua primeira omelete que você está fazendo, você provavelmente vai estragar.
Mas você aprenderá disso porque você entenderá quais ações levam a estados e rotas e qualquer
outra coisa na vida.
e vender e obter feedback certo do mercado no sentido de retornar retornos positivos ou negativos.
Por exemplo, mesmo negociando no mercado de ações e você sabe comprar
Esse também é um ambiente que você está participando desse ambiente como idoso.
Conduzir um carro também é um ambiente onde você pode girar o volante, você pode acelerar, você pode
quebrar e assim por diante e você está recebendo comentários do meio ambiente e você sabe
que um desses comentários é o policial que lhe dá uma multa acelerada se você ' indo acima do limite de velocidade aceitável
ou permitido nessa rodovia.
E, portanto, a partir daí, você aprende que não é algo que deve ser feito porque leva
a uma recompensa negativa.
Portanto, recompensas não precisam estar no final do processo.
Eles podem estar durante toda a jornada ao longo do processo.
Então, esses são alguns exemplos.
E, em termos de eu, a maneira mais simples de pensar em reforçar a aprendizagem é como treinar um cão quando você
treina o cão para dar certos comandos e se obedecer a esses comandos, então você dá um alcance você dá como
um biscoito ou algo assim Se não é Abeles Kamaz, você diz que é um cão ruim
ou você simplesmente não dá um deleite.
para fazer a ação que precisa levar em certos estados e os estados são os comandos que você está dando.
E através desse processo, ele aprende quais determinados comandos ou o que precisa
E com base nisso, obterá algumas recompensas certas, é claro, no mundo da AI.
Não é tão complexo.
Você não precisa dar os deleites.
Você não tem que ter como uma bolsa de biscoitos com você toda vez que você apenas dá uma
mais uma ou uma menos, então é uma grande vantagem que, no mundo da IA, criamos esses AIs nós mesmos.
Então, as recompensas que estamos dando a eles se você achar wow, isso é realmente uma recompensa legal, dando-lhes que
eles realmente não existem. Eles são apenas um plus ou menos um ou mais um ou um zero ou algo assim.
Então, é toda a inexistência de todo o material imaginário.
Mas, ao mesmo tempo, leva a ótimos resultados, pois podemos criar essas incríveis coisas dessa
incrível inteligência artificial, como por essa incrível inteligência artificial apenas fornecendo recompensas, nós realmente não existem.
Plus e menos um não custa nada além de resultados de liberação da mesma hora.
Muito semelhante ao mundo real.
E você sabe, por exemplo, Docks. Mas aqui as recompensas são digitais e apenas números.
então isso é apenas em fotos, não necessariamente, aquele cão de robô exato que você conhece que é treinado
através do reforço aprendendo alguns dos cães robôs, especialmente os mais antigos que você teria um algoritmo lá.
E com isso em mente, podemos falar sobre cães robô, eu amo este exemplo,
E este é realmente um bom exemplo da diferença entre os agentes pré-programados e o agente de aprendizado de
reforço para que você possa ter um cão robô que é pré-programado para como andar ele dirá.
Então, no algoritmo por trás do cão, o software irá dizer OK, então, para andar, você precisa mover sua perna esquerda para a
frente perna esquerda para a frente, em seguida, sua perna direita para trás, em seguida, sua perna direita da frente para a frente e sua
perna esquerda para a frente para a frente e repita essa ação e você sabe que essa é
a definição de andar é uma função dentro desse cachorro.
E então talvez você saiba como se sentar como ficar e coisas assim.
Considerando que, em um cão robô que é treinado através do reforço, aprender o que acontece é que você não o
préprograma.
Este é o conceito-chave para tudo aqui que você não tem nenhum algoritmo dentro que seja codificado
no cão.
Em vez disso, você tem o que estaremos discutindo no futuro.
Você tem esse algoritmo de aprendizado de reforço que é dito que OK, então o objetivo é chegar de onde
você agora não está sabendo nada para o final da sala, por exemplo.
E aqui estão as ações que você pode tomar.
Você pode mover o pé direito, você pode mover o pé esquerdo, você pode mover o pé direito para trás, você está
de volta para o pé, então, aqui todos os graus de liberdade que você pode fazer você pode movê-lo
assim, você pode se mover assim, assim como uma lista de as ações que você pode tomar e suas recompensas são cada vez que você dá um passo à
frente, você ganha um mais cada vez que você cair.
Você recebe um menos e isso é tudo aí.
E então eles simplesmente deixam o cachorro e deixam-no descobrir por conta própria.
Então, o cão tenta ficar de pé cai, então percebe que OK, eu não deveria fazer aquela ação que me levou a cair porque cada
vez que eu caio eu recebo um menos que não é bom para mim então.
Da mesma forma, a outra ação que o ajudou a levantar-se e, então, as figuras são apenas
experimentos experimentos experimente aleatoriamente as coisas de Tri e, em seguida, descobre que pode dar um passo
adiante, movendo-se o pé direito da frente e ele recebe um mais e percebe o que eu deveria faça mais disso.
OK, então agora aprende que deve fazer mais disso e menos disso.
E através deste processo de aprendizado, ele rapidamente compreende rapidamente como ele pode andar.
aqueles aqueles cachorros que descobriram por conta própria podem às vezes andar melhor do que os cães que são pré-programados porque as
coisas realmente pré-programadas olhamos para os cães da vida real e ou você sabe que usamos
nossa própria imaginação como fazê-lo, enquanto um cão de aprendizado de reforço pode otimize as coisas por conta própria.
E
E porque na AI às vezes pode obter resultados ainda melhores.
E é assim que eles podem treinar esses robôs.
Os mesmos cães de robô para jogar futebol.
Você pode treinar um cão normal para jogar futebol, porque você sabe que simplesmente toda a abordagem é diferente.
E não é algo que você sabe que provavelmente um cão normal foi treinado para fazer ou já fez
no processo de sua evolução.
que você diga o que as recompensas são quais são as metas que as ações possíveis podem levar.
Considerando que um robô de aprendizado de reforço pode facilmente entender como jogar futebol, desde
Então é assim que o aprendizado de reforço funciona.
Em geral, há uma visão geral rápida da aprendizagem de reforço.
Espero que você tenha ficado entusiasmado com o que aconteceria depois, porque é um mundo completamente diferente em
comparação com as soluções do préprograma, um programa difícil de soluções codificadas, onde você tem as demais condições.
Isso é muito diferente.
E vamos falar mais sobre isso.
se você quiser ter alguns materiais de apoio. Aqui está um ótimo artigo sobre o qual você pode olhar e olhar.
Enquanto isso, temos algumas leituras adicionais para você, então,
É chamado de aprendizagem de reforço simples com fluxo tensor.
Tem dez partes.
O link está aqui e você encontrará o link clicável completo em.
No curso dos recursos pelo artigo de Arthur Giuliani em 2016 e você pode seguir este curso e também
obter informações adicionais desse artigo.
pi torche, uma implementação tão diferente, mas implantações, mas ao mesmo tempo você pode pegar algumas
coisas aqui e ali que podem complementar sua aprendizagem que somos Estará a fazer neste curso.
Mas tenha em mente que esse artigo tende a fluir onde, como neste curso, estamos usando
Então, ótimos artigos seguem você se você está pensando em segui-lo com certeza.
Ainda pelo caso.
Verifique se a primeira parte e veja se você gosta, veja se você gostaria de ler um pouco mais.
E então, temos específico para este tutorial uma aplicação da lei de fronteira, há um artigo de Richard Sutton,
que é chamado de aprendizagem de reforço.
ao mesmo tempo, você pode aprender um pouco sobre o reforço aprendendo alguns dos exemplos como esse, o exemplo de omlet e outros exemplos
de onde o aprendizado de reforço pode ser aplicado e apenas uma visão geral da aprendizagem de reforço.
Uma introdução é que os artigos de 1998 são bastante antigos, mas,
Se você está procurando alguma leitura adicional e, nessa nota, vamos encerrar este tutorial.
Não posso esperar para vê-lo na próxima vez.
E até então, desfrute da AI.