Olá e bem-vindo de volta ao curso de aprendizagem profunda, este é um tutorial adicional para falar sobre
as funções de entropia suave e cruzada.
Não é 100% necessário para que você perca todas as partes em que passamos na parte principal
desta seção, onde estamos falando sobre as redes neurais convolutivas, mas ao mesmo tempo pensei que
seria uma boa adição à sua bagagem de conhecimento e conjunto de habilidades.
Então, vamos em frente e digite essas funções.
que temos aqui é a conclusão de uma rede neural que construímos na parte principal da seção
e, no final, revela algumas probabilidades de zero ponto noventa e cinco para um cão 0.
Então, para começar com o 05 cinco ou 5 por cento para um gato.
Dado que a foto à esquerda como uma entrada Isto é depois que o trem foi
conduzido, isso é realmente está funcionando e está classificando uma certa imagem.
E então, a questão aqui é como esses dois valores se somam a um.
Porque, tanto quanto sabemos, de tudo o que aprendi sobre redes neurais artificiais, não há
nada a dizer que estes dois neurônios finais estão conectados entre si.
Então, como eles saberiam qual o valor da retenção, cada um deles sabe qual é o valor
do outro.
E como eles saberiam para adicionar seus valores até um.
Bem, a resposta é que eles não.
Na versão clássica de nossa rede neural artificial e a única maneira que eles fazem é porque
apresentamos uma função especial chamada função maxima macia para nos ajudar a sair da situação.
Então, normalmente, o que aconteceria é que os neurônios do cão e do gato teriam algum tipo de valores reais que
eles não precisam ser, eles não precisam somar um máximo.
Mas, então, aplicaríamos a função soft max que é escrita por cima na parte superior e
isso traria esses valores entre 0 e 1 e os faria somar 1 e 3 PPTA.
A função macia máxima ou a função exponencial normalizada é uma generalização da função
logística que citam a abóbora não correspondente tem um vetor k-dimensional de valores reais arbitrários para um vetor k-dimensional de
valores reais no intervalo de zero a um que somam 1.
Então, basicamente, faz exatamente o que queremos.
Isso traz esses valores entre 0 e 1 e certifique-se de que eles somam até 1.
E a maneira como ele funciona é que a maneira como isso é possível é que, na parte inferior,
estamos aqui, você pode ver que há uma soma.
o expoente e coloca-o no poder da Zed e adiciona-o para que seja um dois em todas as suas aulas.
Então, leva
Todos esses valores.
E aí está a sua normalização acontecendo ali mesmo.
Então é assim que funciona a função Saucebox e faz sentido introduzir a próxima função suave nas
redes neurais convolutivas, porque quão estranho seria se você tivesse as possíveis classes de um cão e um gato
e para a classe de cães que você tivesse possibilidade de 80% .
E para as garras de gato você teve um bom direito de 45 por cento.
e é isso que você vai encontrar acontecendo a maior parte do tempo em redes convolutivas e neurais.
Isso simplesmente não faz sentido e, portanto, é muito melhor quando você apresenta a próxima função suave
Agora, o outro é que a função máxima suave vem de mãos dadas com algo chamado de função de entropia
cruzada e é uma coisa muito útil para nós.
Então, vamos primeiro olhar a fórmula.
É assim que a função de entrada cruzada se parece.
Na verdade, vamos usar um cálculo diferente para usar esta representação do século, mas os resultados
são basicamente os mesmos.
Isso é mais fácil de calcular.
E o que eu sei que isso pode parecer muito pouco relacionado a qualquer coisa agora, apenas fórmulas na tela, mas
haverá alguma leitura adicional recomendada no final desta seção, então não se preocupe se
você não estiver selecionando a matemática.
Como se não tivéssemos explicado as matemáticas agora.
Mas o ponto aqui é que o que está em toda a entropia bem na função de entropia.
Lembre-se de como anteriormente nas redes neurais artificiais tivemos uma função denominada função de flecha quadrada média
que usamos como função de custo para avaliar o nosso desempenho natural.
E nosso objetivo era minimizar o MSE para otimizar o desempenho da nossa rede.
Bem, essa foi a nossa função de custo, então, e em redes neurais convolutivas, ainda podemos usar o MSE, mas
uma melhor opção nas redes neurais convolutivas depois de aplicar a função maxima mola resulta ser
a função entropia cruzada.
E em redes neurais convolutivas quando você aplica as funções de entrada cruzada, o custo não é mais chamado a função
de custo é chamado de última função e são muito semelhantes.
Eles são apenas um pouco de diferenças terminológicas e como um pouco diferente e sobre o que eles significam.
Mas, para todos os fins, é praticamente a mesma coisa.
é que a última função é novamente algo que queremos minimizar para maximizar o desempenho da nossa rede.
E o que acontece
Então, dê uma olhada em um exemplo rápido sobre como esta função pode ser aplicada.
Então, digamos que colocamos uma imagem de um cachorro na nossa rede.
O valor previsto para o cão é 0. 9 e isso está fazendo o treinamento, então sabemos que sabemos o rótulo
que é um cachorro.
Então, o valor preditivo 0. 9 o valor de prigged para o gato é 0. 1 então aqui temos o rótulo, então sabemos que
é um cachorro, porque isso é treinar 0 1 para cães ou para gato.
E então, neste caso, você precisa usar, você precisa conectar esses números na sua fórmula para a entropia cruzada.
Então, como você faz isso, os valores da esquerda vão para o sinal verbal.
Aquele que está sob o logaritmo no lado direito e os valores da direita iria para
P e, por isso, é importante lembrar qual deles vai lá porque, se você os erroneá,
não quer fazer um logaritmo para Todos eu de valor zero e indo de 1.
Então, você só deseja conectá-los.
Certifique-se de conectá-los nos locais corretos.
E então, basicamente, você adiciona isso.
real e Ill fazer mais sentido o que é a entropia cruzada e será menos assim.
Então é assim que a entrada cruzada funciona e nós veremos um realmente agora, vamos olhar para
um exemplo passo a passo específico de aplicar esta função na vida
Meu objetivo neste trabalho é fazer com que você se sinta mais confortável no século passado, porque pode
parecer muito complicado e nenhuma corrida de palavras pode ser feita.
Como as redes neurais convolutivas, pode parecer muito complexo e assustador, mas não é.
Esse é o objetivo.
Então, vá em frente e aplique-o apenas para que possamos saber que não é assustador.
Então, aqui está tudo isso.
E também isso explica por que estamos fazendo isso por que estamos investigando diferentes funções de causa.
Então rede neural uma rede neural, vamos dizer que temos duas redes neurais e depois
passamos a imagem de um cachorro e sabemos que este é um cão e não um gato.
E então temos outra imagem do nosso gato desta vez um animal e é um gato, não um cachorro, e aqui temos um olhar
para um buraco que na verdade é um cão e não um gato.
Se você olhar muito de perto.
Então, queremos ver o que nossas redes neurais preverão no primeiro caso.
do cão 10 por cento gato corrigir nenhum número de rede para 60 por cento cão 40 por cento gato ainda correto pior.
Rede neural 1 90 por cento
Mas correto.
Segunda opção primeira rede neural 10 por cento gato cão 90 por cento gato.
Corrigir.
Você sabe que o número para 30% de cães, com 70% de pior, ainda está correto.
E, finalmente, a rede neural na rede da imagem da rede de ano ganhou 40 por cento do cão 60 por cento do número
de rede neural errado do gato para 10 por cento de cachorro e 90 por cento gato incorreto e pior.
os net people tenham errado no último através das três imagens, a rede neural estava superando a rede neural.
Então, a chave aqui é que, embora ambos
Então, mesmo no último caso, foi muito que ele deu ao cachorro uma chance de 40 por cento, ao contrário da rede neural, para dar
ao cão uma chance de 10% ou uma rede neural, uma que está superando o quadro,
em comparação com a rede neural 2.
E agora, vamos analisar as funções de que podem medir o desempenho que falamos sobre
a classificação.
Então, vamos colocá-los em uma mesa para que haja rede neural 1, você tem o número errado.
Então esse é o número da imagem.
E então, para a imagem que você tem.
O que prevê 90 por cento de chimpanzés de cães e gato.
Então, há o chapéu Marable e então você tem o valor real para que o cão corrija o gato incorreto.
A mesma coisa para a imagem número dois e a mesma coisa para um mínimo de três e o mesmo para a rede neural número
dois.
Então, 60% dos cães mantiveram 40% na primeira imagem.
Isso é o que previu que os crotones eram cães e não um gato.
E assim por diante.
E agora, vamos ver quais erros podemos realmente obter.
Então, quais erros podemos calcular para estimar o desempenho e monitorar o desempenho de nossas redes.
Portanto, um tipo de erro é chamado de erro de classificação.
E isso é basicamente apenas perguntando se você conseguiu certo ou não.
Independentemente das probabilidades é que você apenas obteve certo.
Ou você entendeu bem.
Então, em ambos os casos, para ambas as redes neurais, cada uma delas conseguiu uma.
Então é assim que você corre mal.
Então eles conseguiram um dos três errado.
Então, uma taxa de erro de 33 por cento para sua rede 1 e taxa de erro de 30 por cento para a rede neural.
Como linha de base desse ponto de vista, ambas as redes neurais funcionam no mesmo nível, mas sabemos que isso não
é verdade.
Sabemos que a rede neural Ikhwan está superando a rede neural.
É por isso que um erro de classificação não é uma boa medida, especialmente para fins de propagação de atraso,
erro quadrado médio diferente e, da maneira como eu fiz esses cálculos no Excel, eu simplesmente não queria aborrecê-lo com eles, mas
você pode Tony simplesmente se sentar e faça-os em um papel ou no Excel.
Estes são cálculos muito diretos, basicamente, levam a soma de erros quadrados e, em
seguida, basta tomar a média em suas observações e isso é praticamente isso.
Então, para a rede neural, obtém-se 25% para a rede neural 2, você obtém taxas de erro de 71%, de modo que você
pode ver que esta é mais precisa.
Está nos dizendo que quase uma tem uma taxa de erro muito menor do que sua própria rede.
E depois entropia cruzada novamente.
Nós vimos a fórmula que você também pode calcular, isso é realmente ainda mais fácil de calcular do que o erro quadrado
médio. A área cruzada em toda a entropia dá-lhe 38 por cento para a rede neural 1 e 1. 6 para rede neural 2.
0
Então, você pode ver os resultados são um pouco diferentes.
Quando você olha para eles assim, quando você olha para você, conhece a área da minissaia e entropia cruzada e a questão de
por que você usaria entropia cruzada por meio de erro ao quadrado não é apenas sobre o tipo de como os números que eles dizem, mas todos
esses Os cálculos foram apenas para mostrar que isso é tudo, tudo é possível, você pode
apenas fazê-lo em um papel, não é.
Não é matemática muito intensa.
Estas são coisas bastante simples e simples.
Mas a questão de por que você usaria significa causar entropia, significa que há uma pergunta muito boa
a perguntar.
Estou feliz que você tenha solicitado que a resposta para isso seja como se existisse várias vantagens de entropia cruzada em erro
quadrado médio que não é óbvio.
E então eu vou mencionar um casal, mas outro, então, eu vou deixar você saber onde você pode descobrir mais.
Então, um deles é que, se você, por exemplo, no início da sua propagação traseira, seu valor de saída é
muito, muito, muito pequeno, muito pequeno.
Portanto, é muito menor do que o valor real que você deseja.
Então, no início, o gradiente em seu mundo excelente e decente será muito baixo e você não
será suficiente.
Seria muito difícil para a rede neural começar realmente a fazer algo e começar a se mover e começar
a ajustar esses pesos e começar Movistar realmente se movendo na direção certa.
Considerando que, quando você usa algo como a entropia cruzada porque tem esse logaritmo, realmente
ajuda a rede a avaliar até uma pequena área como essa e fazer algo sobre isso.
Veja como pensar sobre isso.
Então, digamos novamente, isso é muito dentro e em uma abordagem muito intuitiva.
Haverá um link para a matemática e você pode derivar essas coisas através da matemática com
mais detalhes, mas uma abordagem muito intuitiva.
Digamos seu como seu resultado que você deseja.
É um e agora você está em um milionésimo de um.
Certo.
$ 0. 00 ou há uma e depois você melhora na próxima vez que você melhora seu
resultado de uma milionésima para uma milésima.
E em termos de se você calcular o erro quadrado, você sobrando um do outro.
Ou, basicamente, em cada caso, você é Kalka em um quadrado e você verá que os erros
quadrados quando você compara um caso versus outro não mudou tanto.
Você não melhorou sua rede quando você olha o quadrado médio lá.
Mas se você estiver olhando a entropia cruzada, porque você está tomando um logaritmo e depois compara isso com
a divisão de um para o outro.
Você verá que você realmente melhorou sua rede significativamente para que esse salto de um milhão para 1000 em
termos de erro quadrado médio seja muito baixo.
Será insignificante e não será.
Ele não orientará seu processo de aumento de gradiente ou sua propagação traseira na direção certa.
Tudo isso guiará na direção certa, mas será como uma orientação muito lenta, não
terá poder suficiente, enquanto que se você fizer recorrer entropia à entropia entenderá que mesmo que
sejam ajustes muito pequenos que você sabe fazer uma pequena mudança em termos absolutos em termos relativos é
uma grande melhoria.
E definitivamente estamos indo na direção certa.
Vamos continuar assim, de modo que a entropia cruzada ajudará sua rede neural a chegar à direita, o melhor estado
é uma maneira melhor para que a rede neural consiga chegar a um estado ótimo.
Mas tenha em mente que isso só funciona quando a entropia é apenas o método preferido apenas para a classificação.
Então, se você está falando sobre coisas como regressão como a que tínhamos nas redes neurais artificiais, então você prefere
ir comigo e erro quadrado, enquanto a entropia cruzada é melhor para a classificação e novamente tem a ver com o fato
de estar usando soft próxima função, de modo que é uma espécie de explicação intuitiva de que é
um bom lugar para aprender um pouco mais sobre isso, se você estiver realmente interessado em você sabe
por que estamos usando o erro cruzado contra o quadrado médio.
Google, um vídeo de Geoffrey Hinton, chamou a função de saída máxima macia e ele o explica muito bem e você
sabe ser o padrinho de aprendizado profundo que pode explicar melhor de qualquer maneira.
E, a propósito, qualquer vídeo de Geoffrey Hinton é dourado.
Ele simplesmente tem um grande talento para explicar as coisas de qualquer maneira.
Então, é isso legal, agradável versus cruz, e espero que você tenha uma compreensão intuitiva sobre o que
está acontecendo aqui.
Mas, mais importante ainda, você não é adiada pelo termo entropia cruzada, porque o título irá mencioná-lo nas histórias
práticas e eu queria garantir que você esteja preparado para isso.
E é apenas uma outra maneira de calcular sua última função.
portanto, às redes neurais convolutivas e vem em mãos mão a mão com a função macio max.
E outra maneira de otimizar a sua rede, que é especificamente adaptada aos problemas de classificação e,
Então, leitura adicional se você quiser uma introdução leve na entropia cruzada se você estiver interessado no concentrado
um pouco mais, claro.
Um bom artigo para verificar é chamado de uma introdução amigável à perda de entropia cruzada por
Rob DePietro 2016.
Aqui está o link abaixo.
Muito muito bom, muito suave e nada sem matemática super complexa.
nós lhe daremos um Boa visão geral de uma entrada cruzada como de um ponto de vista introdutório.
Boas analogias, bons exemplos usando analogias de carros e você olha para carros e fala sobre informações e
bits e restrições e você sabe como você decodificaria todo esse Unico, por isso é um bom artigo para dar
uma olhada e
Se você quiser cavar na matemática pesada, como o que vê aqui, confira um artigo ou
um blog sobre como implementar uma rede neural. Intermezzo também, em termos de uso, é como
uma coisa intermediária como a.
Intermitência em.
como quando você vai a um teatro e você gosta de uma pausa entre a primeira parte e a segunda parte.
Você sabe
Então, porque ele é como passar por todos esses passos e então ele é como e então ele diz que
eu tenho que explicar isso primeiro.
E sim, por isso é chamado intermezzo.
Nenhum outro motivo, tanto quanto entendi, os artigos de Peter Rolands 2016 também, ambos são
bem recentes.
E você sabe verificar isso se você quiser entrar na matemática por trás da entropia de Kross por trás do macio Max
e entropia cruzada neste artigo na verdade.
Então vamos lá.
Isso é tudo isso para esses dois.
Espero que eu tenha sido capaz de adicionar alguma clareza adicional e boa sorte com isso.
Vai ser divertido e aproveitar os tutoriais práticos.
Vejo você na próxima vez.
Até então, aproveite a aprendizagem.