Olá e bem-vindo de volta ao curso de aprendizagem profunda no tutorial de hoje, estamos falando
de descida gradiente.
O que aprendemos anteriormente foi que, para que uma rede neural aprenda o que precisa acontecer é
a propagação de trás e é quando o erro a diferença ou a soma de diferenças quadradas entre y
hat e Y é propagada de volta pela rede neural e os pesos são ajustados em conformidade.
Então nós vimos isso e hoje vamos aprender exatamente como esses pesos são ajustados.
Então vamos dar uma olhada.
processo em ação onde temos algum valor de entrada, então temos que esperar, então, uma função de ativação é aplicado.
Esta é a nossa versão muito simples de um trabalho neural de um Traceador Percept uma rede neural de feedforward de
uma única letra e o que podemos ver aqui é todo esse
Nós conseguimos o chapéu e depois o comparamos ao valor real que calculamos a função de custo.
Então, como podemos minimizar a função de custo.
O que podemos fazer sobre isso.
e ver qual deles se parece melhor e o que fazemos é, por exemplo, tentamos por exemplo, por exemplo, mil pesos
e nós experimentá-los-ia fora que iria conseguir algo assim para a função de custo e este é um
gráfico do eixo Y de cross-functional o eixo vertical no eixo horizontal do chapéu.
Bem, uma abordagem para fazê-lo é uma abordagem de força bruta onde nós simplesmente tomamos todos os
diferentes pesos possíveis e olhá-los
E porque você pode ver as fórmulas que tive menos Y quadrado.
Isto é o que a função de custo seria algo assim.
E, basicamente, você acharia que o melhor está por aqui.
Então, uma abordagem muito simples e muito intuitiva.
Por que não faz esse método de força bruta.
experimentar um custo diferente de mil diferentes por mil parâmetros ou entradas diferentes para pesos e ver qual deles funciona melhor.
Por que não
Você encontrará o melhor desse jeito.
Bem, se você tiver apenas uma maneira de otimizar, isso pode funcionar, mas à medida que aumenta o
número de pesos, aumentar o número de sinopses em sua rede, você deve enfrentar a maldição da dimensionalidade.
E então, qual é a causa da dimensionalidade.
A melhor maneira de descrever isso ou explicar isso é apenas olhar para um exemplo prático.
Então, lembre-se deste exemplo que tínhamos quando estávamos falando sobre como as redes neurais
realmente funcionam onde estávamos construindo ou executando uma rede neural para uma avaliação de propriedade.
Então, isso foi o que pareceu quando já foi treinado bem quando não é treinado antes de treinado antes
de saber qual deles são os pesos.
A rede neural real parece assim.
Certamente porque temos todas essas sinopses diferentes possíveis e ainda temos que treinar os pesos e aqui
temos um total de 25 pesos, quatro vezes cinco no início e mais cinco
do hit lá 25 pesos.
E vamos ver como poderíamos possivelmente formas de força bruta.
Esta é uma rede neural muito simples aqui.
Muito simples, apenas um hit lá e como nós podemos forçar nosso meio através de uma rede neural
desse tamanho.
Bem, há alguns cálculos matemáticos simples.
Temos 25 pesos.
Então, isso significa que se tivermos mil combinações que vamos resolver para cada peso,
o número total de combinações é de 1000 para o poder 25 ou mil ou 10 para analisar as cinco combinações diferentes.
Agora vejamos como a Sun é o modo de iluminar o supercomputador mundial de Fosse a partir de junho de 2016, como se
abordaria esse problema.
Certo, então Sunway amarra quem luz.
Parece que este é um enorme edifício praticamente para este supercomputador e obteve o Guinness
World Record por ser o supercomputador Fosses.
Agora é o supercomputador mais rápido do mundo e algumas luzes de ligação podem operar a
uma velocidade de 93 de flops.
Flop significa operação flutuante por segundo.
Então, pode fazer noventa e três ao óleo de poder.
Times dez para o poder de 15 operações flutuantes por segundo.
É assim que é rápido em comparação.
Média de computadores agora, eles gostam apenas de vários gigaflops e assim por diante.
Então, gosto de tais tipos.
Menos do que a luz do tipo TEI Sunway.
Então, de repente, é uma mentira que está na vanguarda da tecnologia.
E digamos hipoteticamente que pode fazer uma prova de uma combinação de quatro em sua própria rede em um disquete e uma
operação flutuante que não é possível, que não é prático porque você precisa de
várias operações flutuantes para testar um único peso no seu próprio pequeno.
Mas até vamos dar uma boa vantagem.
Digamos que ele pode fazê-lo em um mundo ideal, ele pode fazer isso em uma operação flutuante, ele pode fazer
um teste por operação flutuante.
Isso significa que o Doddridge ainda exigirá tendência de cinco.
Divida por noventa e três vezes dez a cerca de 15 segundos para vir a executar todos esses testes para a força bruta
através dessa rede.
Então, isso significa que um ou aproximado tende a poder 58 segundos e é o mesmo
que tende ao poder de 50 anos.
Esse é um grande número que é mais longo do que o universo tem existido e
que definitivamente não vai simplesmente esse número é tão grande que simplesmente não vai funcionar para nós em nossa otimização.
Então vamos lá.
Este é um não não.
Mesmo no supercomputador mais rápido do mundo, Sunway tail light.
Então, temos que encontrar uma abordagem diferente, como vamos encontrar o melhor peso.
A propósito, a nossa rede neural era muito simples, e se as redes neurais
se parecem a algo assim ou mesmo maior do que isso, então, sim, isso não acontecerá nunca.
Então, o método estava olhando para ser chamado de descida gradiente e você já ouviu falar sobre isso.
Se não, descobriremos o que é agora.
Então, nossa função de custo e agora entramos em como podemos fomentar uma maneira mais rápida de encontrar a
melhor opção.
Então, digamos que começamos em algum lugar que você vai começar em algum lugar.
Então começamos por lá.
ponto na parte superior esquerda, o que vamos fazer é que vamos olhar o ângulo da nossa função de custo nesse ponto, então, basicamente, isso é
o que se chama gradiente porque você precisa se diferenciar.
E a partir desse
Não vamos olhar as equações matemáticas.
Nós forneceremos algumas dicas sobre leitura adicional no final da próxima palestra.
Mas, basicamente, você precisa se diferenciar para descobrir o que é a inclinação nesse ponto específico e descobrir se
a inclinação é positiva ou negativa.
Se o caso, se a inclinação for negativa, como neste caso, significa que você está indo para baixo, então, para a direita, é
para baixo, à esquerda, é subida.
E daí, significa que você precisa ir para a direita.
Basicamente você precisa ir para baixo.
E é isso que vamos fazer.
O Boom dá um passo para a direita.
A bola rola novamente.
Mesma coisa.
Você calcula a inclinação e a inclinação é positiva, o que significa que a subida da esquerda está em declive e você precisa ir
para a esquerda e você está na bola para baixo.
em termos simples, como você encontra os melhores WAITES, a melhor situação que minimiza sua função de custo.
E, novamente, você calcula a inclinação e você é todo o touro ali mesmo, então é assim que você encontra
Claro que não vai ser como uma bola de rolamento vai ser um tipo de
abordagem muito ziguezague, mas é mais fácil de lembrar ou é mais divertido olhar isso como uma bola rolando.
Mas, na realidade, sim, você só será como se uma abordagem passo a passo
for um método de ziguezague.
Sim e também há muitos outros elementos para isso.
por exemplo, por que, porque, por que, por que ele não está por aí, pode ter saltado para fora disso, em vez
de baixar e coisas assim, então, existem parâmetros que você pode ajustar.
Há coisas como,
E novamente vamos mencionar onde você pode descobrir mais sobre isso.
E mais, teremos isso em aplicação prática, mas na abordagem intuitiva mais simples, isso é o que
está acontecendo.
Estamos chegando ao fundo apenas entendendo a maneira pela qual precisamos ir.
Em vez de forçar bruto através de milhares e milhares e milhões e bilhões e
quadrilhões de combinações.
que é onde, de onde é, está inclinado tão certo como o seu ou você imagina que você está de pé em uma colina.
Nós podemos simplesmente ver toda vez
De que maneira ele sente que está indo para baixo e, de qualquer maneira, está indo para baixo e você continua caminhando
da mesma forma que você gosta de levar 50 passos de distância e, em seguida, você avalia novamente OK, da maneira que está indo para baixo
dessa maneira.
OK e eu tomarei 50 passos ou menos, levanto 40 passos dessa maneira.
Então, fica cada vez menos e menos quando você se aproxima.
Então, aqui está um exemplo de descida gradiente aplicado em um espaço bidimensional.
Então, esse era um exemplo unidimensional.
Aqui, temos um espaço bidimensional para a descida de gradiente, como você pode ver, está se
aproximando do mínimo e também é chamado de descida de gradiente, porque você está descendo no mínimo da função
de custo e descobre que ele possui uma descida de gradiente aplicada em três dimensões.
Isto é o que parece se você projetou em duas dimensões, você pode ver em ziguezague seu caminho
para o mínimo.
Então, vá lá, foi índice de descida gradiente de Tauriel. Falaremos de estocástico.
Gradient descent é realmente uma continuação deste tutorial.
E espero vê-lo lá.
E, da próxima vez, aproveite a aprendizagem profunda.