Olá e bem-vinda de volta, então, claro, em aprendizado profundo, hoje falamos sobre a descida do gradiente Kostic.
Anteriormente, aprendemos sobre a descida gradiente e descobrimos que é um método muito eficiente para resolver
nosso problema de otimização, onde estamos tentando minimizar a função de custo.
Isso basicamente nos leva de 10 para o poder de 57 anos para resolver um problema dentro de minutos ou horas ou dentro de
um dia ou assim.
E realmente ajuda a acelerar as coisas porque podemos ver de que maneira é em declive e podemos ir
nessa direção e tomar medidas e chegar ao mínimo mais rápido.
coisa com a vara com descida gradiente é que esse método exige que a função de custo seja convexa.
Mas a
E, como você pode ver aqui, escolhemos especificamente uma função de custo convexo, basicamente convexa, significa que
a função se parece com o que estamos vendo agora que é apenas um tipo de vext em uma
direção e que em essência tem um mínimo global.
E essa é a única que vamos encontrar.
Mas e se nossa função não for convexa.
E se nossa função de custo não estiver correta.
E se parecer algo assim.
Bem, antes de tudo, como isso poderia acontecer.
Bem, isso poderia acontecer, porque se nós, em primeiro lugar, escolhemos uma função de custo que não é a diferença quadrada entre
o porquê e o porquê ou se nós escolhemos a função de custo que é assim.
Mas, em um espaço multidimensional, ele pode realmente se transformar em algo que não é convexo.
E então, o que aconteceria neste caso, se nós apenas tentássemos aplicar o nosso método de gradiente decente normal, algo
assim poderia acontecer.
Podemos encontrar um mínimo local da função de custo em vez do global.
Então este foi o melhor e encontramos o errado e, portanto, não temos o peso correto.
Não temos uma rede neural otimizada.
Temos uma rede neural parcial.
E então, o que fazemos neste caso.
Bem, a resposta aqui é estocástica.
Gradiente descendente.
E resulta que a descida do gradiente sarcástico não requer que a função da causa seja convexa.
Então, vamos dar uma olhada nas duas diferenças entre a descida gradiente normal de que
falamos e a faixa estocástica.
Então, a descida verde normal é quando tomamos todas as nossas linhas, as conectamos à nossa rede neural
e, mais uma vez, temos a rede neural copiada várias vezes, mas as linhas estão sendo conectadas na
mesma rede neural de cada vez.
Então, há apenas um truque de um ano, isso é apenas para fins de ação de Kissel.
E então, uma vez que os conectamos, calculamos nossa função de custo com base na fórmula
direita e olhando o gráfico na parte inferior e depois ajustamos os pesos, isso é chamado de método de
descida de gradiente ou é também o termo apropriado é esse método de descida de gradiente em lote.
lote de nossa amostra aplicamos e então corremos que o método de descida de gradiente estocástico é um pouco diferente.
Então, nós levamos todo o
Aqui nós levamos as linhas uma por uma, então nós levamos essa linha, corremos nossa rede neural e depois
ajustamos os pesos.
Em seguida, passamos para a segunda linha, nós levamos a segunda linha, corremos nossa rede neural.
Nós olhamos para a função de custo e então ajustamos os pesos de novo e depois tomamos outro Rohtak rose
três que executamos nossa rede neural analisaremos a função de custo que ajustamos o peso.
Então, basicamente, estamos observando que estamos ajustando os pesos depois de cada linha em vez de fazer tudo juntos
e, em seguida, testar pesos de duas abordagens diferentes.
E agora vamos apenas comparar os dois lado a lado.
Então, aqui estão eles, é como se lembrar visualmente deles.
Então você tem a melhor descida de gradiente, onde você está ajustando os pesos depois de executá-los depois de ter
executado todas as linhas em sua rede neural e, basicamente, apenas os pesos e você corre o tempo
todo novamente iteração iteração iteração na sexta série em dezembro e você corre uma linha de
cada vez e você ajusta os pesos do jeito que é apenas os pesos e então você faz tudo
de novo e de novo e isso é chamado de discussão.
encontra essas extremidades locais ou mínimos locais em vez do mínimo global global global.
E você disse que as duas principais diferenças são que o método sarcástico de descida de gradiente ajuda você a evitar o problema
onde você
E a razão para isso, em termos simples, é que existe um vídeo do método de descida de
gradiente estocástico que possui flutuações muito maiores, porque pode pagar.
Está fazendo uma iteração ou uma linha por vez e, portanto, as flutuações são muito
maiores e é muito mais provável encontrar o mínimo global do que apenas o mínimo local.
de uma vez por outra, é mais lento, mas na verdade é mais rápido porque é isso não precisa carregar todos
os dados na memória e executar e aguardar até que todas essas regras estejam completamente.
E a outra coisa sobre a descida do gradiente sarcástico, eu acho que é um pior gradiente, é o acolhimento como a
primeira impressão que você pode ter é porque está crescendo
Você pode simplesmente rolar em torno deles, um por um, então é um
algoritmo muito mais leve é ​​muito mais rápido nesse sentido, embora tenha muito mais nesse sentido, pois tem mais vantagens em relação ao ruim.
Método de descida gradual.
ou tipo de domínio como profer o método de descida de gradiente ruim é que é um
algoritmo determinista ou diferente de lançar uma descida de gradiente sendo um algoritmo sarcástico, o que significa que
é aleatório e com o melhor gradiente e método, desde que você tenha o mesmos pesos iniciais para sua rede neural.
A principal vantagem
Toda vez que você executa o método de descida do gradiente em lote, você obterá as mesmas iterações os mesmos resultados para você
todo o tempo em que seus pesos estão sendo atualizados para que possamos ter o método decente de gradiente
sarcástico.
Você não entenderá isso porque é um método estocástico que você está escolhendo seus papéis possivelmente aleatoriamente
e você está atualizando sua rede neural de forma sarcástica e, portanto, você está indo cada vez que
você executar a categoria um método decente mesmo se você tiver os
mesmos pesos no início, você terá um processo diferente e diferentes iterações para chegar lá.
Então, em poucas palavras, o que é para castigar e dissentir também existe um método entre os dois, chamado Método
de descida de gradiente de lote, onde você combina os dois e basicamente executa em vez de executar
um lote inteiro de executar um de cada vez.
Você executa lotes de linhas talvez 5 10 100, no entanto, muitas linhas você decide configurá-lo para executar esse número de linhas de cada
vez, então você atualiza seus dígitos de maneira única e assim por diante.
E isso é chamado de método de descida gradiente Mini Bache se você quiser saber
mais sobre a descida gradiente, há um ótimo artigo que você pode ver.
Andrew Trask e os links abaixo são bons 12 15 artigos muito bem escritos termos muito simples.
É chamada de rede neural em 13 linhas da parte de Python para grande e descer por
Tem alguns pensamentos filosóficos ou interessantes interessantes sobre como aplicar água verde decente, você conhece vantagens e desvantagens e como
ser como fazer coisas em certas situações para que você tenha algumas truques e
hacks de dicas muito legais.
Muito fácil de ler, então, definitivamente, verifique isso.
E outro mais um pouco mais pesado.
Para aqueles de vocês que estão em matemática que querem chegar ao fundo da matemática por quê.
Gradient descente é específico.
Quais são as fórmulas que estão gerando classificações? E como é calcular e assim por diante.
Confira o artigo ou, na verdade, o livro.
É um livro on-line gratuito chamado redes neurais e aprendizagem profunda pelo livro Michael Nielsen 2015.
É basicamente tudo em linha, você pode seguir em frente e verificá-lo lá.
E novamente, uma introdução muito suave à matemática.
Mas então, para uma mãe, a matemática, mas as matemáticas são bastante pesadas enquanto você segue enquanto lê
o artigo.
onde você primeiro aquece a matemática e então você pula, estou tão interessado em matemática, então esse é o artigo a seguir.
Mas, ao mesmo tempo, faz você entrar nesse humor. Eu acho que você quer dizer que tem um
capítulo de aquecimento,
E aí vamos, então, em poucas palavras, a diferença entre o sentido de Graney
para lançar a descida gradiente e como trabalhar.
E nessa nota, vamos encerrar hoje, disse Tauriel.
Estou ansioso para vê-lo no próximo.
E até então aproveite o aprendizado profundo.