Ciao e bentornati, quindi, ovviamente, per l'apprendimento approfondito oggi parliamo della discesa del gradiente Kostic.
In precedenza abbiamo appreso la discesa del gradiente e abbiamo scoperto che si tratta di un metodo molto efficiente per risolvere il
nostro problema di ottimizzazione in cui stiamo cercando di ridurre al minimo la funzione di costo.
Fondamentalmente ci porta da 10 alla potenza di 57 anni per risolvere un problema in pochi minuti o ore o entro un giorno
o giù di lì.
E aiuta davvero a velocizzare le cose perché possiamo vedere da che parte è in discesa e possiamo semplicemente andare
in quella direzione e prendere provvedimenti e arrivare al minimo più velocemente.
cosa con il bastone con discesa del gradiente è che questo metodo richiede che la funzione di costo sia convessa.
Ma la
E come potete vedere qui, abbiamo scelto in modo specifico una funzione di costo convessa, fondamentalmente convessa,
significa che la funzione assomiglia a quello che stiamo vedendo ora che è solo una specie di vext in
una direzione e che in sostanza ha un minimo globale.
E questo è quello che troveremo.
Ma cosa succede se la nostra funzione non è convessa.
Cosa succede se la nostra funzione di costo non è corretta.
Cosa succede se sembra qualcosa del genere.
Beh, prima di tutto come potrebbe accadere.
Beh, questo potrebbe accadere perché se prima scegliessimo una funzione di costo che non è la differenza quadrata tra
perché come e perché o se scegliamo la funzione di costo che è così.
Ma poi in uno spazio multi-dimensionale può trasformarsi in qualcosa che non è convesso.
E quindi cosa succederebbe in questo caso se avessimo appena provato ad applicare il nostro normale metodo gradiente decente, qualcosa
come questo potrebbe accadere.
Potremmo trovare un minimo locale della funzione di costo piuttosto che uno globale.
Quindi questo era il migliore e abbiamo trovato quello sbagliato e quindi non abbiamo il peso corretto.
Non abbiamo una rete neurale ottimizzata.
Abbiamo una rete neurale parziale.
E quindi cosa facciamo in questo caso.
Bene, la risposta qui è stocastica.
Discesa gradiente.
E si scopre che la discesa del gradiente sarcastica non richiede che la funzione causa sia convessa.
Diamo uno sguardo alle due differenze tra la discesa del gradiente normale di cui abbiamo
parlato e l'intervallo stocastico.
Quindi la normale discesa verde è quando prendiamo tutte le nostre file che colleghiamo alla nostra rete
neurale e ancora una volta abbiamo la rete neurale copiata più volte ma le file vengono inserite
nella stessa rete neurale ogni volta.
Quindi c'è solo un trucco di un anno questo è solo per scopi di azione di Kissel.
E una volta che li abbiamo collegati, abbiamo calcolato la nostra funzione di costo in
base alla formula e guardando il grafico in basso e poi regoliamo i pesi, questo è chiamato il metodo
di discesa del gradiente o è anche il termine corretto quel metodo di discesa del gradiente discontinuo.
nostro campione, lo applichiamo e quindi eseguiamo che il metodo di discesa del gradiente stocastico sia un po 'diverso.
Quindi prendiamo l'intero batch dal
Qui prendiamo le righe una per una, quindi prendiamo questa riga, gestiamo la nostra rete neurale e quindi
regoliamo i pesi.
Poi passiamo alla seconda fila, prendiamo la seconda fila e gestiamo la nostra rete neurale.
Guardiamo la funzione di costo e poi aggiustiamo di nuovo i pesi e poi prendiamo un altro Rohtak a tre
rose, gestiamo la nostra rete neurale esamineremo la funzione di costo che regoliamo il peso.
Quindi, in sostanza, stiamo osservando che stiamo aggiustando i pesi dopo ogni singola fila invece di fare tutto
insieme e quindi testare pesi due approcci diversi.
E ora andremo a confrontare i due fianco a fianco.
Quindi eccoli qui è come visualizzarli visivamente.
Quindi hai la migliore discesa del gradiente dove stai regolando i pesi dopo averli eseguiti dopo aver eseguito
tutte le righe nella tua rete neurale e quindi fondamentalmente solo i pesi ed esegui di
nuovo l'intera iterazione iterazione iterazione nella sesta elementare di dicembre e si corre una
riga alla volta e si regolano i pesi proprio come sono solo i pesi e poi si
fa tutto ancora e ancora e si parla di discussione.
trovi le estremità locali oi minimi locali piuttosto che il minimo complessivo globale globale.
E hai detto che le due principali differenze sono che il metodo di discesa gradiente sarcastica ti aiuta a evitare il problema
in cui
E la ragione di ciò in termini semplici è che il video del metodo di discesa del gradiente
stocastico ha oscillazioni molto più elevate perché può permetterselo.
Sta facendo una ripetizione o una riga alla volta e quindi le fluttuazioni sono molto più
alte ed è molto più probabile che trovi il minimo globale piuttosto che il minimo locale.
alla volta è più lento ma in realtà è più veloce perché è non deve caricare tutti i dati
in memoria ed eseguire e attendere fino a quando tutte queste regole sono del tutto.
E l'altra cosa riguardo la discesa del gradiente sarcastico penso sia un brutto gradiente è la sua promozione come la
prima impressione che potresti avere è perché sta crescendo uno
Puoi semplicemente arrotolarli uno per uno, quindi è un algoritmo molto più
leggero in questo senso molto più veloce, anche se ha molto più senso in quanto ha più vantaggi rispetto al cattivo.
Metodo di discesa gradiente.
o il tipo di dominio di profer come il metodo di discesa gradiente cattivo è che si tratta
di un algoritmo deterministico o diverso dal cast di una discesa del gradiente essendo un algoritmo sarcastico che
significa che è casuale e con il miglior gradiente e metodo, purché tu abbia il stesso peso iniziale per la tua rete neurale.
Il vantaggio principale
Ogni volta che si esegue il metodo di discesa del gradiente batch, si otterranno le stesse iterazioni con gli stessi
risultati per tutti i pesi che vengono aggiornati per consentirci di utilizzare il metodo del gradiente
sarcastico.
Non lo otterrai perché è un metodo stocastico che stai scegliendo i tuoi ruoli a caso
e stai aggiornando la tua rete neurale in modo sarcastico e quindi stai andando in ogni
momento in cui esegui la categoria un metodo decente anche se
hai gli stessi pesi all'inizio avresti un processo diverso e diverse iterazioni per arrivarci.
Quindi questo è in poche parole cosa c'è da castigare e dissentire c'è anche un metodo tra i due chiamato il metodo
di discesa del gradiente batch Mini in cui si combinano i due e in pratica si esegue piuttosto che
eseguire un intero batch di esecuzione uno alla volta.
Esegui batch di righe, forse 5 10 100, ma molte righe decidi di impostare il numero di righe per volta,
quindi aggiorni il tuo modo a cifre singole e così via.
E questo è chiamato il metodo di discesa gradiente Mini Bache se vuoi saperne di
più sulla discesa del gradiente, c'è un ottimo articolo che puoi dare un'occhiata.
discende da Andrew Trask ei link sottostanti sono un buon articolo scritto molto semplice.
Si chiama una rete neurale in 13 linee di Python parte alla grande e
Ci sono alcuni interessanti pensieri filosofici o solo interessanti su come applicare l'acqua verde decente, conosci i vantaggi e gli
svantaggi e come essere come fare le cose in determinate situazioni, così hai alcuni
trucchi e hack molto interessanti.
Leggere molto facilmente, quindi verificarlo.
E un altro un po 'più pesante leggere.
Per quelli di voi che sono in matematica che vogliono arrivare al fondo della matematica perché.
La discesa dei gradienti è quella specifica.
Quali sono le formule che guidano le valutazioni e come vengono calcolate e così via.
Controlla l'articolo o in realtà il libro.
È un libro online gratuito chiamato reti neurali e apprendimento profondo del libro di Michael Nielsen 2015.
È praticamente tutto online che puoi andare avanti e dare un'occhiata.
E ancora una volta introduzione molto morbida alla matematica.
Ma poi per una madre la matematica, ma la matematica è piuttosto pesante mentre vai avanti mentre
leggi l'articolo.
in cui prima fai scaldare la matematica e poi salti in me sono così interessato alla matematica, quindi questo è l'articolo su cui andare.
Ma allo stesso tempo ti coinvolge in quello stato d'animo, penso che tu voglia dire che è come un
capitolo di riscaldamento
Ed eccoci qui, ecco in poche parole la differenza tra il senso di Graney di
lanciare la discesa del gradiente e come lavorare.
E su quella nota stiamo per concludere oggi ha detto Tauriel.
Non vedo l'ora di vederti sul prossimo.
E fino ad allora godere di un apprendimento profondo.