Ciao e bentornati al corso sull'apprendimento approfondito nel tutorial di oggi, stiamo parlando della
discesa del gradiente.
Ciò che abbiamo appreso in precedenza è che affinché una rete neurale apprenda che cosa deve
accadere è la propagazione posteriore e cioè quando l'errore la differenza o la somma delle differenze quadratiche tra
y hat e Y è tornata propagata attraverso la rete neurale ei pesi sono adeguati di conseguenza.
Così l'abbiamo visto e oggi impareremo esattamente come vengono regolati questi pesi.
Quindi diamo un'occhiata.
in azione dove abbiamo un valore di input quindi dobbiamo aspettare una funzione di attivazione viene applicata.
Questa è la nostra versione molto semplice di un lavoro neurale una percettività Trauner una singola rete feedforward
feedforward e quello che possiamo vedere qui è l'intero processo
Abbiamo capito e quindi lo confrontiamo con il valore reale che calcoliamo la funzione di costo.
Quindi, come possiamo ridurre al minimo la funzione di costo.
Cosa possiamo fare a riguardo.
e vediamo quale è l'aspetto migliore e quello che facciamo è, ad esempio, proviamo per esempio diciamo per esempio un
migliaio di pesi e li proveremmo che otterrebbe qualcosa di simile per la funzione di costo e
questo è un grafico sull'asse Y del cross-funzionale dell'asse verticale sull'asse orizzontale del cappello.
Bene, un approccio per farlo è un approccio a forza bruta in cui prendiamo tutti i diversi
pesi possibili e li guardiamo
E perché puoi vedere le formule che avevo meno Y al quadrato.
Questo è ciò che la funzione di costo sarebbe simile a quella.
E fondamentalmente troverai il migliore qui.
Quindi molto semplice approccio molto intuitivo.
Perché non fare questo metodo di forza bruta.
un migliaio di costi diversi per un migliaio di parametri o ingressi diversi per i pesi e vedere quale funziona meglio.
Perché non provare
Troverete il migliore in questo modo.
Bene, se hai un solo modo per ottimizzare questo potrebbe funzionare ma, man mano che aumenti il
​​numero di pesi, aumenti il ​​numero di Synopsys nella tua rete, devi affrontare la maledizione della dimensionalità.
E quindi qual è la causa della dimensionalità.
Il modo migliore per descriverlo o spiegarlo è semplicemente guardare un esempio pratico.
Quindi ricorda questo esempio che abbiamo avuto quando stavamo parlando di come le reti
neurali funzionino effettivamente dove stavamo costruendo o gestendo una rete neurale per una valutazione di proprietà.
Quindi questo è quello che sembrava quando è stato addestrato già bene quando non è allenato prima di essere addestrato
prima di sapere quale sono i pesi.
La rete neurale attuale ha questo aspetto.
Giusto perché abbiamo tutte queste diverse sinossi possibili e dobbiamo ancora allenare i pesi e qui
abbiamo un totale di 25 pesi, quindi quattro volte cinque all'inizio più altri cinque
dal totale 25 dei pesi.
E vediamo come potremmo possibilmente forza brutale in 25 modi.
Questa è una rete neurale molto semplice qui.
Molto semplice un solo colpo e come possiamo forzare la nostra forza attraverso una rete neurale di
queste dimensioni.
Bene, ci sono alcuni semplici calcoli matematici.
Abbiamo 25 pesi.
Questo significa che se avremo mille combinazioni che risolveremo per ogni peso,
il numero totale di combinazioni è 1000 alla potenza 25 o mille o 10 per analizzare cinque combinazioni diverse.
Ora vediamo come Sun ha il modo di illuminare il supercomputer di Fosse del mondo a partire da giugno 2016 come si avvicinerebbe
a questo problema.
Proprio così legare Sunway che si accende.
Sembra che questo sia un enorme edificio praticamente per questo supercomputer e ha ottenuto il Guinness
World Record per essere il supercomputer Fosses.
In questo momento è il supercomputer più veloce del mondo e in qualche modo le luci possono funzionare
ad una velocità di 93 di flop.
Flop sta per operazione fluttuante al secondo.
Quindi può fare novantatre per l'olio di potenza.
Volte dieci alla potenza di 15 operazioni fluttuanti al secondo.
È così veloce nel confronto.
I computer medi in questo momento fanno come poco più di un gigaflop e così via.
Quindi mi piace il genere di quelle gamme.
Meno della luce del tipo TEI Sunway.
Quindi all'improvviso è tutta una bugia che è all'avanguardia della tecnologia.
E ipoteticamente, si può fare una prova su una combinazione di quattro sulla propria rete in un floppy disk e
un'operazione fluttuante che non è possibile, non è pratico perché sono necessarie più
operazioni mobili per testare un singolo peso nella propria piccolo.
Ma anche Diamo un vantaggio.
Diciamo che può farlo in un mondo ideale in cui può farlo in un'unica operazione mobile e può eseguire un
test per ogni operazione floating.
Ciò significa che Doddridge richiederà ancora una tendenza a cinque.
Dividi da novanta tre volte dieci a circa 15 secondi per arrivare a eseguire tutti quei test alla forza bruta attraverso
quella rete.
Quindi questo significa che uno o approssimativo tende ad alimentare 58 secondi e che è lo stesso
che tende alla potenza di 50 anni.
Questo è un numero enorme che è più lungo di quello che l'universo è esistito e che
sicuramente non sta andando semplicemente in questo numero è così enorme che non funzionerà proprio per noi nella nostra ottimizzazione.
Quindi eccoci.
Questo è un no no
Anche sul fanale posteriore supercomputer Sunway più veloce del mondo.
Quindi dobbiamo trovare un approccio diverso su come troveremo il peso ottimale.
A proposito, questa nostra rete neurale era molto semplice e se le reti
neurali sembravano qualcosa di simile o addirittura più grande di così allora sì, proprio non succederà mai.
Quindi il metodo che dovremmo osservare è chiamato discesa del gradiente e forse ne hai già sentito parlare.
Se no, scopriremo cosa è adesso.
Quindi c'è la nostra funzione di costo e ora andiamo a vedere come possiamo promuovere un modo più rapido per
trovare l'opzione migliore.
Quindi diciamo che iniziamo da qualche parte dove inizierai da qualche parte.
Quindi iniziamo da li '.
punto in alto a sinistra quello che faremo sarà guardare l'angolo della nostra funzione di costo a quel punto, quindi basterà dire che
è ciò che viene chiamato gradiente perché devi differenziare.
E da quel
Non stiamo andando a guardare le equazioni matematiche.
Forniremo alcuni suggerimenti su ulteriori letture alla fine della prossima lezione.
Ma in pratica devi solo differenziare per scoprire quale sia la pendenza in quel punto specifico e scoprire se
la pendenza è positiva o negativa.
Se la pendenza è negativa come in questo caso significa che stai andando in discesa così a destra è in
discesa a sinistra è in salita.
E da lì significa che devi andare bene.
Fondamentalmente devi andare in discesa.
Ed è quello che faremo.
Boom fa un passo a destra.
La palla rotola giù di nuovo.
Stessa cosa.
Calcoli la pendenza e la pendenza è positiva, il che significa che lo scrittore in salita a sinistra è in discesa e
devi andare a sinistra e sei a palla in giù.
è così che trovi le migliori WAITES La migliore situazione che minimizza la tua funzione di costo.
E ancora calcoli la pendenza e sei tutto il toro proprio lì, ecco come si trova in termini semplici
Ovviamente non sarà come una palla che si muoverà con un approccio a
zigzag ma è più facile da ricordare o è più divertente guardarla come una palla che rotola.
Ma in realtà sì, sarà solo un approccio graduale che sarà
un metodo a zigzag.
Sì e c'è anche un sacco di altri elementi.
come, ad esempio, perché, come perché scende perché non va oltre la linea in modo che potrebbe essere saltato fuori da questo verso l'alto invece che
verso il basso e cose del genere, quindi ci sono parametri che è possibile modificare.
Ci sono cose
E di nuovo menzioneremo dove potrete saperne di più su questo.
E in più avremo questo in un'applicazione pratica, ma nel più semplice approccio intuitivo questo è ciò che
sta accadendo.
Stiamo arrivando fino in fondo solo per capire in che direzione dobbiamo andare.
Invece di forzare brutalmente attraverso migliaia e migliaia e milioni e miliardi e
quadrilioni di combinazioni.
un'occhiata a dove si trova in modo inclinato così giusto come il tuo o ti immagini di stare su una collina.
Possiamo semplicemente ogni volta dare
In che modo si sente che sta andando verso il basso e in qualunque modo stia andando giù e tu continui a
camminare in quel modo che ti piace fare 50 passi e poi valutare di nuovo OK in che modo sta andando verso il basso in
questo modo.
OK e prenderò 50 passi o meno fare 40 passi in questo modo.
Quindi diventa sempre meno quando ti avvicini.
Quindi, ecco un esempio di discesa del gradiente applicato in uno spazio bidimensionale.
Quindi quello era un esempio unidimensionale.
Qui abbiamo uno spazio bidimensionale per la discesa del gradiente come puoi vedere si sta
avvicinando al minimo ed è anche chiamato discesa del gradiente perché stai scendendo nel minimo della funzione di
costo e scopri che ha una discesa del gradiente applicata in tre dimensioni.
Questo è quello che sembra se proiettassi su due dimensioni che puoi vedere a zigzagando
nel minimo.
Quindi ecco che era indice di discesa gradiente di Tauriel. Parleremo di stocastico.
La discesa dei gradienti è in realtà una continuazione di questo tutorial.
E non vedo l'ora di vederti lì.
E così la prossima volta goditi un apprendimento profondo.