Ciao e bentornati al corso sull'apprendimento approfondito questo è un tutorial aggiuntivo per parlare delle
funzioni di entropia morbida e incrociata.
Non è necessario al 100 percento per poter passare attraverso tutte le parti che abbiamo attraversato nella parte
principale di questa sezione in cui stiamo parlando delle reti neurali convoluzionali ma allo stesso tempo pensavo
che sarebbe stato una buona aggiunta al tuo bagaglio di conoscenze e abilità.
Quindi andiamo avanti e scavare in queste funzioni.
abbiamo qui è la conclusione di una rete neurale che abbiamo costruito nella parte principale della sezione
e poi alla fine si aprono alcune probabilità per zero punti novanta cinque per un cane 0.
Quindi, iniziare con quello che 05 cinque o 5 per cento per un gatto.
Dato che la foto a sinistra come input Questo è dopo che il treno è stato
condotto, in realtà è in esecuzione e sta classificando una determinata immagine.
E quindi la domanda qui è come mai questi due valori si sommano a uno.
Perché per quanto sappiamo da tutto ciò che ho imparato sulle reti neurali artificiali non
c'è nulla da dire che questi due neuroni finali siano collegati tra loro.
Quindi, come fanno a sapere qual è il valore della stiva, ciascuno di loro sa qual è
il valore dell'altro.
E come avrebbero saputo aggiungere i loro valori fino a uno.
Bene, la risposta è che non lo farebbero.
Nella versione classica della nostra rete neurale artificiale e l'unico modo in cui lo fanno è perché
introduciamo una funzione speciale chiamata soft max function per aiutarci ad uscire dalla situazione.
Quindi normalmente quello che succederebbe è che i neuroni del cane e del gatto avrebbero qualsiasi tipo di valori reali
che non devono essere, non devono essere aggiunti a uno.
Ma poi applicheremo la funzione soft max che è scritta lì sopra e che porterebbe
questi valori tra 0 e 1 e li farebbe aggiungere a 1 e 3 PPTA.
La funzione soft max o la funzione esponenziale normalizzata è una generalizzazione della funzione logistica
che cita unquote squash ha un vettore dimensionale k di valori reali arbitrari in un vettore dimensionale k di valori reali
nell'intervallo da zero a uno che sommano fino a 1.
Quindi in pratica fa esattamente quello che vogliamo.
Porta questi valori tra 0 e 1 e fa in modo che aggiungano fino a 1.
E il modo in cui funziona è che il modo in cui ciò è possibile è che, in fondo,
siamo qui, puoi vedere che c'è una somma.
l'esponente e lo mette nella potenza di Zed e lo aggiunge in modo che uno sia un due in tutte le classi.
Quindi prende
Tutti questi valori.
E così ecco che la tua normalizzazione sta accadendo proprio lì.
Ecco come funziona la funzione Saucebox e ha senso introdurre la funzione soft next in
reti neurali convoluzionali perché sarebbe strano se tu avessi una possibile classe di un cane e un
gatto e per la classe di cani avresti la possibilità dell'80 percento .
E per gli artigli del gatto hai avuto un buon 45 percento.
e questo è quello che troverete per la maggior parte del tempo nelle reti convoluzionali e neurali.
Non ha proprio senso e quindi è molto meglio quando si introduce la funzione soft next
Ora l'altra cosa è che la funzione soft max viene di pari passo con qualcosa chiamata la funzione entropia di
Cross ed è una cosa molto utile per noi.
Diamo prima un'occhiata alla formula.
Questo è come appare la funzione cross entry.
In realtà utilizzeremo un calcolo diverso che utilizzerà questa rappresentazione del secolo, ma i risultati
sono sostanzialmente gli stessi.
Questo è solo più facile da calcolare.
E quello che so potrebbe sembrare molto estraneo a qualsiasi cosa in questo momento solo formule sul tuo schermo, ma ci
saranno alcune letture aggiuntive raccomandate alla fine di questa sezione quindi non preoccuparti se
non stai raccogliendo in matematica.
Come se non avessimo spiegato la matematica in questo momento.
Ma il punto qui è che ciò che è attraverso l'entropia è ben al di là della funzione di entropia.
Ricorda come in precedenza nelle reti neurali artificiali avessimo una funzione chiamata funzione della freccia quadrata media che
abbiamo usato come funzione di costo per valutare la nostra prestazione naturale.
E il nostro obiettivo era ridurre al minimo il MSE al fine di ottimizzare le prestazioni della nostra rete.
Bene, questa era la nostra funzione di costo, quindi in reti neuronali convoluzionali possiamo ancora utilizzare MSE, ma un'opzione
migliore nelle reti neuronali convoluzionali dopo aver applicato la funzione soft max risulta essere la
funzione di entropia incrociata.
E nelle reti neurali convoluzionali quando si applicano le funzioni di cross-entry non a costo chiamato più la funzione
di costo è chiamata l'ultima funzione e sono molto simili.
Sono solo alcune differenze terminologiche e un po 'diverse e su cosa significano.
Ma a tutti gli effetti è praticamente la stessa cosa.
che l'ultima funzione è di nuovo qualcosa che vogliamo minimizzare al fine di massimizzare le prestazioni della nostra rete.
E quello che succede è
Quindi diamo un'occhiata a un rapido esempio su come questa funzione può essere applicata.
Quindi diciamo che inseriamo un'immagine di un cane nella nostra rete.
Il valore previsto per il cane è 0. 9 e questo è l'allenamento, quindi sappiamo che conosciamo l'etichetta
che è un cane.
Quindi il valore predittivo 0. 9 il valore prigged per cat è 0. 1 quindi qui abbiamo l'etichetta quindi sappiamo che
è un cane perché questo è l'allenamento 0 1 per cani o per gatto.
E quindi in questo caso è necessario utilizzare è necessario collegare questi numeri nella formula per l'entropia incrociata.
Quindi come lo fai sono i valori a sinistra che vanno al segnale verbale.
Quello che si trova sotto il logaritmo nella parte destra ei valori da destra andrebbero
in P e quindi è importante ricordare quale va lì perché se si sbagliano non
si vuole prendere un logaritmo per tutto me dal valore zero o passando da 1.
Quindi vuoi solo collegarli.
Assicurati di collegarli nelle posizioni corrette.
E poi in pratica lo aggiungi.
make renderebbe più logico ciò che è Cross entropy e sarà meno così.
Ecco come funziona il cross-entry e in questo momento vedremo un esempio specifico passo passo
di applicare questa funzione nella vita reale e Ill tipo di
Il mio obiettivo in questa fatica è di renderti più a tuo agio nel secolo cruciale perché può
sembrare molto contorto e non è possibile fare giochi di parole.
Come le reti neurali convoluzionali, può sembrare molto complesso e spaventoso, ma non lo è.
Questo è il punto.
Quindi andiamo avanti e applichiamo solo così sappiamo che non è spaventoso.
Quindi ecco tutto questo.
E anche questo spiegherà perché lo stiamo facendo perché stiamo esaminando diverse funzioni di causa.
Quindi una rete neurale una rete neurale diciamo che abbiamo due reti neurali e poi
passiamo l'immagine di un cane e sappiamo che questo è un cane e non un gatto.
E poi abbiamo un'altra immagine il nostro gatto questa volta un animale ed è un gatto non un cane e qui abbiamo un che
stiamo guardando un buco che in realtà è un cane non un gatto.
Se guardi molto da vicino.
Quindi vogliamo vedere che cosa avrebbero previsto le nostre reti neurali nel primo caso.
90% 10% gatto corretto nessun numero di rete al 60% di cane Il 40% di gatto continua a peggiorare.
Rete neurale 1 cane al
Ma corretto.
Seconda opzione prima rete neurale 10 percento cat dog 90 percento cat.
Corretta.
Sapete che il numero al 30 percento del cane è il 70 percento del gatto peggiore, ma comunque corretto.
E poi finalmente la rete neurale nella rete di anni vecchia immagine ha ottenuto il 40% di cane 60% di
gatto errato numero di rete neurale al 10% di cane e 90% di gatto errato e peggio.
le persone della rete si sbagliavano nell'ultima attraverso tutte e tre le immagini, la rete neurale superava la rete neurale.
Quindi la chiave qui è che anche se entrambe
Quindi, anche nell'ultimo caso è stato proprio il caso in cui ha dato al cane una probabilità del 40% rispetto alla rete neurale di
dare al cane solo una probabilità del 10% o una rete neurale che superi le
prestazioni rispetto alla rete neurale 2.
E così ora vedremo le funzioni che possono misurare le prestazioni che abbiamo parlato
della valutazione.
Quindi mettiamoli in una tabella in modo che la rete neurale 1 abbia il numero sbagliato.
Quindi questo è il numero dell'immagine.
E poi per l'immagine che hai.
Che cosa ha previsto il 90 percento di scimpanzè e gatto.
Quindi c'è il cappello di Marable e poi hai il valore reale in modo che il gatto corretto del cane non sia corretto.
Stessa cosa per l'immagine numero due e la stessa cosa per un minimo di tre e lo stesso per la rete neurale numero
due.
Quindi Dog 60 percento ha mantenuto il 40 percento nella prima immagine.
Questo è quello che ha predetto che Crotons era un cane non un gatto.
E così via.
E così ora vediamo quali errori possiamo effettivamente ottenere.
Quindi quali errori possiamo calcolare per stimare le prestazioni e monitorare le prestazioni delle nostre reti.
Quindi un tipo di errore è chiamato errore di classificazione.
E questo è fondamentalmente solo chiedendo se hai capito bene o no.
Indipendentemente dalle probabilità, è appena arrivato.
O hai capito bene.
Quindi in entrambi i casi, per entrambe le reti neurali, ognuno di loro ne ha ottenuto uno.
Quindi è così che ti sbagli.
Quindi hanno sbagliato uno su tre.
Quindi il 33% di errore per la rete 1 e il 30% di errore per la rete neurale.
Come base da questo punto di vista entrambe le reti neurali si comportano allo stesso livello, ma sappiamo che non
è vero.
Sappiamo che la rete neurale Ikhwan sta sovraperformando la rete neurale.
Ecco perché un errore di classificazione non è una buona misura specialmente per gli scopi di errore quadratico medio
di propagazione posteriore diverso e dal modo in cui ho fatto questi calcoli in Excel, non volevo annoiarvi con loro
ma Tony può semplicemente sedersi e fateli su un foglio o in Excel.
Questi sono calcoli molto semplici, basti semplicemente prendere la somma degli errori al quadrato e
quindi basta prendere la media tra le tue osservazioni e questo è praticamente tutto.
Quindi per la rete neurale si ottiene il 25 percento per la rete neurale 2 si ottiene un tasso di errore del 71 percento in modo
da poter vedere che questo è più preciso.
Ci sta dicendo che quasi uno ha un tasso di errore molto più basso della tua rete.
E poi attraversare di nuovo l'entropia.
Abbiamo visto che la formula è anche possibile calcolare questo è in realtà ancora più facile da calcolare rispetto
all'errore quadrato medio L'area trasversale attraverso l'entropia fornisce il 38% per la rete neurale 1 e 1. 6 per la rete neurale 2.
0
Quindi puoi vedere i risultati sono un po 'diversi.
Quando li guardi in quel modo, quando lo guardi, conosci l'area minigonna e l'entropia incrociata e la domanda del perché
dovresti usare l'entropia incrociata sopra significa che l'errore quadrato non riguarda solo il tipo di numeri che dicono, ma tutti questi i calcoli erano
solo per dimostrarti che questo è tutto ciò che è tutto fattibile puoi semplicemente
farlo su un foglio, non è così.
Non è una matematica molto intensa.
Queste sono cose semplici piuttosto semplici.
Ma la domanda sul perché dovresti usare significa causare entropia significa che c'è una domanda molto buona
da chiedere.
Sono contento che tu abbia chiesto che la risposta sia come se ci fossero diversi vantaggi dell'entropia incrociata rispetto all'errore
quadratico medio che non sono ovvi.
E quindi parlerò di un paio, ma poi ti farò sapere dove puoi scoprire di più.
Quindi uno di questi è che se per esempio il tuo all'inizio della propagazione della schiena il tuo valore di output è
molto molto molto molto piccolo molto piccolo.
Quindi è molto più piccolo del valore effettivo che vuoi.
Quindi, all'inizio, il gradiente nel tuo mondo fantastico e dignitoso sarà molto basso e non
sarai abbastanza.
È molto difficile per la rete neurale iniziare effettivamente a fare qualcosa e iniziare a muoversi e iniziare
a regolare quei pesi e avviare Movistar realmente andando nella giusta direzione.
Considerando che quando si utilizza qualcosa come l'entropia della croce perché ha quel logaritmo al suo interno,
in realtà aiuta la rete a valutare anche una piccola area come quella e fare qualcosa al riguardo.
Ecco come pensarci.
Quindi diciamo che di nuovo questo è molto in e in un approccio molto intuitivo.
Ci sarà un collegamento con la matematica e potrai ricavare queste cose attraverso la matematica in modo
più dettagliato ma con un approccio molto intuitivo.
Diciamo che sei come il tuo risultato che vuoi.
È uno e adesso sei a un milionesimo di uno.
Destra.
A $ 0. 00 o ce n'è uno e poi migliorerai la prossima volta che migliorerai il tuo
risultato da un milionesimo a un millesimo.
E in termini di se calcoli l'errore al quadrato devi semplicemente sottrarre l'uno dall'altro.
O fondamentalmente in ogni caso sei Kalka in un quadrato e vedrai che gli errori al quadrato
quando confronti un caso rispetto all'altro non è cambiato molto.
Non hai migliorato la tua rete tanto quando guardi il quadrato medio lì.
Ma se stai guardando l'entropia della croce perché stai facendo un logaritmo e poi lo paragoni
a dividersi l'uno con l'altro.
Vedrai che hai effettivamente migliorato la tua rete in modo significativo, in modo che il salto da un milione a 1000 in
termini di errore medio al quadrato sia molto basso.
Sarà insignificante e non lo sarà.
Non guiderà il processo di aumento gradiente o la propagazione della schiena nella giusta direzione.
Tutto ciò sarà guidato nella giusta direzione, ma sarà come una guida molto lenta,
non avrà abbastanza potenza, mentre se attraversi l'entropia attraverso l'entropia capirai che anche se si tratta
di regolazioni molto piccole che solo tu sai fare un piccolo cambiamento in termini assoluti in termini relativi
è un enorme miglioramento.
E stiamo decisamente andando nella giusta direzione.
Continuiamo così in modo tale che l'entropia incrociata aiuterà la tua rete neurale a raggiungere lo stato ottimale
e sarà un modo migliore per raggiungere la rete neuronale in modo ottimale.
Ma tieni presente che questo funziona solo quando attraverso l'entropia è solo il metodo preferito solo per la classificazione.
Quindi, se stai parlando di cose come la regressione come quella che abbiamo avuto nelle reti neurali artificiali, allora preferiresti
andare con me e quadrare l'errore mentre l'entropia incrociata è meglio per la classificazione e di nuovo ha a che fare con
il fatto che stiamo usando soft la prossima funzione quindi è una sorta di spiegazione intuitiva di ciò
che è un buon posto per imparare un po 'di più sul fatto che, se sei veramente interessato
a sapere perché stiamo usando l'errore quadratico medio contro croce.
Google, un video di Geoffrey Hinton chiama la funzione soft max output e lui lo spiega molto bene e
tu sai che è il padrino del deep learning che può comunque spiegarlo meglio.
E comunque, qualsiasi video di Geoffrey Hinton è d'oro.
Ha solo un enorme talento per spiegare le cose comunque.
Ecco, questo è un po 'morbido contro croce e spero che ti dia una specie di comprensione intuitiva di quello che
sta succedendo qui.
Ma ancora più importante è che non sei scoraggiato dal termine entropia incrociata perché il titolo lo menzionerà nelle
storie pratiche e volevo assicurarmi di essere preparato per quello.
Ed è solo un altro modo per calcolare la tua ultima funzione.
e quindi alle reti neurali convoluzionali e viene di pari passo con la funzione soft max.
E un altro modo di ottimizzare la tua rete, che è specificamente adattato ai problemi di classificazione
Quindi una lettura aggiuntiva se desideri una leggera introduzione nell'entropia incrociata se sei interessato al concentrato un
po 'di più, naturalmente.
Un buon articolo da verificare si chiama introduzione amichevole alla perdita di entropia incrociata di
Rob DePietro 2016.
Ecco il link sottostante.
Molto molto bello molto morbido e niente matematica super complessa.
ti daremo un buona panoramica di una cross entry come da un punto di vista introduttivo.
Buone analogie buoni esempi usando analogie di macchine e guardi macchine e parla di informazioni e
bit e restrizioni e sai come decodificherai questo intero Unico che è così è un buon articolo da
dare un'occhiata e
Se vuoi scavare nella matematica pesante come quello che vedi qui, dai un'occhiata a un articolo di
o un blog su come implementare una rete neurale anche Intermezzo in termini di utilizzo è
come una cosa intermedia come una.
Intermittenza in.
quando vai a un teatro e hai una pausa tra la prima parte e la seconda parte.
Sai come
Quindi perché è come passare attraverso tutti questi passaggi e poi è come e poi
dice che devo spiegarlo prima.
E sì, ecco perché si chiama intermezzo.
Nessun altro motivo per quanto comprendo gli articoli di Peter Rolands 2016, quindi entrambi sono
abbastanza recenti.
E sai, guarda questo se vuoi scavare nella matematica dietro l'entropia di Kross dietro il morbido Max e l'entropia
incrociata in questo articolo in realtà.
Quindi eccoci.
Questo è tutto ciò che c'è da fare per questi due.
Spero di essere riuscito ad aggiungere ulteriore chiarezza e buona fortuna a questo.
Sarà divertente e godrà dei tutorial pratici.
Ci vediamo la prossima volta.
Fino ad allora piace imparare.