Ciao e bentornati al corso di deep learning.
Va bene oggi stiamo parlando della funzione di attivazione.
Entriamo subito.
Quindi questo è il punto in cui abbiamo interrotto in precedenza, abbiamo parlato della struttura di un neurone.
Quindi è nel mezzo che sappiamo che ha alcuni valori di input che entrano ha dei
pesi, quindi aggiunge il modo di calcolare il modo in cui alcuni di questi input e quindi applica la funzione di
attivazione nel passaggio 3.
quindi è quello di cui stiamo parlando oggi stiamo parlando del valore che verrà passato.
Trasmette il segnale al prossimo anno e
Quindi stiamo parlando della funzione di attivazione che viene applicata.
Quindi quali opzioni abbiamo per la funzione di attivazione.
Bene, esamineremo quattro diversi tipi di funzioni di attivazione tra cui è possibile scegliere.
Ovviamente ci sono più tipi diversi di funzione di attivazione, ma questi sono quelli
predominanti di cui sentirai parlare e che useremo in questo corso.
Quindi ecco la funzione di soglia.
Questo è quello che sembra.
Quindi sull'asse x hai pesato alcuni degli input sull'asse y.
Hai appena conosciuto i valori da 0 a 1 e fondamentalmente le funzioni di soglia sono molto
semplici tipo una funzione in cui se il valore è inferiore a zero allora il libero.
Grazie ssion passa a zero.
Se il valore è maggiore di zero o uguale a zero, la funzione di soglia sfiora un 1.
Quindi in pratica è un po 'come si, nessun tipo di funzione.
Molto molto semplice.
Molto simile al tipo di funzione rigido o sì o no.
Nessuna altra opzione
Quindi eccoti.
Ecco come funziona
Funzione molto semplice
Passiamo a qualcosa di un po 'più complesso.
Ora questa formula sigmoidea formula molto interessante che abbiamo qui vedrai solo ora c'è una divisione per
uno più ciascuno.
Il potere di meno X mentre in questo caso ovviamente X è il valore delle somme del modo in cui somma.
E quindi sì.
Quindi questo è ciò che assomiglia al sigmoide.
È una funzione che viene utilizzata nella regressione logistica.
Se ti ricordi dal corso di apprendimento automatico.
Quindi, ciò che è buono di questa funzione è che è liscia.
A differenza della funzione virtuale.
Questo non ha quei punti nella sua curva e quindi è solo una graduale e graduale progressione.
Quindi qualsiasi cosa sotto lo zero è come gocce sopra lo zero.
Agisce approssimativamente verso uno e questa funzione sigmoide è molto utile nel livello di output finale di
Lehren.
Soprattutto quando stai cercando di prevedere le probabilità.
E lo vedremo durante il corso.
E poi abbiamo la funzione di raddrizzatore di funzione del raddrizzatore anche se ha un
nodo è una delle funzioni più popolari per le reti neurali artificiali quindi va fino a zero è zero.
il corso lo vedremo in altri tutorial di intuizione e vedremo anche come usiamo questa funzione nella parte pratica del corso
e Da ora in poi commenterò un po 'di più in alcune diapositive.
E poi da lì gradualmente progredisce man mano che aumenta anche il valore di input e vedremo
che durante
Quindi ricorda che la funzione di fuoco diretto è una delle funzioni più utilizzate nelle reti neurali artificiali.
E finalmente abbiamo un'altra funzione che probabilmente sentirai.
È la funzione tangente iperbolica.
È molto simile alla funzione sigmoide, ma qui la funzione tangente iperbolica scende sotto lo zero, quindi i valori
vanno da 0 a 1 o circa 2 1 e vanno da zero a meno 1 sull'altro lato.
E ciò può essere utile in alcune applicazioni.
Quindi non entreremo troppo in profondità in ognuna di queste funzioni. Volevo solo informarti su di
loro in modo da sapere come sono e come vengono chiamati.
Se desideri ottenere qualche lettura aggiuntiva, dai un'occhiata a questo articolo di un lotto di 75 anni.
Hai un sacco chiamato Deep Sparse rettifica reti neurali 2000 carta.
E lì scoprirai esattamente perché la funzione del raddrizzatore è una funzione così preziosa per la
sua popolarità.
Ma tuttavia per ora non abbiamo davvero bisogno di sapere tutte queste cose.
Per ora inizieremo ad applicarli che inizi a usarli sempre di più.
Quindi, quando ti senti a tuo agio con il lato pratico delle cose, allora puoi andare e riferirti a questo articolo
e poi sarai in grado di immergerti in quella conoscenza molto più rapidamente e avrà molto più senso.
Ma tieni a mente che quando sei pronto quando senti di essere pronto, allora puoi andare
a cercare documenti e ottenere da loro alcune preziose conoscenze.
Quindi, per ricapitolare rapidamente, abbiamo la funzione di attivazione della soglia che fa così la funzione di attivazione
sigmoidea che assomiglia a questo.
Abbiamo la funzione di raddrizzatore e abbiamo la funzione di tangente iperbolica e ora finiamo
questo tutorial Facciamo velocemente qualche esercizio quindi basta fare due esercizi rapidi per aiutare quella conoscenza ad affondare.
Quindi, per prima cosa, abbiamo qui un esempio di una rete neurale di un solo neurone e quella del
livello di output.
E la domanda sta assumendo che la tua variabile dipendente sia binaria. Quindi è 0 o 1 quale funzione
di soglia useresti.
Quindi, da quelli che abbiamo discusso abbiamo una funzione di soglia della funzione sigmoide della funzione
raddrizzatore e abbiamo la funzione tangente iperbolica nella sua forma di rotolo che potreste essere
in grado di usare per una variabile binaria.
OK.
Quindi le risposte qui sono due opzioni con cui possiamo affrontare questo.
Quindi una è la funzione di attivazione della soglia perché sappiamo che è compresa tra 0 e 1 e ci dà 0
ombrelli Anderson e quindi altrimenti ti dà una volta sola può darti due valori.
Si adatta perfettamente a questo requisito perfettamente e quindi potresti dire che y è uguale alla funzione di soglia del
tuo dominio per alcuni e questo è tutto.
E nel secondo caso che è possibile utilizzare è la funzione di attivazione sigmoide.
In realtà è anche tra 0 e 1 proprio quello di cui abbiamo bisogno.
Ma allo stesso tempo vuoi che tu abbia solo un diritto, quindi non sei esattamente ciò di cui
abbiamo bisogno, ma in questo caso potresti usarlo come la probabilità che Y sia sì o no.
Quindi vogliamo che Y sia 0 1, ma invece diremo che la funzione di sigma di attivazione Simoun ci
dice se ci dirà della probabilità che Y sia uguale a 1.
Quindi, più ci si avvicina alla cima, più è probabile che questo sia effettivamente uno o un sì piuttosto
che un no.
E sì, questo è molto simile all'approccio alla regressione logistica.
E quelli sono solo due esempi.
Se hai una variabile binaria.
Ora diamo un'occhiata ad un'altra applicazione pratica.
Diamo un'occhiata a come si comporterebbe tutto questo se avessimo in tutto naturale come questo.
Quindi nel primo strato abbiamo alcuni input.
Vengono inviati al nostro primo livello nascosto e quindi viene applicata una funzione di attivazione.
E di solito quello che applicheresti qui e quello che vedrai in tutta Scorsese applicherà una funzione di
attivazione del raddrizzatore in modo che assomigli a qualcosa del genere.
di uscita dove verrà applicata la funzione di attivazione del sigmoide e quello sarebbe il nostro output finale.
Applichiamo la funzione di attivazione del raddrizzatore e quindi da lì i segnali verrebbero passati allo strato
E questo potrebbe predire una probabilità, per esempio, quindi questa combinazione sarà
abbastanza comune dove nei livelli nascosti applichiamo la funzione di raddrizzatore e quindi emettiamo lì applichiamo la funzione sigmoide.
Quindi eccoci.
Spero che questo tutorial ti sia piaciuto ora sei abbastanza esperto in quattro diversi tipi di
funzioni di attivazione e avrai delle mani sull'esperienza pratica con loro durante questo corso che le useranno dappertutto
in modo da conoscerle abbastanza intimamente e dovresti essere abbastanza a tuo agio con
loro.
Ma per ora questa è la consapevolezza che hai bisogno di progredire e capire cosa sta per accadere più
avanti in questo corso.
E su quella nota non vedo l'ora di vederti la prossima volta.
Fino ad allora piace imparare.