Bună ziua și bun venit înapoi la cursul de învățare profundă este un tutorial suplimentar pentru a vorbi despre
funcțiile de entropie moale și cruce.
Nu este nevoie de 100% pentru ca voi să treceți prin toate părțile pe care le-am parcurs în partea
principală a acestei secțiuni unde vorbim despre rețelele neuronale convoluționale, dar în același timp am crezut că va
fi o bună adăugire la geanta ta de cunoștințe și set de competențe.
Așa că hai să mergem mai departe și să ne grăbim în aceste funcții.
Deci, pentru a începe cu ceea ce avem aici este concluzia unei rețele neuronale pe care am construit-o în
partea principală a secțiunii și apoi la sfârșitul acesteia vom scoate la iveală probabilități pentru zero punct nouăsprezece
cinci pentru un câine 0. 05 de cinci sau 5 la suta pentru o pisica.
Având în vedere că fotografia din stânga ca intrare Aceasta este după trenul a fost efectuat acest lucru
este de fapt se execută și este de clasificare o anumită imagine.
Și astfel, întrebarea aici este cum aceste două valori ajung până la unul.
Deoarece, din câte știm din tot ce am învățat despre rețelele neuronale artificiale, nu există
nimic de spus că acești doi neuroni finali sunt conectați între ei.
Deci, cum ar ști ei în ce valoare valoarea deținerii fiecare dintre ei știu ce este
valoarea celuilalt.
Și cum ar putea să știe să-și adauge valorile până la unul.
Ei bine, răspunsul este că nu ar face-o.
În versiunea clasică a rețelei noastre neuronale artificiale și singura modalitate de a face acest lucru este pentru că introducem
o funcție specială numită funcția soft max, pentru a ne ajuta să ieșim din situație.
Deci, în mod normal, ceea ce s-ar întâmpla este câinele și neuronii pisicii ar avea orice fel de valori reale, încât nu
trebuie să fie ei nu trebuie să adauge la unul.
Dar atunci am aplica funcția soft max care este scrisă acolo în partea de sus și care ar aduce
aceste valori între 0 și 1 și le-ar face să adune până la 1 și 3 PPTA.
Funcția soft max sau funcția exponențială normalizată este o generalizare a funcției logistice care citează
unquote squash are un vector k dimensional de valori reale arbitrare la un vector k dimensional al valorilor reale în intervalul
de la zero la unul care adună până la 1.
Deci, practic, face exact ceea ce vrem.
Aceasta aduce aceste valori între 0 și 1 și se asigură că acestea ajung până la 1.
Iar modul în care funcționează este că modul în care este posibil acest lucru este faptul că pentru că în partea de
jos suntem aici, puteți vedea că există o sumare.
Deci este nevoie de exponent și îl pune în puterea lui Zed și îl adaugă astfel încât să fie doi în toate clasele
tale.
Toate aceste valori.
Și așa că aici se întâmplă normalizarea ta.
Deci, așa funcționează funcția Saucebox și este logic să introducem funcția următoare în rețelele neuronale
convoluționale, deoarece cât de ciudat ar fi dacă ați avea o clasă posibilă de câine și o
pisică și pentru clasa câinilor ați avut posibilitatea de 80% .
Și pentru ghearele de pisică ai avut dreptate de 45%.
Pur și simplu nu are sens așa și, prin urmare, este mult mai bine atunci când introduceți următoarea funcție moale
și asta este ceea ce veți întâmpla de cele mai multe ori în rețele convoluționale și neuronale.
Celălalt lucru este că funcția soft max vine în mână cu ceva numit funcția de entropie Cross
și este un lucru foarte util pentru noi.
Deci, să aruncăm o privire asupra formulării.
Acesta este modul în care arată funcția de intrare încrucișată.
De fapt, vom folosi un calcul diferit, care va fi folosirea acestei reprezentări a secolului, dar rezultatele
sunt în esență aceleași.
Acest lucru este mai ușor de calculat.
Și ceea ce știu că s-ar părea că nu are nicio legătură cu nimic acum doar cu formulele de pe ecran, dar va
fi o lectură suplimentară recomandată la sfârșitul acestei secțiuni, așa că nu vă faceți griji
dacă nu luați pe matematică.
Ca și în cazul în care nu am explicat matematica chiar acum.
Dar punctul aici este că ceea ce este în întreaga entropie de-a lungul funcției de entropie.
Amintiți-vă cum am avut anterior în rețelele neuronale artificiale am avut o funcție numită funcția medie de săgeată pătrată
pe care am folosit-o ca funcție de cost pentru evaluarea performanței noastre naturale.
Scopul nostru a fost acela de a minimiza MSE pentru a optimiza performanța rețelei noastre.
Ei bine, aceasta a fost funcția noastră de cost atunci atunci și în rețelele neuronale convoluționale putem folosi în continuare MSE, dar
o opțiune mai bună în rețelele neuronale convoluționale după ce aplicați funcția soft max se dovedește a fi
funcția de entropie încrucișată.
Și în rețelele neuronale convoluționale când aplicați funcțiile de intrare încrucișată, nu se mai numește costul numit funcția de
cost este numit ultima funcție și ele sunt foarte asemănătoare.
Sunt doar câteva diferențe terminologice și sunt puțin diferite și ceea ce înseamnă ele.
Dar, pentru toate scopurile, este aproape același lucru.
Și ceea ce se întâmplă este că ultima funcție este din nou ceva pe care vrem să minimalizăm pentru a
maximiza performanța rețelei noastre.
Așadar, permiteți să aruncați o privire la un exemplu rapid despre modul în care poate fi aplicată această funcție.
Deci, permiteți să spunem că am pus o imagine a unui câine în rețeaua noastră.
Valoarea estimată pentru câine este 0. 9 și asta face antrenamentul, așa că știm că știm eticheta care
este un câine.
Deci, valoarea predictivă 0. 9 valoarea pătată pentru pisică este 0. 1, aici avem eticheta, asa ca stim ca
este un caine, deoarece aceasta este o antrenament 0 1 pentru caini sau pentru pisica.
Și, în acest caz, trebuie să utilizați că trebuie să conectați aceste numere în formula dumneavoastră pentru entropia încrucișată.
Deci, cum faceți acest lucru, valorile din stânga merg la cuvintele verbale.
Cel care este sub logaritmul din partea dreaptă și valorile din dreapta vor merge în P și
deci este important să vă amintiți care dintre ele merge acolo, deoarece dacă le greșiți nu doriți
să luați un logaritm pentru totul de la zero la zero sau de la 1.
Vrei să le conectați.
Asigurați-vă că le conectați în locurile corecte.
Și apoi adăugați asta în esență.
Deci, așa funcționează intrarea în cruce și vom analiza un adevărat acum, vom examina un exemplu specific
pas cu pas de aplicare a acestei funcții în viața reală și un fel de fel de a face
mai mult sens ce este entropia Crucii și va fi mai puțin așa.
Scopul meu în această muncă este de a te face mai confortabil de secol secol, deoarece poate suna
foarte complicat și nici un joc de cuvinte nu se poate.
Ca și rețelele neuronale convoluționale, acestea pot fi foarte complexe și înfricoșătoare, dar nu sunt.
Acesta este scopul.
Așa că hai să mergem înainte și să o aplicăm doar așa că știm că nu este înfricoșător.
Deci, iată-ți toate astea.
Și, de asemenea, acest lucru va explica de ce facem acest lucru de ce căutăm funcții de cauzalitate diferite.
Deci, o rețea neurală o rețea neurală să spunem că avem două rețele neuronale și apoi
vom trece o imagine a unui câine și știm că acesta este un câine și nu o pisică.
Și apoi avem o altă imagine pisica noastră de data aceasta un animal și este o pisică nu un câine și aici avem un aventura ne
uităm la o gaură care este, de fapt, un câine nu o pisică.
Dacă te uiți foarte atent.
Așadar, vrem să vedem ce vor fi prezența rețelelor noastre neuronale în primul caz.
Rețea neuronală 1 90% câine 10% pisică corectă fără număr de rețea la 60% câine 40% pisică
încă corectă mai rău.
Dar corect.
A doua opțiune prima rețea neurală 10 la sută pisică pisică 90 la sută pisică.
Corect.
Știți că numărul de pisică la 30 la sută este de 70 la suta pisică mai rău, dar încă corect.
Și apoi, în cele din urmă, rețeaua neurală din rețeaua veche a imaginii a câștigat 40 la sută din câine, 60 la sută din numărul incorect
al rețelei neuronale de pisică, la 10 la sută din câine și 90 la sută pisică incorectă și mai rău
Deci, cheia aici este că, deși ambii oameni net la înșelat în ultima prin toate cele trei
imagini, rețeaua neurală a depășit rețeaua neurală.
Așadar, chiar în ultimul caz, a fost foarte mult că a dat câine ca o șansă de 40%, spre deosebire de rețeaua neurală,
de a da câinelui o șansă de 10% sau rețeaua neurală, una depășește performanța în
comparație cu rețeaua neuronală 2.
Și acum ne vom uita la funcțiile pe care le pot măsura performanța pe care le-am vorbit
despre rating.
Deci, să le punem într-o masă, astfel încât să existe rețea neuronală 1, aveți un număr greșit.
Deci asta e numărul imaginii.
Și apoi pentru imaginea pe care o ai.
Ce-a prezis cimpanzei de 90 la suta si pisica.
Deci, există pălăria lui Marable și apoi aveți valoarea reală, astfel încât pisica corectă câine incorectă.
Același lucru pentru imaginea numărul doi și același lucru pentru cel puțin trei și aceeași pentru rețeaua neuronală numărul doi.
Astfel, 60% din câini au păstrat 40% în prima imagine.
Așa a prezis că crotonii nu erau câini, ci pisici.
Si asa mai departe.
Și acum, să vedem ce erori putem obține.
Deci, ce erori putem calcula pentru a estima performanța și pentru a monitoriza performanța rețelelor noastre.
Deci, un tip de eroare este numit eroare de clasificare.
Și asta este doar întrebarea că ai reușit sau nu.
Indiferent de probabilitati este doar ca ati luat-o dreapta.
Sau ai reușit.
Deci, în ambele cazuri, pentru ambele rețele neuronale fiecare dintre ele au unul.
Deci așa greșiți voi.
Au luat unul din trei greșit.
Astfel, rata de eroare de 33% pentru rețeaua dvs. 1 și 30% rata de eroare pentru rețeaua neurală.
Ca punct de referință din acest punct de vedere, atât rețelele neuronale funcționează la același nivel, dar știm că nu
este adevărat.
Știm că rețeaua neurală Ikhwan depășește rețeaua neurală.
Acesta este motivul pentru care o eroare de clasificare nu este o măsură bună, mai ales în scopul propagării spatelor
eroare medie pătrată diferite și de modul în care am făcut aceste calcule în Excel Nu am vrut să te plictisesc cu ei,
dar tu poți să stai jos și face-le pe o hârtie sau în Excel.
Acestea sunt calcule foarte simple, pur și simplu luați suma de erori pătrat și apoi
luați doar media pe observațiile dvs. și asta este destul de mult.
Deci, pentru rețeaua neurală se obține 25% pentru rețeaua neurală 2, veți obține rate de eroare de 71%, astfel încât să puteți
vedea că aceasta este mai exactă.
Ne spune că aproape unul are o rată de eroare mult mai mică decât propria dvs. rețea.
Și apoi traversați din nou entropia.
Am văzut formula pe care o puteți calcula, de asemenea, acest lucru este de fapt chiar mai ușor de calculat
decât eroarea medie pătrată. Zona încrucișată peste entropie vă oferă 38% pentru rețeaua neuronală 1 și 1. 0 6 pentru rețeaua neurală 2.
Deci, puteți vedea rezultatele sunt puțin diferite.
Când te uiți la ele așa, atunci când te uiți la tine știi zona miniskirt și entropie încrucișată și întrebarea de
ce ați folosi entropie încrucișată peste greșelile înseamnă nu este doar despre felul ca numerele pe care le spun, dar toate acestea calculele au fost doar
pentru a vă arăta că acest lucru este tot ce este posibil să puteți face
doar pe o hârtie nu este.
Nu este o matematică foarte intensă.
Acestea sunt lucruri destul de simple simple.
Dar întrebarea de ce ai folosi înseamnă că provoacă entropia înseamnă că există o întrebare foarte bună de
întrebat.
Mă bucur că ați cerut ca răspunsul la acest lucru să fie ca și când există mai multe avantaje ale entropiei încrucișate asupra erorii
medii pătrată, care nu este evidentă.
Și așa voi spune un cuplu, dar altul, atunci vă voi spune unde puteți afla mai multe.
Deci, unul dintre ele este că, de exemplu, dacă, de la începutul propagării spatelui dvs., valoarea dvs. de ieșire este
foarte foarte foarte mică, foarte mică.
Este mult mai mică decât valoarea reală pe care o doriți.
Apoi, la început, gradientul în lumea voastră mare și decentă va fi foarte scăzut și nu veți fi
de ajuns.
Este foarte greu ca rețeaua neurală să înceapă de fapt să facă ceva și să înceapă să se miște și să înceapă să
ajusteze acele greutăți și să înceapă de fapt Movistar să meargă în direcția corectă.
Dacă folosiți ceva de genul entropiei încrucișate deoarece are logaritmul în ea, ea ajută rețeaua
să evalueze chiar și o mică zonă ca aceasta și să facă ceva în legătură cu aceasta.
Iată cum să te gândești la asta.
Deci, să spunem din nou că acest lucru este foarte în și în abordare foarte intuitivă.
Va fi o legătură cu matematica și puteți obține aceste lucruri prin matematică în
detaliu, dar o abordare foarte intuitivă.
Să spunem că, așa cum doriți, vă doriți.
Este unul și acum sunteți la o singură milionime de unu.
Dreapta.
$ 0 ° C. 00 sau este una și apoi vă îmbunătățiți data viitoare când veți îmbunătăți rezultatul dvs.
de la un milion la un milion.
Și în ceea ce privește dacă calculați eroarea pătrată, tocmai scăpați una de cealaltă.
Sau, în esență, în fiecare caz, ești Kalka într-un pătrat și vei vedea că erorile pătrat când comparăm
un caz cu altul nu s-au schimbat atât de mult.
Nu ai îmbunătățit prea mult rețeaua ta atunci când te uiți la pătratul mediu acolo.
Dar dacă vă uitați la entropia încrucișată pentru că luați un logaritm și apoi comparăți acest lucru
cu împărțirea unul la celălalt.
Veți vedea că ați îmbunătățit efectiv rețeaua în mod semnificativ, astfel încât saltul de la un milion la 1000 în termeni
medii de eroare pătrate va fi foarte scăzut.
Acesta va fi nesemnificativ și nu va.
Nu vă va îndruma procesul de amplificare a gradientului sau propagarea spatelui în direcția corectă.
Tot ce se va ghida în direcția corectă, dar va fi ca o îndrumare foarte
lentă că nu va avea suficientă putere, în timp ce dacă faceți recrobia entropiei peste entropie
veți înțelege că, deși acestea sunt ajustări foarte mici, o mică schimbare în termeni absoluți în termeni relativi este
o îmbunătățire imensă.
Și cu siguranță mergem în direcția cea bună.
Să continuăm așa încât entropia încrucișată să vă ajute rețeaua neuronală ajunge la dreapta ajunge la starea optimă este
o modalitate mai bună ca rețeaua neurală să ajungă la o stare optimă.
Dar rețineți că acest lucru funcționează numai atunci când entropia este doar metoda preferată doar pentru clasificare.
Deci, dacă vorbești despre lucruri precum regresia pe care am avut-o în rețelele neuronale artificiale, atunci ar fi mai degrabă
să mergi cu mine și eroare de pătrat, în timp ce entropia încrucișată este mai bună pentru clasificare și din nou are legătură
cu faptul că folosim soft funcția următoare, astfel că este un fel de explicație intuitivă a unui loc
bun pentru a învăța un pic mai mult despre faptul că, dacă sunteți cu adevărat interesat de faptul că
știți de ce folosim cruce versus eroare medie pătrată.
Google un videoclip de Geoffrey Hinton a numit funcția de ieșire soft max și el o explică foarte bine
și știi că e nașul învățăturii adânci care oricum poate explica mai bine.
Și de modul în care orice film de Geoffrey Hinton este de aur.
Are doar un talent imens pentru a explica lucrurile oricum.
Deci, asta e frumosul frumos față de cruce și sper că ți-ar da o înțelegere intuitivă a ceea ce se
întâmplă aici.
Dar mai important este faptul că nu ești amânată de termenul entropie încrucișată, deoarece titlul îl va menționa în povestirile practice
și am vrut să mă asigur că ești pregătit pentru asta.
Și este doar un alt mod de a calcula ultima funcție.
Și un alt mod de optimizare a rețelei dvs., care este special adaptat la problemele de
clasificare și, prin urmare, rețelele neuronale convoluționale și vine în mână în mână cu funcția soft max.
Deci, citirea suplimentară dacă doriți o introducere ușoară în entropia încrucișată dacă sunteți interesat de concentrare un
pic mai desigur.
Un articol bun pentru a verifica afară se numește o introducere prietenoasă pentru pierderea entropiei încrucișate de
Rob DePietro 2016.
Iată link-ul de mai jos.
Foarte foarte frumos foarte moale și nimic nu matematica super-complex.
Exemple bune de analogii bune folosind analogii de mașini și vă uitați la mașini și vorbiți despre informații și
biți și restricții și știți cum ați decoda acest întreg Unico că este așa că este un articol bun
de a arunca o privire și vă vom da o o privire de ansamblu asupra unei intrări încrucișate, ca de la un
punct introductiv.
Dacă doriți să sapa în matematica grele ca ceea ce vedeți aici, apoi a verifica un articol de către un blog
sau un mod de a pune în aplicare o rețea neuronale Intermezzo prea așa în termeni de utilizare este ca
un lucru intermediar, cum ar fi.
Intermitența în.
Știi că atunci când te duci la un teatru și ai o pauză între prima parte și cea de-a doua
parte.
Deoarece e ca și cum ai trece prin toți acești pași și apoi e ca și apoi spune că trebuie
să explic asta mai întâi.
Și da, de aceea se numește intermezzo.
Nici un alt motiv în măsura în care înțeleg articolele de Peter Rolands 2016, de asemenea, ambele sunt destul
de recente.
Și știți că verificați dacă doriți să vă grăbiți matematica din spatele entropiei Kross din spatele soft Max și entropia
încrucișată în acest articol de fapt.
Așa că mergem.
Asta e totul pentru cei doi.
Sper că am reușit să adaug ceva claritate și noroc cu asta.
Va fi distractiv și vă veți bucura de tutoriale practice.
Ne vedem data viitoare.
Până atunci, bucurați-vă de învățare.