Bună ziua și bine ai venit înapoi, așa că bineînțeles, în învățământul profund astăzi, vorbim despre declivitatea de la gradientul costic.
Anterior am aflat despre coborârea înclinării și am aflat că este o metodă foarte eficientă de a rezolva problema
noastră de optimizare în cazul în care încercăm să minimalizăm funcția de cost.
În principiu ne duce de la 10 la puterea de 57 de ani pentru a rezolva o problemă în câteva minute sau ore sau într-o zi
sau cam așa ceva.
Și chiar ne ajută să grăbim lucrurile, pentru că putem vedea care este calea în jos și putem merge doar
în acea direcție și facem pași și ajungem la minim mai repede.
Dar lucrul cu bastonul cu coborâre de gradient este că această metodă necesită ca funcția de cost să
fie convexă.
Și, după cum puteți vedea aici, am ales în mod special o funcție convexă de cost convexă în
esență, ceea ce înseamnă că funcția arată similar cu ceea ce vedem acum că este doar un fel de vext într-o
direcție și care în esență are un minim global.
Și asta e cea pe care o vom găsi.
Dar dacă funcția noastră nu este convexă.
Dacă funcția noastră de cost nu este corectă.
Dacă ar părea așa.
Ei bine, în primul rând cum s-ar putea întâmpla asta.
Ei bine, acest lucru se poate întâmpla deoarece, în primul rând, alegem o funcție de cost care nu este diferența pătrată între
cum de ce și de ce sau dacă alegem funcția de cost care este așa.
Dar apoi într-un spațiu multidimensional se poate transforma de fapt în ceva care nu este convex.
Și așa, ce s-ar întâmpla în cazul acesta, dacă am încercat doar să aplicăm metoda noastră decentă pentru un gradient decent, așa ceva
se poate întâmpla.
Am putut găsi un minim local al funcției de cost, mai degrabă decât cel global.
Așa că acesta a fost cel mai bun și am găsit unul greșit și, prin urmare, nu avem greutatea corectă.
Nu avem o rețea neuronală optimizată.
Avem o rețea neurală sub.
Și ce facem în acest caz.
Răspunsul este aici stochastic.
Gradient coborâre.
Și se dovedește că coborârea gradientului sarcastic nu este necesară pentru ca funcția cauză să fie convexă.
Deci, haideți să aruncăm o privire asupra celor două diferențe dintre coborârea normală a gradientului despre care
am vorbit și gama stochastică.
Coborârea verde normală este atunci când luăm toate rândurile pe care le conectăm în rețeaua noastră neuronală și
încă o dată avem rețeaua neurală copiată de mai multe ori, dar rândurile sunt conectate de fiecare
dată în aceeași rețea neurală.
Deci, există doar un truc vechi de un an, aceasta este doar pentru scopurile lui Kissel.
Apoi, după ce le-am conectat, am calculat funcția noastră de cost bazată pe formula
corectă și uităm la graficul din partea de jos și apoi ajustăm greutățile, atunci se numește metoda de
coborâre a gradientului sau este, de asemenea, termenul potrivit acea metodă de coborâre în gradient lot.
Așadar, luăm întregul lot din mostra pe care o aplicăm și apoi executăm că metoda de coborâre a gradientului stochastic
este un pic diferită.
Aici luăm rândurile una câte una, astfel că luăm acest rând pe care ne conducem rețeaua neuronală și apoi
ajustăm greutățile.
Apoi vom trece pe al doilea rând pe care îl luăm pe al doilea rând pe care îl conducem rețeaua neurală.
Ne uităm la funcția de cost și apoi ajustăm din nou greutățile și apoi luăm un alt trandafir Rohtak trei pe care
ne conducem rețeaua neurală ne va uita la funcția de cost pe care o reglezăm greutatea.
Deci, practic, ne uităm la adaptarea greutăților după fiecare rând, mai degrabă decât să facem totul împreună,
apoi testarea greutăților în două abordări diferite.
Și acum o să comparăm doar pe cele două.
Deci, aici sunt acestea este modul în care pentru a le aminti vizual.
Deci, aveți cea mai bună coborâre a gradientului în cazul în care ajustați greutățile după ce le executați după
ce ați executat toate rândurile din rețeaua dvs. neuronală și apoi doar greutățile și rulați întregul lucru
din nou iterație iterație iterație în clasa a șasea din decembrie și executați un
rând la un moment dat și ajustați greutățile așa cum sunt doar greutățile și apoi faceți totul din
nou și din nou și se numește discutarea.
Și ați spus că principalele două diferențe sunt că metoda de coborâre
gradient sarcastic vă ajută să evitați problema în care găsiți aceste extremități locale sau minime locale, mai degrabă decât minimul global
general global.
Iar motivul pentru care în termeni simpli este că există un videoclip cu metoda de coborâre a gradientului stochastic
are fluctuații mult mai mari, deoarece le poate permite.
Se face o iterație sau un rând la un moment dat și, prin urmare, fluctuațiile sunt
mult mai mari și este mult mai probabil să se găsească mai degrabă minimul global, decât doar minimul local.
Și celălalt lucru legat de coborârea gradientului sarcastic cred că este un gradient negativ este faptul că este stimulator ca prima impresie
pe care ați putea-o avea este pentru că face să crească una câte una este mai lentă
dar de fapt este de fapt mai rapidă pentru că este ea nu trebuie să încarce toate datele în memorie și să ruleze și
să aștepte până când toate aceste reguli sunt pe deplin.
Puteți doar să le rotiți unul câte unul astfel încât să fie un algoritm mult
mai ușor este mult mai rapid în acest sens, așa că deși are un mod mai mult în acest sens, deoarece are mai multe avantaje față de cei răi.
Metodă de coborâre în gradient.
Principalul avantaj al sau tip de domeniu de a favoriza metoda de descrescăreală a gradului de rău este
că este un algoritm determinist sau altceva decât a arunca o coborâre de gradient fiind un algoritm sarcastic
care înseamnă că este aleator și cu cel mai bun gradient și metodă atât timp cât aveți aceleași greutăți inițiale pentru rețeaua
dvs. neuronală.
De fiecare dată când executați metoda descendentă a gradientului lotului veți obține aceleași iterații aceleași rezultate pentru dvs. în tot
felul în care greutățile dvs. sunt actualizate pentru ca noi să avem pentru metoda gradient sarcastic decent.
Nu veți obține asta deoarece este o metodă stocastică pe care o alegeți la întâmplare și
dacă vă actualizați rețeaua neurală într-o manieră sarcastică și, prin urmare, veți merge la fiecare dată când
executați categoria o metodă decentă chiar dacă aveți aceleași greutăți
la început, veți avea un proces diferit și iterații diferite pentru a ajunge acolo.
Deci, asta e pe scurt ce este de a câștiga și de a disagua este, de asemenea, există o metodă între cele două
numite Metoda descendenței gradientului în cazul în care combinați cele două și în esență rulați, mai degrabă decât să
rulați un întreg lot de alergare unul câte unul.
Executați loturi de rânduri, poate 5 10 100 oricât de multe rânduri vă decideți să vă setați să executați acel număr de rânduri la
un moment dat, apoi să vă actualizați singurele cifre și așa mai departe.
Aceasta se numeste metoda de coborare a gradientului Mini Bache, daca doriti sa aflati mai multe despre
coborarea gradientului, exista un articol foarte bun pe care sa il puteti uita.
Se numește o rețea neuronală în 13 rânduri de la Python, la mare și descendentă de
Andrew Trask, iar legăturile de dedesubt sunt un articol bun, foarte bine scris, foarte simplu.
Are niște gânduri interesante filosofice sau interesante despre cum să aplici apă decentă pe care o cunoști avantajele și dezavantajele și
cum să fii cum să faci lucrurile în anumite situații, așa că ai niște
trucuri și hack-uri foarte interesante.
Foarte ușor de citit atât de sigur verificați că afară.
Și un altul mai citit mai greu.
Pentru cei dintre voi care sunteți în matematică care doresc să ajungă la partea de jos a matematicii de ce.
Gradientul de coborâre este specific.
Care sunt formulele care conduc gradările și cum se calculează și așa mai departe.
Consultați articolul sau, de fapt, cartea.
Este o carte online gratuită numită rețele neuronale și învățare profundă de către cartea lui Michael Nielsen 2015.
Este doar faptul că totul este pe linie puteți merge mai departe și verificați-l acolo.
Și acolo din nou o introducere foarte moale la matematică.
Dar, pentru o mamă, matematica, dar matematica sunt destul de grele pe măsură ce vă duceți în timp ce
citiți articolul.
Dar, în același timp, te implică în acea dispoziție pe care o crezi că vrei să spui că are un capitol cald în care mai întâi să încălzi
matematica și apoi să sari în așa ceva Sunt atât de interesat de matematică atunci acesta este articolul spre care trebuie
să mergi.
Și acolo mergem așa că este în concluzie diferența dintre sensul Graney pentru
a arunca coborârea și cum să lucreze.
Și pe acea notă pe care o vom încheia astăzi, a spus Tauriel.
Aștept cu nerăbdare să vă văd pe următoarea.
Și până atunci se bucură de învățare profundă.