Bună ziua și binevenită înapoi la cursul de învățare profundă din tutorialul de astăzi vorbim
despre coborârea înclinării.
Ce am învățat anterior a fost că pentru ca o rețea neurală să afle
ce trebuie să se întâmple este propagarea înapoi și atunci când eroarea diferența sau suma diferențelor pătrat
între Y și Y este din nou propagată prin rețeaua neuronală și greutățile sunt ajustate corespunzător.
Așa că am văzut asta și astăzi vom afla exact cum sunt ajustate aceste greutăți.
Să aruncăm o privire.
Aceasta este versiunea noastră foarte simplă a unei lucrări neuronale, o percepție Trauner, o rețea neuronală cu o singură
literă și ceea ce vedem aici este întregul proces în acțiune în care avem niște valori de intrare, atunci
trebuie să așteptăm apoi o funcție de activare este aplicat.
Am obținut o pălărie și apoi o comparăm cu valoarea reală pe care o calculam funcția de cost.
Deci, cum putem minimiza funcția de cost.
Ce putem face despre asta?
Ei bine, o abordare pentru ao face este o abordare a forței brute, unde luăm doar o mulțime de greutăți posibile și ne uităm la
ele și vedem care dintre ele arată cel mai bine și ce facem este, de exemplu, am încerca să spunem,
de exemplu, o mie de greutăți și le-am încerca să obțină ceva de genul acesta pentru funcția
de cost și aceasta este o diagramă a axei Y a axei Y a axei verticale a axei orizontale a
axei orizontale a axei orizontale.
Și pentru că puteți vedea formulele pe care le-am avut minus Y pătrat.
Așa ar arăta funcția de cost arătând așa ceva.
Și, în principiu, veți găsi că cel mai bun este aici.
Deci, foarte simplu abordare foarte intuitivă.
De ce nu facem această metodă de forță brută.
De ce nu încercați doar o mie de costuri diferite pentru o mie de parametri sau intrări diferite pentru greutăți și pentru a vedea care dintre ele
funcționează cel mai bine.
Veți găsi cel mai bun în acest fel.
Ei bine, dacă aveți doar o modalitate de a optimiza acest lucru ar putea funcționa, dar pe măsură
ce creșteți numărul de greutăți crește numărul de Synopsys din rețeaua dvs., trebuie să vă confruntați cu blestemul dimensionalității.
Și deci care este cauza dimensionalității.
Cea mai bună modalitate de a descrie acest lucru sau de a explica acest lucru este doar să analizăm un exemplu practic.
Așadar, amintiți-vă acest exemplu pe care l-am avut atunci când am vorbit despre modul în care
rețelele neuronale funcționează de fapt în cazul în care construim sau gestionăm o rețea neurală pentru evaluarea proprietății.
Asa arata cum a fost atunci cand a fost pregatit deja bine cand nu este instruit inainte de a fi antrenat
inainte de a afla care este greutatea.
Rețeaua neurală reală arată astfel.
Corect, pentru că avem toate aceste diferite sinopse posibile și trebuie să pregătim greutățile și aici avem un total
de 25 de greutăți, de patru ori cinci la început și încă cinci de la loviturile
de acolo 25 greutăți totale.
Și să vedem cum puteam să forțăm forța în 25 de moduri.
Aceasta este o rețea neuronală foarte simplă aici.
Foarte simplu, doar o lovitură înăuntru și cum am putea să ne forțăm să ne forțăm printr-o rețea neuronală de această
dimensiune.
Ei bine, sunt niște calcule matematice simple.
Avem 25 de greutăți.
Asta înseamnă că dacă avem o mie de combinații pe care le vom rezolva
pentru fiecare greutate, numărul total de combinații este de 1000 la puterea de 25 sau o mie sau 10 pentru a analiza cinci combinații diferite.
Acum, să vedem cum soarele a reușit să lumineze supercomputerul mondial al lui Fosse din iunie 2016, cum ar aborda
această problemă.
Așa că, Sunway leagă cine luminează.
Se pare că aceasta este o clădire uriașă destul de mare pentru acest supercomputer și a obținut recordul mondial
Guinness pentru că a fost supercomputerul Fosses.
Chiar acum este cel mai rapid supercomputer din lume și, într-o oarecare măsură, lumina de legătură poate funcționa la
o viteză de 93 de flop-uri.
Flop-ul reprezintă o operație plutitoare pe secundă.
Deci poate face nouăzeci și trei la motorina.
Timp de zece până la puterea a 15 operațiuni plutitoare pe secundă.
Atât de rapid este în comparație.
Calculatoare medii chiar acum le place doar peste mai multe gigaflops și așa mai departe.
Deci, îmi plac genurile.
Mai puțin decât luminile tip TEI Sunway.
Deci, dintr-o dată este tot o minciună că este în fruntea tehnologiei.
Și să presupunem ipotetic că se poate face o încercare de o combinație de patru pe propria rețea într-o singură dischetă și o operație
plutitoare care nu este posibilă, care nu este practică deoarece aveți nevoie de mai multe
operațiuni plutitoare pentru a testa o singură greutate în propria dvs. puțin.
Dar chiar să-i dăm un start.
Să presupunem că poate face acest lucru într-o lume ideală pe care o poate face într-o singură operație plutitoare, poate face un
test pentru fiecare operație plutitoare.
Asta înseamnă că Doddridge va mai necesita încă cinci.
Împărțiți-vă cu nouăzeci de trei ori zece la aproximativ 15 secunde pentru a rula toate aceste teste pentru a forța brute prin
acea rețea.
Asta inseamna ca unul sau aproximativ tind sa aiba putere de 58 secunde si este acelasi
cu cel de 50 de ani.
Acesta este un număr uriaș care este mai lung decât universul a existat și cu siguranță nu va
merge pur și simplu la acest număr este atât de mare, cu siguranță că nu va funcționa pentru noi deloc în optimizarea noastră.
Așa că mergem.
Acesta este un nu nu.
Chiar și pe cel mai rapid supercomputer din lume Sunway tail light.
Deci, trebuie să abordăm o abordare diferită cum vom găsi greutatea optimă.
Prin modul în care această rețea neuronală a fost foarte simplă, ce ar fi dacă rețelele
neuronale arata ca ceva de genul asta sau chiar mai mare decât atunci, da, nu se va întâmpla deloc vreodată.
Deci, metoda pe care urma să o privești este numită coborâre de gradient și probabil că ați auzit de ea deja.
Dacă nu, vom afla ce este acum.
Așadar, funcționează costurile noastre și acum ne îndreptăm atenția asupra modului în care putem să promovăm o modalitate mai rapidă de a găsi cea mai
bună opțiune.
Așadar, permiteți-mi să spunem că începem undeva unde începeți undeva.
Deci începem acolo.
Și din acel punct din partea stângă sus, ceea ce vom face este că vom privi unghiul funcției noastre de cost în acel moment, așa că vom
merge în esență la asta se numește gradient pentru că
trebuie să diferențiezi.
Nu ne vom uita la ecuațiile matematice.
Vom oferi câteva sfaturi despre lectura suplimentară la sfârșitul următoarei prelegere.
Dar, de fapt, trebuie doar să diferențieți ceea ce este panta în acel punct și să aflați dacă
panta este pozitivă sau negativă.
Dacă în cazul în care panta este negativ ca în acest caz înseamnă că te duci în jos astfel încât la dreapta este
coborârea la stânga este în sus.
Și de acolo înseamnă că trebuie să mergi bine.
Practic, trebuie să mergi în jos.
Și asta vom face.
Boom face un pas în dreapta.
Bilele se rostogolesc din nou.
Același lucru.
Puteți calcula panta și panta este pozitivă, însemnând că scriitorul este în sus, în stânga este în jos și trebuie să mergeți
la stânga și sunteți pe minge în jos.
Și din nou calculați panta și sunteți tot taurul chiar acolo mergeți așa că așa veți găsi
în termeni simpli, așa veți găsi cele mai bune WAITES Cea mai bună situație care minimizează funcția dvs. de cost.
Desigur, nu va fi ca o minge de rulare va fi un tip foarte zigzag de abordare,
dar este mai ușor să vă amintiți sau un fel de este mai distractiv să se uite la ea ca o minge de rulare.
Dar, în realitate, da, tocmai va fi ca o abordare pas cu pas va fi
un tip de metoda zigzag.
Da și de asemenea, există o mulțime de alte elemente.
Există lucruri ca, de exemplu, de ce, cum ar fi de ce nu merge de ce nu merge prea mult peste linie, astfel încât ar fi putut sări de la asta mers
în sus în loc de descendent și lucruri de genul asta, astfel încât există parametri pe care
le puteți tweak.
Și din nou vom menționa unde puteți afla mai multe despre asta.
Și, în plus, vom avea acest lucru în aplicații practice, dar în cea mai simplă abordare intuitivă, acest lucru
se întâmplă.
Mergem la fund prin înțelegerea modului în care trebuie să mergem.
În loc să forțeze brute prin mii și mii și milioane și miliarde și cvadrilioane
de combinații.
Putem pur și simplu de fiecare dată să aruncăm o privire la locul în care este înclinată atât de bine ca dvs. sau dacă vă
imaginați că sunteți pe un deal.
În ce fel se simte că merge în jos și în orice fel se îndreaptă și continuați să mergeți
în felul acesta doriți să faceți 50 de pași și apoi evaluați din nou OK în ce direcție merge în jos în acest
fel.
OK și voi face 50 de pași sau mai puțin să iau 40 de pași în acest fel.
Deci devine din ce în ce mai puțin și mai puțin când te apropii.
Deci, iată un exemplu de coborâre de gradient aplicat într-un spațiu bidimensional.
Deci, acesta a fost un exemplu unic.
Aici avem un spațiu bidimensional pentru coborârea gradientului, după cum puteți vedea că se
apropie de minim și este numit și coborâre de gradient, deoarece vă coborâți la minimul funcției de cost
și aflați că el are o coborâre în gradient aplicată în trei dimensiuni.
Așa se pare că, dacă ați proiectat pe două dimensiuni, puteți vedea zig-zagging-ul în drumul său
la minim.
Deci, tu ești un indice de descendență al lui Tauriel. Vorbim despre stochastic.
Gradient coborârea este într-adevăr o continuare a acestui tutorial.
Și aștept cu nerăbdare să te văd acolo.
Și astfel data viitoare se bucură de învățare profundă.