Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Și, în sfârșit, suntem la chestiile amuzante pe care le avem în învățarea profundă.
În regulă, haideți să aruncăm o privire.
Bruce am vorbit despre câștigul ucigașului și despre ce este vorba.
Și am aflat despre mediul Agent și modul în care agentul va privi statul.
Sau ea este în a lua o acțiune obține o recompensă.
Intrați într-o stare nouă și bazați pe această buclă de feedback ei vor continua să ia măsuri și vor
învăța din asta.
Înțelegeți care sunt cele mai bune acțiuni care trebuie luate.
Și am analizat exemplul de bază al unui labirint.
Am înțeles că, în timp ce mediul exploră din Asia, înțelege care sunt valorile statelor.
Apoi ne-am mutat de la tratarea valorilor statelor cu valorile acțiunilor cu
valorile și apoi cu A-Bazinul că am înțeles cum funcționează planurile într-un mediu non sarcastic și cum funcționează
politicile în medii stochastice și care este exemplu de politică.
Deci, este o recapitulare rapidă a tot ceea ce am discutat în învățarea de bază.
Și acum, să aruncăm o privire asupra modului în care acest lucru poate fi dus la nivelul următor prin învățarea profundă prin adăugarea
de învățare profundă.
O.K.
Deci, acesta este mediul nostru și ceea ce vom face acum este că vom adăuga în loc să facem doar calculele
de bază în această matrice pe care le avem ceea ce este destul de simplu.
Ceea ce vom face este să adăugăm două axe care adaugă o axă x și y sau le vom
numi x1 și x2.
Doar pentru a face lucrurile și mai generale.
Și aici avem numărul real rândul coloanele 1 2 3 4 el va conduce numărul rândurile 1 la 3.
Și astfel, fiecare stat poate fi descris de o pereche de două valori x1 și x2, astfel încât oricare
dintre aceste pătrate în care agentul poate fi posibil să fie descris de x1 x2.
De exemplu, chiar acum el este în pătrat cu X1 egal cu 1 și x 2 egal cu 2.
Și, prin urmare, nu putem să fugim în pătratul tău, ceea ce putem descrie în statul tău.
Apoi, desigur, aceasta este o versiune foarte simplificată a unui mediu de descriere a statelor.
Dar, totuși, funcționează în acest caz.
Și asta înseamnă că acum putem alimenta aceste state într-o rețea neuronală.
Apropo, aș vrea să menționez că, la sfârșitul cursului unor anexe bune, avem
un număr x și un antics și două pentru a continua cu succes această secțiune.
Foarte recomandabil să verificați una inaccesibilă care se află pe o rețea neurală artificială, astfel
încât să înțelegeți modul în care funcționează astfel încât să nu avem de a face
cu acest lucru și putem folosi beneficiile cunoașterii modului în care funcționează rețelele neuronale artificiale și astfel vom alimenta
această informație despre stat într-o rețea neuronală și apoi vom procesa această informație X1 și x2 în funcție de structura rețelei neuronale ar putea
avea mai multe straturi ascunse și așa mai departe.
Deci, este ceva pe care îl veți găsi în tutorialele practice, dar la final vom structura în
așa fel încât să scape pentru valori și aceste patru valori vor fi de fapt valoarea noastră Q.
Deci, valorile care dictează ce acțiune trebuie să luăm și ce nu facem în acest tutorial vor vedea exact
cum sunt folosite aceste valori-cheie pentru a decide ce acțiune este adoptată.
Dar principala idee aici este că noi nu mai privim doar acest labirint dintr-o perspectivă de învățare.
Acum luăm stările labirintului și le alimentam într-o rețea neurală profundă pentru a obține
aceste cabinete și.
Și, la sfârșitul zilei, vom continua să găsim o acțiune pe care încă o
să înțelegem ce măsuri trebuie să luăm și vom discuta toate acestea în detaliu, dar întrebarea chiar acum este
motivul pentru care sunt facem toate astea de ce am numit-o.
De ce fac lucrurile mult mai complicate atunci când această abordare inițială a învățării funcționa
deja bine.
Motivul pentru aceasta este că învățarea funcționa în acest mediu foarte simplist și continuăm să ne ocupăm
de acum cu acest mediu foarte simplist pentru a înțelege mai bine conceptele.
Dar, în același timp, învățarea simplă a lui Kial nu va mai funcționa în medii mai complexe
și vorbim despre autovehiculele care vor crea sau vor juca Doom atunci când inteligența artificială joacă Doom
sau alte jocuri Atari precum breakout sau chiar auto-conducerea mașinilor și consolidarea mai avansată a învățării
lucruri, cum ar fi ca roboții de mers pe jos în jurul și efectuarea de acțiuni în toate aceste cazuri,
de fapt, învățarea este insuficientă nu este puternică nu este suficient de puternic pentru a
putea să stăpânească aceste provocări.
Și așa cum am văzut în cursul profund de învățare dacă ați fost în disciplina noastră sau dacă ați făcut
secțiunile anexă pe numărul x și X-2, veți afla acolo unde știți că învățarea profundă este mult superioară orice tip
de mașină de învățare să nu mai vorbim de învățare simplă.
Iată de ce profităm de puterea învățării profunde aici, astfel încât să fim hrăniți în
informațiile despre mediul înconjurător ca un vector al valorilor.
În acest caz, doar pentru a ne folosi într-o rețea neurală profundă și apoi o vom folosi pentru a efectua acțiunile pe care
vrem să decidem care sunt acțiunile pe care le vor lua agenții.
Deci, asta e ca o trecere în revistă la nivel înalt a motivului pentru care facem asta.
Și acum, să aruncăm o privire mai detaliată la ceea ce se întâmplă cu conceptul
de învățare rece când transferăm atunci când facem transformarea sau trecerea de la învățarea simplă la Killary.
Așa cum ați văzut în tutorialele anterioare de intuiție, am avut un diapozitiv ca acesta, care este fundamentul
învățării diferenței temporale.
Aceasta este formula pentru diferența temporală și în esență Să trecem prin asta.
Deci, practic, am avut un agent care era în această stare, care este indicat de săgeata albastră.
Și am înțeles cum funcționează diferența temporală pentru această valoare, de exemplu, în creștere.
Și ceea ce am văzut aici a fost înainte ca acest lucru să fie în Killary simplu, nu învățarea profundă este în ucigașul
simplu.
Ceea ce am văzut a fost înainte ca agentul să aibă o valoare ulterioară de nuanță pe care a învățat-o despre această acțiune de a merge
în sus.
Așa că sa hotărât să se ridice.
Iar după ce își ia acțiunea, primește o recompensă pentru că a luat această acțiune în acest stat.
Și aceasta este răsplata plus acum el poate evalua valoarea stării curente în care este în care este
maximul tuturor valorilor q noi ale întregului cub al noilor acțiuni pe care le poate lua o primă în
noua stare ca tipărirea și citiți înmulțit cu factorul DK al gammei.
Deci, aceasta este în esență tinta noua valoare sau tip de cub ca valoarea cubului empiric pe care tocmai la
primit pentru a lua acea actiune.
Și în mod ideal, cele două două ar trebui să fie la fel.
De fapt, valoarea Q pe care a avut-o în memoria sa despre această acțiune în această
stare ar trebui să fie echivalentă cu recompensa reală Plus gamma ori valoarea statului în care a ajuns.
Și, prin urmare, așa calculăm diferența temporală pe care o luăm după minus ceea ce
a primit ceea ce avea în minte ceea ce aștepta.
Ați scăpa unul de celălalt.
Aceasta este o diferență temporală.
Apoi, utilizați rata de învățare Alpha pentru a ajusta valoarea q a noii valori q de diferența temporală, dar
cu un coeficient de Alpha.
Deci, aceasta este esența învățării simple.
Acum, să aruncăm o privire la modul în care se schimbă în Killary adânc și astfel vom continua
să lucrăm cu diapozitivul, dar vom vedea exact ce se întâmplă.
Deci, într-o învățare profundă, rețeaua neuronală va prezice pentru Valis așa cum am văzut în precedentul și cum vom
vedea.
Donna Citronelle rețeaua neuronală va prezice pentru valori sau ar putea prezice mai multe valori ale mai
multor acțiuni posibile într-o anumită stare.
Dar în acest caz știm că sunt doar patru acțiuni în stânga de făcut.
Și astfel rețeaua neuronală va prezice patru dintre aceste valori, astfel încât nu va exista nici un sfârșit într-o situație profundă de învățare este important
este că nu există nici înainte sau după.
Și așa vom ajunge să cunoaștem mai bine acest lucru.
Deci rețeaua neuronală va prezice patru dintre aceste valori și nu va compara ceea ce
se va întâmpla după, dar rețeaua neuronală se va compara cu această valoare exactă, dar aceasta a fost
valoarea calculată în etapa anterioară.
Deci, în perioada anterioară în care agentul se afla în acest pătrat exact.
Deci, să spunem că nu știu cu ceva timp în urmă că agentul a fost din nou și în acest
pătrat exact și a calculat această valoare anterior.
Deci, în trecut, cu mult timp în urmă, agentul a calculat această valoare, atunci agenții au stocat această
valoare pentru viitor și acum a venit viitorul.
Deci, acum este din nou în pătrat și acum are aceste valori cub care este prezis și unul dintre
ele este pentru cei patru care merg.
Deci, acum ceea ce el va face este de a compara valoarea estimată a Q la această valoare pe care el a înregistrat de
la pasul anterior și va înțelege exact de ce acest lucru este important chiar acum atât de important
să înțelegem aici.
Nu există nici un ofițer în această piață specifică în momentul respectiv.
Luăm valoarea Q pe care a prezis-o folosind rețeaua neurală de această dată și compară-o cu această valoare
pe care a avut-o de la data precedentă de la data anterioară în care a fost în acest pătrat evaluând
toată situația și știi cum ar fi precedentul timpul în care a efectuat această acțiune.
Așa că mergem.
Acum, să aruncăm o privire asupra modului în care toate acestea funcționează în rețeaua neuronală și de ce.
De ce este ca și cum știu că sună puțin cam complicat acum, dar o vom rupe în termeni simpli doar
într-o secundă.
Deci, acest lucru pe propria dvs. rețea pe care o hrănim în stările mediului în
rețeaua neurală trece prin straturile ascunse pe care le emite cu aceste ieșiri Q1 Q2 Q3 Q4.
În acea stare specifică, acestea sunt valorile cubului pe care rețeaua neuronică le prezice pentru posibile
acțiuni.
Acestea sunt cumulul.
Așadar, apare ținta și aceste ținte există exact așa că dacă ne întoarcem aici, aceasta este ținta,
deci aceasta este valoarea care a fost prezisă.
Și apoi, de asemenea, știm că avem o țintă din ultima oară când am fost în piață.
Avem o țintă pentru aceeași acțiune, de exemplu.
Deci, aici avem o țintă și vom compara că comparați Q1 față de ținta pe care
o comparați cu Q2 față de obiectivul pe care l-am avut de la T3 anterior față de o țintă Q4 față de ținta.
Și aceasta este partea în care rețeaua neuronală sau agentul învață acum prin învățare profundă cum să
treacă mai bine.
Iar punctul cheie aici este că aplicăm în continuare învățarea la rece, dar răspunsurile la concepte sunt simple pe care le învățați să le învățați
prin diferențele temporale care sunt destul de simple pe care le-am discutat deja și știm
destul de bine de ce nu.
Dar, în același timp, în învățarea profundă despre modul în care rețelele neuronale învață rețele neuronale să învețe prin
ajustarea greutăților noastre.
Așa că trebuie să adaptăm conceptele de întărire a conceptelor de ucidere simplă la modul în care funcționează efectiv
rețelele neuronale.
Și asta este prin actualizarea greutăților lor.
Și așa încercăm să aflăm aici cum putem adapta conceptul
de diferență temporală la propria rețea, astfel încât să putem folosi puterea completă a rețelelor neuronale.
Până acum am ajuns la aceasta, astfel încât să intrăm în starea noastră de mediu aici, pe măsură ce un vector trece printr-o
rețea neuronală, obținem preziceri ale valorilor cheie și apoi din momentul anterior când agentul era în acea stare.
Avem aceste obiective noi pentru a viza unul câte trei și patru pentru fiecare dintre aceste acțiuni.
Și acum avem de gând să facem asta.
OK să comparăm fiecare cu fiecare.
Și de aici, devine destul de simplu dacă trebuie să accelerați cu rețele neuronale.
Încă o dată, e pe Anax.
Numarul unu vom calcula o pierdere care este aici si vom fi q vizati aceasta cu minus
Q minus aceasta.
Vom face asta pentru diferența pătrată a fiecăruia dintre acestea și le vom
rezuma.
Așadar, luăm suma diferențelor pătrat dintre aceste valori și țintele lor și le vom trimite și asta
va fi o pierdere.
Și așa mai bine, așa cum am avut în învățarea diferenței temporale, așa că dacă ne întoarcem
pentru o secundă, am spus că în mod ideal vrem ca aceasta să fie egală cu aceasta, așa că
vrem ca diferența temporală să fie zero, deci asta înseamnă, în esență, că agentul este prezicând exact corect ceea ce știi că
valoarea Q este aceea pe care agentul o prezice este exact sau că are și memoria este exact descriptivă pentru
mediul înconjurător și, prin urmare, agentul nu poate obține niciodată dreptul de mediu.
Nu există surprize nu există nu există. o atâta timp cât o diferență temporală este un pilot extrem de pozitiv
sau extrem de negativ.
Apoi avem câteva surprize.
Dar, dacă există diferențe generale între zero, atunci el știe atât de bine mediul înconjurător încât
poate să prezică ceea ce se întâmplă și poate și, prin urmare, politica sa va fi foarte bună și va putea naviga.
Deci aici.
Același lucru, așa că vrem ca această lege să fie cât mai aproape de zero, presupun cât mai puțin posibil.
Și de aceea acum mergem la aceasta este partea în care vom folosi puterea reală reală a rețelei neuronale, așa că
vom lua această pierdere și vom folosi propagarea înapoi sau vom rămâne ca o coborâre de
gradient pentru a lua această pierdere și a trece-o prin intermediul rețelei posit înapoi sau înapoi propagat printr-o rețea și prin
intermediul pentru a arunca o mare și decent o dată greutăți.
Toate aceste sinopse în rețea, astfel încât data viitoare să trecem prin această rețea așa cum este deja puțin mai
descriptivă despre mediul înconjurător și exact asta suntem.
Deci, aici aveți dacă reveniți acest lucru este calculat pierderi Kalka și ghici demonstreze propagator pentru rețea greutățile
sunt actualizate.
Apoi, data viitoare când ajungem aici se întâmplă din nou și din nou aici acest lucru se întâmplă din nou
și așa mai departe și așa și continuă să se întâmple și așa se învață acest agent sau practic rețeaua neurală
care este creierul agentului este învățarea devine din ce în ce mai mult și mai descriptivă despre mediu și, prin urmare, agentul este
capabil să navigheze în mediul înconjurător.
Atunci când spunem că un mediu descriptiv înseamnă că, atunci când punem în stările mediului în care
se află acest agent, suntem mult mai probabil să ne apropiem de valorile reale și se întâmplă deoarece valorile cubului pe care vrem
să le găsim corect acțiune și acest lucru se întâmplă deoarece aceste noi obiective sunt,
de fapt, derivate din punct de vedere empiric, astfel încât el în fiecare zi cum găsește aceste ținte drăguțe.
Acesta este de fapt acolo, așa că el observă de fapt.
OK, odată ce fac acest pas, ce recompensă primesc.
Și apoi care sunt valorile acestei stări.
Deci, același lucru pe care l-am văzut anterior în învățarea Q și în simpla învățare a intuiției.
Deci, el învață acest lucru prin încercare și eroare și apoi își construiește rețeaua sau așa
este în așa fel încât valorile prezise să fie apropiate și apropiate.
Consumând această țintă.
Valorile Q sunt foarte asemănătoare cu conceptul pe care l-am discutat aici în învățarea diferenței temporale simple a
algoritmului simplu de învățare a abilităților.
Deci te duci acolo.
Asta este modul în care agentul învață.
Așa că suntem aici.
Și asta este partea de învățare.