Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
În regulă, așa că sper că vă bucurați de tutorialul până acum, că aproape că am terminat cu intuiția, veți ajunge în curând
foarte curând la aspectul practic al lucrurilor pe care tocmai am primit câteva lucruri pe care trebuie să le acoperim.
În regulă, am vorbit deja despre modul în care adăugăm rețele neuronale în această întreagă ecuație de învățare
CULE și luăm ular în pasul următor și îl transformăm în învățare profundă.
Și astăzi vom adăuga o caracteristică suplimentară importantă, care va fi codificarea în partea practică a lucrurilor astfel încât titlul și am decis că
este important pentru noi să-l acopere adesea în partea de intuiție a lucrurilor, astfel încât să fiți mai pregătiți pentru
că atunci când vine în partea de codificare a lucrurilor.
Deoarece am discutat că avem rețeaua acolo, există două părți care se întâmplă.
În primul rând este învățarea, astfel încât rețeaua învață de fapt cu fiecare stat nou.
Încearcă încet așteptările sale de a se îmbunătăți și de a face mai bine și de a face față acestui mediu.
Apoi, acționează în interiorul statului, astfel încât valorile q au fost numărate în stare, după ce
ați selectat.
Deci, astăzi vom vorbi încă despre partea de învățare pe care o vom prezenta cu o trăsătură
interesantă, care va ajuta în studioul de a veni cu această caracteristică
noi înșine, dar vom vorbi despre o trăsătură care este foarte importantă pentru o învățare profundă rece și această caracteristică se numește reluarea experienței.
In regula.
Așa că aici este rețeaua noastră, așa că am copiat-o aici.
Avem pierdut că este Calcott în partea de jos este propagator înapoi prin rețea.
Și să aruncăm o privire la un exemplu despre ceea ce se întâmplă pentru a înțelege problema cu care ne confruntăm
puțin mai bine.
Deci, aici este un exemplu de fapt din scoruri.
Acesta este un ecran împușcat exact de la acest curs acest lucru este ceea ce veți fi de programare.
Aceasta este o masina cu autoturism care conduce prin aceasta prin acest drum si trebuie sa invete cum sa
navigheze pe acest drum.
Și așa este ceea ce este așa cum am discutat anterior Ce este acest lucru în această stare.
Și, desigur, statul nu va fi x1 x2 Lundell descrie-o cu mult mai multe detalii despre cum
starea va fi vorba despre câțiva parametri care se referă la unghiul mașinii și la unii parametri relativi care sunt
senzorii lectură și așa mai departe.
Deci, vor exista mai mulți parametri decât descrierea statului.
Dar, totuși, va fi un vector al valorilor care vor trece printr-o rețea neuronală și apoi
pe ieșirea veți avea unele valori ale ACU.
Din nou, va exista o diferență în funcție de mediul înconjurător.
Acestea pot fi un număr diferit de acțiuni posibile acțiuni.
Dar tocmai pentru simplitate o vom lăsa doar pentru ca noi să înțelegem mai bine ce
se întâmplă aici.
Deci, în acest caz, care este întrebarea este până acum ce este asta.
Aceste intrări în această rețea neuronală sau, mai precis, cât de des declanșăm această rețea neurală.
Cât de des are această creștere netă neurală.
Ei bine, de fiecare dată când mașina se termină într-o stare nouă, așa că mașina face o mișcare, se termină într-o stare nouă
și apoi totul merge.
Toate datele pe care toate informațiile despre statul respectiv le trec prin rețea dau lui Alice erorile
calculate.
Această eroare este calculată pe baza celor discutate în instrucțiunile anterioare.
Acest lucru este propagat înapoi și greutățile lor sunt actualizate.
Apoi, masina selecteaza ce actiune urma sa faca face ca aceasta miscare sa se termine intr-o noua stare in noua stare.
Totul începe din nou.
Și așa se întâmplă de fapt, de fiecare dată când mașina este înăuntru și ați spus că aveți o privire la acest exemplu.
Am luat în mod special ecranul pentru că arată că arată foarte bine problema care se adresează prin replayul de experiență
și prin înlocuirea cheltuielilor nu doar cu ceva pe care îl folosim în acest curs sau
în această problemă specifică.
Este ceva pe care îl veți vedea folosit pe tot parcursul.
Pe și peste și din nou în algoritmii inteligenței artificiale, deoarece este atât de puternic și este atât de
important.
Deci, uita-te la aceasta masina aceasta masina in aceasta problema sau in acest mediu scopul este de a veni de la du-te de aici pana
aici si inapoi.
Obiectivul său este de a se deplasa aici aici, fără a traversa acești pereți care sunt făcuți din nisip.
Așa că mașina a pornit de aici și a căzut în jos și ca și cum răsplata ei se bazează pe faptul că știți cât de aproape este
să începeți.
Deci, mașina a pornit de aici și a coborât și a continuat să meargă așa cum se întâmplă așa, sau de-a
lungul acestui zid de-a lungul coastei.
Și ceea ce va face în continuare va merge va continua.
Ceea ce am vrut să facem este să continuăm să mergem aici.
Dar să ne gândim la asta o secundă.
Odată ce a ajuns în acest zid de fiecare dată când se mișcă înainte, se mișcă înainte.
Mută înainte Mută înainte Mută înainte Mută înainte Mută înainte și așa mai departe Mută înainte.
Deci ar putea fi ca în funcție de mediul de structură ar putea fi ca o sută de mișcări aici
sau 50 de mișcări aici.
Pur și simplu continuă să avanseze înainte și nu se schimbă nimic.
Nu se schimba într-adevăr că se obține o cale mai departe de acest lucru a început mai aproape de această poveste.
Este dragut.
Dar în ceea ce privește mediul înconjurător, nu se schimbă multe lucruri, este totuși același zid.
Dacă vă aflați în mașină probabil că ați văzut situația când conduceți în ceea ce vedeți este
ca mediul înconjurător este atât de monoton încât tocmai vedeți că un fel de același lucru trece doar
prin.
Dar, așa cum îmi imaginez că conduci printr-un deșert și doar vezi același lucru, e același
sunet că același sunet nu se întâmplă nimic.
Nimic nu se schimbă.
Și astfel bazat, dar de fiecare dată punem acel stat în starea asta nouă.
Da, desigur, s-ar putea schimba ceva pentru noi când conduci mașina și GPS-ul îți arată că ești
mai aproape de destinația ta.
Deci, unul dintre aceste intrări este ciudat, dar multe dintre aceste alte intrări senzori, de exemplu, care sunt
pe masina nu se schimbă și, prin urmare, pe măsură ce conduceți lent în această zi pentru a pune în
a pune intrări în propria dvs. aici aici aici aici aici aici și aici aici tot timpul intrările sunt aproape
la fel.
Și astfel dacă continuați să introduceți aceleași intrări aceleași valori în vectori sau în vectori foarte asemănători în rețeaua
dvs., deoarece nu există nici o varietate.
Mașina va învăța foarte bine.
Un lucru veti invata foarte bine cum sa conduceti de-a lungul acestui perete care este pe partea dreapta a acestuia si astfel
reteaua se va actualiza si va fi recompensata va incepe sa incet sa devina recompensata pentru condusul asa de bine ca
va fi.
OK, de-aici de aici voi învăța tot ceea ce fac atât de bine mă fac mai bine fac mai bine.
Toate.
Aceasta va avea această percepție falsă că se comportă foarte bine chiar dacă învață doar cum să conducă de-a lungul drumului, precum și alte
rețele neuronale vor deveni foarte adaptate pentru a conduce de-a lungul acestui bine și apoi dintr-o dată există
această curbă și mașina nu Nu știu ce să fac.
Și nu se potrivește complet cu această rețea neurală.
Și chiar dacă o face doar cumva să spunem ipotetic că trece un loc și apoi se termină pe acest
zid.
Același lucru se va întâmpla să conducă de aici de aici.
OK, acum rețeaua neuronală se restructurează pentru a se adapta la acest zid și apoi se întâmplă acest lucru.
Și apoi, chiar dacă într-un fel va trece, va trece pe lângă acest lucru și apoi pe același
lucru.
De fapt, acest lucru este un exemplu foarte viu al problemei pe care noi o avem ceea ce avem este
faptul că pentru că modul în care folosim rețeaua neurală actualizându-l în fiecare stat când avem
o mulțime de lucruri consecutive, acestea nu trebuie nici măcar să fie același lucru, dar există în medii
normale că statele consecutive sunt într-un fel corelate sau sunt într-un fel interdependente și nu vrem ca această interdependență să prejudicieze rețeaua
noastră.
Nu vrem ca masina sa invete cum sa conduca de-a lungul unei linii drepte sau a unei linii
lungi curbe sau ca orice altceva despre care crezi ca te poti gandi in viata in care un agent
ar fi mediul de navigatie unde ne putem gandi de corelatii sau state interdependente care vin după altul, care vă pot afecta
într-adevăr rețeaua neuronală.
Dacă vrei să lași agentul să învețe de la asta.
Și aici intră reluarea experienței.
Ceea ce se întâmplă în replayul de experiență sunt aceste experiențe, astfel încât aceste state că este într-una din cele două
trei, oricât de multe, 50 de state aici, în neuro, ele nu se pun imediat prin rețea.
Ele sunt de fapt salvate în memoria agentului.
Și astfel, de exemplu, salvează toate acestea și salvează toate acestea și altele la un moment dat când atinge un anumit prag pe
care îl vei putea codifica și Atlanta îți va arăta cum să faci asta.
Odată ce atinge un anumit prag, agentul decide singur că este timpul să înveți.
Am eu acest lot de experiențe pe care nu am de gând să învăț de la asta și
așa aleg aleatoriu o distribuție uniformă și uniformitatea este cheia este importantă aici pentru că asta e ceva despre
care vom vorbi despre următorul diapozitiv.
O să discutăm despre asta.
Dar este nevoie de o mostră uniform distribuită.
Deci, practic toate experiențele sunt considerate egale.
Este nevoie de un eșantion distribuit uniform din acel lot de experiențe pe care le are și apoi trece prin ele și învață de la
ei, astfel încât să nu ia toată experiența sau doar să o distribuie în
mod uniform probele ar putea lua câteva dintre ele de aici un cuplu de aici un
cuplu de aici și ea și fiecare experiență este caracterizată de statul în care a fost în acțiunea pe care a luat-o
statul în care a ajuns și pe răsplata pe care a obținut-o prin acea acțiune în acel stat specific, astfel încât patru elemente
din fiecare experiență stau una acționează statul doi și recompensează și astfel ia toate experiențele și apoi le trece prin
rețea și învață.
În felul acesta, se rupe modelul acestei prejudecăți care vine din natura secvențială a experienței ca și cum ați fi trecut
prin rețea una după cealaltă.
Deci, acesta este principalul obiectiv al experienței pe care o jucăm.
Asta este problema și adresa și un alt beneficiu al replay-ului de experiență este că, uneori,
într-un mediu ca acesta, s-ar putea să aveți experiențe rare foarte valoroase.
De exemplu, nu știu să spunem să vedem acest colț drept, acesta este colțul din dreapta.
Dreapta.
Și una foarte ascuțită este ascuțită.
Așa că va veni de aici presupunând că o să îmbrățișeze acest colț.
Deci, având în cele două colțuri drepte și drepte, avem aici în acest întreg un
colț drept aici și un colț drept aici.
Așa că atunci când vine așa, acesta este colțul din dreapta.
Și atunci când se întoarce, este un colț drept.
Deci, și acest lucru nu este ascuțit în acest fel în magazin, așa că există o
singură oportunitate în întregul mediu de a învăța dintr-un colț drept.
Și aceasta este o experiență foarte importantă, pentru că s-ar putea foarte bine să conduci de-a lungul liniilor drepte, să
devii foarte bine să faci niște colțuri moi, cum ar fi așa.
Și apoi va continua să păcălească acest colț drept, pur și simplu pentru că pur și simplu pentru că nu are această șansă de
a învăța din ea și astfel, va învăța totul foarte repede, dar va dura
mult timp pentru a afla dreptul curs.
Exemplul foarte simplificat este o explicație foarte simplificată, dar ilustrează conceptul că
uneori sunt experiențe rare care sunt valoroase.
Și dacă faci doar o rețea neurală simplă în care îți pui valori aici și știi că trec prin
ele și știi că chiar dacă uiți de acea problemă a naturii secvențiale a experiențelor și a
modului în care pot fi interdependent și tot corelat Thimphu chiar uita despre asta pentru
o secundă.
Ce se întâmplă este că odată ce puneți o experiență în ea trece prin rețele de date, atunci uitați instantaneu, dar
uitați de această experiență.
Treci la următoarea.
Așa funcționează rețeaua neuronală.
Apoi, treceți la starea următoare, următorul pas, următorul pas, următoarea experiență, experiența X,
experiența și așa mai departe.
Deci, acest colț din dreapta, imediat ce trece printr-o rețea, a dispărut și nu aveți nici o amintire a
acelei experiențe valoroase.
În timp ce am experimentat reluarea pentru că puneți aceste experiențe în loturi, puteți organiza bash-ul ca o
fereastră de rulare, de exemplu, ați putea avea 100 de loturi. Deci, o sută de
experiențe în lotul dvs., atunci când se va întoarce de aici, aceasta a înregistrat această experiență
în lotul său.
Apoi, ca într-un moment în care rulează, are o distribuție uniformă din lotul său de experiențe și apoi există o fereastră
rulantă, astfel că uită aceste experiențe, dar apoi păstrează aceste experiențe.
Și apoi, din nou, învață de îndată ce este aici, învață din acest lot și, odată ce este aici, uită tot
drumul până aici.
Dar, atunci are un lot de experiențe ca acesta, deci, de aceea nu învăța din aceste experiențe.
Și în acest fel ceea ce obțineți este că acest colț de dreapta ar putea veni de mai multe ori în procesul său
de învățare, deoarece era în acel lot când lotul era așa ca acolo, decât în
lotul de aici aici, așa că a venit în mai multe loturi, deoarece abasul ar putea
fi actualizat ca o fereastră de experiență.
Deci, experiențele mai în vârstă au dat naștere experiențelor mai noi sunt adăugate și apoi experiența din nou mai în
vârstă obține-o.
Așa că și experiența rămâne în lot timp de ceva timp și mașina sau agentul poate învăța de la această experiență de
mai multe ori.
Acesta este un alt avantaj al reluării experienței.
Și, bineînțeles, avantajul final este replayul de experiență, care vă oferă ocazia de a învăța din mai multe
experiențe decât dacă învățați doar unul câte unul pentru că aveți acel lot și,
prin urmare, este o fereastră rulantă și, prin urmare, chiar dacă mediul dvs. este limitat pentru a vă experimenta abordarea replayului experienței
vă poate ajuta să învățați mai repede.
Și, în loc să repetați, există multe multe de multe ori pe care le puteți învăța repede, pentru că nu trebuie să le
refaceți.
Ați salvat aceste experiențe.
Deci acestea sunt principalele avantaje ale experienței.
Să recapitulăm că avem.
Noi distrugem acest model asupra independenței și corelării experiențelor secvențiale, salvăm experiențe rare care ar putea fi
importante, prin urmare putem învăța de la ei mai des și putem învăța în
medii în care putem învăța medii Fosler care sunt experiență.
Avem o lipsă de experiențe care nu au atât de multe experiențe pe care agentul le trece și
încă putem să le învățăm.
Deci, aceasta este ceea ce experiența revine despre toate.
Dacă vrei să citești ceva mai mult decât asta.
Există un articol interesant publicat de mintea profundă în 2016, care se numește reluarea experienței
prioritare și se vorbește de ce.
De ce folosim o distribuție uniformă pentru a alege experiențele noastre din experiența Bachche de ce nu găsim o modalitate
mai bună de a alege experiențele noastre și de a prioritiza unele dintre experiențele pe care
le considerăm importante.
Este un lucru destul de interesant, dar în acest caz, veți fi capabil nu numai să vă
consolidați sau să nu vă consolidați doar cunoștințele despre replayul de experiență, dar, de fapt, veți putea să vă deplasați cu tehnologia
de vârf.
Deci, acesta este anul 2016 și publicat de minți adânci.
Este o lucrare foarte recentă, foarte puternică, astfel încât să puteți explora limitele sau să explorați și mai mult acest
algoritm și să îl treceți la nivelul următor.
Așadar, vă voi lăsa să vă aflați de ce și cum putem schimba uniforma într-o abordare diferită de a
experimenta reluarea din această lucrare dacă doriți.
Și sper că vă place să vă bucurați de asta.
Tauriel și acum știm ce experiență este cu adevărat și o putem folosi cu încredere în cercurile noastre practice și mă uit
că te văd data viitoare.
Până atunci, bucurați-vă de AI.