Bună ziua și bun venit la poveste.
Acum vom face ca bucla pentru ca să calculeze pierderea de politică și pierderea de valoare și odată
ce avem aceste două lecții, vom putea să folosim optimizatorul nostru pentru a plasa țigara în nisip
pentru a reduce pierderile.
Bine, deci mergem.
Începem aici pe drumul din tutorialul anterior pe care l-am implementat în această secțiune și am uitat să scot indiciile
de rău pentru asta.
Așa că plecarea de aici nu este în toamnă.
Și acum începem o nouă buclă completă, așa că încep cu patru.
Și acum ceea ce vom face este să începem de la ultimul pas făcut în timpul explorării și
vom pleca înapoi în timp.
Deci, de aceea fac pentru că eu, în recompense, terenuri recompense cel mai mare recompense este cel mai mic.
Și din moment ce fiecare pas al explorării este asociat cu locul unde lucrăm, deoarece la fiecare pas primim recompensă
atunci când suntem cuvintele.
Este acest număr de pași și această inversă aici este folosit pentru a ne putea muta înapoi în timp, astfel încât să mergem.
Și acum ceea ce vom face este să actualizăm recompensa cumulativă care este departe și o să o actualizăm în
acest fel.
De fapt, este același lucru cu ceea ce am făcut pentru Doom.
Ea este egală cu gama pe care o obținem de la parametrii noștri și luând din primele programe care nu de mult
ori plus recompensa pe care o putem obține, luând cea mai mică răsplată și luând indicele.
Deci, pentru noi aceasta va fi lucrarea ultimului și apoi va fi răsplata zilei precedente și etc.
și de fiecare dată când ne actualizăm Înmulțind-o cu gamma și apoi adăugând această recompensă la set.
Și astfel, făcând asta, amintiți-vă că vom ajunge în cele din urmă.
Așa că am să o scriu pe măsură ce vor veni și vom primi recompensa noastră comunitară care va
fi rece la sfârșitul bucla până la zero.
Recompensa de la pasul zero plus orele gamma este una.
Am fost primii care în plus față de cuvântul "gamma".
Cel de-al doilea pas plus plus gamma la puterea și minus o dată răsplata atins la pas și minus 1 în cazul în care un număr
de pași, dar apoi să fie atenți la sfârșitul vom avea gama la puterea de numărul
de pași.
Timpul devalorizează valoarea funcției aplicate ultimei stări.
Trebuie să ajungem încă.
Și asta vom obține asta deoarece amintim aici că avem această valoare și ultimul pas pentru că acest lucru a fost făcut
la sfârșitul acestui ciclu aici.
Așa că am obținut valoarea și am stabilit că suntem egali cu acea valoare.
Așa că acum sunt la începutul celei de-a doua buclă completă aici va fi egală cu această valoare a ultimei
date.
Dar apoi, făcând asta, vom obține în cele din urmă egal sau zero procente sau un teren de tenis sau
două plus putem adăuga puterea și minus de câte ori am fost la pas și minus un joc
plus la puterea numărului de pași ori de această valoare a Exercițiilor.
Deci, acesta este principalul lucru de înțeles și aceasta poate fi acțiunea recompensei cumulate.
De aceea este important să porniți de la aceasta inițializându-vă sau făcând clic aici și făcând această buclă
inversă pentru a obține perfect această ecuație finală.
Și acum, acum că avem valoarea potrivită pentru recompensa cumulativă Ei bine, vom calcula avantajul
și avantajul aici este doar avantajul obținerii acestei recompense în comparație cu ei.
Așadar, am să introduc un avantaj evolutiv și, prin urmare, va fi egal cu această recompensă
cumulată minus valoarea funcției V obținută în etapa respectivă.
Așadar, acesta este valoarea noastră minus.
Perfect.
Și acum, că avem comunitatea pe care o desfășurăm și avantajul, atunci putem obține pierderea de valoare.
Acesta este primul care putem obține acum.
Așa că vom obține valoarea noastră foarte bine și aceasta va fi actualizată în felul următor.
Amintiți-vă până acum că ne-a devalorizat inițial la zero.
Și așa vom lua din nou pierderea de valoare și la 0. De 5 ori pătratul în avantaj, astfel încât să putem obține în acest
fel.
Avantajul sa gândit prea.
Așa că înseamnă doar să pătrundem avantajul puterii și aceasta este exact valoarea
plus pierderea generată de predicțiile valorii ieșirilor funcției de către pârâu.
Și deci are sens că aceasta este devalorizată doar pentru că amintește de avantajul acțiunii în
starea s este diferența dintre valoarea Q și valoarea funcției B.
Și atunci când jucăm acțiunea optimă Ei bine, obținem starea staționară cu Q optimă a acțiunii optime, un jucător
de stele în stare fiind egal cu valoarea optimă.
Vistar al statului.
Deci, este destul de intuitiv să înțelegem că atunci când avantajul nu este egal cu zero, atunci va exista o
diferență între aceste două.
Și, prin urmare, este măsurată ultima.
O.K.
Deci ultimul a calculat ultima dată în jos.
Mai avem încă unul.
Este pierderea de politică și asta este ceea ce vom calcula acum și pentru a calcula
acest lucru, trebuie să luăm din nou în considerare estimarea avantajului generalizat, deoarece pentru a calcula pierderea politicii avem nevoie de o
estimare a avantajului generalizat și de a obține avantajele generalizate asupra națiunii avem nevoie mai întâi de diferența temporală a
supapelor de scenă.
Deci avem mai multe lucruri de calculat aici și vom începe cu această diferență temporală odată ce vom
obține diferența temporală.
Vom primi estimarea generalizată a avantajului și, odată ce vom obține avantajele generalizate, vom menționa
că vom obține peninsulele.
In regula.
Deci, să începem cu diferența temporală T. G. DD este egal cu recompensa pasului I,
plus Ghana, pe care le primim lucrurile în lista noastră de programe, astfel încât Bromstad gamma ori valoarea acestei datorii
plus unul și adăugăm acele date pentru a le accesa minus valoarea pasului I și aceleași lucruri pe care le adăugăm datele.
In regula.
Aceasta este formula diferenței temporale și a valorilor de stat.
Și acum putem actualiza estimarea generalizată a avantajului și cum este datată.
Ei bine, luăm R-GA și îl înmulțim cu gama de parametri gamma, așa că accesăm și cu parametrii
noștri.
Așa că luăm celula de programe și adăugăm această diferență temporală a valorilor de stat.
Deci fii atent.
Suntem în buclă.
Și de fiecare dată când înmulțim cu și până și adăugăm o diferență temporală.
Deci, este important să înțelegeți că la sfârșitul acestei bucla Ei bine, această estimare
generalizată a avantajului va fi egală cu suma tuturor etapelor timpului gamma, astfel încât puterea de i ori a diferenței temporale la pasul să fie atât
de importantă pentru a menține in minte.
Și acum că avem estimarea generalizată a avantajului și diferența generală pe care o putem calcula în
cele din urmă politica.
Deci, să facem asta.
Vom actualiza legile noastre de politică în următorul mod, luând vechea politică pentru noi și vom scădea probabilitățile
LUGG obținute la pasul pe care îl multiplicăm prin această estimare a avantajului generalizat că trebuie să introducem o
variabilă deoarece atunci vom calcula gradienti.
Deci, trebuie să fie atașat la gradienți în grafic și apoi să adăugăm minus 0. De 1 ori entropia.
Entropia obținută la pasul toamna.
Și din nou.
Acum fii atent.
Aceasta este bucla din interior, ceea ce înseamnă că, la sfârșitul gripei, ceea ce veți obține este politica și
este egală cu minus pe unele dintre pașii produsului luggin al politicii, în momentele de timp, până la estimarea avantajului
generalizat.
Plus asta 0. 01 de ori entropia face așa încât să ajungem.
Și acum ce este politica lui I.
Ei bine, aceasta este probabilitatea moale Max a acțiunilor și entropia acestui lucru, că voi știți ce este
acolo unde am calculat mai devreme.
Și ce am vrut să facem?
Deci avem deja asta.
Dar în acest an am auzit că este probabilitatea moale Max a acțiunilor.
Și de ce punem aici un minus aici.
Asta pentru că norocul probabilității și entropiei sunt valori negative.
Și din moment ce vrem să minimalizăm valoarea lor absolută, trebuie să vedem ultimul ca probabilitatea LUGG, spre deosebire
de o distanță.
Nu vrem să maximizăm probabilitatea acțiunii care va maximiza avantajul.
Aceasta este ideea din spatele ei.
Vrem să maximizăm probabilitatea de a juca acțiunea care va maximiza avantajul și pentru cei dintre
voi care s-ar putea întreba care este scopul acestei entropii eficiente.
Există acest factor 0. 01 aici.
Ei bine, scopul este acela de a preveni ca acesta să cadă prea repede într-o capcană în care avem o distribuție
de probabilități cu zerouri pentru toate acțiunile, cu excepția celei care are probabilitatea unei singure.
Și dacă se întâmplă asta, ar reduce entropia.
De aceea adăugăm aceste mici revizii 0. 01 an care va face ca entropia să crească
în Mare în sensul.
Așa că acum vestea bună este că cea mai dificilă parte este făcută.
Avem cele două pierderi și, prin urmare, ceea ce trebuie doar să facem acum și deja știm cum să facem este de a
face doar pentru a obține o notă în sensul de a reduce aceste două clase.
Și acum ceea ce vom face acum este să ieșiți din această buclă și o să luăm optimizatorul nostru.
Cel pe care l-am făcut separat atunci ne amintim că primul lucru pe care trebuie să-l facem este
să inițializăm toți parametrii de clasificare la zero și, pentru a face acest lucru, adăugăm că apoi la zero și se numește o metodă Grad.
În regulă, așa că sa făcut.
Acum o să facem o propagare înapoi, dar vom acorda o dublă importanță
politicii, ultima decât valoarea pierdută, deoarece politica este mai mică.
Deci, pentru a face acest lucru vom pune în politica de paranteză și scorul plus plus 0. 5 pierderea de valoare astfel 0. De 5 ori valoarea pentru noi și vom
adăuga aici că vom aplica metoda înapoi pentru a efectua propagarea înapoi și datorită acestui truc aici, cu
politica mai puțin plus jumătate din valoarea pe care o avem de două ori
mai multă importanță pentru politică decât Vanessa.
OK, atunci vom folosi un alt truc care va împiedica gradientul să ia valori extrem de
mari și, prin urmare, să genereze algoritmul.
Iar trucul de a face asta este de a obtine mai intai biblioteca tortei, apoi
capatul si modulul din biblioteca tortei, apoi submodul util si acum vom folosi o functie CLEP subliniaza gradul pe norma de
scor si vom introduce datele parametrii de model cu o intrare secundă care va fi de 40.
Iar acel truc va asigura în principiu că gradienții nu vor lua valori extrem de mari și
pentru a genera algoritmul.
Și pentru aceia dintre voi care s-ar putea întreba dacă acești 40 de ani.
Exact.
Ei bine, asta înseamnă că folosim aceste valori, astfel încât norma gradientului se situează
între 0 și 40 și, prin urmare, modul în care împiedicăm adunarea la valori mari.
OK, acum aproape am terminat.
Amintiți-vă că am făcut această funcție și ne-a împărtășit cu siguranță funcția Gretz la începutul toamnei, pentru a vă asigura că
agentul și modelul partajat împărtășesc aceleași gradienți și că faceți acest lucru pentru a vă asigura că putem
aplica această funcție aici.
Și așa vom adăuga și împărtășim cu siguranță gradul pentru a ne asigura că modelul moral și cel partajat împărtășesc
aceleași gradienți.
Bine, deci e doar o precauție.
Nu sunt sigur că este absolut necesar, dar știi că cel puțin nu vom avea probleme aici.
Bine.
Și, în sfârșit, ultima linie de cod, vom face, bineînțeles, pasul de optimizare pentru a
reduce pierderile și știi cum să o facem, desigur, luăm optimizatorul nostru și adăugăm acel pas cu paranteze și
apoi mergem la antrenamentul creierului nostru este peste.
Deci, felicitări.
Sper că nu a fost prea copleșitoare.
Nu vă faceți griji voi furniza codul cu toate comentariile.
Deci, dacă ați pierdut orice detaliu, puteți să consultați comentariile.
Și nu vă faceți griji dacă nu ați înțeles nimic, acest lucru este foarte avansat.
Dar fiți siguri că aceasta este și cea mai puternică vizită de amintire făcută de creatorul piesei pi.
Deci, lucrăm cu cei mai buni aici.
Stadiul tehnicii, astfel încât este absolut normal dacă nu ați primit totul pentru prima oară, dar dacă lucrați de ea
de mai multe ori, veți avea cu siguranță mai mult și mai confortabil.
Deci, acum am terminat cu antrenamentul.
De fapt, am făcut toate cele mai importante lucruri pe care le știi că le-am făcut creierului
construind arhitecturile rețelelor neuronale cu convoluțiile LCN și straturile complet conectate.
Ne-am antrenat creierul făcând acest cod de tren aici.
Deci, practic, inima algoritmului se face.
Ai făcut A3 să vadă felicitări.
Acum avem încă câteva lucruri de făcut, dar asta este doar pentru a obține parte distractivă.
Știți că trebuie să facem acest test pe care l-am găsit, care va testa agenții și va furniza
videoclipurile și avionul.
Deci, va fi foarte distractiv să privim că nu vom codifica toate liniile acestui test că am căzut pentru că așa cum am spus că
am făcut cel mai important lucru.
Toate legate de 23C, dar voi explica, bineînțeles, codul și, în cele din urmă, am făcut acest lucru am găsit, care
va executa codul.
Și din momentul în care executăm acest cod, tot codul va fi generat.
Deci creierul va fi făcut.
Antrenamentul se va întâmpla și ochiul va juca noi jocuri de breakout și vom obține toate videoclipurile.
Așa că nu pot să aștept să le urmăresc în cele din urmă.
Vom vedea dacă el este suficient de inteligent pentru a prinde mingea.
Deci, acum voi vedea în tutorialul următor pentru acest desktop UI, astfel încât să putem testa AI pe unele
jocuri noi.
Și până atunci să vă bucurați de AI.