Bună ziua și bun venit la Statoil.
Deci, agentul a făcut explorarea, iar atunci când urmează să facă este să actualizeze rețeaua partajată.
Primul lucru pe care îl vom face este să inițializăm cumulativ ceea ce o vom numi capitalul nostru R
și îl vom inițializa ca tensor de torță, dar care va avea dimensiunile unul câte unul, deoarece este doar o valoare, dar
ne-am dorit a fi un tensor.
Și deci folosesc aici numai zerouri și apoi 1 1.
Deci, în principiu, recompensa cumulativă este inițializată la 0.
OK, atunci spunând dacă nu am terminat, asta e dacă jocul nu sa terminat.
Ceea ce vrem acum este ca recompensa cumulativă să fie egală cu valoarea ultimului comerț atins
de rețeaua partajată.
Așa că vom obține valoarea de ieșire.
Cunoasteti valoarea rezultatelor functiei modelului nostru si aceasta este valoarea pe care o vom da comunitatii pe care o
desfasuram.
Deci, să obținem mai întâi această valoare, putem să o obținem în acest fel.
Valoare Apoi, știți că de vreme ce dorim doar valoarea adăugată aici să subliniem și apoi să subliniem din nou și apoi
să luăm modelul nostru pentru că va scoate această valoare, dar numai prima ieșire a lucrurilor morale de făcut este dublă
pe cursul său aici și aici putem copia doar pastele pe care le avem aici.
Aceasta este intrarea modelului cu imaginile de intrare și tragerea stărilor și a statelor sudice.
Deci, eu doar lipesc asta și acolo mergem.
Vom obține valoarea.
Și acum ceea ce vom face este să ne dăm valoare, astfel încât toți vor fi egali cu valoarea și pentru a avea acces la valoarea pe care
o avem la acest început acolo.
In regula.
Acum, condiția dacă este făcută și acum ce vom face de când avem o nouă valoare de către noi știți
că obținerea rezultatelor modelului este prima ieșire a modelului bine care deja adaugă această nouă valoare la
lista de valori.
Prin urmare, putem lua direct lista noastră de valori apoi spre un cort și le punem variabilele fiind pentru că noi.
Această ultimă valoare este atât de mare încât se face acum.
Vom inițializa pierderile și ne amintim de prelegerile de intuiție.
Aveți două pierderi.
Aveți ultima politică care este ultima legată de predicțiile agentului.
Și apoi aveți ultima valoare care este mai puțin legată de predicțiile criticului.
Așa că vom introduce aceste două variabile inițializate în zero și vor lua
aici politică pentru pierderea oribilă a politicii noastre.
Inițializați-l la zero și apoi valoarea a pierdut o mulțime de valoare și spuneți că a inițializat-o la zero, atunci să nu uităm să
setăm recompensa cumulativă ca variabilă torch pentru că vom avea nevoie să fie o torță Roybal pentru
că vom calcula un gradient cu respectul pentru aceasta, deoarece recompensa cumulativă va fi un
termen al pierderii de valoare.
Deci este viabilă acum, este atașat grafurilor dinamice cu un gradient.
Și acum, în cele din urmă, ultimul lucru pe care trebuie să-l facem înainte de a începe buclele de tendințe mari pe care le
cunoaștem atunci când aplicăm la gazele se degradează la soare pentru a reduce ultima dintre predicții și ținte.
Ei bine, trebuie să inițializăm GAAP pentru estimarea avantajului generalizat și să nu îl obținem sau neacoperit.
Aveți grijă cu acea GAAP variabila pe care urmează să o inițializăm acum este estimarea
avantajului generalizat.
Deci, ca o rememorare, estimarea avantajului generalizat este, prin definiție, avantajul de a juca
acțiunea prin observarea stărilor.
Deci, este o funcție a acțiunii și a stării și este egală cu diferența dintre valorile
q Q A S și valoarea funcției V.
Deci, de fapt, o pot scrie aici.
Estimarea generalizată a avantajului este o funcție a acțiunii și a stării s și care este egală
cu valorile q ale acțiunii A și a stării S minus valoarea funcției V aplicată stării
s.
Acestea sunt avantajele generalizate de menționat și asta este ceea ce vrem să inițializăm chiar acum.
Și o vom inițializa la zero.
Dar trebuie să fie față de dansatori care urmau să folosească același truc ca și ceea ce
am făcut-o chiar aici, să luăm biblioteca tortei și să aplicăm funcției zebrei ca să o punem ca un tensor al unei singure
valori care este zero.
Și vom folosi această nouă variabilă g și care va fi egală cu acea torță pe care ni-o dăm un zeros ca
una inițială.
Deci, aceasta va fi inițializată la zero și, prin urmare, valorile q ale acțiunii, starea s va fi
egală cu valoarea funcției V a stării s.
In regula.
Și acum suntem gata să pornim bucla pentru.
Așa că o să avem o aventură aici.
Deci, faceți o pauză bună și vă voi vedea în tutorialul următor pentru a ataca.
Și atunci eu.