Bună ziua și bun venit la Statoil.
OK, așa că am calculat entropia și l-am adăugat la lista de entropii.
Și acum ceea ce vom face este să luăm o scădere aleatorie a unei acțiuni în funcție de
distribuția probabilităților din următoarea.
Deci, să facem asta.
Acesta este pasul următor.
Suntem încă în buclă, deoarece încă mai fugim pe pașii de aici.
Și acum știți cum să jucați acțiunea.
Vom introduce mai întâi o variabilă pentru acțiunea numită acțiune și apoi vom
lua distribuția probabilităților și vom folosi funcția neurală multiplă pentru a trage la întâmplare din această distribuție a
probabilităților și apoi vom adăuga acele date.
Deci, este important să rețineți că acțiunea va fi de fapt un tensor cu o singură valoare, dar nu ar trebui să
vedeți acest lucru ca o valoare simplă.
Ar trebui să vedeți acest lucru ca pe unul dintre tensori, care conține această valoare pentru acțiune.
Și asta pentru că nu este stors încă în aceeași pentru buclă.
Vom obține probabilitatea de logare asociată acțiunii care a fost jucată.
Și atunci când mă întâlnesc cu probabilitatea mea de noroc aici, luând pe cea precedentă norocul precedent
de la ceea ce am calculat aici și apoi am să utilizez cealaltă metodă la care voi introduce 1 și acțiunea care a
fost doar jucând pentru că vrem să obținem probabilitatea de noroc asociată acestei acțiuni.
Așa că cel de-al doilea argument aici o să-mi pun acțiunea, dar trebuie să fie o tortură oribilă așa
cum este cerută de funcția adunată și funcția adunată doar indică cu un întreg tensor.
În regulă, acum am obținut aspectul asociat acțiunii care a fost afișată.
Și acum, următorul pas este să adăugăm ceea ce avem la lista de aici.
Așa că am obținut valoarea.
Asta am ajuns aici ca ieșire a modelului.
Apoi am primit și problema de blocare.
Așa că vom adăuga blocarea în lista de elemente de blocare.
Adăugăm deja entropia la entropie și este mai puțin bună, iar recompensele vor fi obținute ulterior.
Așa că vom deschide acum valoare și o privire la lista de valori și procesul de lege.
Să o facem.
Luăm lista de valori pe care o adăugăm că folosim funcția de cheltuieli și adăugăm valoarea care a fost
returnată de modelul perfect, apoi Same pentru probele de blocare. Tocmai am primit noile noastre elemente de recuzită și o vom
adăuga la lista de elemente de blocare.
Și astfel, în această funcție de anexă putem pune un jurnal din norocul nostru probabil că a fost calculat doar aici.
În regulă, listele noastre sunt acum actualizate.
Acum, ceea ce vom face este să jucăm acțiunea, deoarece chiar de aici am selectat acțiunea
luând o remiză aleatorie de la distribuirea probabilităților aici.
Dar, de fapt, nu am jucat-o încă și o vom juca acum, ca să putem ajunge la noul stat și, prin
urmare, să obținem noua tranziție și să o jucăm.
Vom lua mediul înconjurător, deoarece vom juca acțiunea în mediul nostru, apoi
vom folosi metoda pasului.
Și în interiorul nostru specificăm acțiunea care a fost selectată pentru ao juca și pentru a face acest lucru luăm acțiunea noastră și noi adăugăm că
nici unul nu pentru că asta este ceea ce se așteaptă ca aceasta să fie funcția.
Ok, dar acest lucru întoarce de fapt noul stat și, de asemenea, noua recompensă, deoarece prin atingerea noului stat avem o nouă recompensă
și, de asemenea, avem o nouă valoare pentru Dunn să știe dacă jocul este sau nu făcut.
Bine, deci, cu aceasta jucam actiunea la care ajungem la un nou stat si primim o recompensa si stim daca
am terminat cu jocul.
Și vorbind despre terminarea jocului.
Ei bine, vom adăuga ceva aici care se va asigura că un agent nu este stivuit în unele
state.
Și pentru a face asta vom actualiza ceea ce sa făcut foarte bine în felul următor.
Ei bine, va fi egal cu a făcut sau vom adăuga o condiție spunând că episodul jocului nu
ar dura prea mult timp și vom vedea în funcția principală că va exista un parametru de lungime maximă
care va fi egal la 10000.
Și nu vrem ca un episod să dureze mai mult de 10000 de unități.
Așa că vom auzi lungimea episodului care este lungimea unui episod și vom scrie
o condiție mai mare decât episodul Lex maxim că nu am spus în realitate acest lucru.
Îl obținem de la parametrii noștri pentru a termina aici Paramjit, dar Ramstad.
Max este lung.
Deci, acest lucru înseamnă că dacă jocul este terminat sau durata episodului este mai mare decât lungimea maximă a setului de episoade
care va fi egală cu 10000.
Ei bine, jocul se va face și vom începe un nou joc.
OK, asta e doar o măsură de precauție.
Și vorbind de precauție, vom adăuga o altă măsură de precauție pentru a strânge recompensa între minus 1
și plus 1.
Am primit deja că suntem aici, dar vrem să ne asigurăm că recompensa se situează între minus 1 și plus
1.
Și pentru a face acest lucru, trebuie doar să actualizăm recompensa, făcând asta luând maximul, apoi luându-i
pe cei cu recompensă și 1.
Și aici luăm maximumul minimului de recompensă și 1 și minus 1 și care se va asigura că recompensa se
situează între minus unul plus unu.
In regula.
Deci, o altă percuție.
Și acum doar vrem să verificăm dacă jocul este terminat, caz în care vom reîncepe mediul.
Și de ce trebuie să verificăm că acum e pentru că tocmai am ajuns la un nou stat.
Tocmai am trecut o nouă tranziție.
Așadar, trebuie să verificăm acest lucru după trecerea acestei noi tranziții.
Ei bine, jocul nu se face astfel dacă se face din nou dacă se face, atunci
în acest caz, vom restarta mediile prin setarea lungimii episodului la zero.
Și, de asemenea, statul va fi re-inițializat pentru a reinițializa pe măsură ce luăm mediul înconjurător
și vom folosi funcția de resetare OK.
Acum ieșim din această condiție care tocmai verifica.
Și acum ceea ce vom face este de când am ajuns la o nouă stare în timp ce această
nouă stare este acum și apoi de Ray, deoarece amintesc că statele sunt imaginile de intrare care inițial sunt numite de matrice.
Și acum ceea ce trebuie să facem este să transformăm noul stat într-un răspuns torturat.
Deci vom actualiza starea noastră și vom folosi biblioteca tortei.
Și, bineînțeles, de la funcția non-thailandeză pentru a converti această non-platitorii de stat imaginile de intrare într-un senzor de
torta.
Perfect.
Și acum, ultimul lucru pe care trebuie să-l facem înainte de a ieși din asta pentru bucla care este bucla
pe pașii noștri Ei bine, este, bineînțeles, să-și petreacă recompensa pe lista de urmărire.
Acesta este ultimul lucru pe care trebuie să îl actualizăm, am actualizat lista cu excepția recompensei.
Așa că o să facem acest lucru acum, când ne luăm recompensele și folosim funcția creierului pentru a
adăuga ultimul cuvânt care a fost primit perfect.
Și chiar înainte de a ieși din buclă, trebuie doar să facem un ultim verificare pentru a verifica dacă, dacă se face,
atunci vrem să oprim expirarea.
Și așa vom adăuga aici o pauză.
Înseamnă că, dacă se termină, vom opri explorarea și vom trece imediat la următorul
pas, care va fi actualizarea modelului comun și acum suntem gata să facem acest lucru pentru că agentul și-a
făcut explorarea.
Acesta va actualiza modelul partajat și vom avea grijă de acesta în următorul tutorial și așa mai departe I.