Bună ziua și bun venit la acest tutorial.
Acum avem creierul de mâine.
Avem, de asemenea, optimizatorul.
Deci, practic, suntem pregătiți să pregătim diferiții agenți.
Asta este creierul nostru diferit.
Deci, asta va face de acum încolo această funcție de tren mare care va conține tot algoritmul A3 și prin urmare
ceea ce urmează să implementăm în acest tren am găsit doar această treaptă imensă de tren care va fi
doar acest tren mare nu funcționează nimic altceva nu dar care va folosi această funcție a trenului.
Și ultimul pas al acestui modul cu codul principal.
Așa că mergem.
Dar, înainte de a începe, puteți observa asta.
Mai intai importim cateva biblioteci, asa ca sunt bibliotecile clasice cu modulul torch.
Vreau să spun că biblioteca ta torchă se termină apoi biblioteca pentru a crea mediul care va izbucni.
Atunci vom importa, de fapt, clasa din modelul nostru.
Trimiteți-l pe acesta.
Și în final vom folosi o variabilă de la TORCIDA.
Regret să conduc concursuri de înaltă performanță la pantă.
Datorită graficelor dinamice.
Și apoi avem acest lucru să asigurăm funcția gradului comun, pe care nu am vrut să-l petrec prea mult timp pentru că,
bine în primul rând, aceasta este doar o funcție care va face sigur că totul funcționează corect.
Dacă modelul utilizat de agent nu are niciun gradient de partajare.
De aceea se numește diplome scurte, iar celălalt motiv este că nu cred că această funcție
este necesară.
Dar nu stim niciodata si cel putin cu aceasta va fi 100% sigur ca codul se va executa in mod corespunzator, dar
asta nu este cu adevarat important.
Trebuie să ne concentrăm asupra acestei funcții de tendință pe care o vom începe cu toții acum.
Deci, aici mergem.
Def și trenul vor deveni în curând un tren și această transformare va lua mai multe argumente.
Primul este rang.
Voi explica ce este și al doilea este cel de-al doilea, astfel încât toți
parametrii sunt mediul.
Apoi, al treilea parametru va fi partajat moral.
Deci știi că modelul partajat este ceea ce agentul va ajunge să-și conducă puțin explorarea pe un
anumit număr de pași și apoi în final ultimul argument va fi optimizatorul care este cel pe care l-am făcut mai devreme.
Atât de perfectă, încât e vorba de argumente.
Și acum suntem gata să începem implementarea aceleiași funcții.
Deci, primul lucru pe care îl vom face este că știi că îți amintești ce înseamnă A-380 că înseamnă
agenți Crilley sincrone activi.
Deci, în 8: 3 vezi că există un sincron.
Așa cum ați înțeles că trebuie să desființăm fiecare agent de instruire și pentru a face economii, atunci
vom folosi rangul pentru a schimba fiecare parte cu acest rang, astfel încât acest parametru de rang aici este doar pentru a schimba semințele astfel
încât fiecare agent de instruire să fie sincronizat.
De exemplu, dacă există agenți de instruire, rândurile vor merge de la 1 la 10 și va exista un număr
întreg pe agent de la 1 la 10.
Când vom schimba semințele cu un fir, toate numerele pseudo aleatoare create de acest fir vor
fi complet independente de celelalte fire.
Cu toate acestea, semințele sau numerele fixe.
Atunci când vom reproduce experiența vom găsi exact aceleași evenimente.
Și asta pentru că este determinist în ceea ce privește scaunul.
Deci, este important să înțelegem și de aceea trebuie să facem sincronizarea fiecărui agent de stagiu prin folosirea
acestui punct pentru a schimba semințele cu rangul.
Deci, hai să facem asta pentru a face asta.
O să luăm biblioteca torței.
Apoi vom obține semințele cu paranteze de însămânțare subliniază manual.
Aceasta este o funcție și acum vom lua semințele tuturor agenților cu care putem avea acces din
acea sămânță și să le schimbăm de rang pentru a se sincroniza.
Fiecare dintre acești agenți se va adăuga aici, plus rec și care va schimba semințele cu rangul pentru a distrage fiecare agent de formare,
deoarece există o singură sămânță pentru fiecare agenție de formare.
Primul lucru pe care l-ați făcut și acum următorul pas este să obțineți mediul înconjurător.
Așa că vom crea o nouă variabilă pe care o vom apela și acum o vom folosi pentru a
crea Atari și a funcționa din modulul final pentru a crea mediul pentru breakout.
Aceasta este pentru a obține mediul de a izbucni.
Așa că luăm această funcție creând Terry și acum trebuie să introducem doar un singur argument care sunt parametrii
mediului.
Și le avem pentru că aceasta este una dintre intrările funcției creierului.
Acesta este acest parametru care va fi parametrii mediului de breakout și, prin
urmare, pentru a obține mediile de breakout luăm aceste argumente de program, atunci și apoi vom obține un nume care, în viitor, care
este în următorul cod cu funcția principală care va executa întregul
cod va fi Breakout Brahial Vizier.
În regulă, pentru a ne face să fie perfect mediul înconjurător.
Și acum, pasul următor este alinierea scaunului mediului pe unul dintre agenți.
Și de ce facem asta?
Este pentru că amintesc că fiecare agent al lui A-3 Silmaril are propria sa viziune asupra mediului cum ar
fi propria sa copie a mediului și, prin urmare, avem nevoie să aliniem fiecare dintre agenți într-o versiune specifică a
mediului și să facem că vom merge pentru a utiliza scaunul deoarece fiecare scaun determină un
anumit mediu.
Deci, prin asocierea unei semințe diferite fiecărui agent bine, vom obține exact ceea ce dorim, că
fiecare agent va avea propriul său mediu.
Și cum putem face acest lucru, putem să luăm mediul în care trăim atunci, apoi folosiți funcția de sămânță pentru a ști că alegeți cele
pe care le primește pentru mediul înconjurător.
Și acum, pentru a alinia scaunul mediului la semințele agentului.
Ei bine, avem nevoie pur și simplu pentru a obține acest lucru, deoarece acest lucru corespunde scaunului de agent care a fost mutat lucrurile
pentru a rang pentru a obține agenților decent de formare organizat, deoarece acestea sunt toate pe un set diferit.
Așa că trebuie să plătim acest lucru aici și acest lucru va alinia scaunul de mediu pe
cel al agentului. Bine, acum ne vom da modelul.
Adevărul este A-3.
Și acum este că vom folosi clasa activă din fișierul nostru model.
Deci, vom crea în principiu un obiect nou al acestei clase de activitate și vom numi acest model
de obiect sau creier dacă doriți.
Dar, în esență, acest obiect va conține toate convoluțiile CM Conexiunea liniară și funcția
Ford pentru propagarea semnalului.
Deci, va conține în principal creierul actorului în critic cu capacitatea de a propaga
semnalul în creier pentru a obține ieșirea finală.
Deci, haideți să facem acest lucru să ne creăm modelul așa cum am spus că vrem să numim acest model de obiect.
Așadar, am creat un obiect al clasei de creație Act și, prin urmare, luăm un critic actor de clasă și acum ne amintim ce
argumente în cazul celor două intrări.
Aceasta este de fapt argumentele funcției.
Deci, de sine, trebuie să o introducem, știi că este ceea ce trebuie să facem pentru a folosi obiectul în metodă.
Dar atunci argumentele pe care trebuie să le punem sunt nominalizările care sunt în formă rea, care se realizează în
lanțuri de artă în imagini tipărite și în spațiul real care conține tu știi setul de acțiuni.
Deci, să punem aceste argumente în funcția de tren.
Deci, prima o putem obține cu mediul nostru și că apoi vom folosi spațiul de observație, care este spațiul
de observații, atunci că și apoi veți obține numărul de intrări obținem nuanțe de umbră zero.
In regula.
Asta e pentru intrări.
Și acum pentru spațiul de acțiune.
Ei bine, este aproape la fel cum avem nevoie pentru a obține din mediul nostru că suntem importanți decât atât.
Și apoi spațiu de acțiune.
In regula.
Și asta ne oferă argumentele pe care trebuie să le furnizăm atunci când creăm un obiect.
Modelul clasei execrate.
OK, acum avem modelul nostru și acum următorul pas este să ne pregătim stările de intrare.
Amintiți-vă că încă facem o învățătură informală mai profundă, astfel că intrarea afișează imaginile noastre de intrare și, prin urmare,
aceasta va fi inițial făcută de Ray care va conține un canal, deoarece vom lucra cu imagini
alb-negru și va avea timp în oceane de 42 de 42.
Dar este important să înțelegeți și să rețineți aici că stările de intrare sunt imagini de intrare.
Deci, ceea ce trebuie să facem este să-i luăm pe cei care nu sunt de putere, atunci o vom transforma într-un răspuns la tortură.
Dar primul pas ca ceea ce am făcut înainte a fost să-l luăm pe un arbitru și să-l obținem.
De fapt este destul de simplu.
Ei bine, mai întâi trebuie să creăm o variabilă pentru starea de intrare care va trece de stat și asta pentru a obține o
matrice de arbitri.
Pur și simplu trebuie să luăm mediul înconjurător, apoi să ne adaptăm și apoi să folosim funcția de resetare.
Și aceasta va inițializa statele ca o serie de imperii de dimensiuni una câte 42 de 42.
Unul înseamnă 1 canal atât de alb și negru și 42 de 42 este, bineînțeles, dominările imaginii.
Numărul de pixeli și lățimea și numărul de pixeli și înălțimea.
Deci, practic, asta e doar momentul de timp.
Și cu asta lucrăm.
Și acum, acum că avem acest lucru de fapt, în umpiring pentru că acest lucru ne va aduce aceste imagini de astfel
de asigurare de timp în Imperiu.
Acum le putem converti în dansatori cu torțe și pentru a face acest lucru, vom reveni la o stare de date din nou pentru
că nu avem nevoie să păstrăm matricele de numere.
Și aici folosim torța modulului torță.
Și amintiți-vă că am făcut deja acest lucru în legătură cu funcția de la paranteza non-thailandeză de subliniere.
Și în interiorul acestei funcții trebuie să introduceți rata numărului pe care dorim să o convertim într-un senzor al tortei.
Și aceasta este situația în care versiunea anterioară a matricei de stat non-pay va fi transmisă de la
funcția de țeavă a unui senzor de torță, astfel încât doar creează intense de la stat.
Și acum trebuie să inițializăm realizarea viabilă.
Amintiți-vă că variabila este, în general, variabila care spune dacă un episod este terminat sau dacă jocul sa terminat.
Ei bine, aici vrem doar să introducem acest lucru foarte bine și inițial la adevărat pentru a specifica că acest
Do not Voivode va fi egal cu adevărat atunci când jocul este terminat.
Acest lucru va fi util pentru mai târziu, astfel încât AI nu se joacă la nesfârșit pentru a izbucni.
In regula.
Deci, acesta a fost, în principiu, începutul acestei funcții de tendință, cu o oarecare inițializare și câteva lucruri pe care trebuie
să le facem.
Cea mai importantă componentă a fost aceea că trebuie să excludem fiecare agent de formare.
Acesta este un prim principiu al lui A3 similar pe care trebuie să îl aplicăm.
Și acum, în tutorialul următor, vom trece la sincronizarea cu modelul partajat.
Să nu uităm că există un model diferit, dar și modelul de partajare care este un model pe care
îl împărtășesc toți agenții.
Și astfel trebuie să ne sincronizăm cu modelul de prezentare, astfel încât fiecare agent să poată obține acest model partajat pentru a
trece la o mică explorare a unui anumit număr de pași.
Așa vom face în următoarea Statoil.
Și până atunci să vă bucurați de AI.