Bună ziua și bun venit la acest tutorial.
Acum, avem AI-ul nostru gata să fim pregătiți.
Și primul pas al antrenamentului este de a ne reda experiența.
Așa că ajungem încet.
Formarea și vestea bună este că avem o versiune implementată a reluării experienței.
În afară de aceasta este adaptat la urmărirea eligibilității pe care o reamintesc este o tehnică care, în loc să
învețe valorile q, fiecare tranziție o învață la fiecare 10 tranziții.
Deci, practic este exact la fel ca înainte.
Dar, în loc să avem o singură țintă un singur cuvânt pentru fiecare pas, vom avea o țintă cumulativă de
zece pași și o recompensă cumulativă de 10 pași și vom învăța de fiecare dată câte 10 pași.
Așadar, învățăm pe tranziții cu 10 pași în loc de unul ca înainte.
Și cu asta voi face minuni și asta va face unele minuni pentru procesul de instruire.
Știți că antrenamentul va dura mult mai puțin timp.
Datorită acestei tehnici, trebuie să specificăm reluarea lipsa de experiență pe care o învățăm la fiecare 10 pași.
De aceea, repetarea acestei experiențe nu este o implementare clasică a reluării experienței.
Ca și pentru mașina de auto-conducere.
Este o implementare a reluării experienței, luând în considerare aceste 10 pași de învățare și, prin urmare, veți găsi
în această experiență fișierul de replay două clase de o clasă care face ca progresul dvs. AI să facă zece
pași, astfel încât să rezume recompensele sunt observate pe acești 10 pași.
Aceasta este prima clasă și avem nevoie de această clasă pentru că trebuie să includeți acești 10 pași
în clasa de memorie replay, care este aplicația pentru sala de clasă pentru experiența pe care o jucăm, și
astfel asigurăm că memoria ia în considerare și faptul că suntem învățare pe 10 pași.
De aceea veți găsi două clase în această implementare a replay-ului de experiență, dar asta
înseamnă doar să țineți cont de faptul că învățăm în 10 pași și care trebuie luați în considerare și în memorie.
Deci, vorbind despre memoria noastră, să o creăm.
Vom numi memoria noastră de memorie și memoria va fi un obiect al memoriului replay al memoriei, iar clasa de memorie
replay este o clasă a acestei replay-uri de experiență chiar acum.
Și așa că iau mai întâi această experiență repetată experiență experiență și asta este locul în care am lua clase de memorie
relua.
Perfect.
Și acum puteți vedea că trebuie să punem două argumente, primul argument fiind și pașii care corespund
exact numărului de pași pe care vom învăța valorile-cheie.
Deci știi numărul de pași pe care acumulăm ținta și dorim.
Vom avea o țintă cumulativă și o recompensă cumulativă, iar al doilea argument
este capacitatea care este dimensiunea memoriei.
De exemplu, aici putem vedea zece mii.
Deci, dacă capacitatea este egală cu 10000, înseamnă că atunci vom avea o dimensiune de 10000
și, prin urmare, asta înseamnă că vom obține o amintire a celor 10000 de pași făcuți de ochi.
Dar din nou nu vom învăța fiecare tranziție.
Vom învăța fiecare zece pași de-a lungul ultimilor 10000 pași ai memoriei și aceasta este exact noua
caracteristică pe care o introducem aici în comparație cu înainte.
Înainte să avem doar un truc de memorie reluată și aici avem acest truc de memorie reluată, plus acest truc pe care
l-am învățat la fiecare zece pași și vom învăța fiecare zece pași și o vom
face în memoria compusă din ultimii 10000 de pași.
Și acest lucru este replay experiență combinate cu trăsături de neeligibilitate cu 10 pași va îmbunătăți considerabil
performanța de formare.
Deci, să terminăm cu aceste două argumente.
Primul este și pași și va fi egal cu.
Dar pentru moment să spunem și pașii vor specifica ce pas este imediat după ce va fi de fapt un abject al
celeilalte clase ale acestui fișier de reluare a experienței, care este clasa progresului treptei pas și care
permite să progreseze în timpul a zece pași.
Și amintiți-vă în timpul celor 10 pași pe care le vom auzi cuvintele pe cele zece pași pentru a obține recompensele cumulate
pe parcursul a 10 pași.
Și acesta este exact testul de eligibilitate.
Deci acum ceea ce trebuie să facem este să creăm acești pași aici și îl creăm cu cea de-a doua clasă pe care o avem
în acest fișier de reluare a experienței, care este un progres pas.
Deci, acum vom crea pași în acest sens și acesta va fi un obiect al clasei progresului pas pe
care îl vom relua din experiența pe care o jucăm.
Vom merge acolo.
Deci, aceasta este clasa anti-progres și acum trebuie să punem trei argumente, după cum puteți vedea că
trebuie să punem mediul care este mediul în care am importat.
Apoi al doilea argument este AI-ul nostru și acesta va fi, desigur, AI pe care l-am
construit chiar aici în U. S. iar ultimul argument este pasul în acest caz, unde vom specifica că vrem
10 pași pe care știi să îi înveți la fiecare 10 pași care sunt la fiecare 10 tranziții.
Deci, hai să ajutăm cu aceste argumente.
Primul este mediul înconjurător și asta este o doom și totul potrivit.
Apoi, al doilea este AI-ul nostru de AI și că am numărat ai ai.
Acesta este cel de aici.
Deci, acesta este doar numele argumentului clasei treptei de progres și asta ai ai.
Iată-ne pe ai ai.
Cel pe care l-am construit și apoi ultimul argument este și stivă și este egal cu 10.
In regula.
Deci chiar acum luăm în considerare în memorie faptul că există o învățare pe 10 pași și
această învățare pe 10 pași se numește urmă de eligibilitate.
Deci, lucrăm cu adevărat la lucrurile avansate aici.
Dar amintiți-vă că pentru că încercăm să fim Dume, nu este nimic de a face o bucată de prăjitură.
Deci, avem nevoie de aceste tehnici avansate pentru a face să funcționeze.
Deci acum suntem aproape gata.
Înainte de a trece la pasul următor care va fi de fapt despre implementarea tăvilor LGBT,
singurul lucru pe care trebuie să-l includem este capacitatea cursului și adică 10000 de bărbați, vom avea dimensiunea de 10000,
ceea ce înseamnă că memoria va conține ultima 10000 de pași efectuate de AI și care ne vor permite
să generăm un număr mare.
După cum îmi amintesc, era o funcție simplă.
Știți că memoria conține 10000 de tranziții, dar pentru a instrui ochiul, vom încerca atât de multe loturi de
zece tranziții, nu unul față de 10 tranziții de data aceasta și vom încerca aceste
mini-loturi de 10 tranziții în memorie compuse din cele 10000 de pași .
În regulă, acum cred că suntem gata să trecem la următorul pas, care vizează implementarea
urmăririi eligibilității.
Așa că o să avem o aventură aici.
Aceasta nu va fi o implementare simplă.
Așa că ai o pauză bună și când ești gata, putem ataca asta.
Și apoi bucurați-vă.