Bună ziua și bun venit la acest tutorial această jucărie specială va fi super incitantă pentru că ne apropiem
de A. S. C. algoritm.
Veți vedea că ceea ce suntem pe punctul de a implementa și care se numește trasabilitate de
eligibilitate sau Sarsour este de fapt un algoritm al algoritmilor agenți sincrone activi de critici care nu îl putem considera.
Și vedem pentru că vom avea în continuare un agent, dar totuși veți vedea
că ceea ce urmează să implementăm este luat de fapt din următoarea lucrare, care este această lucrare ca metodă Synchronoss
pentru învățământul de întărire profundă și este în această lucrare veți găsi algoritmi A-3 pe care le vom
implementa ca bonus final al acestui curs.
Dar, după cum am spus, ne apropiem de ea, deoarece modelul care va implementa chiar acum este
de fapt cel sincron și secularizat, cel care este aproape A3 C care face după aceea, ci cu
un agent, iar lucrul puternic în acest sens este acest lucru și pasul Cunanan vom învăța să acumuleze recompense și
să învățăm ținta cumulativă pe pașii finali în loc de un pas ca Priestley.
Și asta va face ca formarea să fie mult mai performantă și, prin urmare, este mult mai puternică.
Deci avem de fapt pseudo-codul pentru acest algoritm este acest algoritm ca aici.
Deci haideți să faceți clic pe ea și acolo mergem.
Acesta este algoritmul pe care îl vom implementa.
Dar amintiți-vă doar cu un singur agent, diferența este că aici acționează.
80 în conformitate cu politica președintelui Greely bazată pe valorile q pentru starea actuală și acțiunea
jucată.
Dar în cazul nostru nu am implementat o politică ecologică excelentă.
Am implementat un soft Max.
Dar restul este același lucru pe care îl puteți vedea.
Vom calcula suma cumulativă pe care am lucrat și că trec efectiv 10 pași.
Amintiți-vă că pașii sunt egali cu 10.
Și astfel vom implementa această linie de cod în algoritmul pe care suntem pe cale să îl implementăm chiar acum.
Vom lua asta.
Și mai ales vom implementa acest lucru.
Veți vedea că vom obține maximum de valorile q pentru starea curentă și acțiunea curentă
în acest theta.
Aici este doar un parametru țintă.
Deci haideți să facem acest lucru să atacăm acest algoritm.
Aceasta se numește învățare sincronă și stick.
Dar nu avem dreptul să spunem sincron în măsura în care suntem preocupați, deoarece avem doar un motor.
Dar, prin urmare, putem să o numim și să învățăm criteriile de eligibilitate sau chiar Sarsour.
Bine, să facem asta.
Va fi foarte distractiv.
Putem urma codul de aici și asta vom face.
Și așa cum puteți vedea un parametru de care avem nevoie este din nou până parametrul care
este parametrul dezintegrare și, prin urmare, vom începe prin introducerea unei variabile pentru acest parametru Gahanna și alegerea lor.
Deci, să facem asta.
De fapt, nu avem nevoie de o sală de clasă extraordinară. Putem pur și simplu implementa această
funcție cu o funcție, pentru că știi că nu avem nevoie să creăm obiecte pentru ca
urmărirea modelului să fie o funcție care să fie suficientă, deoarece practic ceea ce vrem să facem este returnează intrările și ținta
astfel încât mai târziu când antrenează AI suntem pregătiți să minimalizăm distanța dintre predicții și țintă și pentru a obține
previziunile de care avem nevoie, deoarece vom aplica creierul nostru pe intrare pentru a obține rezultatele semnale care
vor fi previziunile noastre.
Apoi, odată ce avem predicțiile și obiectivele noastre, vom fi gata să pregătim AI
încercând să minimalizăm această mare distanță între previziuni și toalete.
Deci asta e totul de a face acest lucru chiar acum.
Implementăm această funcție pentru a putea să reîntoarcem aceste intrări în sovietici, astfel încât să fim
pregătiți pentru instruire pentru a minimiza previziunile la distanță pătrat pentru a gestiona toaletele.
Bine, deci să facem acest lucru așa cum am spus că vrem să implementăm funcții.
Începem cu asta.
Asta o vom numi eligibilitate subliniată.
Îl puteți numi și pe Sarsour.
De asemenea, puteți să-l numiți pas pentru a suna orice vreți, dar să-l numim urmărire eligibilitate
și această funcție va lua un argument care va fi un lot și de ce este pentru că
vom obține niște intrări și câteva ținte pentru că vom instrui AI pe loturi.
Astfel, intrările și țintele vor intra în câteva loturi și, prin urmare, argumentul de intrare
aici este acest lot care va conține mai multe intrări și apoi câteva ținte care vor calcula.
Așa că mergem.
Acesta este singurul argument de care avem nevoie.
Acum hai să intrăm într-o funcție și să definim ceea ce trebuie să facem.
Așa cum am văzut în bazilica lucrării, avem nevoie din nou de parametrii așa cum am spus că începem
prin introducerea acestui parametru gamma semi-închis și putem deja să descifrăm valoarea.
Și vom alege patru puncte nouăzeci și nouă care este o valoare clasică bună pentru Ghana și Norreys.
Am verificat că aceasta este o valoare bună pentru AI.
Acum, pasul următor este să ne pregătim contribuțiile și obiectivele noastre, pentru că exact așa vrem să
ne întoarcem.
Vrem să întoarcem intrările în ținte pentru pregătirea formării.
Și astfel putem deja să le inițializăm cu o listă goală, deoarece, desigur, aceste intrări În interiorul celor
mai bune vom avea mai multe intrări într-o listă și atunci când inițializăm intrările ca
o listă, precum și țintele pe care le mergem.
Deci ne-am initializat si am pus in obiectivele noastre si in final aceasta functie de urmarire a eligibilitatii va
returna exact aceste inputuri.
Iar acestea au fost, desigur, Filton.
Avem mai multe intrări și mai multe ținte asociate în ceea ce vor fi returnate de funcție.
Următorul pas următor este să începeți o buclă și tocmai pentru că urmărim codul
lent al hârtiei.
Acest tip de cod.
Și, după cum puteți vedea, există această secțiune de cod repetat și repetată exact o bucla completă în cod.
Vom calcula răsplata cumulativă acum acumulată în cele 10 pași.
Și cum se calculează.
Ei bine, în fiecare pas, care nu este ultimul pas, vom obține maximum de valori de bază ale monedei pe care
suntem în această perioadă și pașii se vor executa.
Și dacă ajungem la ultimul stat al celor 10 pași, acesta va fi egal cu zero.
Nu mai vreau să mai fac asta.
Și apoi avem acest lucru pentru buclă, care va fi un alt sus.
Ei nu spun repet aici, dar este același lucru va fi a doua bucla completă în algoritmul nostru.
Ei bine, vom avea la asta am fost în acest fel, înmulțind-o cu parametrul decalaj gamma și
adăugând cuvântul.
Deci, haideți să facem acest lucru să ne întoarcem la Python și să începem complet așa.
Și ce va fi variabila iterativă.
Ei bine, asta va fi seria noastră cu 10 pasi.
Știți seria noastră de 10 tranziții, așa că vom numi această serie variabilă care reprezintă o serie de 10
tranziții ca o succesiune de 10 tranziții.
Deci, pentru serii în.
Și apoi ce credeți.
Ei bine, seria noastră va fi la lotul nostru.
Există loturile pe care se va instrui seria AI și așa mai departe în lot, care este pentru toate seria de
10 tranziții din lotul nostru de intrare.
Ei bine, unde vom face bine pentru a obține o recompensă cumulativă, veți vedea în silice că avem
nevoie de statul de la prima tranziție a seriei și, de asemenea, stadiul ultimei tranziții a seriei.
Deci, ceea ce trebuie să facem acum este să obțineți aceste stări de intrare și astfel vom pune aceste două
state într-un mod viabil care urma să se numească input și vom obține aceste două stări de intrare.
Primul dintre serii și ultimul pe care o vom pune într-o gamă non-pilot, dar nici o grijă nu va rămâne
cu acest lucru și Ampyra, desigur, va transforma acest lucru într-un oribil, dar primul pas
este de a pune aceste două statuează pe primul din ultimul într-un imperiu.
Și așa chiar aici în această matrice vom adăuga prima intrare care este etapa de intrare a
primei tranziții a seriei și care este Seria și apoi să o luăm pentru o tranziție luăm indicele zero
al seriei care este prima tranziție și apoi putem accesa prin luarea atributelor sale care este stat și
asta deoarece, din experiența noastră, reluarea fișierului am găsit o structură specială pentru fiecare tranziție
și cunoașteți structura.
Fiecare tranziție este compusă dintr-un cuvânt de stat de acțiune.
Dar ultimul element care se face astfel încât această structură specială pe care ni se permite să o folosim
chiar acum vine din modul în care am definit tranziția și reluarea experienței.
În acest caz, primim starea de intrare a primei tranziții și acum permitem și obținerea
etapei de intrare a ultimei tranziții a seriei.
Și pentru a face acest lucru este de a spune că putem doar să copiați acest lucru și să-l lipiți și să înlocuiți așa cum
sunteți aici de ultimul indice al seriei la care putem accesa cu acest truc minus o serie minus unul care stat
va primi starea de intrare a ultimului trecerea seriei.
În acest caz, trebuie să punem aceste două elemente în interiorul unor paranteze pătrate, deoarece asta este ceea ce este așteptat de
către arbitru o funcție și apoi un lucru important de făcut din moment ce vom transforma acest lucru
într-un răspuns torch într-o variabilă a torței.
Amintiți-vă bine că un tensor al tortei este, prin definiție, o matrice specială care conține un singur tip.
Și trebuie să forțăm să avem un singur tip.
Și, ca de obicei, vom alege tipul de flotor și așa mai departe adăugând acest parametru, aici tipul D este
egal și P care plutește.
Pentru ca tu sa poti lua asta si acum putem transforma asta intr-un tensor de torta intr-un voievod de torta.
Deci, hai să facem asta.
Ei bine, mai întâi să-l convertim într-un senzor de torță.
Și amintiți-vă că putem folosi torche de la non-prime pe care o ducem și am pus toată matricea celor două stări de intrare în
interiorul acestui dansator de torte cu torța de la ele printr-o funcție perfectă care va transforma aceste tablouri ale celor
două state de intrare într-o torță senzor.
Și acum am pus această torță răspuns într-o torță foarte bine folosind clasa variabilă astfel de intrare va fi un
obiect al clasei valoroase.
Și, de fapt, pe măsură ce ați înțeles această clasă variabilă, toate acestea sunt argumentate și
creează obiectul.
Bine, acum ar trebui să fim buni.
Avem cele două intrări de care avem nevoie.
Aceasta este starea de intrare a primei tranziții și apoi introducerea spun că ultima tranziție.
Și acum, acum că avem input-urile Ei bine, ce putem obține putem obține semnalul de ieșire din creierul
AI.
Aceasta este predicția că o vom numi ieșiri.
Acesta este semnalul de ieșire.
Și pentru a obține ieșirile.
Ei bine, acum este foarte ușor pentru că avem deja un creier creat, care este rețeaua noastră
neuronală convoluționară.
Și astfel putem pur și simplu să ne luăm creierul CNN aplicat la intrările care vor readuce predicția care este
rezultatul la fel de simplu.
Și acum suntem deja gata să trecem la pasul următor.
Iar următorul pas este să începeți să calculați această comunitate dacă doriți.
Deci, acum vom face exact la fel ca și algoritmul nostru Sarsour sau ar trebui să-l numim
și pași spre învățare.
Vom introduce o variabilă cumulativă de recompensă, care va fi recompensa cumulativă, să ne întoarcem la hârtie, după cum puteți
vedea acum ce trebuie să facem pentru a obține această răsplată comunitară care
este aici.
Ei bine și fiecare pas al celor 10 pași este necesar să îl actualizăm prin adăugarea unui zero la această comunitate dacă am
fi fost dacă am ajuns la ultima etapă a seriei sau maximul valorilor de bază dacă nu am ajuns la ultima etapă
a seria care este pentru toate statica care a durat.
Deci, asta e pur și simplu un bonanzas.
Să ne întoarcem la Piscean.
Deci, această recompensă a comunității așa cum am văzut va fi egală cu zero la zero dacă am ajuns la ultima
stare și putem scrie această condiție în acest fel dacă seria de indici minus 1.
Aceasta este ultima tranziție a seriei.
Apoi adaugam asta pentru ca ati facut de fapt un atribut al stii ca aceasta structura tranzitorie pe
care am definit-o in experienta in care ne jucam experienta noastra reluam fault si acest lucru a venit de
fapt de la structurile de deschidere pentru ca daca mergem la site-ul deschis Allergan care este de fapt corect aici
am pregătit-o.
Asta face binele sau vizirul.
Și dacă mergem la documentație și apoi dacă noi.
Acesta este tutorialul cu care vă încurajez să vă uitați.
Puteți conduce un mediu pe care Knowsley îl puteți observa că observațiile noastre că acestea sunt
tranziții sunt definite de o observație.
Vrem ca acest lucru să fie făcut aici și acest lucru înseamnă exact că sa încheiat o tranziție sau un pas.
Și așa vom folosi acest lucru făcut aici pentru condiția noastră de IF.
Prin urmare, iSeries nebunie atunci când acest lucru înseamnă că în cazul în care ultima tranziție a seriei este de peste este finalizat.
Și astfel, această recompensă cumulativă va fi egală cu zero dacă se va efectua ultima tranziție a seriei.
Altfel, dacă nu am ajuns la ultima tranziție, recompensa cumulativă va fi actualizată cu
așa cum am spus maximul valorilor-cheie.
Și deoarece această ieșire aici este rezultatul creierului care este predicțiile rețelei neuronale.
Și după cum știți, predicțiile rețelei neuronale sunt valorile estimate. Ei bine, această ieșire
conține valorile.
Și din moment ce trebuie să luăm maximum de valorile q bine, trebuie să adăugăm mai întâi acest
index, deoarece această structură conține două valori cheie și următoarea.
Apoi trebuie să adăugăm date pentru a accesa datele.
Această structură de ieșire știți că are structura specială a voievodului torței.
Deci, cu asta obținem valorile noastre de bază și apoi vrem să luăm maximum de valorile
noastre și deci adăugăm că Max.
Și acum obținem exact ceea ce ne dorim, ca și în hârtie, acest maxim de valori cub pentru statele
non-terminale ca să fie perfecte.
Și acum ceea ce vom face este să facem al doilea pas.
Aceasta este pentru cei 10 pași ai seriei pe care o vom actualiza cumulativul a plecat în acest fel prin înmulțirea mai întâi
de către Gamma a parametrului de degradare pe care îl avem deja și apoi adăugarea cuvântului B.
Deci, să facem asta.
De fapt, vom face exact la fel ca la pseudocod, după cum puteți observa că încep de
la dreapta.
Deci, nu încep cu primul pas și intră în ultimul test pe care îl încep cu ultimul pas.
T-minus 1 până la primul pas pentru a începe.
Exact asta vom face și asta pentru că vrem să obținem
în cele din urmă răsplata cumulată egală cu egalitatea noastră sau zero plus gamma sau 1 plus gamma pătrat sau doi plus plus plus
gamma la puterea de 10 sau 10 unde sunt 1 sau 2 care sunt 10 sunt cuvintele obținute în fiecare dintre
etapele seriei.
Deci, să luăm o pauză rapidă înainte de a lua a doua bucla completă și vă voi vedea în tutorialul următor.
Până atunci, bucurați-vă de AI.