Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Astăzi vorbim despre prima parte a lui A-3, vezi rolul critic al actorului.
Așa că avem un avantaj sincron.
Actor algoritm critic.
Și vom vorbi despre asta a subliniat Akrotiri.
Acolo vom începe.
Poți începe din punct de vedere tehnic oriunde, dar are mai mult sens pentru a
porni de la un critic, pentru că așa vom avea ca o explicație foarte consecutivă a înțelegerii intuitive a ceea ce se întâmplă, ne
va facilita.
Dar dacă începem să surprindem încă la sfârșitul acestei aberații.
În acest moment, în acest curs, am învățat o condiție profundă de învățare Kule, care este ilustrator aici, așa
că avem calculatorul văzând pixelii, astfel încât imaginea și pixelii reali nu sunt doar un vector.
Așa că nu este înșelător este de fapt să vedem exact ceea ce vede un om vede că
monstrii vede sănătatea pe care o vede parametrii din partea de jos vede cardul sau vede arma este exact același lucru pe care un om îl
va vedea atunci când joacă acest lucru joc.
Apoi, această imagine este trecută printr-un șanț convoluțional și apoi este trecut printr-un lariat de tragere și
se întinde într-o rețea neuronală și apoi la ieșire avem acțiuni cum ne amintim că avem acele valori de
cub, atunci aplicăm o politică de selecție a acțiunii lor.
De exemplu, aplicăm un soft Max și aflăm ce acțiune vrem să luăm.
Și așa se întâmplă ceva explorări și exploatări.
Există o combinație a celor două.
Deci, funcționează cât de profundă învățare amuzantă.
Dar acum să vedem ce vom face cu asta.
Deci, din simplitate, doar pentru ca este mai usor sa ne operam este pentru ca noi vom incerca sa
ajustam aceasta imagine si sa o mutam in jur.
Vom înlocui cercurile cu pătrate cu aceste sau cu cutiile dreptunghiulare.
De asemenea, vom scăpa de aceste linii și de a le schimba doar la săgeți, astfel încât acest lucru
nu schimbă esența.
Aceasta este doar reprezentarea pe această diagramă.
Aceasta este încă chiar această reprezentare este încă profund convoluție Kule de învățare este doar pentru a fi
mai ușor pentru noi să-l modifice și să arate exact ceea ce este.
Deci așa vom reprezenta lucrurile de aici.
Și ceea ce face sau această parte specifică începe astfel.
Amintiți-vă că începem ca pas cu pas să începem cu partea critică activă.
Așa că vom vedea cum mergem de la învățarea profundă a Kule de la A-3, a vedea pas cu pas și primul pas, vom
introduce acest critic al actorului PARTOVI aici, așa că vom vorbi despre asta.
Deci, primul lucru care se întâmplă este ultimul.
Rezultatul este de fapt că o să redesemnăm așa, așa că este exact
aceeași ieșire exact aceleași valori q sunt exact aceeași acțiune.
Deci dacă el ar avea opt acțiuni posibile, aveți încă opt acțiuni posibile, care le vor pune în vârf, astfel încât
acestea să ia mai puțin spațiu, așa că nimic până acum nu sa schimbat nimic până acum.
Acest lucru este exact același lucru.
Dar acum aici vine partea critică activă.
Vom avea oa doua ieșire.
Vom avea primul ca un set de rezultate și aici vom avea o producție individuală separată, astfel
încât din punct de vedere tehnic vom folosi rețeaua neurală.
Deci o dată pe oră.
Sau imaginea și tot felul de valori trec prin rețea de la stânga la dreapta aici.
Ei nu scuipă doar un set de valori care scuipă de fapt două seturi.
Și astfel, partea de sus a spus că știm cu adevărat ce acțiuni este posibil, dar aici vom avea de fapt o
altă valoare suplimentară, așa că să aruncăm o privire la asta.
Care este acea valoare.
Deci, aici mergem pe partea de sus.
Așadar, am dori să reducem mărimea acestei ilustrații.
Performanța de vârf este valorile cubului așa cum am discutat anterior pentru acțiuni.
Deci sunt același lucru.
Totul este același.
Dar atunci această parte de jos și partea superioară sunt de fapt numite X sau îi
vom da un nume care este actorul, deoarece aceasta este partea în care agentul alege ceea ce vrea să facă astfel încât
să fie ca și cum ar acționa ca și cum interpretează pe scenă și va avea mai multă sens când vom avea
al doilea nume pe ecran.
Și apoi a doua ieșire este la fel ca o valoare și este V de S, deci este valoarea statului.
Deci, dacă q din S este Q al lui A este valoarea q a unei anumite acțiuni și după cum puteți vedea de aceea există acțiunea o singură acțiune două acțiuni trei sunt
la acțiune șase sau mai mult, ceea ce înseamnă că acțiunile care ar putea exista în
acea stare.
Deci într-o anumită stare s Care este valoarea q a acțiunii o acțiune la acțiune o acțiune și așa mai departe.
Apoi aici, de asemenea, ne prezicem că folosim și rețeaua neuronală pentru a anticipa care
este valoarea stadiului în care ne aflăm și această parte este numită critic.
Și deci este intuitiv pentru un fel de intuitiv nici măcar intuitiv, care este la fel ca începutul intuiției
din spatele actorului, care prezice că acum există două ieșiri din rețeaua neurală, nu doar una.
P înainte să-l avem pe cel care a depășit ceea ce numim acum acțiunea.
Dar acum avem două ieșiri Akshara și critic.
Și va fi dinamică între ele pe care o vom explora mai departe.
Dar, deocamdată, este important să înțelegem că nu prezicem doar valorile acțiunilor pe care agentul le poate lua de la starea
actuală, ci și prezic valoarea valorii de a fi în acest tip de stat folosind
aceeași rețea de același an.
Deci, acesta este nucleul primului pas în criticul activ.
Și acum va trebui să vorbim despre un sincron pe care îl vom face tutorialul
următor pentru a înțelege exact ce se întâmplă între datorie și ultimul lucru pentru astăzi este că toate aceste valori-cheie, după cum
știm, se numesc și Puls .
Deci, într-o anumită literatură în unele bloguri și unele discuții pe care le-ați putea găsi în criticul activ pe
care ați putea-o găsi autorul vorbind despre valori Cue pe partea actorului, în unele din alte articole de literatură și postări
pe blog și discuții veți găsi agrah autorul vorbind despre această politică și, de obicei, utilizează utilizatorul ca
o literă greacă P pentru a reprezenta politica sau doar a spune politica de stat.
Deci, toate acestea sunt politica de stare a lui, deoarece, așa cum ne amintim, politica
este că dacă puneți toate acțiunile împreună acțiunile posibile și apoi decideți ce acțiune să faceți.
Deci, acestea vor fi ca probabilitatea de a lua fiecare acțiune, astfel că aceasta este politica.
Deci, nu fi aruncată dacă vedeți una sau cealaltă.
Înseamnă în esență același lucru.
Deci, pe de o parte, aici aveți politica sau valorile q, pe de altă parte, aveți valoarea
reală a statului și sunt anticipate din acel an în acel an.
Deci, acesta este începutul criticului activ va continua acest lucru în următorul tutorial atunci când
vorbim despre un sincron și căutați să vedeți acolo.
Până atunci bucurați-vă de.