Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Astăzi vorbim despre învățarea lui Kule.
În regulă, am obținut deja această ecuație, ecuația de bellmen, la care am adăugat o mulțime de componente.
Avem recompensa aici, care nu poate fi doar la sfârșit, dar poate fi la un anumit pas.
Avem factorul de reducere.
Avem probabilitatea, deoarece acum privim la marcajul proceselor decizionale.
Iar aici avem posibilitatea de a se termina într-un alt stat, indiferent de acțiunile pe care le luăm sau chiar
de acțiunile pe care le luăm.
Pot exista mai multe stări în care putem ajunge și apoi avem valoarea următoarelor state, pentru
că el are un fel de funcție recursivă și așa mai departe, dar probabil că aveți încă o singură întrebare.
Întrebarea este în cazul în care în toate acestea nu există nici o literă Q De ce se numește q.
Învăţare.
Deci, unde e curajul.
Și aceasta este întrebarea pe care o vom răspunde azi.
Până acum am avut de-a face cu valorile valorii de a fi într-o anumită stare și acum ne vom uita la modul
în care Q se potrivește și în toate acestea.
Deci, aici avem două exemple în stânga este ceea ce am fi făcut până acum agentul nostru analizează.
Bine, sunt aici.
Acesta este un semn al procesului de decizie, deci nu contează cum am ajuns aici.
Restul mediului nu-mi pasă de pașii pe care mi-a trebuit să-l găsesc de acum încolo.
Trebuie să fac decizia optimă unde să mă duc aici sau aici.
Pe baza stării actuale și a tuturor stărilor viitoare care vin de aici, dar nu din trecut.
Și poate să vadă că există trei opțiuni în care statul un stat este de stat trei.
Și pe baza experienței sale, el a calculat valorile în aceste stări și acum el va folosi ecuația
de bellmen.
Deci, chiar dacă acesta este un Proceso clasic, el știe că va merge aici, dar există șansa să se
ducă la stânga și așa mai departe.
Așa că pe baza acestor valori vom lua o decizie care este ceea ce facem până acum și care este o abordare
total legitimă aici.
Dar acum suntem modificați puțin.
Vom lua același concept exact la fel cu aceeași problemă exactă, dar aici, în
loc să privim valorile fiecărui stat pe care poate să-l ajungă, vom examina valorile sau valoarea fiecărei acțiuni.
Deci, noi nu vom mai folosi litera V pentru că pentru valoarea statului
vom folosi un Q și ar putea să aveți o întrebare de ce scrisoarea Q Ei bine.
Unii oameni speculează asta.
Q Voi citi asta.
Cred că pe Quora.
Cineva a menționat că Q este din cauza calității, dar în același timp nu am putut găsi alte referințe la acest lucru, așa că nu
ar putea fi pentru că ar putea doar pentru că aceasta este scrisoarea care a fost
folosită la acea dată și acum a devenit super populară pentru că este toate numite învățare cheie din cauza asta.
Deci nici un motiv exact nu a fost deținut.
Q Dar, cel puțin ne ajută să facem distincția între V și Q Așa că Q aici.
Au fost mai degrabă cadouri decât valoarea statului pe care îl reprezintă.
Reprezintă calitatea acțiunii pe care o reprezintă.
OK, așa că am patru acțiuni.
Care sunt calitățile diferite ale acestor acțiuni.
Care este valoarea acțiunii sau a calității acțiunii, acțiunea care este mai lucrativă, așa că am nevoie de o
metrică care să-mi spună bine cum pot cuantifica această acțiune și apoi o pot compara și că
este exact ceea ce este Q.
Și are patru acțiuni posibile.
Ca întotdeauna mergeți în sus spre stânga sau spre dreapta.
Și bazându-ne pe acțiune, theres va fi o formulă care ne spune valoarea cuantificabilă a acelei acțiuni pe care
o numim valoarea Q q a acelei acțiuni.
Deci, haideți să aruncăm o privire la modul în care vom deduce această formulă.
Ce legătură are de fapt cu acestea.
Pentru că așa cum vă puteți imagina pentru că acțiunile conduc către state, trebuie să existe un fel de legătură între cele
două.
Așa că am stabilit deja cum să calculezi acest lucru și suntem destul de buni la asta.
Știm cum să folosim ecuația Belman în medii foarte diferite, cu multe complicații diferite.
Ei bine, să folosim aceste cunoștințe pentru a înțelege modul în care putem calcula acum.
Q Pentru a face aceleași previziuni, pentru că vă puteți imagina că mediul nu se schimbă în
funcție de ce abordare folosim mediul va fi același indiferent.
Prin urmare, această abordare și această abordare ar trebui să ofere întotdeauna același rezultat și, prin urmare, acesta este un alt motiv pentru
care aceste două ar trebui să fie legate.
Să aruncăm o privire.
Deci, aici este abordarea noastră de vedere în care ne uităm doar la valoarea oricărui stat dat de acest stat sau
orice alt stat.
Iar aici intrăm aici, doar că folosim conducerea aici pentru că asta e starea actuală.
Și astfel, terminologia va fi aceeași în ambele ecuații și aici vom folosi q ca un Q
este statul și acțiunea.
A deoarece acțiunea este în desfășurare, dar în ce stare efectuăm acea acțiune, facem această acțiune în stat.
OK, acum vom trece la ecuația lui Belman pentru prima abordare, după cum
puteți vedea aici că avem valoarea sau valoarea oricărei anumite stări s este maximul recompensării pe care o obțineți pe baza unui pariu maxim despre acțiunile pe care
le aveți la trei.
În acest caz, de fapt, aveți patru acțiuni atât de maxime din toate acțiunile posibile ale acestei părți
pe care le-am auzit discutate de mai multe ori, astfel că aceasta este răsplata noastră pe care o obținem
de la efectuarea acelei acțiuni în această reducere de stat plaza, de fapt înmulțită cu cea așteptată valoarea noului stat că vom fi
într-o valoare așteptată, deoarece este un proces stocastic.
Nu știm cu exactitate că vom termina aici, s-ar putea să ajungem la stânga
sau la dreapta probabilității.
De aceea, aceste probabilități sunt în tine.
Bine, deci este valoarea noastră.
Și acum, să ne uităm.
Q Deci, Q va fi definit.
Vom folosi acest lucru pentru a defini Q Deci să spunem că agentul din această locație din această stare efectuează
acțiunea în sus.
Care este valoarea q care va fi apelată la.
Ei bine, mai întâi de toate, să vedem ce va primi în schimbul îndeplinirii acestei acțiuni.
Primul lucru pe care îl vei primi este un drept de recompensă.
N-are nicio îndoială despre asta.
Va exista un fel de regulă sau ar putea fi zero, dar știm că întregul este modul în
care acest proces de învățare a consolidării funcționează este că unele orașe realizează anumite acțiuni dintr-un anumit stat sau două.
Așa că o să adaug aici.
Și apoi vom adăuga ce vom adăuga.
Să ne gândim la asta.
Care este următorul lucru care se întâmplă după ce el merge acolo.
Ei bine, următorul lucru care se întâmplă este că agentul se află într-o anumită stare încât ar putea ajunge aici cu o
probabilitate de 80% sau o anumită probabilitate.
Dar de fapt aici sus aici.
Dar oriunde se termină acum, avem deja o metrică cuantificată pentru statul în care se află.
Și aceasta este de fapt valoarea acestui stat.
Dar pentru că a venit în multe state diferite și în trei state posibile diferite, trebuie să ne
uităm la valoarea așteptată a statului în care se va afla.
Și așa vom adăuga că vom adăuga.
Desigur, factorul actualizat, așa cum am avut în trecut, pentru că este undeva în viitor.
Și apoi vom adăuga unii din toate statele posibile în toate stările posibile, încât el ar putea ajunge
prin luarea acestei acțiuni.
Termeni de probabilitate.
Deci, ceea ce spunem aici este OK, prin efectuarea unei acțiuni veți obține o recompensă Plus, care este o
măsură cuantificată Plus pe care o veți obține.
Voi ajungeți într-un stat pe care nu-l știm pe care ar putea fi aici.
Ar putea fi aici, ar putea fi aici.
Dar aici este valoarea așteptată a statului în care o să ajungeți.
Și acum ne vom multiplica prin factorul de reducere, pentru că asta este o mișcare.
Deci, aceasta este valoarea noastră Q pentru această secțiune de performanță și ceea ce veți observa aici imediat este
asta.
Q Valoarea Q este exact identică cu cea din interiorul acestor paranteze de aici.
De ce, mă rog.
Ei bine, dacă vă gândiți că aici luăm cât mai multe rezultate, vom obține maximum în toate acțiunile
posibile, așa că am ajuns la acțiune, luând maximum în toate acțiunile
posibile ale rezultatului pe care îl obținem prin luarea fiecărei acțiuni și enqueue definim.
Interesant.
Ce vom obține luând o anumită acțiune.
Deci, dacă te gândești la asta, are sens că valoarea unui stat.
De exemplu, această stare este maximul tuturor valorilor Q posibile.
Așa că aici, în state, fiind în stare, agentul are o valoare cheie pentru a păstra valoarea 3Q pentru valoarea
q.
Deci da pozitiv pentru posibile valori Q în timp ce valoarea șederii
are sens că valoarea statului este maximul tuturor celor patru valori-cheie.
Acesta este exact ceea ce vedem aici.
Aceasta este o confirmare bună a acestei noi formulări pe care o derivăm.
Dacă nu ar fi fost cazul dacă dacă nu s-ar potrivi atunci vom avea întrebări.
De ce de ce nu se potrivește.
De ce nu se potrivește dacă.
Valoarea Q este o metrică cuantificată de a efectua o acțiune și V depinde de podea.
Este ca și cum ar fi maximul posibilelor rezultate ale celor patru acțiuni pe care le poate realiza peste acest lucru are
sens.
Și asta confirmă formula pe care tocmai am derivat-o și acum o vom face și mai interesantă.
Vom scapa de Wii în întregime pentru că puteți vedea aici că Wii are o funcție recursivă.
Așa că și atunci m-ai luat pe mine și apoi pe B și apoi pe B și apoi pe B și așa mai departe.
Deci, puteți să exprimați această viziune prin toate cele mai bune ale lui Vee, cele mai bune care vor
veni aici.
Ne asteptam la Q ca functie functie recursiva a OR in functie de urmatorul V si apoi va trebui sa conectam acest V
si apoi sa ne intoarcem la B.
Deci, ce vom face este că vom lua de fapt acest V și o să mergem să o înlocuim cu
Q. Deci, haideți să aruncăm o privire la asta.
Vom lua acest V din următoarea stare și o să conectăm asta la formula asta aici.
Și după cum puteți vedea acum, astfel încât această parte nu se schimbă această probabilitate nu se schimbă.
Dar cum am discutat despre s este maximul prin toate acțiunile lui q din S și un drept de aici.
Deci asta vom înlocui aici.
Așa că vom spune că maximul este, desigur, noua acțiune acțiunea pe care o vom
lua, deoarece aici avem Wii-ul ca prim.
Deci, aici avem acum consola maximală la prim.
Deci, acțiunile pe care le vom lua de la acest
stat sunt de oriunde, oricare alt stat vom ajunge, dar acțiunea pe care o vom lua de acolo și
Maxima peste toate acestea și maximul este de toate valorile cubului care vor care sunt la dispoziția noastră în acea stare nouă ca prima virgulă.
Și asta e acțiune.
Deci asta este.
Deci vor mai fi patru.
Valorile Q acolo.
Acum, după cum puteți vedea, să trecem din nou.
Deci, din ceea ce derivăm acest cuvânt, ar fi cauza doar prin logică și intuiție, astfel încât să putem
vedea că VNS sunt de fapt vederea AS și a și a sunt legate.
S-ul este maxim în toate acțiunile Cubei S și puteți vedea chiar aici, astfel că această parte este
identică cu această parte.
Și apoi o să folosim acest lucru și vom înlocui acest bit cu VNS de aici, dar nu cu această
pâlnie exactă vom lua această parte internă și o vom înlocui cu uciderea nevinovată.
Așa că o să conectăm asta aici și această parte va fi o primă maximă de cub de către
Crucell a Priam lui Q As Prime prime.
Și acum avem formula noastră.
Deci, acum avem o formulă recursivă pentru valoarea q, așa că acum agentul poate gândi care este valoarea secțiunii care este
calitatea acestei secțiuni a fost noua valoare a acestei acțiuni.
Ei bine, depinde de recompensa pe care o primesc în pasul imediat următor, plus
depinde de factorul actualizat ori maximul tuturor acțiunilor Q posibile în acea stare.
Dar nu știu dacă am de gând să-mi fac parte trebuie să mă uit și la
acel stat în acea stare și de aceea avem această valoare așteptată aici, deci avem niște probabilități ori maximul care este valoarea
așteptată.
Deci, o formulă foarte asemănătoare cu cea pe care o puteți observa, dar de această dată
exprimăm lucrurile prin valorile q și de aceea întregul algoritm este numit Kill learning, deoarece acesta este ceea ce se uită la acest lucru este ceea ce agenții folosesc de
fapt, statele se uită la posibilele lor acțiuni și apoi se bazează pe acțiunile privind valoarea
q a acțiunilor pe care le vor decide ce acțiune să ia.
Deci, ei vor uita doar la valoarea maximă Q în această stare dată, are patru acțiuni.
Care este cea mai bună acțiune pe care o puteți lua, astfel încât să poată compara felul de
comparare a diferitelor state care pot ajunge până la capăt, va compara acțiunile posibile pe care le are în prezent prin găsirea celui optim
care va lua această acțiune și apoi va angaja va repeta acest proces, repeta acest proces și așa
mai departe.
Deci, acum puteți vedea cum se întâmplă toate acestea cum răsplătesc faptele de actualizare sau decizia
pieței stochastice, iar valorile și valorile q toate se reunesc pentru a obține o ecuație
Belman super puternică pentru valorile q pe care le putem aplica acum și lăsați agenții noștri să învețe cum
să bată mediul înconjurător.
Și asta este o explicație intuitivă a ceea ce se întâmplă.
Știu că am trecut prin formule, dar este necesar pentru că este ca și
formula noastră, că am trecut prin întregul capitol și cred că este o trecere bună de la la.
Q Și ilustrează modul în care există legături între Yishun Și dacă doriți să obțineți un pic mai mult de o abordare riguroasă abordarea
matematică și cum vedeți matematica din spatele ei și să învețe ceva mai mult despre valorile
q și cum funcționează acestea.
Apoi, avem câteva lecturi suplimentare pentru tine.
Această lucrare se numește concepte și algoritmi de proces decizional Markov de către martín von Autor.
Așa că tăiați link-ul aici ca întotdeauna și aici puteți citi într-un pic mai multe detalii pentru a înțelege toate zgomotul
din spatele valorilor lui Hugh și așa mai departe și acum că am discutat despre toate
aceste lucruri legate de ecuația Belman acum suntem pregătiți să se uite la ceva mai complex, cum ar fi această
lucrare, dacă dacă vrem să obținem niște informații suplimentare în acest sens pentru a obține o înțelegere mai profundă.
Dar chiar dacă nu citiți ziarul sau radioul, ar trebui să aveți o bună cunoaștere a activității de învățare
și a modului în care agenții vin cu acțiunile pe care trebuie să le întreprindă într-un anumit mediu.
Deci, sper că vă bucurați astăzi de Statoil și aștept cu nerăbdare următorii dumneavoastră.
Până atunci, bucurați-vă.
I.