Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Astăzi vom vorbi despre ecuația lui Belman.
Este un subiect destul de complex și o vom introduce într-o manieră pas cu pas în
întreaga secțiune a cursului, așa că nu voi merge direct în cea mai complexă
versiune a ecuației Belmont, dar în schimb am o să o introducem încet, pentru a
înțelege treptat cum funcționează.
Și sper că obiectivul tău cu această abordare dacă ești G. R. Să intrăm direct în ea.
Deci vom avea câteva concepte-cheie cu care vom lucra și aceste concepte vor
fi.
S reprezintă stări, astfel încât starea în care este agentul nostru sau orice altă stare posibilă în care poate fi
o reprezintă o acțiune pe care un agent o poate lua.
Deci, un agent poate avea acces la o anumită listă de acțiuni și acțiuni sunt foarte
importante atunci când sunt privite într-o combinație de stat.
Deci, atunci când sunteți într-un stat swing și apoi vă uitați la acțiuni și începe
să înțeleagă ce va fi rezultatul acestor acțiuni, deoarece veți arăta o acțiune de
la sine sau un stat nu are sens cu adevărat pentru că tu nu știu unde ești și unde poți
să ajungi și apoi vom avea pe noi ceea ce înseamnă recompensă și asta e prin secția pe care agentul devine
pentru a intra într-o anumită stare și gamma este factorul de reducere.
Și vom vorbi despre factorul de reducere într-o secundă, toate au sens doar acum, dar ei doar iau
notițe.
Faceți o notă mentală că vom avea această scrisoare Gamelin care va funcționa mai târziu.
Deci, persoana din spatele ecuației bellman este Richard Ernest bellman.
A fost un matematician de zbor și a venit cu noțiunile de programare dinamică pe care acum suntem acum pe care le
numim învățare de întărire sau pe care le numim acum ecuația Belman.
Ei bine, asta suntem numiți acum.
Și în 1953 a venit cu acest concept și atunci ecuația lui Belmont Belman a venit la mine.
Așadar, să vedem cum funcționează toate acestea.
Există agentul nostru minunat în colțul din stânga jos și el este într-un labirint și acesta este un
labirint destul de clasic unde ai niște blocuri blocurile mari sunt blocuri în care agentul poate intra în blocul gri
este cel care este doar nu este accesibil spune ca un zid în acest labirint.
Verde este locul în care agentul ar trebui să vizeze să ajungă acolo unde ne dorim ca agentul
să meargă.
Și roșu este firepits sau motorul cade în groapă de foc.
El va pierde jocul.
Astfel, în groapa de incendiu, răsplata care este R este minus 1.
Deci asta e modul nostru de a spune agentului că nu este ceva ce vrem să faci.
Așa cum am aminti în exemplul când antrenează câini vrem să le spunem ca un câine rău dacă nu face ce este bine și
care a vrut să facă același lucru aici suntem să spunem agentului că nu este ceva ce ar trebui să fii a face
tu nu ar trebui să se termine în pătrat, astfel încât de fiecare dată când
nu se întâmplă veveriță obține un minus o recompensa astfel încât veți fi pedepsit cu minus o răsplată.
Pe de altă parte, dacă se termină în Piața Verde, va primi o recompensă suplimentară, ceea ce
înseamnă că asta am vrut să facem.
Deci acestea sunt cele două recompense pe care agentul nu le poate obține.
Și cum învață cum să opereze în acest labirint.
La fel ca în exemplul ăsta de câini de robot care au învățat să meargă și care o vor da să știe, tocmai vor
spune că aici acțiunea pe care o poți face.
Puteți merge în sus spre stânga sau spre dreapta, cele patru acțiuni posibile pe care le puteți lua și asta este.
Aveți o joacă în jur cu ceea ce vedeți cu ce puteți veni.
Deci, agentul ar putea merge spre dreapta, apoi ar putea merge mai mult în dreapta, s-ar putea să se
întoarcă la stânga doar apăsând butonul și încearcă să vadă ce se întâmplă și se întorc aici.
Ei merg în sus merg în sus mergi du-te du-te merge dreapta.
Deci, deocamdată nu au învățat nimic până acum nimic nu sa întâmplat.
Ei merg bine și apoi ajung în Piața Verde.
Așa că își dau seama că am doar un plus de awar. Deci, de îndată ce am intrat în Piața Verde, au
primit o recompensă.
Și asta declanșează algoritmul de a spune OK că este foarte cool.
Sunt răsplătit pentru că se termină în piață, așa că vreau să ajung în piață.
Deci ce înseamnă asta pentru agent.
Aceasta înseamnă că începe să pună întrebarea cum am ajuns în acest pătrat.
Care era starea precedentă în care eram și ce acțiune am luat pentru a ajunge la pătrat și apoi
mă uit înapoi și spune OK, astfel încât statul precedent era acesta.
Se pare că este valoroasă în acel stat.
Cel care scânteia Arrow-ului Roșu.
Deoarece din acel stadiu esti eu sunt la un pas de a obtine recompensa maxima pe care o
pot visa, de exemplu, ca un biscuit pentru un caine de indata ce stiu daca sunt vreodata in acea stare.
Pătrat marcat cu săgeata roșie.
Tot ce trebuie să fac este să apăs pe dreapta.
Deci, cum să-mi spun să-mi amintesc că acea stare este valoroasă.
Ei bine, pentru mine nu există nici o diferență ca agent.
Nu există nici o diferență în ceea ce privește dacă sunt în Piața Verde sau în piața albă din Piața
Verde primesc răsplata unuia.
Așa că am să-mi marchez că Piața Y are pentru mine o valoare de 1, deoarece duce exact la recompensa cât
de curând sunt în pătratul alb, știu că voi mai lua o acțiune.
Voi fi în Piața Verde și voi obține o recompensă sau una, de aceea am de gând să spun
că valoarea acestui pătrat este egală cu una pentru că duce direct la dacă pe orice fel de scăderi cât mai curând Vreau să spun
aici știu că recompensa mea va fi una, așa că voi marca acest pătrat drept chemarea
la una care este valoarea care este valoarea percepută a fi în stat.
Apoi agentul va fi bine.
Deci, cum intru în acest pătrat.
Și știi că s-ar putea să se plimbe din nou și așa mai departe.
Și din nou în pătrat și să fie ca OK cum am ajuns în acest pătrat înainte de asta.
Iar felul în care am ajuns în acest pătrat era din acest pătrat.
Interesant.
OK, de îndată ce intru în acest pătrat, știu că tot ce trebuie să fac este să merg bine.
Și apoi de aici știu deja că voi câștiga.
Știu exact cum totul se va desprinde de aici și știu că valoarea de a fi în această stare
este egală cu una.
Si din moment ce nu ma opreste nimic de a creste de aici, valoarea in aceasta se duce la o valoare perceputa. Sunt o
mare valoare ca fiind aici ca un vehicul de dorit, de asemenea, pentru ca asta vreau sa spun
aici stiu.
Fii aici și voi fi aici destul de repede.
Așa că voi câștiga.
Și apoi cum intri în acest pătrat înainte de asta?
Am intrat în acest pătrat din acest pătrat.
Deci, valoarea este o abordare asemănătoare, valoarea fiind aici este de asemenea egală cu una și așa mai departe, astfel încât valoarea de a fi aici este
egală cu o valoare de a fi aici este egală cu una deoarece fiecare dintre ele
duce la următoarea și linia de sosire.
Deci asta e destul de logic în acest stadiu.
Acesta este proiectarea ecuației lui Belman acum.
Deci, acest lucru este posibil să ne gândim la proiectarea unei ecuații care ajută un agent să treacă prin labirint.
Deci, uita-te la recompensa, atunci statul precedent-i da o valoare egala cu recompensa procedurilor si asa ca acestea
sunt un fel de ca creeaza o cale este tot mare si bine, dar problema aici este OK ce se intampla
daca agentul nostru dintr-un motiv incepe in acest stat în loc de a începe aici și de a lua aceste acțiuni și de a
începe de fapt în stat.
Cum știe cum își amintește ce acțiune trebuie întreprinsă dacă ar merge bine sau ar trebui să meargă în jos sau ar trebui să meargă la stânga sau
ar trebui să meargă în sus.
Cum își amintește care este următoarea continuare de aici.
Dacă singurele valori pe care le are aceste valori sunt egale, odată ce nu se poate vedea ce este mai departe.
Se poate vedea numai.
In regula.
Ce am aici și ce am aici.
Cum știe cum să mergem?
Ei bine, în acest stadiu nu este la fel de identic pentru vârstă și în ce mod să mergem.
Și de aceea această abordare nu funcționează.
Este o explicație foarte simplistă.
Desigur, sunt mult mai multe.
Dar, într-un mod intuitiv, de aceea nu putem doar să dăm doar acea valoare înapoi așa.
Pentru că unul dintre motive este odată ce Agentul se află între aceste două valori și unde va merge.
Nu se poate confunda asa.
Și așa cum rezolvăm această problemă ce vom face.
Și aici vom începe să introducem încet pas cu pas ecuația Belman în forma
sa actuală.
Deci, ecuația lui Belman arată așa.
Așa că am vorbit deja despre valoarea de a fi într-o anumită stare, cum este starea dvs. actuală
sau orice alt stat dat și există și ea.
Și, pe măsură ce Primul este statul, statul urmărește statul pe care îl veți încheia după stat
și luând măsuri concertate.
Dar știm că există multe acțiuni și un agent poate lua și de aceea l-am luat pe Max aici.
Deci, luând o acțiune ce se va întâmpla cu un agent, să spunem că suntem în stare ca luând
o acțiune în activele statului și luăm măsuri.
Ce se va întâmpla este că va primi imediat o recompensă prin intrarea într-un nou stat.
Și amintiți-vă că recompensa poate fi una sau plus una sau mai puțin una dacă este la sfârșitul jocului sau poate fi un
zero dacă este pe tot parcursul jocului în acest caz recompensa noastră pe tot parcursul jocului este zero.
Deci, asta este recompensa Plus, vom intra într-o stare nouă, care are valoare de prime.
Deci asta este valoarea noului stat și gamma.
Vom vorbi despre asta într-o secundă.
Dar punctul pe care încerc să-l ridic aici sau punctul pe care îl ridic aici este că ai multe acțiuni diferite pe
care le putem lua și de aceea avem maximum.
Deci, prin luarea de măsuri primim recompensa Plus, ajungem într-un nou stat.
Și astfel, pentru fiecare mișcare din cazul nostru, înainte de posibilele noastre acțiuni pentru fiecare dintre
cele 4 acțiuni posibile, vom avea o ecuație ca aceasta.
Deci, aceasta va avea o valoare pentru că acestea vor avea o valoare diferită pentru fiecare
dintre cele patru acțiuni și vom privi doar la maximum, deoarece, desigur, agentul dorește să ia statul optim.
Deci, dacă el se află în stare, el se va uita la aceste valori, el va găsi maximul bazat pe
acțiune și va lua această acțiune care are nevoie de maximum de aceste valori.
Deci, sperăm că acest lucru are sens pentru ce luăm maximum aici.
Odată ce am primit recompensa și valoarea care a spus de ce avem acest parametru Gaba aici.
Este exact acolo pentru a rezolva acea problemă de unde agentul nu știe ce cale să meargă pentru că nu
poate.
Compară valorile a două stări pe ambele părți și ele sunt aceleași.
Acesta este motivul pentru care jucatorii au numit factorul de actualizare, astfel incat sa ne uitam la asta
si sa intelegem mai bine.
Deci, să luăm o formulă pe care o voi pune aici în partea dreaptă sus.
Și acum vom analiza care sunt valorile diferitelor state.
Și fiecare stat aici este un pătrat.
Nu.
Deci, unul dintre aceste oricare dintre aceste pătrate albe este un stat, vreau să spun că vom calcula valoarea
de a fi în acea stare.
Deci, să începem cu piața.
Care este valoarea de a fi în această stare.
Ei bine, trebuie să luăm maximum de această valoare în toate acțiunile.
Și știm că această valoare reprezintă este maximizată pe măsură ce ne apropiem de linia de sosire
și așa este construită și doar prin privirile pe care le puteți vedea, deoarece aici avem
recompensa și aici avem un factor de actualizare înmulțit cu valoarea următorului stat.
Și are sens doar că așa vom construi acea ecuație, astfel încât are sens că de aici
maximul acestei valori va fi dacă ne mutăm spre dreapta.
Deci, astfel calculam valorile pe care această valoare a acestei stări o numeste maxim sau egal
cu această valoare.
Dacă ne mutăm spre dreapta dacă luăm o acțiune de mișcare spre dreapta.
Deci, ce va fi această valoare.
Ei bine, răsplata de mișcare spre dreapta este egală cu 1.
Și indiferent de ce gamă de culoare nu avem valoare în stare, pentru că suntem deja în cea
mai bună stare posibilă.
Deci, aceasta este etapa finală.
Nu va avea nici o valoare, avem doar o recompensă aici și asta este sfârșitul jocului.
Valoarea va fi de acest maxim va fi egală cu 1.
Și de aceea valoarea de stat ca aici este egală cu 1.
Acum, lucrurile devin interesante când ne mutăm la stânga când ne mișcăm înapoi.
Deci acum se calculează valoarea acestui fapt de a fi în această stare și pentru asta vom avea nevoie de Gabaa.
Deci, să spunem că factorul nostru de reducere este un punct zero la nouă și are sens ce este un factor de actualizare
când calculam acest lucru.
Deci, de aici, bazându-ne pe intuiția noastră și bazându-ne, pentru că știm cum funcționează acest lucru.
Știm că cea mai bună acțiune posibilă este să mergem spre dreapta, pentru că de aici mergem aici.
Asta inseamna ca maximul va fi atins in aceasta stare mergi spre dreapta.
Și să vedem ce se întâmplă dacă îl conectăm aici.
Deci, dacă te duci de aici până aici, nu vei primi recompensa ta va fi zero.
Dar atunci veți obține camis care obține punctul zero de nouă ori valoarea noii state care este una.
Deci, în acest caz, valoarea întregului rezultat al acestui lucru este de 1 ori un 0. De 9 ori unul este egal cu 2. 9.
Deci toate acestea sunt valori per.
Deci, dacă vom calcula acest lucru, veți vedea asta de aici.
Știm doar dacă ne uităm la labirintul pe care îl știm pentru că noi, ca oameni, înțelegem cum
funcționează această ecuație, desigur un agent AI ar trebui să experimenteze cu aceste lucruri.
Dar pentru că avem ca o minge de cristal putem vedea acest labirint întreg.
Avem cum ar fi punctul de vedere al păsărilor chiar acum.
Știm că cea mai bună acțiune merge la dreapta.
Deci, dacă vom conecta totul aici, va fi zero nici o recompensă Plus raportul de nouă ori
valoarea în stare 0. 9 este zero punct optzeci și una și așa mai departe.
Deci aici va fi 0. 23 și va fi 0. 66.
Deci, puteți vedea că felul în care funcționează factorul actualizat este faptul că reducerea valorii statului, pe măsură ce vă aflați
mai departe.
Deci, dacă sunteți familiarizați cu teoria finanțelor, atunci este ceva similar cu valoarea de timp a banilor, cum ar fi ceea ce ați
crede despre el în acest fel. Ce ați prefera să aveți 5 dolari astăzi sau 5 dolari în 10 zile de acum.
Doar dacă cineva ți-ar oferi o alegere, îți voi da cinci dolari astăzi, tot ce ai 5 dolari 10 zile de la
toate.
Bineinteles ca ai ales 5 $ astazi.
De ce este asta.
Ei bine, pentru că puteți lua acel 5 $ și le puteți investi la o anumită rată a dobânzii, care este foarte asemănătoare cu cea
a gammei.
Iar suma de 5 dolari în 10 zile va crește de fapt în 5 dolari și 73 de cenți sau ceva de genul asta.
Și așa funcționează valoarea banilor.
Și un concept foarte asemănător aici.
Și lucrurile importante pe care trebuie să le înțelegem aici este doar o teorie pe care învățarea de întărire o are.
Așa că Richard Belman a venit cu această ecuație.
Și de atunci acum așa îl folosim.
Deci, puteți merge mai departe și puteți veni cu o altă ecuație.
Nu trebuie să aibă Gamla ar putea avea și alt factor care să nu știe că are un factor.
Dar această abordare funcționează și de aceea folosim și așa se pare că, cu atât mai puțin
sunteți mai puțin valoros în stat și în termeni de timp și bani.
Dacă aș putea să-ți spun unde ai prefera să fii mai degrabă aici.
Mai bine ai fi aici.
Ai spune că prefer să fiu aici.
Așadar, creăm același fenomen ca și valoarea timpului pe care îl construim în mod artificial prin gamma,
astfel încât, pentru a stimula agenții sau a inspira agenții să fie mai aproape de linia de sosire.
Deci, dacă ar fi fost întrebat un agent, ați fi mai degrabă aici sau aici, din cauza felului în care funcționează această
ecuație, ar alege să fie aici.
Nu mai e nimic mai mult pentru asta.
Nu este ceva ce lumea face astfel.
Nu este doar un lucru pe care îl creăm în mod artificial pentru ca agenții noștri să înțeleagă că acest lucru este bun este bine
că acesta este bun bun vechi dar acesta este mai bun decât acesta și acesta este mai bun decât acesta
și acesta a fost în acest.
Și astfel puteți vedea că tot agentul poate vedea în ce direcție trebuie să meargă.
Deci, poate să văd că dacă stau aici, amintiți-vă acea problemă pe care am avut sau o stătea aici, așa că dacă stați
aici, mă duc în jos sau dacă dintr-o dată mă duc să mă duc sau să mă duc jos.
Ei bine, acum nu mai există nici o problemă, deoarece poate vedea că este mai bine să meargă în sus
pentru că valorile sunt aici.
Și apoi de aici trebuie să meargă drept pentru că valoarea este mai mare aici decât aici.
Și apoi de aici, Bertschi merge bine, pentru că valoarea de aici este mai mare decât știi.
Și de aici el știe deja că trebuie să meargă bine pentru că va primi o recompensă aici.
Așa funcționează întreaga abordare.
Acum, să aruncăm o privire rapidă asupra restului pieței.
Deci, cum calculam valoarea din acest pătrat.
Ei bine, aici lucrurile devin complicate.
Deci, de aici, s-ar putea să nu mergeți chiar la stânga, chiar dacă ați putea merge corect, astfel încât să putem continua să mergem așa
pentru că ar putea fi într-adevăr mai scurtă pentru a merge așa.
Deci, ce vom face este că vom calcula mai întâi valoarea în pătrat.
Și pentru că, evident, de aici cele mai bune modalități de a merge sunt sus.
Din nou, pentru că vedem echipajul cu care avem mingea de cristal, putem vedea lucrurile și veți vedea
mai jos în secțiune veți vedea cum agentul explorează de fapt acest lucru înțelege acest lucru pe propriile
lor prin experimentare.
Dar pentru noi știm că este mai bine să mergem în acest fel, astfel că vom calcula
valoarea aici și de aceea vom calcula mai întâi valoarea din acest pătrat.
Deci avem aici trei acțiuni posibile.
În realitate avem de fapt patru, putem merge și la stânga.
Agentul ar putea apăsa ipotetic stânga și se va bate în perete și va rămâne aici.
Dar pentru un set de simplitate care va arăta acțiunile pe care le știm ce știm și având
mingea de cristal, știm care sunt acțiunile care duc la altceva decât la același stat
din nou.
Și aici, de aici, știm că din nou doar pentru că avem o minge de cristal știm că cel mai bun mod de a merge
este în acest fel un agent, desigur, va trebui să experimenteze și să găsească cea mai bună cale și veți vedea cum se
întâmplă acest lucru.
Mai jos, în secțiune, veți vedea cum merge un agent și cum veți încerca să încercați
să găsiți aceste valori.
Dar pentru noi știm că este așa.
Deci, dacă conectăm totul într-unul astfel încât maximul să fie cel mai bun rezultat atunci când mergeți în sus.
Și aici este un raport 9: 0.
Ai zero punct zero.
OK, așa că Kalika este cel care calculează asta.
Aceeași abordare.
Aceasta este că aveți trei moduri în care puteți merge.
De fapt, patru pentru agent, dar pentru noi putem vedea că sunt doar trei.
Deci, zero punct optzeci unul de aici ai punctul ZERO șaptezeci și trei.
Și de fapt se leagă cu această valoare, pentru că în tine, dacă renunți din nou, ai pus
66 și aici ai 0. 23 deoarece aceasta este calea optimă.
Deci te duci acolo.
Acestea sunt valorile tuturor acestor stări.
Și acum puteți vedea că pentru că am creat această ecuație sau am creat sintetic întregul concept al
apropierii față de linia de sosire, cu atât mai valoroasă este faptul că statul nu este pentru că ne este teamă că acum este
destul de evident pentru agent în care ar trebui să meargă.
Și vom vorbi mai multe despre asta în viitor.
Sper că v-ați bucurat de sesiunea de astăzi și știu că este un pic cam s-ar putea să fie un pic foarte fundamental în această etapă,
dar pe măsură ce trecem prin această secțiune vom adăuga ceva mai multă complexitate.
În același timp, dacă nu puteți să așteptați dacă doriți să intrați în ea, atunci există o lucrare la care
vă puteți uita și este lucrarea originală a lui Richard Belman.
Se numește teoria programării dinamice din 1954.
Și o puteți găsi la acest link.
Și acolo te duci ca să poți sări în ea și să citești de la autorul ecuației lui Belman.
Dar trebuie doar să aveți în minte că acest lucru este destul de greu matematic.
Și pe acea notă o voi căuta pe următoarea ta.
Și până atunci să vă bucurați de AI.