Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Astăzi vorbim despre diferența temporală.
Acum este foarte important să se încerce, deoarece diferența temporală este inima și sufletul algoritmului Q de
învățare.
Acesta este de fapt modul în care tot ceea ce am învățat până acum se reuneste în joc în cadrul învățării cheie.
Să aruncăm o privire.
Amintiți-vă de timpul când am vorbit despre căutarea deterministă și nedeterministă.
Și amintiți-vă cum am spus în acest caz că atunci când agentul dorește să se ridice, el urcă și când.
În acest caz, el vrea să meargă sus acolo este o șansă de 10 la sută el va merge tamburi din stânga jos
și șansă și mergeți la dreapta și o șansă de 80 la suta va merge bine.
Du-te drept în sus.
În timp ce aceste numere sunt, desigur, arbitrare și pot fi diferite.
Și întregul concept este că ar putea fi diferite și diferite probleme, astfel încât nu trebuie să ne preocupe
modul în care se mișcă doar că există ceva aleatoriu ceva care este în afara controlului
agentului care se întâmplă în interiorul acestui mediu.
Și ce efect a avut este cum vă amintiți a fost că în exemplul determinist a fost foarte ușor să se calculeze valorile
Wii în timp ce nu este întotdeauna întotdeauna foarte ușor.
Dar, în cazul nostru, am putea să le calculam pur și simplu folosind ecuația Belman și noi aveam valorile
exacte.
Și apoi, după cum vă amintiți, am menționat foarte atent că aceste valori pentru exemplul de căutare
nedeterministă sunt în afara capului meu.
Ei nu sunt Kalka știm.
Ultima dată când am spus că nu trebuie să le calcăm pentru că e foarte complexă.
Dar computerul o poate face și tocmai am mers împreună cu aceste valori care sunt doar valori pe care le-am făcut.
Dar au făcut treaba.
Ne-au ajutat să înțelegem conceptul.
Ei bine, acum ne vom întoarce puțin și vom înțelege exact ce se întâmplă aici.
De ce este atât de greu să calculați aceste valori în exemplul nedeterminist sau, în general, să vorbim în aceste
probleme în aceste medii și agentul care trece prin ele.
De ce este.
De ce poate fi atât de greu să calculați aceste valori.
Ei bine, când te gândești la asta pentru că atunci când agentul se mișcă de exemplu de aici
spre dreapta, el nu se mișcă mereu în felul ăsta, uneori ca o șansă că va merge să câștige,
în loc să meargă drept, așa că să numim aceste sud-vest nord-est așa că este un fel de a merge spre vest.
Agentul ar putea merge uneori spre sud și, de exemplu, de aici merg cam spre nord.
Poate merge uneori spre est.
Îmi pare rău.
Deci, în loc să meargă la est, s-ar putea să se ducă uneori la sud și să meargă spre nord.
Poate merge uneori spre est sau spre vest, iar aici, în loc să meargă spre nord, ar putea merge uneori spre vest sau spre est sau spre vest
și așa mai departe.
Deci, deci, pentru a calcula această valoare, trebuie să știți ce este această valoare, dar este interesant faptul că
pentru a calcula această valoare trebuie să știți ce este această valoare.
Deci, se întâmplă o mulțime de recursiuni aici și, prin urmare, nu puteți decide doar să definiți aceste
valori.
Și, în plus, această recursiune nu este deterministă.
Uneori se întâmplă astfel, uneori este destul de înclinat să meargă chiar în loc să te
ridici și să mergi la stânga uneori.
Când vrea să meargă în sus.
El va merge în sus.
Deci, este supusă la șansă și poate că de multe ori agentul va trece prin această cale și el va urca sus în
sus și veți crede că de aici totdeauna mergeți într-un fel și valoarea statului
va merge va fi bun și apoi dintr-o dată va cădea în groapă și această valoare va scădea.
Și deci, puteți vedea cum există o anumită aleatorie stochastică la acest calcul pe aceste valori,
deoarece toate sunt interconectate.
Plus pe partea de sus ai acea întâmplare în acest mediu inerent, pentru că există un
semn al procesului decizional.
Deci, acolo toate acestea vin împreună și acolo vom introduce conceptul de
diferență temporală care va permite agentului să calculeze aceste valori.
Și aici avem de-a face cu valorile.
Și de atunci am mutat deja pe valorile Q, deci asta vom lucra.
Vom uita la valori uriașe.
Așa cum îmi amintesc ecuația lui Belman pentru valorile q.
Deci, valoarea AQ sau valoarea de a efectua un fel de acțiune A în starea s este egală cu recompensa
pe care o obțineți după efectuarea acelor acțiuni imediat după efectuarea unei acțiuni plus obțineți maximul pe
care îl obțineți gamma sumelor tuturor posibilelor .
Deci, obțineți valoarea așteptată a statului în care veți ajunge.
Așa cum vă amintiți că a existat o formulă pentru ecuația lui Beldon și acum doar pentru simplitate
spunem că o vom rescrie în mod vechi și într-un fel în care am vorbit despre ecuația de
bellmani înainte să știm despre sechestru.
Așadar, amintiți-vă că aceasta a fost ecuația noastră Belman în sensul unui exemplu de căutare determinist, deoarece aici nu aveți acea
valoare așteptată pe care nu o aveți la fel cu toate probabilitățile.
Pur și simplu, ca și cum s-ar fi determinat că vei ajunge la ce stat vei ajunge și apoi
îți vei spune Max în acel stat.
Iar motivul pentru care îl rescriim este pur și simplu motivul numai pentru că este mai ușor să o scrieți și va fi
mai ușor să cade împreună cu formula.
Așa că vom aminti că am înlocuit această parte a acestui bar.
Și, de asemenea, veți găsi această notație într-o mulțime de literatură, astfel că va fi mai ușor să
urmăriți împreună cu alte surse dacă le studiați.
Dar amintiți-vă că, în realitate, ceea ce înțelegem este această abordare probabilistică, în loc de această notație, este mai ușor
să operăm acest lucru și să înțelegem ce se întâmplă.
Mă simt ca și cum ar fi să privim ecuațiile, astfel încât să nu fie prea aglomerate, dar să ne
amintim încă o dată că în realitate ceea ce înțelegem este această abordare probabilistică aici.
Deci, de fapt, știm că Tom Silis are o privire asupra a ceea ce se întâmplă.
Deci, aici este starea noastră blanară a labirintului în care nu avem valori q să vedem sau când putem, dar să nu lăsăm
nimic acum, să ne uităm la una dintre stări sau una din celule.
Acesta este în mod specific.
Și aici avem răspunsuri pentru acțiunea de a merge.
Avem o valoare q pe care o calculam.
Deci nu este faptul că nu avem nici o valoare q încă avem noi facem.
Dar nu ilustrăm nimic.
Pur și simplu păstrăm un gol pentru simplitate.
Dar avem vârsta care se plimba de ceva timp și să presupunem ipotetic că
într-un fel a calculat valoarea cubului de a merge sau Norf din această stare din această celulă specifică și valorile.
Q S și A și acum ceea ce avem.
Deci el este în prezent cu săgeata sa albastră și agentul stă în această celulă.
Și acum trebuie să-și aleagă unde va merge.
Si el stie valoarea acestei actiuni mergand spre nord si asta este Senay si aici spun si inainte si motivul pentru asta este pentru ca
el este inainte de a lua De fapt, el nu a actionat inca,
asa ca este inca in celula si înainte de a lua acțiunea, valoarea de aici este q și SNH și acum el ia de fapt
acțiunea.
Deci, să spunem că decide că este cel mai bun.
El ia acțiunea și se mișcă până la celulă.
Ei bine, ceea ce se întâmplă acum vine după ce după ce a luat măsuri putem măsura ce este
această valoare Să calculam doar această valoare valoarea recompensării pentru a lua acea acțiune plus gamma
ori maximul acestei noi stări pe care tocmai a intrat prim.
Și astfel, maxim în toate acțiunile posibile și aspirina.
Așadar, ceea ce avem aici este valoarea de până acum a acelei acțiuni.
Apoi am calculat ulterior această valoare.
Dar cum vă puteți aminti din ultimele patru luni dacă ne întoarcem foarte repede din formula anterioară în care tocmai am calculat este într-adevăr valoarea
care este modul în care Q este. A. a este calculat.
Deci, această parte Arite a fost calculată separat, dar după ce am luat măsuri.
Așa cum, înainte de a cunoaște un Q al unui S și o valoare pe care am calculat-o prin iterațiile noastre,
Preuss este ceva.
Deci, o valoare care este stocată în memoria noastră.
Deci, la fel ca un număr pe care îl cunoaștem și acum după ce acțiunea se desfășoară, știm ce recompensă
a obținut de fapt ce recompensă a primit agentul.
Și putem calcula această nouă valoare.
Deci, în esență, reusim să recalculăm această valoare, dar acum, cu noi informații, noua informație este răsplata pe
care o avem.
Și, în plus, ceea ce a rămas noi am ajuns și cât de mult se poate spune că
această nouă valoare este valabilă pentru acele date specifice.
Deci, care este valoarea acelei ființe în acel stat.
De fapt, Cure Vanessa-Mae, dar a dat noi informații și acum diferența temporală este definită ca fiind
tiddy a și s din aceste două diferențe dintre cele două.
Deci, aici primul element este valoarea dvs. din afara Terra.
Deci, felul lui Q de Esson, calculat după aceea.
Și quvenzhané precedent A pe care le-ați stocat în memoria ta.
Și astfel întrebarea este că sunt diferite.
În mod ideal ar trebui să fie aceleași.
În mod ideal, acest lucru ar trebui să fie același ca și acest lucru, deoarece aceasta este formula pentru calcularea acestui fapt.
Dar lucrul este că nu este ceva ce noi Kalka este ceva ce avem de la dovezi empirice ceva ce avem de
la trecerea prin labirint de mai multe ori și de calcul.
Deci, acesta este un lucru pe care îl avem până acum.
Nu este legată de actuala repetare.
E ceva ce am venit cu mult timp în urmă, dar într-una din iterațiile anterioare care
trec prin labirint.
În timp ce acesta este un lucru pe care l-am calculat doar acum și nu
există nici o garanție că ele vor fi aceleași sau din cauza aleatorie care există în labirint deoarece aceasta ar fi putut fi calculată și
au văzut câteva evenimente randomizate CRN au fost declanșate și acest lucru pot fi chemați la evenimente diferite întâmplătoare întâmplătoare
au fost declanșate.
Și acum scriem eroii noștri doar să ne mișcăm acolo.
Deci, cum folosim acest lucru.
Întrebarea este OK, deci avem această diferență temporală.
Cum folosim acest lucru.
Și de ce se numește diferența temporală.
Ei bine, motivul este numit diferența temporală este pentru că esti în esență calcularea aceluiași lucru pe
care îl calculați Q din S și A, deci valoarea Q a acelei acțiuni.
Calculatorul tău aici și tu îl calculezi aici.
Dar diferența este timpul.
Acesta este Q din S și anterior acesta este yo Q al lui S și A.
Acum, vindecarea ta nouă este înnăscută și întrebarea este că a existat o diferență.
Au trecut o schimbare în timp.
Și cum putem folosi acest lucru în avantajul nostru dacă într-adevăr a fost o schimbare în timp.
Un lucru pe care am putea să-l facem este să putem spune că bine știi că ne-am cunoscut. A. a nu.
Această nouă valoare nu este egală cu cea veche, așa că vom scăpa de vechime sau vom uita de vechiul
și vom folosi doar aceasta este o valoare nouă.
Dar asta nu ar fi deștept.
Iar motivul pentru asta este că în mediile noastre se întâmplă uneori evenimente aleatorii.
Și dacă vechiul nostru QSA de s. A. a a fost ceva care se întâmplă în mod constant ca 80 la sută din timp.
Și apoi a fost reprezentată de ceea ce se întâmplă în proporție de 80% din timp.
Și apoi acest nou lucru ce sa întâmplat din cauza aleatoriei.
În acest caz, vom renunța la cel care este responsabil pentru cea mai mare parte a situației și o vom
înlocui cu ceva care se întâmplă doar 10 sau 20% din timp.
Aceasta nu ar fi cea mai bună abordare și de aceea tocmai de aceea nu vrem să schimbăm
complet valorile Opu.
Vrem să le folosim ca și cum le schimbați pas cu pas puțin câte puțin.
Și de aceea vom folosi această diferență temporală într-un mod specific, așa că vom spune că este
o formulă pe care o vom lua de la SNH.
Și o vom actualiza în așa fel.
Vom lua vechea valoare a vindecării Senay și vom adăuga de cinci ori
diferența temporală.
Deci, Alpha va învăța totul corect.
Acesta este un nou parametru pe care îl introducem.
Asta este cât de repede este învățarea algoritmului.
Deci, practic, luăm această diferență și indiferent de ce adăugăm la șarpele nostru KJo
anterior.
Acum, această formulă, probabil, nu are nici un sens sau ca doar că nu are sens dacă ai aici
Covisint și ne dă un A aici.
Este același lucru, probabil că ar trebui să ne negăm unii pe alții, dar a trebuit să rescriem acest lucru într-un
mod diferit.
Așa că am să vă arăt din nou, așa că am adăugat timp doar la aceste formule.
Deci, aici este q t minus unul din anii precedenți.
Q T minus 1 în anii precedenți.
Q T Noua ar trebui să fie un cerc aici, în cerc aici, de asemenea, dar nu contează și aici obține diferența
temporală alfa.
Apoi, tu diferența temporală curentă.
Așa că puteți vedea ce facem noi spunem.
OK să ne luăm curentul.
Q va fi egal cu toate cele precedente Q plus orice diferență temporală am găsit Times Alpha.
Această formulă este inima și sufletul algoritmului de învățare cub.
Acesta este modul în care este sau este actualizat cubul.
Și este bine că am învățat deja ce valori q sunt ceea ce este ceea ce este gamma și ce sunt toate
aceste lucruri.
Și acum tot ce trebuie să vedem este că ai o valoare Q anterioară Da, asta e bine.
Și apoi ce se poate întâmpla este că atunci când luați în considerare când faceți efectiv acțiunea atunci când
agentul ia măsuri, veți ști că va primi o recompensă și va ajunge într-un stat.
Și astfel bazat pe asta el poate calcula Aha.
OK, deci ce ar fi ceea ce ar fi fost ceea ce ar fi trebuit să fie valoarea Q a acelei mișcări pe care am făcut-o.
Și acum aceasta este partea din ecuație.
Scăderea valorii Q vechi vă face o diferență temporală și acum trebuie să luați o diferență de eșantion de
timp Alpher și așa ajungi să ajustați.
Te-am înțeles.
Cred că te duci și acum doar ca să termini asta.
Acest lucru este un fel de acest lucru este suficient pentru a înțelege ce se întâmplă, ci doar pentru
a clarifica lucrurile chiar mai mult sau, poate, poate confunda lucrurile chiar mai mult.
Ce trebuie să facem pentru a lua această diferență temporală sau această diferență simplă sau aici o modalitate de a conecta-o
în acest format.
Așa că vom lua toată această parte și vom conecta la această formulă și vom ajunge cu o ecuație imensă.
Deci, aici mergem.
E ecuația noastră.
Deci, aceasta este ecuația completă cu diferența temporală scrisă complet.
Iar motivul pentru care l-am scris mai întâi de toate, probabil veți găsi acest lucru în
altă literatură dacă îl studiați.
Și al doilea lucru este că face unele lucruri un pic mai complexe cu formule mai lungi, dar fac
și eu ceva mai clar.
De exemplu, puteți vedea aici rolul Alpha.
O poți vedea mai bine pentru că te uiți la asta.
Aici.
Q T minus una și aici te duci.
Q T minus unul cu semnul negativ.
Deci, dacă conectați Alpha egal la 1 dacă introduceți un 1 aici, acest lucru va nega acest lucru.
Deci se vor distruge reciproc și tot ce ai lăsat este această parte.
Și ce înseamnă asta este exact situația în care am spus bine, așa că ai o nouă valoare pe care ar
fi trebuit să o faci.
Să ne actualizăm valoarea Q cu noua valoare și să uităm de ceea ce am avut înainte.
Și cum am discutat nu este cea mai bună abordare, deoarece aici sunt evenimente aleatorii și vrem să actualizăm
pas cu pas lucrurile.
Și pe de altă parte, dacă ai spus Alpher egal cu zero ceea ce se întâmplă atunci este că uiți complet
de această parte întreagă și ești drăguț că cea nouă sau cea actuală va fi întotdeauna egală cu
cea anterioară, așa că ești nu va învăța nimic.
Și asta înseamnă că tot ceea ce se întâmplă în labirint nu contează pentru că v-ați decis cu privire la valoarea dvs. Kuchi
cu mult timp în urmă și voi o veți păstra.
De aceea, Alfas nu ar trebui să fie 0 sau ar trebui să fie una, ar trebui să fie undeva între ele.
Și vă va permite să învățați încețișor pas cu pas vă va permite ca și dumneavoastră sau agentul pe
măsură ce trece prin labirint va obține diferența temporală.
Și, încet dar sigur, această valoare va fi actualizată și actualizată și ceea ce se va întâmpla în
cele din urmă este că la un moment dat sperăm că algoritmul va converge.
Și ceea ce înseamnă asta este că această diferență temporală va începe să devină din ce în ce
mai aproape de zero și în cele din urmă va fi foarte bine foarte aproape de zero sau chiar de 0 0 0 0
și ceea ce înseamnă că fiecare dată când noua dvs. valoare cutesie sau noua dvs. valoarea calculată.
Ce ar fi trebuit să fie.
Deci, nu aceasta, dar ceea ce ipotetic ar trebui să fie suficient pentru a face acest pas va fi doar egal cu
valoarea dvs. precedentă Q2.
Și apoi una care este zero și asta înseamnă că atunci când diferența dvs. de
temperatură este zero înseamnă algoritmul dvs. sa converg și nu este cu adevărat necesar să continuați să actualizați ceea ce se întâmplă.
Realizează această căutare pentru a continua să actualizeze valorile cubului.
Caveat aici este că singura dată, probabil, una dintre singurele momente în care ați dori să continuați să
realizați acest întreg, știți actualizarea valorilor coadă în cazul în care mediul se schimbă în mod constant.
Dacă nu numai că nu este acolo, ea are doar câteva rânduri la evenimentele costice din ea.
Dar mediul în sine se modifică, după cum morfingul se schimbă odată cu trecerea timpului.
Deci, trebuie să învățați în mod continuu, deoarece nu este posibil să învățați totul și
să găsiți politica optimă, deoarece politicile optime s-au schimbat totodată cu mediul înconjurător.
În acest caz, va trebui să continuați CALKIN și diferența temporală și să calculați valorile Q.
Dar altceva decât asta este o complicație suplimentară.
Altfel decât acesta este modul în care actualizările valorilor Q sunt astfel încât aceasta este formula principală a algoritmului de învățare
Q și acesta este un fel de versiune extinsă a acesteia și acum ar trebui să se
întâlnească toate și să aibă sens de ce avem ecuația Belman și nu numai ceea ce reprezintă gewgaws,
dar și modul în care agentul își dorește să-și actualizeze valorile și să găsească exact ceea ce se întâmplă în acel mediu, astfel încât să
poată veni cu politica optimă.
Asa ca stiu destul de multe de luat, dar speram ca ti-a placut acest tutorial si speram
ca poti sa renunti la conceptele si intuitia care stau la baza valorilor tale si care este intreaga
notiune de diferenta temporala si de ce este important de ce ne ajuta sa ne instruim treptat agenții și să-i facă să
înțeleagă mediile în care operează.
Și dacă doriți să aflați mai multe despre diferențele temporale, atunci o lucrare foarte
populară învață să prezicăți prin metodele diferențelor temporale de Richard Sutton de la optsprezece optzeci și opt.
Deja am avut o referință de Richard Sutton, dar acesta este un altul
și de fapt are o carte, așa că, dacă intri în tine, știi stilul său de scriere și stilul său de comunicare, apoi verifică
și cartea sa.
Este un fel de versiune mai extinsă a tuturor acestor lucruri.
Nu am citit cartea, dar asta îmi imaginez în același timp.
Acest lucru va adăuga la lucrare și puteți învăța ceva mai mult sau, probabil, mult mai multe despre
diferențele temporale de acolo.
Și sper că ți-a plăcut și ea.
Ne vedem data viitoare.
Până atunci, bucurați-vă de AI.