Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Și astăzi vorbim de Mark de procese decizionale sau de M. D ..
Hai să vedem ce avem astăzi.
Ultima dată am oprit conceptul de hartă.
Deci, pentru că am calculat valorile bazate pe ecuația Belman, putem extrage această hartă pentru agentul nostru
pe acest labirint.
Și, în principiu, ceea ce înseamnă asta este în cazul în care ange un agent începe să spunem că începe de acolo.
Știe exact pașii care trebuie urmați pentru a ajunge la linia de sosire, astfel încât să urce la dreapta.
Bine și terminat.
Și astfel întrebarea este că asta este.
Este într-adevăr atât de simplu.
Este întărirea învățării într-adevăr că știți pentru lipsa unui cuvânt mai bun plictisitor.
Este da.
Odată ce ai matematica asta e tot ce trebuie să faci este că ai făcut-o plină de ele.
Realitatea este că nu este chiar atât de simplu.
Și este un lucru bun pentru că face ca acest curs să fie mai interesant pentru noi și putem rezolva de
fapt probleme mult mai complexe.
Deci, aici vine un semn al unui proces.
Dar mai întâi vom vorbi despre două lucruri.
Suntem în căutarea deterministă față de căutarea nedeterminată.
Hai să vorbim despre conceptul de căutare deterministă.
Acesta este agentul nostru în labirint și căutarea deterministă înseamnă că, dacă agentul decide să meargă, atunci ceea ce
se va întâmpla este de 100 la sută probabilitatea că va merge în sus.
Exact asta se va întâmpla.
Nu există alte opțiuni.
Odată ce spuneți că mergeți în sus sau faceți clic pe săgeata sus se va ridica.
Nu există alte opțiuni.
Acum, pe de altă parte, căutarea nedeterministă este atunci când agentul nostru spune că vrea să meargă în sus.
Sunt de fapt câteva opțiuni.
De exemplu, ar putea exista trei opțiuni și vom arăta un exemplu în care există trei
opțiuni, dar nu trebuie să fie o limită la trei înainte ca aceasta să fie diferită
în funcție de depinde de problema dacă aleatoria ar putea fi diferită, în cazul nostru ar putea fi trei opțiuni, cu o
șansă de 80% să se ridice.
Dar, cu o șansă de 10 procente, când vrea să meargă, el va merge de fapt spre stânga doar pentru că.
Pentru că așa funcționează mediul în care trăiește lumea.
Și cu un alt cec în șanse de 10 procente, el va merge bine.
Și în acest caz va cădea în firepit.
Deci așa funcționează toate.
Acesta este un exemplu de căutare sigur nedeterministă a unui proces stochastic și care este scopul
acestui lucru este de a face un model mai realist al ceea ce s-ar putea întâmpla într-o lume reală într-o problemă reală din lume,
deoarece foarte rar se întâmplă situații ca aceasta când faci ceva și se întâmplă
exact așa.
Și chiar dacă te gândești la jocuri, să zicem că ai un agent care să joace Pac-Man.
Ei bine, nu întotdeauna este cazul ca, dacă stă în piață, el urcă.
El va obține același rezultat exact de fiecare dată.
Ei bine, într-adevăr va merge în sus, dar poate că într-un caz nu veți fi mâncați de o fantomă în oricare dintre cazuri.
El va fi mâncat de o fantomă.
Așa cum puteți vedea că există oarecare aleatorie pentru că depinde de modul în care fantomele se mișcă și nu
se mișcă mereu în același mod.
Ele nu încep întotdeauna în aceleași locații.
Deci, este foarte logic că este destul de corect că există ceva aleatoriu, există ceva care nu este sub controlul
agentului și asta este doar o modalitate pentru noi de a prezenta acest lucru pentru ca noi
să învățăm cum putem face față și cum care afectează o ecuație Belman cum afectează întreg
procesul de învățare a întăririi.
Dar, în același timp, întâmplările nu se limitează, desigur, dacă mergi sus, există o șansă de 10% să mergi la dreapta sau
la temp și să mergi la stânga sau dacă te duci la șanse de 10% să mergi la dreapta sau la
stânga, re dreapta este o sansa de 10 la suta o sus sau jos subtil limitat la cazul in care
vei incheia pana uneori ai putea avea o problema care este exact.
Uneori, posibilitățile ar putea fi diferite.
Uneori, întâmplările s-ar putea să se fierbe până la altceva, ar putea fi fiert ca un exemplu.
Pantalonii Pacman mănâncă că nu vă mănâncă sau că s-ar putea să se fierbe la ceva diferit.
De exemplu, ca și cum ar fi dacă agentul joacă Doom și apoi este ceva de genul unui monstru
care îl va împușca într-un caz, iar în alte cazuri există o probabilitate ca toți
să fim împușcați și nu vom fi împușcați.
Și așa și așa ceva care este în afara controlului agenților este ceva ce nu pot să prezic.
Aceasta este ceea ce modelăm aici în căutarea nondeterministă și aici am abordat în mod direct două concepte
noi, un semn al proceselor și un semn al procesului și un semn de marcaj al procesului decizional, așa că să
ne uităm la ele.
Și știi cât de mult nu-mi place să pun definiții și o mulțime de text pe margine.
Dar în acest caz este necesar să trecem prin asta.
Deci, haideți să aruncăm o privire asupra unui proces stochastic care are un semn de proprietate.
Dacă distribuția condiționată de probabilitate a stărilor viitoare ale procesului conditional și atât starea
trecută cât și cea actuală depinde numai de starea actuală, nu de secvența evenimentelor care au precedat-o.
Un proces cu această proprietate se numește un marcator.
Definiție foarte complexă și fel de fel cum introduceți un pic nu doar contrazice în sine, ci se simte ca
ea contrazice în sine, astfel încât aici este condiționată de prezența pozitivă care depinde de punctul
dumneavoastră.
Dar, în același timp, depinde numai de starea actuală.
Deci, nu fi prea împotmolit în asta.
O voi rupe în termeni simpli, astfel încât o marcă a proprietății este atunci când starea ta viitoare.
Deci, nu doar alegerea ta, ci totul.
Alegerea dvs. și mediul înconjurător pe care le vor dori numai rezultatele tuturor acțiunilor pe care le faceți în acel mediu vor depinde
numai de locul în care vă aflați acum.
Nu va depinde de cum ai ajuns acolo.
Si asta e.
Deci, aceasta este o chestiune de public și un proces care are această proprietate se numește procesul de piață.
Deci, pentru a pune într-un exemplu, astfel încât, dacă agentul dvs. este aici și dacă el se duce, dacă el decide să meargă sus ar putea
merge.
În cazul nostru, în exemplul nostru de căutare nedeterminist, el ar putea merge de fapt la stânga și la dreapta.
In regula.
Asta pentru că avem acel oraș în interiorul mediului nostru, avem acea aleatorie în
mediul nostru.
Deci, oricare dintre aceste lucruri s-ar putea întâmpla.
Dar cheia aici este că acesta este un semn al procesului, pentru că nu ne pasă cum ai ajuns aici.
Ar fi putut să vină de sus, a ajuns aici, ar fi putut veni de la stânga și de aici sus
ai putea să vii de jos și să ajungi aici.
Ar fi putut să se joace aici, ca 100000 de ori și apoi a ajuns aici.
Nu contează ce sa întâmplat înainte de ceea ce contează este statul în care se află acum.
Probabilitățile de a merge la stânga sau la dreapta sau în sus vor fi întotdeauna aceleași dacă el este în această
stare acum.
Și, de fapt, doar spune că nu contează ce sa întâmplat înainte să ne aflăm acum.
Acesta este statul în care te afli.
Și nu uitați că statul nu înseamnă doar unde este în picioare.
Statul este starea întregului agent în mediul înconjurător, așa că sunt acolo ca monștrii pe dreapta sau monștrii din stânga
sau știi că este fantoma provenind dintr-un vârf sau de jos indiferent de starea în care
te afli acum .
Nu contează cum ai ajuns acolo, nu contează cum și cum a ajuns să fie că ești acolo în acel
stat.
Acum, ceea ce se va întâmpla în viitor este determinat doar de statul în care vă aflați acum.
Plus acțiunile pe care le veți lua și, bineînțeles, întâmplările pe care le suprapuneți.
Deci, aceasta este o amprentă a procesului și a unui proces de decizie a unui marker sau a unui proces de decizie MVP sau de marcare.
Oferiți un cadru matematic pentru modelarea procesului de luare a deciziilor în situații în care rezultatele sunt parțial
aleatorii și parțial sub control asupra procesului decizional.
Atât de important este să înțelegeți faptul că procesul de procesare a deciziilor este diferit și este diferit de
conceptul întregului concept al procesului, pentru a marca procesul.
Există un cadru matematic asemănător.
Dar, în același timp, am crezut că este important să înțelegem ce înseamnă
un proces deoarece cred că încă ajută la înțelegerea marcajului procesului de decizie și deci este un semn al
procesului decizional.
Acesta este exact ceea ce am discutat până acum, astfel încât agentul să trăiască în acest mediu în care el
a avut controlul ca el în trecut și a avut control complet asupra a ceea ce se întâmplă, dar acum are un control
puțin mai mic.
Poate decide să urce, dar știe de fapt.
OK, dacă mă duc acolo, există o șansă de maimuță. Voi merge la încercări și șansele vor merge la stânga și șansa va
merge bine.
Deci nu totul este pe deplin sub controlul său.
Există unele întâmplări în acest mediu și asta este exact ceea ce este un semn al
procesului decizional și procesul decizional Markov este cadrul pe care agentul îl va folosi pentru a înțelege ce trebuie să facă în
acest mediu.
Deci, avem un mediu cu o anumită toxicitate.
Și acum agentul trebuie să aleagă, de exemplu, să urce în sus spre stânga sau spre dreapta.
Trebuie să ia această decizie.
Nu știe ce să facă.
Și pentru a face această decizie se va aplica un cadru va fi folosirea unei mărci a procesului decizional pentru
a lua această decizie care va fi ce se va întâmpla acolo unde va merge.
Și astfel, în esență, acest mediu care ridică această problemă se referă la semnul procesului decizional, astfel că este cadrul în
care agentul utilizează în același timp mediul în care se face referire la faptul că agentul
operează într-un mediu de proces decizional de piață.
Și, de fapt, aici avem două concepte pe care le avem semnul procesului, modul în care acest
mediu este proiectat ca PA să facă lucrarea.
Ce se întâmplă de unde sunteți acum nu depinde de trecut.
Și în același timp, avem semnul procesului de decizie este cadrul pe care agentul
îl va folosi pentru a rezolva acest mediu.
Și vestea bună este că semnul procesului de decizie sau acel cadru despre care vorbim este
de fapt doar o adăugare la întrebarea noastră despre ecuațiile lui Belman este ecuația Belman, dar doar puțin mai sofisticată.
Să aruncăm o privire la asta.
Aceasta este ecuația noastră Belman până acum.
Este maximul tuturor acțiunilor posibile.
Deci valoarea de a fi într-o stare este maximul tuturor acțiunilor posibile pe care le puteți lua
din acel stat.
Valoarea maximă este luată din recompensa pe care o veți obține prin luarea acelei acțiuni în acel stat, plus un factor
de reducere ori valoarea următoarei state care este la fel de primă.
Așa am făcut până acum.
Acum, pentru că avem niște întâmplări în întregul nostru proces, această parte se va schimba pentru că nu
știm de fapt care stat se va sfârși și nu știm care e primul va fi dacă va
merge dacă o să fie up sau va fi lăsat va fi corect, așa că trebuie să plasăm acest lucru cu valoarea
estimată a datei următoare.
Deci, aici vom înlocui acest lucru, astfel că există trei stări posibile în care putem ajunge.
Așa că vom înlocui acest lucru cu o anumită valoare pe care statul o are ca una primă.
Că are o viziune de prim-plan.
Și acest stat are o valoare a celor trei Bryne.
Deci acum vom multiplica statul în care intenționăm să mergem cu 80%, pentru că așa este probabilitatea de
a ajunge la acea stare plus probabilitatea de a ajunge la această stare este
de 10% plus persoanele care se primesc în stat. doar valoarea noastră așteptată, așa că dacă din
statistici, dacă luăm valoarea așteptată de a ajunge în statul în care vom intra în acestea, suntem cam ca medie. Care
este media a ceea ce vom obține și apoi o vom înlocui aici.
Apoi, obținem această agresiune și sare foarte repede doar pentru că este mare, dar dacă te
uiți la ea cu atenție, vei vedea același lucru despre Max despre aici.
Apoi ai r de S și A R de S și ei ai gama ai gamma.
Și apoi, în sfârșit, aveți aici v.
Deci știați exact că a fost o căutare deterministă pe care ați știut în ce stări veți intra.
Acum, nu știți de ce stat veți intra din acel moment de a lua V.
Primiți valoarea așteptată a statului în care veți intra în statul viitor sau pur și simplu în termeni simpli, luați
în medie ceea ce veți primi.
Asa ca stii ca a fost ca si pentru 30 plus 3 la suta sansa ca va fi ca diviziunea lui Plus de trei
practic.
Dar în acest caz nu este vorba de o medie medie.
Este o medie ponderată din cauza probabilităților de aici.
Deci, aici aveți probabilitatea ca atunci când vă aflați în această etapă să luați această acțiune de a intra în starea de
prim rang a valorii primei și a altora pentru a trece toate aceste prime care ar putea să
ajungeți în cine suntem.
Deci, exact ce am avut trei aici unu doi doi.
Adăugați-le înmulțire, adăugați-le.
La fel și eu.
Unu doi trei.
Înmulțiți-le cu probabilitățile și adăugați-le.
Și asta e noua ta ecuație Belman.
Felicitări.
Aceasta este ceea ce vom lucra cu avansarea.
Și acesta este cadrul care este folosit în procesele decizionale, astfel încât acesta este cadrul care rezolvă
acest lucru.
Agenții aceștia au rezolvat această problemă stochastică de căutare nedeterministă, unde există evenimente aleatorii care se
întâmplă pe care nu le pot controla.
Deci este mult mai complexă.
Dar după cum puteți vedea pentru că ne-am construit încet la el.
Acum știm deja despre acest lucru despre care știm.
Îți faci griji în legătură cu asta.
Știm despre asta.
Știm ce sunt.
Deci, tot ce am făcut este că tocmai am introdus această parte aici pentru
că există probabilități implicate în acțiunea sau consecințele acțiunii dvs. pe nondeterministe, pe baza probabilităților.
Și așa mergem.
Astfel funcționează un marker al procesului decizional și ecuația care stă la baza acestuia.
Încă o dată, este ceva care seamănă mai mult cu problemele reale ale lumii reale sau cu Sinatras
sau cu scenarii de joc, pentru că nu totul este simplu.
Există unele aleatoriu de toate implicate și nu întotdeauna va lua o acțiune într-o anumită stare va întotdeauna Nawal
nu întotdeauna va conduce la același rezultat.
Și așa vom face cu viitorul și asta va face lucrurile mult
mai interesante.
Deci, sperăm că ești încântat de asta și încântat să vezi ce urmează.
Și între timp am găsit o hârtie foarte interesantă pentru tine să te uiți la acest moment.
Este o lucrare foarte aplicată.
Deci, acesta este de fapt interesant de citit.
Se numește un sondaj al aplicațiilor din procesul de procesare a deciziilor Mark și a fost scris de
alb în 1993.
Există legătura și vă voi arăta exemple de unde procesele de decizie Markov sunt folosite pentru a modela viața reală. Sinatras
Cred că am fost foarte entuziasmat de acest lucru.
Am fost impresionat de câteva exemple de recoltare a populației, de exemplu.
Deci, să spunem că aveți niște pești și știți ce populație de pești trebuie să decideți
câte pești să putem pescui în acest an și ce.
Deci asta este starea ta actuală.
Aceasta este acțiunea pe care o luați Câți putem fi împușcați în acest an.
Deci, care sunt cele mai bune rezultate.
Câte pești vom avea anul viitor.
Câte pești vom avea în anul următor și în anul următor și așa mai departe.
Și nu este determinist, deoarece nu este ca și cum ai lua-o la o oră și 90 la sută din populație
în anul următor pe care îl vei ști că înapoi la 100 la sută nu este chiar predicarea.
Există anumiți factori aleatori implicați, care sunt în afara controlului nostru și, prin urmare, trebuie să
înțelegem ce se va întâmpla, trebuie să modelăm ce se va întâmpla
acolo unde decizia pieței procesează agricultura.
Există un exemplu, cum ar fi recoltarea culturilor, cât de multe recolte recoltăm câți
bani nu recoltăm.
Un altul pe care l-am privit la finanțe și investiții ca o companie de asigurări trebuie să decidă cât de mult din
fondurile pe care le va investi în orice cred că zi sau an sau o anumită perioadă de timp și acești anumiți
factori sunt de control.
De exemplu, cunoașteți mișcările de pe piață, nu știe ce se poate întâmpla, așa că trebuie să modelăm acest
lucru într-un fel.
O marcă a proceselor de decizie utilizate pentru asta.
Deci, aici puteți vedea o mulțime de exemple.
Și acesta este numărul de exemple date pentru fiecare dintre ele.
Și astfel știți chiar și exemplele sportive pentru sport și epidemii și asigurări auto revendicări de întreținere și
reparații este, de asemenea, foarte interesant.
Uită-te la asta.
Doar pentru a vă oferi o înțelegere a faptului că nu este vorba doar de toate chestiile ipotetice de tip
Matrix.
Acesta este de fapt scenariul lumii reale, așa că vă dau o mai bună
înțelegere și despre asta am discutat în videoclipul promoțional pentru scorurile sau descrierea cursului pe care
o vom inspira și intuiția dvs. pentru a vă oferi idei pentru cum să utilizați AI în viața reală.
Aceasta este șansa ta.
Uită-te la această lucrare pentru a înțelege.
Bine, deci vom avea de-a face cu semnul procesului decizional care merge mai departe.
Este foarte cool ce arată în viața reală și acest lucru ar putea declanșa câteva idei
pentru voi cum ați putea aplica în viitor pentru a face lumea un loc mai bun și am fi foarte fericit în legătură cu
asta.
Ne-ar fi fericit dacă ați putea folosi ceea ce învățați în acest curs pentru a face lumea un loc mai bun.
Cât de fantastic cu asta.
Deci, în acea notă, sper că te-ai bucurat de tutorialul de astăzi.
Aștept cu nerăbdare să vă văd data viitoare.
Și până atunci să vă bucurați de AI.