Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Anterior, am avut un tutorial destul de intens și de lungă durată în ceea ce privește procesele decizionale ale Margrove și, sperăm, ați reușit
să vă înțelegeți bine.
Și, sperăm, aș putea explica lucrurile într-un mod accesibil și angajat.
Și astăzi vom vorbi despre politici și planuri.
Va exista un tutorial rapid și distractiv, pentru că acum intrăm într-o lume nouă intrăm într-o
lume a căutării nestocteriste de căutări stochastice atunci când nu reușești să treci prin labirint, ci și să faci
față unor factori aleatorii tu în cap când treci prin acest labirint și trebuie
să fii pregătit pentru asta.
Asta e lumea.
Agentul nostru trăiește și este mai distractiv, dar este și mai periculos, este mai puțin previzibil.
Deci cum se va comporta agentul nostru?
Haideți să aruncăm o privire.
Există un semn al cadrului de proces decizional care este încă o dată favoarea ecuației Belman.
Totuși, versiunea mai avansată a ecuației Belman cu care lucrăm.
Deci, de acum încolo vom numi această ecuație Beldon.
Și aici avem acțiunea noastră maximă și Crucell, astfel încât valoarea unui stat orice stare este maximă în toate acțiunile pe care
un agent ar putea să le îndeplinească în acea stare.
Iar maximul a fost luat din recompensa pe care agentul o va obține prin efectuarea unei acțiuni Un instat ca Plus
un factor de reducere înmulțit cu valoarea așteptată a noului stat în care va fi.
Și m-aș aștepta ca cei luați aici, pentru că ei nu știu exact ce se sfârșesc.
Sunt niște efecte aleatorii care sunt prezente în mediul înconjurător care ar putea schimba starea și nu ar putea să nu
ajungă în starea dorită.
S-ar putea să ajungă într-o stare diferită.
De asta luăm valoarea așteptată de-aici undeva aici.
Așadar, să aruncăm o privire la acest lucru ca exemplul nostru, al nostru sau în exemplul nostru al labirintului.
Deci, așa am făcut anterior anterior, avem de-a face cu o căutare deterministă în direct.
Așa că am știut asta.
În regulă, dacă sunt aici, trebuie să merg aici dacă sunt aici.
Trebuie să merg aici dacă sunt aici cu siguranță că trebuie să mă duc aici dacă sunt aici Sunt aici.
Deci a fost destul de simplu.
Odată ce ai această hartă și ții minte numit-o, l-am numit un plan.
Odată ce ai planul, e destul de simplu de făcut.
Sunt.
Deci asta este planul cu săgeți.
Și de aici a fost foarte simplu că suntem aceștia sunt acele rute pe care le vor lua de fiecare dată când
porniți pe această linie albastră.
Asta este exact așa cum ați merge.
Cu toate acestea, acum nu mai avem un plan.
Nu putem avea un plan deoarece știți ce planificăm să nu se întâmple, nu este sub control sau planificați atunci când
știți exact ce trebuie să faceți în continuare.
Știi pașii.
Așa că ai un punct de plecare ai un scop și știi fiecare pas astfel încât să-i poți planifica că tu o
să faci asta o voi face asta o voi face ca în viață ca un plan .
Dar, în același timp, se petrece atât de mult acum.
Puteți avea un plan deoarece dacă ajungeți aici și faceți clic pe partea dreaptă și vă duce de fapt în
jos.
Deci asta nu face parte din planul tău.
De aceea se numeste planificarea mai mult.
Și aici vom calcula valorile sunt de fapt doar să se uite
la valorile calculate pentru aceeași problemă.
Dar pe baza faptului că avem această aberație înăuntru.
Deci acestea sunt noile valori.
Deci, de ce sunt diferite aceste valori, așa că trebuie doar să ne comparăm cu ceea ce am avut înainte.
Aceasta a fost ceea ce am avut înainte.
Acestea sunt atunci voi.
Deci, încă o dată am avut înainte pentru că a câștigat 3. 9 la sută.
Era într-adevăr 366.
Și aceasta este ceea ce avem astăzi mai puțin de o dată în vigoare și 1 6 3.
Și de modul în care acestea nu sunt tocmai mitingurile actuale de pe capul meu, dar dacă aveam să conducem un
agent, unele valori ar fi ceva asemănător cu acesta și valorile s-ar putea schimba, în funcție
de jocul pe care l-ar alege 3. 9 sau altă valoare, dar cu toate acestea, pentru argumentul
de dragul, acestea sunt valorile cu care avem de-a face acum și sunt aproximative, ei transmit toată noțiunea în mod corect, așa
că să ne uităm la ele.
De ce s-au schimbat.
Ei bine, de ce este aici cu aceasta aici valoarea a fost una.
De ce este dintr-o dată 0. 26 De ce este mai puțin decât unul.
Du-te de aici.
Ei bine, am sunat pentru că de aici, dacă mergem bine, care este intenția noastră dacă mergem bine, am putea
să avem o șansă de 10 procente ca vom ajunge aici.
Așa că l-am lovit pe perete și am revenit în această stare.
Și amintiți-vă că avem un Gamla. Deci, valoarea ar fi redusă și dacă suntem opriți sau opriți la 10 și întâmplător s-ar
ajunge aici în această stare.
Deci nu este o probabilitate de 100 la sută că aș ajunge aici, deci disconfortul nu mai poate fi unul, este
ceva mai puțin și este 0. 26.
Deci, acesta este un exemplu de ce este așa.
Și ați putea obține valoarea exactă dacă ați calculat ecuația lui Belman, dar întrebarea mea pe care o
avem acum.
Singura problemă este că va exista o recursivitate pentru că ar trebui să știți valoarea pentru
acest lucru și atunci trebuie să știți valoarea pentru acest lucru care este destul de complex și
de aceea nu facem calculele manual aici.
De aceea pot să le fac, pe măsură ce trece prin toate acestea, este ca și cum nu ar fi prea complex pentru
a.
Nu puteți să jucați aceste lucruri.
Deci asta e valoarea noastră aici.
Dar asta e altul.
Deci, aici doar pentru a fi 0. 9 doar din cauza factorului de reducere Amintiți-vă de aici
de aici și din nou acum de aici, colegii sari de aici de aici, pur și simplu pentru că, chiar dacă sari, dacă mergem
așa, am putea ajunge aici aici.
Chiar această șansă de 20% care va rămâne în piață pentru că vom lovi un zid.
Și din nou și așa mai departe.
Deci valoarea de a fi aici este zero punct șaptezeci și una.
Din nou, acesta și factorul de reducere.
Știți că acest lucru ar părea ciudat pentru dumneavoastră că acest lucru este chiar și cu reducerea în factorul acesta este prea mare.
Poate că factorul de actualizare din acest exemplu nu este 0. 9 poate că este vorba de șapte puncte nouăzeci și nouă
sau ceva care nu vă faceți griji despre asta.
Doar ca un accent pe asta.
Valorile s-au schimbat într-adevăr că valorile sunt acum mai mici.
Mai ales pentru că nu este o sută de procente probabilitatea de a ajunge la statul pe care doriți să obțineți
și ce veți găsi.
Un interesant este aici aici, pentru a fi doar 0. 9 de fapt a scăzut foarte mult a scăzut în mod substanțial.
De ce este asta.
Bine, pentru că dacă te duci de aici în sus, care este intenția noastră, există o șansă de
10% să lovești un zid, dar există o șansă de 10% să ajungi până la capătul de foc și să pierzi minus unul pentru
a recompensa și în esență asta înseamnă pentru agent că este sfârșitul a jocului.
Și așa este un stat foarte prost să intrați.
Așadar, dintr-o dată am amintit că avem punct zero la nouă ani și deci erau echivalenți.
Nu contează dacă auziți că sunt aproape egali în ceea ce privește valoarea de a fi în fiecare dintre aceste state.
Dar acum, dintr-o dată, această dată este aproape de două ori mai bună decât aceasta, pur și simplu pentru că aici, dacă te duci direct
la ea, mergi direct acolo unde vrei să mergi.
Știți ce consecințe a întâmplării este că rămâi aici.
Aici una dintre consecințe o șansă de 10% este să ajungi în groapă.
Deci, după cum puteți vedea, acest lucru nu mai este un stadiu bun, pur și simplu din cauza unei fluctuații care
s-ar putea întâmpla.
După cum puteți vedea acest lucru este de asemenea foarte rău pentru că este la fel de rău ca acesta în ceea ce privește știți că este doar șanse de
10 la sută de a ajunge în groapă și 10 la sută șansă de a ajunge în perete.
Dar, în același timp, există un factor de reducere. Deci, în primul rând, factorul de reducere și, după
aceea, trebuie să mergeți aici.
Și chiar dacă ați făcut ipotetic aici, ați putea ajunge din nou în groapă.
Deci, această șansă ar fi de asemenea luată în considerare deoarece amintesc că valorile derivă din această
valoare și că această valoare este derivată din această valoare.
Dreapta.
Și, prin urmare, este mic, dar în realitate, de fapt, ceea ce am spus că nu era corect.
Această valoare nu este derivată din Fed.
Deci, dacă aveți doar o privire acum, veți observa că această valoare de aici este de fapt mai mare decât
aceasta.
Veți observa că pentru agent este mai bine să meargă în tot acest fel decât în ​​acest fel și are dreptate.
Pentru că astfel nu-l pierde, nu există șansa de a ajunge în groapă.
Da este un pic mai lung și, prin urmare, factorul de actualizare are un efect mai mare.
Dar, în același timp, pur și simplu pentru că există șansa de a ajunge în groapă aici, dacă merge direct,
va exista o șansă de a sări.
Deci, va lua o remiză pentru a-și lua timpul și doar pentru a merge în jurul pentru că în acest fel există o șansă mult mai mică
de a obține Dar există încă.
De aici, de acolo, merge de acolo de aici.
S-ar putea să intre în groapă, deoarece ar putea ajunge acolo și asta ar putea ajunge în proiectul de lege.
Dar totuși este o șansă mai mică, așa că va continua așa.
Deci, foarte interesant pentru a vedea cum se schimba toata lumea, amintiti-va inainte ca de aici sa mergeti asa.
De aici ai merge așa și de aici mergem așa.
Acum, dintr-o dată, îi puteți vedea schimbarea.
Să aruncăm săgețile și să vedem cum arată acum și voila.
Vedeți chiar și un lucru mai aleatoriu drept.
Deci da, este adevărat.
Dar uită-te la ce sa întâmplat aici.
Uita-te la asta.
Ați așteptat asta.
Este ceva ce îmi place cu siguranță când am văzut prima oară când am fost foarte impresionată.
Nu eram super, nu eram surprins și nu mă așteptam deloc.
Și acesta este un exemplu pe care îl știi când pot depăși un om.
Suna ca ceva pe care l-ai prins chiar tu ai putea prezice, dar eu, prin învățarea de aplicare a legii, amintiți-vă
că, de fapt, câinii pot funcționa uneori mai bine decât viața reală normală.
Câinii sunt câini de robot preprogramați pot juca fotbal doar pentru că vin cu aceste idei pe care chiar nu le
putem vedea.
Și, ca un exemplu minunat, probabil că nu v-ați aștepta ca și asienii, în loc să meargă în
sus, sunt ca de ce ar fi eu.
Ca și cum aș merge până acolo, va fi o șansă de 10 procente, că voi sari în groapă.
Dar ce se realizează prin intrarea în război.
Ei bine, 80% din timp se va înrăutăți și va rămâne în stare.
Dar 10% din timp va merge aici și 10% din timp voi merge aici.
Deci, dintr-o dată puteți vedea că acum se află într-o nouă abordare de a sări în perete.
Există o șansă de zero la sută că va intra în foc, dar din acest punct.
Și este ca și cum nu vrea să intre în groapa de foc, atât de drogat de bononi în
perete de câteva ori și apoi va merge la dreapta sau la stânga la un moment dat pentru că acea aleatorie se va întâmpla.
Și așa a învățat că, prin experimentare, a aflat că atunci când merg înainte, rezultatele nu sunt la fel de bune ca atunci
când mă duc la perete.
Și dacă te gândești la asta e așa.
Acest robot, dacă te gândești la asta, este un foc de artificii, este un lucru foarte asemănător cu faptul că un pătrat este
ca o muchie foarte mică și apoi acesta este ca un munte ca o stâncă.
Și acest robot doar îmbrățișează stânca și la fel ca încercarea de a aștepta până când îi place împingeți spre dreapta sau
spre stânga, deoarece, bineînțeles, ca un om, probabil că veți face același lucru, nu ați fi în
față sau ați fi îmbrățișat de stâncă.
Sau ceva de genul ăsta.
Și, sperăm, știi că trebuie să ajungem să nu ajungem niciodată în astfel de situații.
Dar, cum ar fi vizual vizual doar dacă te gândești la ceva aici.
Și așa este foarte corect.
Deci, AI a venit cu această idee și același lucru aici care este un fel de a merge la stânga și Riskin a lua într-o luptă,
dar eu am de gând să încercați bile de pe perete ca stii imbratisa un perete încerca să sară în perete
și la un anumit punct stiu ca stii ca exista doar o probabilitate este o sansa de 10 la suta de fiecare data cand
fac ca voi merge aici si ceva se va intampla si voi ajunge aici si voi
fi in siguranta si apoi voi continuați așa.
Așa că abordarea foarte interesantă pe care au luat-o aici și puteți vedea că rutele sunt așa, astfel că de aici poate merge
bine și apoi se va duce la ieșire sau aici sau mergeți la stânga.
Și aici vom merge într-un anumit moment la stânga și vom merge așa din nou.
Asta e important.
Nu sunt o politică așa că, chiar dacă sare de aici, va merge aici.
Poate Și apoi de aici ar putea chiar să plouă drept.
S-ar putea să se întoarcă de fapt în dreapta și apoi de aici și o să mă las să obțin dreptul.
Deci există o mulțime de opțiuni diferite pentru băieții care ar putea să nu-l urmeze exact pe acel fierar care
merge altfel.
Acestea sunt doar rutele dorite pe care le-a conceput pentru sine.
Dar modul în care va funcționa ar putea fi diferit.
Depinde de lumea reală.
Așa că mergem.
Aceasta este lumea inteligenței artificiale.
Asta e ceea ce este o politică versus un plan și, sperăm, te vei încinge încet de ceea ce poate
face AI, mai ales având în vedere ceea ce am văzut aici.
Acestea sunt niște tipuri de decizii pe care AI le ia cu adevărat.
Și, după cum puteți vedea când jucați AI chiar și din acest mic exemplu, puteți vedea
că, chiar dacă jucați într-o lume reală, veți putea să veniți cu idei și decizii pe care chiar și uneori oamenii le pot face.
Și asta este exact așa cum se întâmplă în jocurile în care obiectivul Google
Alpha se juca împotriva campionului Lisa idol de gol în Coreea înapoi în campionul mondial de du-te.
Și au jucat în Coreea înapoi bakla în 2016 Cred că este martie 2016.
Au venit cu câteva mișcări pe care oamenii nu le-au jucat niciodată în 3000 de ani, sau oamenii nu erau obișnuiți să joace.
Și acesta este exact un exemplu în acest sens.
Așadar, încă o dată, sperăm că sunteți entuziasmat și pompat de discurs și de ceea ce putem integra.
Și eu o caut.
Ne vedem data viitoare.
Până atunci, bucurați-vă.
I.