Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
În tutorialul de astăzi vom avea niște distracție.
O să avem o privire și o inteligență artificială care trec de fapt prin labirintul ăla despre care am
vorbit atât de mult și intenționează să ucidă învățarea să-și navigheze drumul și să găsească calea de ieșire și vom vedea
ce se întâmplă cu Valorile q urmau să se întâmple cu politica și așa mai departe.
Să aruncăm o privire.
Vom folosi câteva materiale oferite de Universitatea Berkeley.
Deci, dacă te duci la un Eu nu doar Birk E R K E L E De ce nu te duci din nou la acel link.
Veți vedea acest site Web și veți auzi ce vom analiza este nevoia de a merge la noi vom
merge la proiectele PacMan.
Cred că proiectele Pacman și aici, dacă parcurgeți în jos și vă uitați la ele în primul rând, aceasta este lucrul cu
care lucrăm.
Deci, aici puteți descărca arhiva zip.
Deci, dacă vrei.
Deci, nu trebuie să mai vorbim de asta, nu vom trece printr-o soluție împreună în acest proces, doar
vă informăm de unde este acest lucru, pentru că suntem foarte asemănători.
Chiar apreciem asta.
UC Berkeley a făcut aceste materiale disponibile.
Dar dacă doriți să experimentați acest lucru pe cont propriu.
Nu uitați că acest lucru nu este o parte.
Nu va fi parte a cursurilor noastre ca parte a cursului de la Berkeley.
Nu sunt sigur cum funcționează pentru ilustrare, dar dacă doriți să experimentați acest lucru, puteți
găsi aici arhiva zip și toate instrucțiunile vechi de asemenea.
Și vom merge imediat în Python și primul lucru pe care vroiam să-ți arăt este că aici
avem informațiile de licențiere, așa că asta vreau să spun.
Suntem foarte norocoși că au spus că suntem liberi să folosim sau să extindem aceste proiecte în scopuri educaționale, cu
condiția să știți că distribuim soluții de publicare pe care nu le vom face.
Mențineți acest anunț pe care îl avem și vă oferim un arhiepiscop clar pentru UC Berkeley, inclusiv o legătură cu care
avem și noi.
Deci, încă o dată, dacă doriți să aflați mai multe link-ul respectiv.
Poți să te uiți.
Și vă mulțumesc foarte mult tuturor acelor oameni care au lucrat la acest proiect, așa că aici este lumea rețelei.
Vom lucra dacă există o soluție acolo.
Va trebui ca pentru a face acest lucru, ar trebui sa o rezolvati singur sau sa gasiti o solutie.
Poate că unii dintre voi, pe cineva pe care îi cunoașteți, vă pot ajuta cu asta.
Dacă din nou ceea ce vrei tu nu trebuie, pentru că vom privi doar la acest ecran
chiar acum.
Deci, după ce am creat toate fișierele, am putea să-l lansăm aici.
Deci, există câțiva parametri care sunt implicați în întreaga lume și nu vom arăta cum
arată dacă l-am lansa.
Deci, să încercăm să-l lansăm în modul manual.
Deci, dacă mă duc minus una dintre aceste panorame sunt manuale, așa că pot să comand comandantului tău.
Deci, aici puteți vedea toate grilele, astfel încât să pot merge în sus, pentru a vedea că începe acțiunile
și începe în statele în care eram.
Și apoi ai văzut că am apăsat acționând Norf și când am terminat prima oară în zero după ce
am urcat.
Dar a doua oară când am acționat Norf și am terminat în același trist nu sa mișcat.
Așa că sa întâmplat ceva, știi că întâmplările au avut loc, ori am plecat la stânga sau la dreapta.
În mod prestabilit, parametrii sunt setați.
Puteți vedea aici, în mod implicit, aceștia sunt stabiliți exact la ceea ce am discutat despre cât de des
rezultă într-o direcție neintenționată.
20 la sută din timp până la 10 la sută spre stânga la dreapta.
Deci, dacă mă urc și spun că m-am dus, merg bine.
M-am dus chiar acum, nu sa întâmplat.
Din nou și din dreapta și am terminat.
Dar în această implementare trebuie să faceți clic din nou pentru a ieși din această ieșire finală, astfel încât să ieșiți de acolo să faceți din
nou clic și să terminați.
Asta este o stare terminală, ca să putem rula manualul nostru.
Puteți vedea că dacă mă duc chiar la dreapta stânga sus.
Deci, aici, ceea ce am văzut anterior că agentul nu ar merge drept în sus.
Care este scopul de a merge în sus, dacă există o șansă de a intra în groapă.
Deci, să vedem ce ar face agentul.
Ar merge la stânga și să meargă spre vest aici să meargă spre vest.
Și tu vezi că am făcut clic pe stânga, dar a mers sus și aici aș da clic dreapta.
Și ajung în etapa finală de ieșire și veți vedea răsplata lui Dumnezeu egală cu una.
Așa arată manual.
Acum, de fapt, să conectăm un AI la acest lucru și să lăsăm să treacă.
Deci, hai să facem un H aici și să adăugăm ceva Brandner.
Deci, permiteți-mi să văd ce am introdus aici, așa că, sperăm, puteți vedea prin rețeaua globală de ce, de aici,
minus mijloacele noastre.
Aceasta este răsplata vieții.
Așa că am două dintre ele, așa că probabil că ar trebui să o eliminăm.
Deci minus k este câte iterații.
Sunt prea multe iterații.
Să facem mai puțin Să facem ca 10 iterații ar trebui să fie suficient.
Minus a este Agent.
Ce tip de agent nu dorește să facă onoarea și imaginea și o anumită valoare sau un Q.
Q Deci vreau un Q.
Q agent de învățare care face acest lucru minus s este ceea ce este viteza, astfel încât este o forță prea mare,
care utilizează doar viteza maximă pentru acum minus R este o penalizare de viață este, prin urmare, implicit este zero.
Așadar, amintiți-vă chiar la începutul repornii 0 penances de viață, deci să numim și 0 0 și poate
doar să eliminăm acest parametru și D este ceea ce este o reducere.
Asa ca am un fel de factor, asa ca haideti sa-l pastram la punctul zero si asa
foarte asemanator cu ceea ce pornim in aceasta sectiune pe curs, asa ca sa alergam atat de OK cat de repede din nou, de fapt, atat de
frumos incat sa vedeti cum este explorarea.
Și până acum a lovit negativ de trei ori și puteți vedea cum sunt actualizate valorile q
în aceste pătrate.
Deci acestea sunt valori-cheie.
Ele sunt un fel de zero.
Acum puteți vedea valoarea Q.
Deci, el a aflat că aceasta este o aplicație diferită, pentru că odată ce ajungi în faza finală,
trebuie să ieșiți din ea.
Trebuie doar să faceți clic pe un alt buton pentru a ieși.
Și așa este foarte aproape de unul, dar nu de unul singur.
Dar, în același timp, puteți vedea că aici știți că valoarea lentă a mâinilor cristalizante este un punct în
care un ex-coleg devine undeva, dar sunt doar atât de departe încât sunt niște zerouri deoarece
nu are suficiente informații pentru a înțelegeți ce se întâmplă.
OK, să vedem să vedem ce se întâmplă aici.
Explorarea explorării explorării a ceea ce se va întâmpla.
A fost un timp.
Și avem aici aici o întâmplătoare.
Deci, este unul bun de câteva ori.
Acum are doar 10 iterații.
Deci trebuie să învețe repede. Ok, am nevoie de tine acolo.
Să vedem ce se întâmplă.
Haide.
Ieșiți din acest labirint deja.
Și da 10 episoade atât de mediu se dovedește că.
Nu prea e interesat de asta.
Deci, hai să vedem.
N-am văzut niciodată un clic.
Dreapta.
Vom merge acolo.
Deci, puteți vedea că aceasta este politica cu care a venit.
Chiar și prin doar 10 episoade are deja un puls.
Voi urca o bombă și aici o să mă duc aici, o să mă duc aici, o să intru în zid
și apoi o să mă duc să mă duc aici.
E foarte cool.
O.K.
Acum, hai să creștem viteza.
Care a fost parametrul s acolo.
Și asta e ca o dublă nelegiuire.
Asta e quadruple viteza si sa crestem numarul de iteratii asa ca sa zicem 20 de rationale de data asta si
sa vedem daca poate sa treaca mai mult acum.
Deci puteți vedea că va merge mai repede.
Și învață că află că nu știi de fapt că nu există multe acțiuni bune Orio aceste
acțiuni pe care dreptul și dreptele nu sunt atât de bune.
Cu siguranta acest lucru nu a fost cu siguranta bun.
Încă mai trebuie să învețe că de aici este de asemenea bun.
Puteți vedea că această acțiune este destul de bună.
In regula.
Ce a făcut el.
O.K.
Politica atât de interesantă, aici, vă hotărâm să mergem.
Doar nu sunt suficiente informații.
Să hai să facem asta.
Și să creștem viteza la 100.
Super-rapid și numărul de iterații îi vor da 100 de iterații de data asta când rulează acea
scenă ca o nebunie rapidă și poți vedea asta pentru că există atât de multe iterații El are mai
multe informații mai multe ocazii de a experimenta și de a construi această matrice sau matrice aceste valori pentru fiecare
stat.
Acum știe că poți vedea acel punct zero la optzeci și nouă.
Ce am spus în punctul nostru zero 86.
Un alt lucru de reținut este faptul că valoarea oricărui stat dat.
Amintiți-vă că formula pe care am avut-o este maximul valorilor cubului.
Amintiți-vă acel lucru pe care l-am găsit cu formula de scurtături.
Deci, ce este cu această valoare valoarea în această stare.
Ar fi 0. 18.
Pentru că acesta este cel mai înalt dintre cei patru aici valoarea acestei stări 0. 7 doriți valoarea din această zi.
Există un punct șaizeci și unu și așa mai departe.
Deci, este ceva de reținut.
Îmi aduc aminte când eram sus, cred că am avut ca zero punctul 86 sau ceva atât de praecox.
Și dacă vom merge anul viitor, voi dispărea sau vor dispărea din nou și asta o va face să revină.
O.K.
Încet încet încet umple niște spații.
Văd.
Și este, de asemenea, destul de aleatoriu, deoarece nu numai mediul are aleatoriu, ci și felul în
care el explorează că steaua nu știe cu adevărat că politica e explorată la întâmplare.
Doar continuă să dispară.
Nu înțeleg de ce.
Oricum, să vedem ce se întâmplă dacă măriți numărul aici și aici ar trebui
să luați cam același timp dacă viteza nu are un capac.
OK, așa că are mai multe oportunități de a explora lucrurile.
OK, să vedem cum merge totul.
Și puteți vedea că valorile sunt convergente, merg în sus și în jos, în funcție de care
știți, deoarece există oarecare aleatorie și ar putea ajunge ca în groapă, chiar dacă merge așa.
Dar, în același timp, ele încep încet să converge la niște valori și valori.
OK, probabil că o mie este prea mult din punct de vedere al timpului.
Nu pare ca viteza creste proportional.
Deci ar putea să taie acea parte.
Vreau să spun că reduc viteza.
Știți că în timp ce acest lucru este foarte scăzut, nu trebuie să urmăriți până la sfârșitul acestui
tutorial Vreau doar să experimentez destul de puțin pentru a vă da câteva exemple despre ceea ce am lucrat până
acum, dar obțineți punctul trece prin toate astea.
Are niște întâmplări cum ar fi comportamentul lui Rambler în comportamentul lui.
Așa că, chiar și atunci când are ca o politică, va continua să exploreze, astfel încât nu va dori doar ca odată ce are o
politică de bază, nu va continua doar să-și urmeze politica.
Încă o dată va experimenta cu alte variante, pentru a-și îmbunătăți politica, poate că nu a găsit
cea mai bună politică deja imediat.
Poate că poate îmbunătăți politica.
Iată de ce chiar și după atâtea iterații puteți vedea în continuare unele efecte aleatorii, uneori sari în stări aleatoare, nu doar
din cauza alegerii în mediul înconjurător ci și datorită faptului că există un anumit nivel ca un
parametru pe care l-ați putea controla pe care l-ați putea seta pentru agentul tău spunând că știi că de
cele mai multe ori 80% din timp face ceea ce îți spune politica, dar 20% din timp
ai doar un experiment amuzant și vezi ce se întâmplă și folosește informațiile pe care le
aduni pentru a le actualiza politica ta.
OK, asta durează prea mult.
Să încercăm din nou asta.
Da, așa învață agentul în diferite state.
Poate să mai vedem încă o dată din curiozitate.
Deci există și alte lucruri pe care le putem schimba.
Iterații.
O.K.
OK, haideți să aruncăm o privire.
Da, am putea schimba discuția de exemplu.
Deci, în acest caz am putea spune K minus o sută minus un Q minus doi și minus sunt OK mii.
Deci, recompensa.
Vrem să o păstrăm, poate să o păstrăm la 0. 04 Să spunem, însă, împotriva acestui fapt să păstrăm răsplata la punctul de
deșert zero, de fiecare dată.
Și apoi vom spune că reducerea nu este zero punctul nouă, dar este ca punctul zero punct
cinci.
Deci, devine destul de redus în timp ce treceți prin joc.
Deci, de fapt, acum va fi stimulat să vă apropiați mai mult de finisaj, decât să vă apropiați de stadiul apropiat, să
obțineți o valoare ridicată, astfel încât să puteți vedea că valorile scapă într-adevăr nu este la fel
de verde ca înainte.
Deci, aici puteți vedea că aceasta este politica acum.
Deci, așa se întâmplă ca și cum ar fi așa de asemănătoare cu ceea ce am văzut mai devreme, probabil că
doar diferențele de aici sare direct aici.
Deci, asta e una.
Și OK să mai fugim încă o dată.
Este atât de amuzant.
Hai să mai fim încă unul, așa că k minus k 100 a q aruncați.
Păstrați-l așa cum a fost original Deci, haideți să rulați acest set de bază de vanilie ok ok ok.
Va vedea dacă ne va arăta politica.
Și da, avem politica.
Da.
Finisare bună.
Deci avem aici politica.
Știți că este familiar.
Amintiți-vă că atunci când am văzut că AI a depășit bomba umană în perete pentru a merge acolo și a
bate în perete pentru a merge așa ca să crească problema.
Așa că mergem.
Acesta este un exemplu de inacțiune a inteligenței artificiale, foarte simplu de bază, de a ucide câștigurile, astfel încât să nu existe învățare profundă
în acest stadiu.
Dar, în același timp, este deja destul de inteligent și sper că v-ați bucurat de tutorialul de astăzi.
Și încă o dată vă mulțumesc pentru UC Berkeley și sper că v-ați bucurat de tutorialul de astăzi și aștept cu nerăbdare
scenice-le.
Până atunci, bucurați-vă de AI.