Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Sper că sunteți entuziasmat de tutorialul de astăzi, deoarece luăm primul nostru pas în lume,
I.
Și astăzi vorbim despre învățarea prin întărire.
Este o poveste foarte importantă, pentru că va susține tot ce se va întâmpla în acest curs.
Deci, să începem aici.
Avem un labirint mic si acest labirint reprezinta reprezentarea noastra a unui mediu si cu asta vom avea
de-a face cu acest curs.
Vom avea de-a face cu anumite medii în care inteligența artificială se va desfășura,
va face acțiuni pe care le va încerca să le bată în căutarea pe care va căuta
să le câștige în aceste medii.
Și aici avem un agent.
Agentul este inteligența noastră artificială.
Aceasta este persoana sau mintea care va naviga în aceste medii și de a învăța din feedback-ul pe
care mințile lor o vor da pentru a efectua anumite acțiuni.
Astfel, modul în care funcționează este că agentul efectuează anumite acțiuni în acest mediu.
Și, ca urmare, starea în care se află se va schimba astfel încât să fie mai mult sau mai aproape sau mai mult spre stânga mai
mult spre dreapta.
S-ar putea să aibă și alți parametri care o descriu și acei parametri.
Deci, statul se va schimba din cauza acțiunii și va primi, de asemenea, recompense bazate pe acțiune.
Deci, de fiecare dată când este nevoie de o acțiune, statul se va schimba și va primi recompensă.
Acum țineți minte, uneori, s-ar putea întâmpla ca aceasta să nu schimbe statul, acțiunea nu va
schimba o ședere sau nu va fi o recompensă pentru luarea acelei acțiuni.
În acest sens a fost.
Dar, totuși, agentul va continua să facă acest lucru, urma să ia măsuri care înșeală
statul să primească recompense schimbând acțiunile, luând măsuri de schimbare a statului și obținerea de recompense.
Și făcând acest proces va învăța despre ceea ce urma să exploreze mediul,
înțelegând ce acțiuni conduc la bune recompense și state favorabile și ce acțiuni cele două
recompensează un stat nefavorabil.
Și aceasta este o problemă foarte reprezentativă, foarte globală.
Deci, dacă vă gândiți la mediile de fapt, nu trebuie să fie doar labirinturi.
Nu este vorba doar de a ieși dintr-un labirint sau de a găsi o comoară într-un labirint.
Un mediu poate fi destul de mult în viață.
Așa că imaginați-vă că vă treziti dimineața și gătiți o omletă.
Deci, pentru a face acest omelet, trebuie să treceți prin anumite pași de care aveți nevoie pentru a obține sarea, pentru a obține ouăle, pentru
a obține tigaile pe care să le trageți și așa mai departe și sună ca un lucru obișnuit de rutină.
Dar a devenit rutină pentru că ai făcut-o de atâtea ori.
Dar, în realitate, este un mediu în care efectuați anumite acțiuni pe care le luați, pe care
le puneți pe foc, punând o tigaie pe focul pe care îl puneți toate ouăle în tigaie și puneți niște
sare pe ouă și întoarceți și așa mai departe.
Așa cum puteți vedea că sunt acțiuni ale CRN care se desfășoară în anumite state și acele acțiuni duc la
anumite alte state și, uneori, recompensează.
De exemplu, atunci când puneți focul și așteptați așteptați așteptați așteptați așteptați să luați o acțiune
de așteptare așteptați așteptați prea mult timp și apoi puneți ouăle în tigaie.
Răsplata va fi foarte negativă.
Totul va arde.
Pe de altă parte, dacă faceți toate acțiunile corecte la momentul potrivit, este foarte important
să înțelegeți că acțiunile trebuie luate la punctele corecte în timp.
Așa că, de exemplu, punerea sarei în tigaie înainte de a pune ouăle înăuntru ar putea să nu fie cea mai
bună idee.
S-ar putea să doriți să luați această acțiune de a pune sarea în tigaie după ce ouăle sunt
acolo, astfel încât într-o stare diferită.
Deci, este important să vă amintiți asta.
În același timp, dacă luați toate acțiunile corecte în ordinea corectă în stările corecte, recompensa dvs.
finală ar putea fi aceea că veți obține o omletă pe care o puteți mânca.
Și așa este o activitate foarte activă în viața ta, dar dacă te gândești la ea este de fapt un mediu și tu
ești agentul care trece prin acest mediu și îndeplinește o sarcină pe care nu trebuie să înveți nimic pentru că
deja o cunoști destul de bine .
Dar, în același timp, ați putea învăța că ați putea învăța cum să faceți o omletă mai bună sau, mai ales,
dacă este primul tău omlet pe care îl faci, probabil că o să-l înfurii.
Dar vei învăța din asta pentru că vei înțelege ce acțiuni conduc spre stări și căi și
orice altceva în viață.
De exemplu, chiar tranzacționați pe piața bursieră și cunoașteți cumpărarea și vânzarea și obținerea unor
feedback din partea pieței în sensul revenirii pozitive sau negative.
Acesta este, de asemenea, un mediu în care participați la acel mediu ca pe un vârstnic.
Conducerea unei mașini este, de asemenea, un mediu în care puteți roti volanul pe care îl puteți
accelera, puteți rupe și așa mai departe și primiți feedback din mediul înconjurător și știți
că unul dintre acești factori de reacție este polițistul care vă dă o amendă rapidă, depășind limita de viteză permisă sau permisă
pe acea autostradă.
De aceea, de aici, aflați că nu este ceva ce trebuie făcut, deoarece duce la
o recompensă negativă.
Deci, recompensele nu trebuie să fie chiar la sfârșitul procesului.
Acestea pot fi pe parcursul întregii călătorii.
Deci, acestea sunt câteva exemple.
Iar în termeni de un mod eu cel mai simplu mod de a gândi despre învățarea de întărire este ca și cum ai antrena
un câine atunci când antrenezi câinele să-i dai anumite comenzi și dacă se supune acelor comenzi atunci îi dai o atingere pe care
o dai ca un biscuit sau ceva dacă nu-l face Abeles Kamaz să-i spui că este un câine
rău sau că nu-i dai un tratament.
Și prin acest proces, el învață ce anumite comenzi sau ce trebuie să facă pentru a face ceea ce trebuie
să întreprindă în anumite state, iar statele sunt comenzile pe care le dați.
Și bazându-se pe asta, ea va obține, desigur, anumite recompense în lumea AI.
Nu este așa complexă.
Nu trebuie să oferiți tratamentele.
Nu trebuie să aveți ca tine o pungă de biscuiți de fiecare dată când îi dați un
plus sau un plus, deci este un avantaj imens că în lumea AI am creat noi înșine acele AI-uri.
Deci, recompensele pe care le oferim dacă credeți că acest lucru este o răsplată cu adevărat plăcută le dă
că nu există de fapt că sunt doar un plus sau minus unul sau plus unul sau mai multe sau ceva.
Deci, totul este inexistența tuturor lucrurilor imaginare.
Dar, în același timp, conduce la rezultate extraordinare, deoarece putem crea aceste lucruri uimitoare aceste uimitoare
inteligențe artificiale, ca și prin această inteligență artificială uimitoare, oferind doar recompense pe care nu le existăm.
Plus și minus unul nu costă nimic, dar același timp eliberează rezultatele.
Deci, foarte asemănătoare cu lumea reală.
Și știi, de exemplu, Dokes Dar aici recompensele sunt cifre digitale și simple.
Și cu asta în minte putem vorbi despre cîini robot Îmi place acest exemplu, așa că este doar în jurul
valorii de în imagini nu este neapărat că robot câine exact știți că este instruit prin consolidarea învățarea unii dintre
câinii robot mai ales cei mai mari pe care le-ar fi un algoritm acolo.
Și acesta este, de fapt, un bun exemplu al diferenței dintre agenții preprogramați și agentul de învățare a armăturii, astfel
încât să puteți avea un câine robot care este preprogramat pentru modul în care va merge.
Deci, în algoritmul din spatele câinelui în software-ul va spune OK, astfel încât, în scopul de a merge trebuie să
vă mișcați piciorul stâng înainte înainte stânga picior înainte apoi picioarele dreapta spate înainte înainte de piciorul drept înainte înainte de dvs.
spate stânga piciorul înainte și repetați această acțiune și știți că aceasta este definiția de mers pe
jos este o funcție în interiorul acestui câine.
Și apoi s-ar putea să știți cum să stați cum să stați și așa ceva.
Întrucât într-un câine robot care este instruit prin întărirea învățării ce se întâmplă este că nu o preprogramați.
Acesta este conceptul cheie pentru tot ceea ce aici nu aveți nici un algoritm în interiorul care este greu codificat
în câine.
În schimb, veți avea ce vom discuta în viitor.
Aveți acest algoritm de învățare a întăririi, care este spus că OK, astfel încât obiectivul este de a ajunge de
unde nu acum cunoașteți nimic până la sfârșitul camerei, de exemplu.
Iată câteva acțiuni pe care le puteți lua.
Poți să-ți muți piciorul drept poți să-ți muți piciorul stâng poți să-ți muți piciorul drept înapoi ai rămas piciorul înapoi,
deci aici toate gradele de libertate pe care le poți face tu poți să-l muți așa poți
să te miști așa ca o listă de acțiunile pe care le puteți lua și recompensele dvs. sunt de fiecare dată când faceți un pas înainte obțineți
un plus de fiecare dată când vă cădea peste.
Ai un minus unul și asta e tot ce trebuie să faci.
Și apoi pleacă de la câine și o lasă să se gândească singură.
Așa că câinele încearcă să se ridice, cade, apoi își dă seama că bine nu ar trebui să fac acea acțiune care a dus la căderea mea, pentru
că de fiecare dată când cădesc, primesc un minus care nu e bun pentru mine atunci.
Deci, cealalta actiune care la ajutat sa se ridice si apoi cifrele sunt doar experimente
experimenteaza experimentele lui tri la intamplare si apoi isi da seama ca poate face un pas inainte
prin mutarea piciorului din fata dreapta si devine unul plus si realizeaza ca ar trebui face mai mult din asta.
OK, așa că acum află că ar trebui să facă mai mult din acest lucru și mai puțin din asta.
Și prin acest proces de învățare rapid înțelege foarte repede cum poate merge.
Iar acei câini care se gândesc singuri pot uneori să meargă mai bine decât câinii care sunt preprogramați pentru că într-adevăr
lucrurile preprogramate ne uităm la câinii de viață reală sau știți că ne folosim
imaginația cum să o facem în timp ce un câine de învățare de armare poate optimizați lucrurile pe cont propriu.
Și pentru că în AI uneori pot obține rezultate și mai bune.
Și așa își pot antrena robotul.
Aceiasi caini robot pentru a juca fotbal.
Poți să antrenezi un câine normal pentru a juca fotbal, deoarece știi că întreaga abordare este diferită.
Și nu este ceva ce știi probabil că un câine obișnuit a fost pregătit să facă sau a făcut
vreodată în procesul evoluției sale.
În timp ce un câine robot de învățare de întărire poate foarte ușor să înțeleagă cum să joace fotbal, atâta timp
cât le spuneți ce recompense sunt ceea ce obiectivele sunt ceea ce acțiunile posibile le pot lua.
Așa funcționează procesul de învățare a consolidării.
În general, există o prezentare generală rapidă a procesului de învățare a armăturilor.
Sper că te-a făcut foarte entuziasmat că urma să vină, pentru că este o lume
complet diferită față de soluțiile de preprogramare, soluții hardcoded hard, în cazul în care aveți condițiile altfel.
Acest lucru este foarte diferit.
Și vom vorbi mai mult despre asta.
Între timp, avem o lectură suplimentară pentru dvs., dacă doriți să aveți niște materiale de susținere. Iată un articol
excelent pe care îl puteți arăta și examina.
Se numește învățare simplă a armăturii cu flux tensor.
Are zece piese.
Linkul este aici și veți găsi linkul complet clickabil pe.
În cursul resurselor de articolul lui Arthur Giuliani din 2016 și puteți urmări acest curs și puteți obține
informații suplimentare din acel articol.
Dar țineți cont de faptul că acest articol are tendința de a curge în cazul în care ca în
acest curs vom utiliza tor torche atât de diferite de punere în aplicare, dar implanturi, dar în același timp, ați
putea ridica câteva lucruri aici și acolo, care ar putea să vă suplimenteze învățarea că suntem va face în acest curs.
Articolele grozave care vă urmează văd dacă vă gândiți să o urmăriți cu siguranță.
În caz contrar.
Verificați că prima parte și vedeți dacă vă place să vedeți dacă doriți să citiți ceva mai mult.
Apoi, avem specificul acestui tutorial de învățare a aplicării frontierelor, o lucrare a lui Richard Sutton, care
se numește învățare de întărire.
O introducere este că lucrările din 1998 sunt destul de vechi, dar în același timp puteți învăța un pic despre întărirea
învățării unor exemple precum exemplul Omlet și alte exemple de unde poate fi aplicată învățarea de
întărire și doar o prezentare generală a învățării întăririi.
Dacă sunteți în căutarea unor citiri suplimentare și pe această notă vom încheia acest tutorial.
Nu pot să aștept să vă văd data viitoare.
Și până atunci să vă bucurați de AI.