Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Sper că vă bucurați de curs până acum.
Și astăzi discutăm despre acțiunile de politică de selecție.
Bine, hai să intrăm direct în asta.
Anterior am vorbit despre adăugarea unei rețele neuronale în învățarea noastră simplă și
până acum ajungem într-o învățare profundă.
Am vorbit destul de puțin despre partea de învățare, inclusiv adăugarea unor elemente.
Și astăzi vorbim despre această parte despre care vorbim despre actorie.
Să aruncăm o privire.
Deci, aici avem ceea ce am discutat despre acționarea că odată ce introduceți valorile parametrii sunt vectorul care descrie agentul de
stat este în mod evident în acel mediu, atunci că este după ce învățarea este făcută sau chiar înainte
ca învățarea să se facă.
Practic, obținem toate valorile q, astfel încât nu suntem interesați de învățare chiar acum insistăm
să acționăm așa că, odată ce avem aceste valori cheie, cum înțelegem ce dintre noi trebuie să folosim.
Dacă te gândești la asta.
Valorile Q sunt pur și simplu predicții pentru cub.
Așa cum am făcut în algoritmul simplu de învățare, ce am făcut noi am selectat-o pe cea cu cea mai bună valoare de
cea mai mare valoare.
Odata ce avem unul cu cea mai mare valoare IQ, luam aceasta actiune pentru ca ne aduce cea
mai mare valoare si stim ca recompensa imediata a calculatorului lui Duval pe care ne asteptam sa
o primim Plus factorul DK ori valoarea urmatoarei date.
Și este un calcul recursiv, deci de ce nu de ce nu ați lua cea mai bună valoare și asta este un
fel de sfârșit.
Dar, după cum puteți vedea aici, nu este atât de simplu că aici folosim o funcție soft max
și aici vom vorbi despre politicile actuale de selecție.
Deci, aici, în realitate, nu trebuie să avem doar o funcție software.
Putem avea politici diferite de selectare a acțiunii, de exemplu, avem soft Epsilon Epsilon și avem soft-urile Mac și
acelea sunt cele mai frecvente politici de selecție a acțiunilor, desigur că există
și altele.
De exemplu, cea mai de bază este o acțiune foarte simplă, sociabilă, doar selectați cele mai bune.
Cel cu cea mai mare valoare Q.
Dar de ce nu acționează pulsul de acțiune și de ce avem diferite tipuri de politici de selectare a acțiunii impulsurilor
de acțiune.
Ei bine, totul se reduce la explorare și exploatare.
Și acesta este nucleul învățării de întărire, pentru că am vorbit deja despre acest lucru puțin mai mult despre agentul dvs. atunci
când acesta operează într-un mediu în care ar putea anticipa anumite valori de coadă care ar
putea fi bune și s-ar putea dovedi grozav că s-ar dovedi că acestea sunt disponibile și va fi forțat să exploreze.
Deci, dacă, de exemplu, în acest caz, anticipăm că Q2 este cel mai bun și apoi ia Q să ia
măsuri și să o facă.
Așa că de aici până la secțiunea 2 și apoi devine o recompensă foarte negativă.
Apoi, mediul îi forțează pe agent să meargă și să explodeze, pentru că acum el va învăța că de
fapt am crezut că Q2 va fi foarte bun, dar sa dovedit a fi foarte rău.
Rezultatele nu sunt foarte rele.
Deci, rețelele se pot actualiza, astfel încât data viitoare când se află în statul în care probabil va mânca sufletul
meu va ajunge la ea.
Știți că dacă este foarte favorabilă, așa că ați putea crede că este ca și cum ați ști că
ați putea avea nevoie de câteva ori de câteva sancțiuni sau pedepse pentru a afla că este vorba despre acțiune.
Dar poate că deja va afla în curând că voi lua o altă acțiune și voi lua acțiunea pentru încheietura mâinii,
pentru că acum are cea mai bună valoare.
Deci, uneori, mediul forțează agentul să ia diferite pentru a explora diferite acțiuni, dar uneori agentul ar
putea să-l găsească blocat într-un maxim local ar putea găsi că a urmat prin explorarea inițială și a constatat că
oh aceasta este o acțiune destul de rece ca Voi merge chiar aici.
Și colecția d'esprit.
Dar problema este că ea crede că este cea mai bună acțiune pur și simplu pentru că nu a explorat este explorat merge
până nasul său sau merge la stânga este de a explora merge bine, dar nu a explorat coborâre din acea stare specifică că este
în și acum că este un fel de părtinitoare față de această acțiune și crede că o acțiune bună va
continua să o ia și va continua să obțină.
El va continua să ia este de fapt va continua să obțină o recompensă bună.
Dar daca aceasta actiune ar fi fost chiar mai buna daca aceasta actiune ar fi fost mult mai buna decat daca ar fi stiut despre
aceasta actiune, ar trece de fapt la aceasta actiune, dar pentru ca a ramas blocata intr-un maxim
local este obtinerea acestor recompense bune este pur si simplu să fie consolidată.
Aceasta va continua să se consolideze singură, iar violența o va întări că aceasta este o acțiune bună
pentru a continua să facă acest lucru.
Dar realitatea este că există o altă acțiune care nu a mai fost găsită sau nu a fost nici măcar explorată.
Asta ar fi fost mult mai bine.
Așadar, ceea ce vrem să facem este să vrem să prezentăm o politică de selecție reală care să permită agentului nostru să
nu se blocheze într-un maxim local.
Da, este important să știți că continuați să faceți acțiunile bune care reprezintă partea de exploatare.
Nu vom exploata ceea ce am găsit.
Dar, în același timp, noi încă mai dorim să explorăm că nu dorim niciodată să încetăm să explorăm ca și cum în viața pe care nu o
vrei niciodată să nu mai înveți să nu te mai învăț să mori.
Acestea sunt lucruri de genul asta, că atunci când nu creșteți, ești pe moarte sau ceva așa că vrei să continui
învățarea și agentul tău dorește să continue învățarea.
Și aici intră aceste politici de selecție a acțiunilor.
Deci, avem trei pe care le-ați enumerat aici, astfel încât primul este Epsilon lacom, este unul foarte simplu,
sună destul de complex în sensul că, de exemplu, are un nume rece și, de obicei, lucruri cu nume chirurgicale.
De fapt, nu este.
Deci, în principiu, ceea ce face este că va selecta unul cu cea mai bună valoare Q și epsilon ca Epsilon, ați putea
auzi alte locuri, este ca o politică de selecție.
Deci, în acest caz, o folosim pentru a șterge astfel încât valorile noastre Al-Q sunt de vânzare ca cea
cu cea mai mare valoare Q tot timpul, cu excepția procentului Epsilon din timp.
De exemplu, dacă setați epsilon la 10%, atunci mergeți la sau 0. 1 la 10 la sută din timpul în
care acțiunea va fi aleasă la întâmplare.
Deci, în proporție de 90% din timp, veți selecta cea mai bună acțiune bazată pe cea mai mare valoare.
Dar 10% din timp va fi selectarea unei acțiuni aleatorii.
Uniform va fi o acțiune absolută aleatorie sau dacă ați spus epsilon
la zero punctul cinci pentru 0. 05, ceea ce înseamnă că 95% din timpul în care agentul va lua acțiunea cu cea
mai mare valoare.
Dar 5 la suta din timp inca va fi selectarea si actiunea aleatoare.
Deci o să meargă acolo și să exploreze.
Așa că softul lui Epsilon este foarte asemănător cu modul în care se numește
de ce se numește FCL lacom, pentru că atunci selectați cu greu acțiunea, acțiunea bună, cu excepția acelui mic episod.
O parte din timp.
Deci, cu cât contractul EPS este mai mic, va scădea Lepp Epsilon cu cât mai mult alegeți acea acțiune
care este acțiunea optimă și cu atât mai puțin veți părăsi șansele mai puțin de plecare pentru a explora
softul lui Epsilon este opusul.
Deci, în mod esențial, alegi la întâmplare că selectezi un minut minus Epsilon cent.
Deci, dacă epsilonii sunt ca 0. 1 la 10 procente, iar apoi doar 10 la sută din momentul în care faceți această acțiune.
Și 90 la sută din timpul selectării unei acțiuni aleatorii.
Deci foarte foarte simplu doar algoritmi invertit și un soft Max este cam ca pasul următor sau este o
versiune mai avansată aș spune peste epsilon de epsilon algoritm lacomi, deși ambii au merit
și ambele au un loc.
Vom folosi autofinanțe în codarea noastră în felul nostru practic.
Așa vom vorbi în detaliu mai mult despre soft max.
Să aruncăm o privire.
Deci, să mergem la următoarea noastră speranță.
Este destul de clar despre Ebsen este de acord că este un algoritm destul de simplu.
Selectați aceasta.
De cele mai multe ori, cu excepția uneori mergi și explorați.
Și acum vedem și de ce este important să facem această explorare, astfel încât să nu ajungem în maximele locale în
procesul nostru de optimizare, așa că acum vom vorbi un pic mai mult despre soft-urile Mac.
Există un tutorial pe marcările moi la sfârșitul cursului.
Cred că este o anexă numărul doi în care vorbim despre conceptul lui Maxim, pentru că vă reîmprospătați puțin aici,
deci vorbim de rețele neuronale și de felul în care vom acoperi cu toții
convoluția.
Nu acoperim rețele neuronale de evoluție în această secțiune.
Desigur, în această secțiune, încă mai folosim un vector.
Dar în următoarea secțiune a cursului în care suntem creați un AI pentru a juca Doom, vom folosi o rețea
neuronală convoluționară, astfel încât ar putea fi benefic pentru dvs. să vă uitați în rețelele
neuronale relaționale și apoi să luați o auto max funcția sau puteți afla mai multe despre soft Max.
După ce luați rețelele neuronale convoluționale și, bineînțeles, mai târziu.
Dar aici este o reîmprospătare rapidă Deci avem aici rețeaua neuronală convoluțională care decide dacă este un câine
sau o pisică.
Deci, aici avem procesul de votare între acești neuroni și acesta spune că este vorba de caracteristicile
pe care le cunoașteți urechile pufoase Care este tipul de lucru cu vârf ascuțit și tipul de trăsături sunt tipurile
ochilor cu ochii ochii privesc toate aceste trăsături care aparțin unui câine.
Deci este o șansă de 95 la sută că este un câine și șansa de 5 la sută că este o pisică.
Dar întrebarea este cum am ajuns în acel Tauriel despre care vorbim despre cum obținem aceste valori pentru a adăuga
până la unul.
Ei bine, oricare ar fi convoluția tuturor rețelelor noastre neuronale sunt rețeaua neuronală convoluționară plus Lares complet conectat, indiferent
de ce este rău, indiferent de valorile pe care le aplicăm funcției soft max sunt
aici.
Aici am introdus formula pentru funcția următoare.
Este ceea ce pare.
Și apoi avem aceste valori.
Și, în principiu, este o reîmprospătare rapidă.
Aceasta este formula pentru soft Max.
Este ceea ce face, este nevoie de multe rezultate, dar nu conteaza.
Le va lua și le va împușca pe toate în valori cuprinse între 0 și 1, indiferent de cât de mari sunt doar prin faptul
că pentru mine puteți vedea că există o sumă totală în partea de jos, astfel încât aceste dispozitive vor fi
zero și înăuntru.
Și, de asemenea, toate aceste valori vor adăuga până la unul întotdeauna.
Și asta este foarte benefic pentru noi deoarece atunci când folosim funcția soft max ceea ce se întâmplă este că
obținem aceste valori selectând cea mai bună valoare de vizualizare.
Dar, în realitate, ceea ce se întâmplă este acele valori pe care le obținem că există numere reale corecte.
Deci, acesta este un fel de numere.
Nu trebuie să se adune toate la unu și nu trebuie să fie între 0 și 1.
Doar câteva cifre.
Dar când aplicăm soft Max nu selecem doar cel mai bun pe care îl obținem de fapt
numerele astfel încât să obținem numerele noastre între 0 și 1 și care, de asemenea, se adaugă până la 1.
Și ce altceva știm că se adaugă la unul.
Probabilitatea este că știm probabil că probabilitățile trebuie să adauge până la 1, de aceea putem
spune aici că avem valori q, dar dintr-o dată suntem moi sau avem probabilități.
Așadar, putem spune că probabilitatea ca această acțiune să fie cea mai bună acțiune este de 90%.
Această secțiune lesbiană 5 la sută 2 la sută 3 la sută pentru că știm cu cât este mai mare valoarea dvs. cu atât acțiunea este
mai bună.
Deci, dacă le împărțim la 0 la 1, atunci acestea devin posibilități și putem să le facem ca atare.
Și, prin urmare, acum este momentul în care acțiunea este selectată și așa vom veni cu Q2.
Dar dacă te uiți îndeaproape acest lucru nu este strict 100 la sută și acestea nu sunt Saroo 0 la sută.
Deci, acesta este de 5% la 3%.
Deci, modul cel mai natural de a aplica soft-ul Max pentru a păstra explorarea în algoritm este de a folosi aceste
probabilități exacte, cât de des se întâmplă să luăm acea acțiune.
Deci, aceste probabilități prezintă de fapt distribuția acestor acțiuni pe care le luăm, astfel încât în esență moale Max face
foarte ușor pentru noi să vină cu o modalitate de a combina exploatarea și explorarea.
Deci, cea mai buna actiune va avea intotdeauna cea mai mare probabilitate pentru ca are cea mai mare valoare Q si deci
aici vom fi doar sa le folosim ca distributie sau vom spune bine vom lua Q2
90 la sută din timp, dar 5 la sută din timpul pe care încă mai avem de a lua Q1
și 2 la sută din timp ajungem la 3 și 3 la sută din timpul pe care o să luăm Q4.
Și frumusețea aici este, de asemenea, că, pe măsură ce aceste valori se actualizează ca și când agentul
trece prin rețea din ce în ce mai mult, devine mai familiarizat cu mediul și, prin urmare, aceste actualizări, astfel încât această valoare, de exemplu, ar putea
deveni așa cum s - ar putea dovedi că această valoare este de fapt mai mică sau de fapt aceasta este
mai mare și astfel aceste probabilități se vor schimba, de asemenea, pe măsură ce un agent trece.
Deci, chiar dacă avem aici Choo-Choo.
Nimeni nu trebuie să spună că, uneori, 5% din timp, pentru a fi mai precis, vom selecta primul trimestru ca
fiind acțiunea pe care o luăm și, uneori, sau o acțiune, vom lua măsuri.
Uneori vor fi luate măsuri prin două acțiuni, trei două procente din timp, iar acțiunea va
dura aproximativ 3%.
Deci, fiecare acțiune are o șansă de a juca în acest proces, atâta timp cât avem destule iterații, un agent trece prin
mulțime și de multe ori prin aceste state în care se află.
Și asta este felul în care funcționează orice fel de algoritm de învățare profundă, încât doriți să
faceți acest lucru de multe ori pentru a învăța din experiență și, prin urmare, după cum puteți vedea aici
este o tranziție foarte naturală.
Nu suntem doar la întâmplare ca un algoritm furios Epson și nu doar selectarea aleatorie a acțiunilor pe care le selectăm
pe baza valorilor lor soft max, ceea ce face ca acest lucru să aibă ca rezultat o logică în spatele ei, nu numai
că nu doar acea întâmplare de 10% când alegem o acțiune aleatorie, dar există o logică
în spatele modului în care o facem și pe baza valorilor-cheie pe care le-am explorat.
Și așa este politica de selecție a acțiunilor pe care o vom folosi în acest curs.
Sunteți binevenit să verificați cu siguranță afară Ebsen secțiunea de acțiune lacomi Polsce dacă doriți, dar
vom fi în principal, folosind politica moale Max secțiunea de acțiune și am o lectură interesantă pentru
tine.
Deci, acest lucru se numește explorare adaptabilă Epsilon lacomă în procesul de învățare a consolidării pe baza diferențelor de valoare
este articolul din 2010.
Și este interesant pentru că Mike Michel nu sunt sigur cum să pronunți Michelle și Miquel toxic
introduce un alt tip de Algren și ajustat Epsilon algoritm lacom și numit VDB VDB algoritm sau epsilon greu
VDB algoritm puteți vedea aici.
Și el compară de fapt compara cu Ebsen lacomi și moi Max și este un algoritm
absolut lacom, care în principiu ideea principală din spatele ei este de a ajusta valoarea de epsilon, în funcție de starea în care agentul
este.
Deci, dacă agentul este foarte sigur cu privire la stat în atunci Epsilon ar trebui să fie mai mic, astfel încât acestea ar trebui să fie mai
puțin explorare în cazul în care agentul este răspunsul Epson ar trebui să fie mai mare ar trebui să fie explorare mai mult.
Deci este un articol din 2010.
Nu sunt sigur dacă acest algoritm nou propus este utilizat pe scară largă sau este ca fiind acceptat în comunitate sau
dacă Times artificial are un fel de cale de la această sugestie.
Dar, cu toate acestea, vă va ajuta cu siguranță să vă consolidați cunoștințele despre politicile de selecție
a acțiunilor pe care le-am discutat despre Epsom Ingredion,
softul Naxal vă ajută să vă dați posibilitatea de a obliga site-ul Subha și, de
asemenea, să vedeți în ce direcție oamenii gândesc când vor să îmbunătățească inteligența artificială dacă vreți să creați cu adevărat
algoritmi interesanți care să împingă marginea inteligenței artificiale Elche și împingând plicul în acest spațiu, atunci
acesta ar putea fi o modalitate bună de a vedea în ce direcție oamenii gândesc uneori atunci când încearcă pentru a îmbunătăți
normele inteligenței artificiale sau normele care existau atunci în 2010.
Așa că mergem.
Sperăm că v-ați bucurat de tutorialul de astăzi despre politicile de selecție a acțiunilor și am aflat
despre sarea Epson de la abseil și Mac-urile moi și acum sunteți chiar mai pregătiți pentru aspectul practic al lucrurilor.
Și în această notă mă aștept cu nerăbdare să văd următorul pas.
Și până atunci să vă bucurați de AI.