Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
În povestea de azi vorbim despre ultimul a într-un 3C.
Vorbim despre avantaj.
Așa că este.
Am vorbit deja despre criticul actorului și despre un sincron anterior.
Așa că a construit o cale către ceea ce vom privi astăzi și cu avantajul că vom pune
totul împreună.
Deci, așa am ajuns până în prezent, avem o rețea neuronală împărtășită între agenții agenți asincroni și apoi
avem criticul care este de asemenea împărțit între vârstă și așa.
Cum funcționează acest lucru și de ce este distribuit acest critic între agenți.
Să aruncăm o privire la asta.
Bine înțelege mai bine că vom examina un exemplu pe care îl vom examina de exemplu pentru acest agent și vom vedea ce
se întâmplă atunci când este într-o anumită stare și trebuie să ia o decizie cu privire la ce acțiune să joace.
Deci, acest agent este într-o stare în care vede această imagine și apoi ceea ce se întâmplă este că această informație intră
în rețeaua neuronală pe care o duce la bara convoluționară, apoi merge în bara de piscină,
apoi intră în bara de aplatizare și apoi de acolo intră în straturile ascunse ale
rețelei neuronale și apoi, ca ieșire, devine toate aceste valori de politică pe care le valorificați politica.
Și, de asemenea, primește valoarea criticului.
Și așa cum știm rețelele neuronale pentru a funcționa, trebuie să propageze anumite erori sau pierderi
prin rețea.
Deci, în acest fel, pentru a actualiza greutățile, ceea ce așteaptă sau nu, cu ce pierderi vom avea de-a face cu
aici.
Ei bine, suntem două pierderi.
Avem pierderea de valoare și postările.
Deci pierderea de valoare este legată de pierderea parțială a valorii este legată de grupuri și este atât de valoroasă.
Am rezolvat deja problema.
Știm că avem recompense și știm că avem un factor de reducere, deci practic este foarte asemănător
cu ceea ce am vorbit despre transformarea în tutoriale de învățare profundă.
În principiu, rețeaua prezice o anumită valoare V și, în același timp, putem estima ce ar trebui să se bazeze pe ceea ce știm despre mediul
înconjurător până în prezent putem să apreciem ce ar trebui să fie valoarea în stare și comparând cele
două putem calcula valoarea pierderea și apoi înapoi rețeaua de propagator actualizează
greutățile.
Deci, asta e legătura cu noul lucru aici, este pierderea politicii.
Și, deci, ce este această pierdere de politică și cum funcționează?
Ei bine, aceasta este partea în care această situație în care criticul este împărțită între actori sau
între agenți va apărea în cele din urmă.
Deci, pentru a înțelege pierderea de palsu, trebuie să introducem o valoare numită Advantage, prin urmare numele acestei
părți a povestii pe această parte a Salyut este avantajul și avantajul este calculat ca Q al
unui A minus V din s.
Deci, practic, valoarea Q sau că ați ales să jucați toată acțiunea pe care ați ales să o jucați în starea în care
vă aflați în starea S minus valoarea acelei stări.
Deci aceasta este diferența dintre cele două și se numește asta.
Și avantajul este folosit la calculul impulsului.
Acum nu vom intra în formula calculului fără puls, deoarece este destul de complexă pe care o folosește
entropia sau dacă nu puteți folosi entropia.
Nu vom diseca această formulă, dar vom înțelege acest lucru la un nivel intuitiv.
De ce facem acest lucru de ce calculăm acest avantaj și cum ne va ajuta?
Să aruncăm o privire la această premisă pentru o secundă.
Valoarea Q vine de la ceea ce a prezis rețeaua neuronală pentru acest agent și astfel de predicție în această acțiune specifică în această
stare specifică pentru acțiunea pe care o poate juca, astfel că are aceste
acțiuni și poate glisa una dintre ele și o poate juca bine, în timp ce valoarea Wii este valoarea dictată de
critic.
Este valoarea pe care o avem aici în această parte comună și asta este cheia aici că această parte
este împărtășită atât de pauză critică pentru că așa se face creditul.
Pentru că avem o valoare pe care o alegem sau acțiunea pe care o alegem să o jucăm pentru acest agent în
acea stare.
Dar atunci criticul ne poate spune care este valoarea cunoscută a acelei stări, ceea ce este în general valoarea cunoscută
pentru întregul grup de agenți care joacă împreună, deoarece împărtășirea lor nu răspunde deoarece originalul B pentru că
împărtășește criticul toți aceștia contribuie la aceste valori v care sunt calculate pentru un set
diferit, astfel încât întregul a. z algoritmul spune OK.
Deci, criticul știe o valoare v cu cât valoare este mai bună valoarea q pe care o alegeți în comparație cu
valoarea v cunoscută.
Asta spune.
Deci asta este în esență.
Așa că voi selecta o valoare q aici, bazată pe politica mea bazată pe faptul dacă orice vom folosi ca o funcție de
soft max sau pe o politică Epsilon Grealy sau ceva de genul asta.
Și bineînțeles că vom ieși din explorare și exploatare combinate acolo, dar am selectat valoarea
Q și acum întrebarea este ce este în plus.
Ce înseamnă aceia care cer scuze care este avantajul pe care îl aduce acțiunea aleasă în comparație cu
valoarea cunoscută a acelei stări și care este esența avantajului și în esență atunci este folosit pentru a calcula
pierderea politicii și atunci pierderea politicii este apoi propagată înapoi prin reîntoarcerea la rețea.
Deci, ambele sunt înapoi propagate printr-o rețea și greutățile sunt ajustate pentru ca rețeaua să reprezinte
mai bine valoarea criticului și, de asemenea, este partea de sus.
Dar, de asemenea, această parte a cheii aici este că valoarea greutăților sunt bakra.
Atunci când aceste post-birouri înapoi uita că ratele sunt ajustate în așa fel încât acest avantaj să fie maximizat, ca
și cum ar fi acea parte intuitivă a înțelegerii intuitive a faptului că suntem
din nou această politică a trecut prin rețea pentru a ajuta la maximizarea acest avantaj.
Și ceea ce înseamnă asta este în esență faptul că atunci când un agent întâlnește acțiuni rele ca acțiunile în
care valoarea q este mai mică decât valoarea cunoscută pentru stat.
Deci, practic, întregul algoritm ATC știe că valoarea pentru stat este ceva X și apoi dintr-o dată ai dat
peste o acțiune foarte proastă și tu ai făcut-o și ai ales pentru acțiune.
Și ceea ce înseamnă pentru entuziasm este că bine de ce am face ceva de genul asta atunci când este mai
rău decât noi deja ceea ce știm deja despre acest mediu întreg și ce ar fi putut face.
Deci nu ar trebui să facem mai mult din asta.
Și, prin urmare, greutățile sunt doar într-un fel, astfel încât acest lucru se întâmplă este mai rar.
Deci, acest lucru se întâmplă mai rar.
Deci, este un eveniment mai puțin frecvent în care alegem acea acțiune rea.
Pe de altă parte, dacă alegeți o acțiune foarte bună în cazul în care valoarea q este mai mare decât
V sau mult mai mare decât atunci când în timpul acestei retransmiteri a pierderii poloneze
prin rețea, greutățile vor fi actualizate și astfel într-adevăr să se consolideze încurajați-vă să vă asigurați că se va întâmpla din nou, astfel încât greutățile să fie ajustate
astfel încât algoritmul de atrezie să se gândească bine, încât să se răcească într-adevăr că
Wantage era foarte mare acolo.
Ar trebui să fac mai mult din acest lucru și, prin urmare, veți actualiza greutățile într-un mod care va avea o probabilitate mai mare
să apară în viitor acea acțiune.
Deci, și de aceea știți că modul în care rețeaua încet încet se adaptează încet și încearcă să se
construiască în ceva care, pe de o parte, calculează corect valoarea și apoi pe de altă parte
sau cât mai corect posibil.
Și, pe de altă parte, încurajează sau are acțiuni care au un mare avantaj.
Așa că mergem, asta e partea asta.
Și acum, să aruncăm o privire la altul doar pentru a consolida ceea ce am discutat doar în topul 1.
Deci, același lucru aici.
Agențiile de vârf o situație în care un stat se află într-un stat și apoi trebuie să decidă ce să facă, deoarece aceste informații
către rețelele din această imagine utilizează internetul pentru a le convoluționa că le trag
aplatizarea Lehre merge în straturile ascunse și apoi de aici vom obține o ieșire primim valorile acute ale politicii
pe care le obținem din nou valorile V același lucru avem două pierderi.
Avem pierderea de valoare, care este aici pierderea poloneză care este aici pierderea de valoare.
Știm deja cum se calculează.
Când am discutat acest lucru în învățarea profundă Q și discutăm doar chiar acum.
Așa a fost calculată valoarea și apoi pierderea politicii din nou pentru a calcula ceea ce nu vom merge
pentru el.
Dar, la un nivel intuitiv, calculam acel avantaj care este bine, deci am luat o anumita actiune pe care am ales o anumita actiune
bazata pe politica noastra de selectie, fie ca este vorba de soft Max, fie ca este lacomi lacomi
sau ca orice alta politica sociala pe care o folosim.
Și apoi care este acțiunea pe care am făcut-o Acum, să o comparăm cu cunoscuta și valoarea statului care vine de la criticii împărțiți, astfel încât
acest critic este un fel de genul dacă credeți că este un fel de observare
a tuturor acestor agenți în același timp caută la această singură privire la aceasta, toți aceștia contribuie
la un critic pentru a determina criticul să se grăbească cu mediul înconjurător pentru a se
asigura că criticul este reprezentativ pentru ceea ce se întâmplă în mediul actual, astfel încât greutățile.
Aceasta este situația în care apare pierderea de valoare, astfel încât greutățile rețelei neuronale reale reflectă foarte
bine situația actuală a lucrurilor din mediul înconjurător, astfel încât acestea să se poată baza pe această valoare și
apoi să o folosească aici.
Și așa mai departe.
Deci, toți acești agenți toți acești agenți contribuie la acest critic.
Dar, în același timp, prin intermediul acestui fără valoare, dar în același timp, criticul
respectă deciziile sau politicile acestor agenții.
Este ca si cum ar fi ca sa ma uit inapoi la asa cum incerc sa atrag ca o sageata pe stalpi o
sageata si o sageata.
Privind înapoi la ele la decizia pe care o fac sunt criticarea acestor decizii prin acel avantaj și
spunând că ați făcut o decizie pe care ați ales-o pentru că ați ales această acțiune.
Grozav.
Acum, să calculăm avantajul sau dezavantajul fermei este egal cu faptul că știi că valoarea Q ar
fi putut să ia decizia pe care am luat-o sau alegerea pe care am făcut-o pentru cea pe care am făcut-o să o ia minus
valoarea cunoscută criticului.
Nu despre critic.
Deci Kalika diferența dacă este o diferență mică sunteți polonez atunci atunci când vă poloneză pierderile înapoi propagate prin rețea
modul în care acesta va fi ajustat va încuraja greutățile care urmează să fie ajustate
în așa fel încât acest lucru nu se întâmplă din nou că valoarea Q sau valoarea Q va fi
mai mică, astfel că, deoarece politica noastră selectează acțiunile bazate pe valorile q, cu cât este mai mare valoarea Q, cu atât va fi
mai probabil să fie selectată.
Deci, dacă am fi folosit ca o politică arc Max, atunci vom selecta întotdeauna una dintre cele mai înalte pe măsură ce vă
amintiți că am discutat acest lucru, atunci vom selecta întotdeauna cel cu cea mai mare valoare.
Dar, de fapt, am folosit o abordare probabilistică pe care o foloseam ca un soft moale sau o
politică lacomă.
Și apoi selectam de fapt unde putem selecta oricare dintre ele, dar cu cât cubul este mai mare cu atât mai bine.
Deci, dacă am selectat ceva și apoi avantajul a fost foarte scăzut, atunci bomba va fi adăugată
în așa fel încât data viitoare valoarea acelei acțiuni va fi mai mică și poate că altceva va fi
mai mult.
Deci, așa este divizat și, pe de altă parte, dacă vom selecta ceva în care acest avantaj va fi
ridicat, atunci acesta va merge în legile de politică și apoi în rețele și
îl actualizăm astfel încât să fie mai frecvent observat eveniment scenariu.
Și, de fapt, această întreagă pierdere poloneză ajută rețeaua să se adapteze sau să se transforme în așa fel încât să o facem.
Morală a lucrurilor bune bune acțiuni bune și lucruri bune și face mai puține lucruri rele.
Și așa intră în joc aceste două pierderi și așa se întîmplă.
Așadar, sperăm că acest lucru se limpezește într-un mod foarte intuitiv, desigur că nu am intrat în formulele în
matematica complexă din spatele tuturor acestor lucruri și ca în detaliile foarte complicate.
Dar, în același timp, sperăm că în mod intuitiv într-un mod intuitiv.
Toate acestea clarifică motivul pentru care avem actorul și criticul și modul în care interacționează împreună că
știți că aveți acești agenți asincron sau sincron al lucrurilor.
Atunci acesta este actorul și criticul dvs. și acesta este avantajul și modul în care toate acestea intră în joc.
Deci aceștia sunt agenți sincroni.
Ei merg.
Ei joacă acest lucru sau exploră mediul înconjurător și lucrează în mediul înconjurător, iar toți
contribuie cu totul la un critic care își respectă apoi politicile, respectând actorii, ceea ce se numește acest
lucru.
Și prin intermediul acestei avantaje și, prin urmare, vinerea, aceasta reprezintă o pierdere și apoi o pierdere de politică și valoare
sau o propagare înapoi la rețeaua doar pentru a face.
Pe de o parte, reprezintă adevăratul mod de lucruri în mediul înconjurător.
O altă mână pentru a îmbunătăți performanțele actorilor.
Așa că mergem.
Asta e o recapitulare rapidă a intuiției pe care am discutat-o.
Încă o dată, sperăm că totul se va reuni la un nivel intuitiv și, bineînțeles, în tutoriale
practice. Vom vorbi mai multe despre cum funcționează toate acestea în Atlanta, vă vom trece prin acest proces de construire
a proprietarilor.
Dar având această imagine în mintea ta și acest fel de fel ca o foaie de parcurs a tot ceea ce
vine împreună va fi bine ar trebui să fie Sper că va fi foarte util pentru tine de a naviga mai bine partea
practica a lucrurilor.
Iar în ceea ce privește lectura suplimentară pentru astăzi, avem două elemente, astfel că prima este în avantaj.
Deci, aici avem controlul continuu demodal continuu folosind estimarea avantajului generalizat de John Shulman și aceasta este
o imagine a unei figuri de tip stick ridicându-se ca și cum ar fi în picioare.
Și aici puteți găsi mai multe avantaje și avantaje și veți găsi toate tipurile de
avantaje diferite.
Ai avantajul general în estimare și ai avantaje pe care le folosești de fapt
în formularele din calcule, deci dacă vrei să afli mai multe despre
avantaj și exact cum funcționează formulele din spatele ei și unele dintre elementele sau formulele superioare de sus și fără găuri în
spațiul acestui avantaj.
Am discutat despre ele.
Acesta este articolul la care trebuie să mergem.
Și încă un alt element sau lucrare pe care vrem să vă reamintim este blog-ul o serie de postări de blog de
Arthur Giuliani despre care am menționat deja de câteva ori.
Aceasta este o parte opt, care este în special despre A-3 mare.
Deci, aici puteți obține o explicație mai mică.
Deci, cu un pic mai mult matematică despre ceea ce se întâmplă și poate că puteți să ridicați câteva lucruri suplimentare
de aici.
Doar două lucruri pe care trebuie să le țineți minte, în primul rând, ca întotdeauna acest blog este urmăritorii intenți pe care le folosim
cu torța.
Așa că ține minte.
Și al doilea lucru este că felul în care ne-am structurat abordarea este că am vorbit mai întâi despre critic activ, apoi
am vorbit despre un sincron.
Apoi am vorbit despre avantaj, în timp ce în logul primelor discuții ale lui Arthur despre un sincron, un critic al actorului este
un avantaj, deci păstrați-l în minte, astfel încât, sperăm, să nu vă arunce.
Dar, altfel decât este, desigur, este o mare bucată de conținut.
Și vă recomandăm să o verificați pentru informații suplimentare.
Deci, sperăm să ne bucurăm de tutorialul de astăzi.
Și aștept cu nerăbdare să vă văd data viitoare.
Până atunci, bucurați-vă.
I.