Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Astăzi continuăm călătoria noastră în lume la fiecare trei vedeți și vorbim despre partea sincronă a
oricărei C, astfel că avem abrevierea noastră de avantaj sincron.
Critic activ.
Și astăzi vom afla ce înseamnă un sincron aici pentru ce înseamnă.
Și să ne întoarcem un pas.
Să ne uităm la ceea ce am pornit de la acest curs, pentru a afla ce înseamnă că
Asia este într-o anumită stare.
Observă statul.
Aceștia iau anumite decizii pe care le iau în acel stat și apoi statul este schimbat, astfel încât acestea intră
într-un nou stat plus primesc recompensă.
Deci, recompensa pentru luarea acelei acțiuni sau un fel de recompensă care ar putea constitui o pedeapsă și care vor ajunge într-un
nou stat.
Și pe baza lor, ei încep să facă din nou o acțiune.
Ei primesc o recompensă și se termină într-un nou stat și iau o altă acțiune și așa mai
departe și astfel este baza tuturor învățăturilor de întărire.
Și asta am folosit pentru a învăța în învățare profundă și pentru a continua învățarea în profunzime, ceea ce
a permis agenților noștri să bată treptat medii mai complexe și mai complexe.
Dar acum vom introduce un concept chiar mai bun și chiar și pentru a lua acest nivel și mai mult.
Ceea ce vede A-3 prin acest element și elementul sincron este în loc de a avea un
agent ataca mediul.
Ei au trei agenți sau orice număr de agenți sau mai mulți agenți care atacă același mediu.
Iar cheia aici este aceea că se numește sincronizează, deoarece acestea sunt inițializate diferit, astfel încât intrările
lor stele sunt diferite.
De exemplu, așa cum vedeți din surse practice, ați stabilit o sămânță aleatoare și ați stabilit-o
diferit pentru fiecare agent.
Și în acest fel, deoarece punctele lor de plecare sunt diferite.
Mai întâi vor trece prin medii în moduri diferite și apoi vor explora în moduri diferite
și apoi în iterațiile următoare vor fi explorate și în diferite moduri.
Și, de exemplu, avem trei agenți.
Dintr-o dată, obțineți triplu experiența în loc de o singură vârstă,
explorând mediul înconjurător și încercând să înțelegeți cum să o utilizați în acest mediu.
Acum aveți trei sau oricât de mulți dintre ei trece prin asta și obțineți această experiență și astfel încât
fiecare dintre ei să învețe pentru această experiență mai mare și în afară de faptul că oferă doar o
gamă mai largă de experiență, de asemenea, reduce șansele unui agent de blocare la un maxim local.
De exemplu, dacă un agent găsește o modalitate de a bate mediul care nu este cel mai optim, deoarece dacă deviază un stânga
la dreapta de la acea soluție pe care a găsit-o întotdeauna ca și cum devine mai penalizată, s-ar
putea să se blocheze într-un maxim local.
S-ar putea să rămână în continuare gândind că este soluția optimă acolo unde nu este.
Ei bine, probabilitatea ca mai mulți agenți să se blocheze în același maxim local să scadă față de scăderi cu numărul de agenți, astfel
încât probabilitatea ca un agent să se blocheze într-un anumit maxim local ar putea fi
mare dar Sau ar putea fi o anumită valoare.
Dar probabilitatea când ai trei dintre ei din cei trei care se blochează în acel maxim
local este mult mai mică.
Și atâta timp cât împărtășesc experiența între ei, se pot ajuta unul pe celălalt, astfel încât dacă unul dintre ei se blochează, de exemplu, este într-un
maxim local și pur și simplu crede că este cel mai bun și că este cel mai bun care este cea
mai bună soluție tot timpul și continuă să facă asta.
Atâta timp cât interacționează cu ceilalți agenți. Să presupunem că acest tip se blochează într-o acțiune
calmă atâta timp cât interacționează cu alți agenți prin modul în care ne construim întregul algoritm
prin celular și îl vom ajuta.
Îi vor da cunoștință că, de fapt, știi că ar trebui să explorezi acest lucru sau probabil că este mai
probabil să iasă din asta.
Și, de asemenea, în general mediul va ști că hei, chiar dacă acest lucru este un maxim maxim aceste alte vârste au văzut
mai multe opțiuni și ar trebui să continuăm să explorăm pentru că se pare că există opțiuni mai bune.
Deci, intr-un fel de intelegere dificila intuitiva foarte scurta, asta este faptul ca acestea sunt cateva din avantajele ca
acestea sunt agenti sincroni pentru ca aveti mai multa experienta de a alege si de a invata.
Ați putea ajunge la soluție mai rapid și, în general, dacă există o șansă mai mică
de a rămâne blocată într-un maxim local CRN.
Asa ca sa vedem cum totul se desfasoara.
În acest model pe care l-am construit până acum așa este să ne amintim că acesta este ceea ce am ajuns până acum prin criticul actual
și acest lucru este ca și cum noi toți suntem tachinează acest lucru este atât de mult încât vă amintiți de la prima la broasca
testoasa pe care am introdus-o Știți că avem acest lucru chiar și în oceanul adânc.
Q de învățare Așa că am numit doar X acum, dar acum am introdus critic, dar până
acum nu are sens ceea ce este punctul de a avea acest critic și de măsurare a
valorii statului sau prezice valoarea unei scene utilizând același neural rețele sau aceeași abordare.
Dar acum este acesta este faptul că partenerul va începe să aibă mai mult sens.
Ceea ce vom face este că vom replica acest lucru, deoarece acum avem mai mulți agenți. Deci, dacă mai mulți agenți
acest lucru este așa cum arată.
Deci, primul mod de a ne imagina că acum avem aceste trei zile ne amintim bine ce am spus despre ei împărtășind
experiența lor între ele.
Deci, în realitate, toate acestea sunt toate independente.
Aveți unul jucând jocul și altul decât jucând jocul o altă joacă în joc.
Este ca și cum ar fi ca lansarea agentului dvs. pe trei computere diferite pe care le puneți trei calculatoare diferite una
lângă cealaltă și le lansați și știți că este minunat.
La fel cum într-adevăr vă place să obțineți veți obține mai multă experiență veți obține mai multă varietate, mai ales dacă acestea
sunt inițializate.
Deci, putem presupune de aici că sunt inițiali bolnavi întotdeauna inițializați, chiar dacă avem
aceeași imagine aici.
Vom ști că sunt de fapt inițializați în mod diferit, astfel încât nu va fi
ca o formare identică de învățare identică din acest joc.
Și astfel, chiar dacă vă place să puneți trei calculatoare alături
și le lansați da, veți avea mai multă experiență, deoarece veți avea trei agenți care joacă și, de asemenea, veți avea o
varietate mai mare de soluții posibile .
Așa este adevărat.
Dar problema este că nu ne împărtășim experiența între noi sau nu învățăm una de
cealaltă.
Deci nu au acea sinergie.
Ei nu au avantajul sau puterea suplimentară pe care ar primi-o dacă ar comporta că știi
cum ar fi dacă ai dacă ai o echipă de oameni care lucrează mai bine împreună decât fiecare dintre ei separat.
Așa că într-o echipă aici ai unul plus unu plus unul.
Sunt trei, dar într-o echipă unul plus unul pentru a da naștere și nu trei este ca și cele
trei, deoarece ele își pun în valoare punctele forte și diminuează slăbiciunile celorlalți și același lucru aici.
Deci, dacă puneți aceste două calculatoare lângă ele, veți avea mai multă memorie și, eventual, cineva va
obține o soluție mai bună.
Un altul care este minunat, dar va fi chiar mai bine dacă vor începe să împărtășească acea experiență.
Și cum fac asta?
Ei bine, prin acest Wii îl calculam astfel încât această valoare Wii, care este rezultatul rețelei noastre,
este de fapt așa.
Deci ei au același lucru de fiecare dată.
Toți acești agenți contribuie la același critic.
Ei nu au critici separați că au un critic comun și asta e cheia modului în care criticul actorului
se leagă de sincronul lor.
Deci, există un critic care ne urmărește pe măsură ce ei obțin experiență.
Deci, cum calculăm Wii.
Trebuie să trecem prin Wii.
După cum vă amintiți, putem obține TV prin valorile pe care le obținem, astfel încât recompensele pe care le obținem prin mediul
înconjurător.
Și așa cum agenții își explorează mediul, ei sunt calculi pe care îi prezică Wii-ul.
În plus, au Wii pe care le pot calcula.
Acestea sunt toate toate legăturile înapoi în ceea ce am discutat deja în secțiunile anterioare
ale scorurilor.
Deci, ei au deja un Wii pe care ei îl pot prezice așa cum se așteaptă prin recompensele pe care le știu că există
în acest labirint și pe care le-au explorat deja și pe măsură ce le explorează desigur că acea valoare
se poate schimba.
Dar, de asemenea, ei au Wii că aceasta este ieșirea rețelei neuronale, astfel încât acestea trec
prin aceasta vor fi ajustarea rețelele lor neuronale, în scopul de a se potrivi mai bine care se așteaptă.
Deci, practic, acest lucru este împărțit, partea critică este împărțită între agenți și așa este împărtășirea informațiilor între ei, așa că sunt capabili
să vadă ce se întâmplă în mediul înconjurător împărțit unul cu celălalt și apoi să
îl folosească ca și noi vom vedea mai departe în partea următoare în avantaj.
Folosiți-o astfel pentru a optimiza modul în care se comportă mediul înconjurător.
Și celălalt lucru pe care trebuie să-l observăm aici este.
Deci, asta a fost un C.
Acest lucru este la fel ca nucleul A-3 vedea până aici.
Acesta este un tip de versiune de 08:30 Dar există o implementare chiar mai bună a acestui lucru.
A până la C pe care veți auzi de fapt că mi-ar plăcea să vorbesc în unul dintre primele tutoriale și aspectul practic
al lucrurilor și despre ce va vorbi este cum creatorul lui Pi torche a făcut de fapt o ajustare la unul a codurilor care
au fost partajate și a obține hub unde a luat toate acestea, după cum puteți vedea chiar acum
că au rețele neuronale separate și au arătat Wii că ajustarea care a fost făcut
a fost de fapt să ia toate aceste rețele neuronale și le-a pus într-o singură luați-i și puneți-i împreună.
Deci, în cele din urmă există o singură rețea neurală împărtășită între agenți.
Deci, înainte ca fiecare dintre ei să aibă o rețea neuronală care a fost împărtășită pentru actor și pentru
critic, o rețea neuronală Shelfer reale pentru criticul o rețea neurală pentru o acuratețe.
Acum, toți au o rețea neuronală care este împărtășită pentru criticul sau criticul actor sau critic actual.
Și apoi criticul este aici în comun.
Așa că hai să vedem.
Hai să mutăm imaginile în stânga aici, pentru a face puțin spațiu.
Iar aceasta este în esență arhitectura sau structura pe care o vom folosi în tutorialele
practice.
Știu că acest lucru ar putea părea un pic copleșitor în această etapă, dar avem încă unul care să
vorbească despre avantajul pe care îl vom vedea mai bine în acțiune.
Cum mergem, vom vorbi despre intuiția în acțiune.
Dar, în general, acest lucru este ceea ce este.
Aceasta este o rețea pe care fiecare agent o utilizează sau o împărtășește.
În principiu, ceea ce înseamnă că aceștia împărtășesc greutățile pe care greutățile rețelei le împărtășesc între vârste
și când le actualizează, actualizează întreaga rețea nu doar propria lor rețea.
Și apoi au ieșiri pe care le au ca aceste acțiuni pentru fiecare agent și apoi au criticul care este împărțit
care urmează să fie monitorizat.
Asa ca stiu ca toate astea sunt ca si cum ar fi multe lucruri chiar acum, dar sper ca se va intalni
cel putin lent.
Recepția principală de aici este criticul deoarece este împărțită.
Astfel agenții sunt capabili să se asigure că cooperează împreună pentru a obține rezultatul mult mai
rapid.
Și apoi în tutorialul următor vom vedea și mai mult cum se adaugă toate acestea.
Toate astea se reunesc.
Și pentru moment este ca și cum aș vrea să vă recomand sau v-aș recomanda o lectură suplimentară.
Deci acesta este un blog de Jaromir Jansch.
Se numeste "Să facem un A3 vedea implanturi este de fapt două părți punerea în aplicare și teorie.
Există legătura și este foarte asemănătoare cu ceea ce Adlon va implementa în partea practică a
tutorialului, astfel încât nu este special pentru acest tutorial, nu doar pentru Sutro, ci pentru
întreaga secțiune.
Încurajați-i câteva informații suplimentare despre unele informații suplimentare acolo.
Și de aceea îl aducem aici.
Dar, cu toate acestea, în următorul tutorial vom începe să tragem toate astea împreună.
Tot ce am discutat.
Și aștept cu nerăbdare să vă văd data viitoare.
Și până atunci bucura-te.