Bună ziua și bun venit la cel de-al treilea modul de discurs al mării H-3 ca agenți critici activi sincroni.
Și acum pot să spun cu adevărat bun venit în învățarea mașinilor de stat.
Ei bine, atunci spun acest lucru pentru că poate că unii dintre voi vor lua cursul într-unul
până la doi ani, dar la vremea asta spun acest lucru în 2017.
Ei bine, sunteți pe punctul de a lucra la unul dintre cele mai puternice modele de inteligență artificială, dar există
mai multe lucruri care nu sunt singurele lucruri speciale despre acest modul.
Nu numai că vom lucra cu cel mai puternic model, dar vom implementa
cea mai puternică versiune a acestui algoritm, cea mai optimizată versiune implementată a modelului A-380,
deoarece vă puteți imagina că există inima algoritmul.
Dar, atunci există o mulțime de instrumente pe care le putem folosi pentru a optimiza întregul model.
Și nu numai că veți avea inima drumului prin algoritm, dar veți
implementa, de asemenea, toate aceste instrumente în jurul acestuia pentru a face modelul super-puternic.
Și de ce am vrut să fac asta?
Ei bine, asta din două motive.
Primul motiv este că ne apropiem de sfârșitul discursului.
Acest curs este cel mai înalt nivel dintre cele trei cursuri și se vor ocupa de AI.
Acum cred că sunteți pregătit să-l duceți la nivelul următor.
Iar al doilea motiv este că rezolvarea pauzei este de fapt o provocare superbă.
Amintiți-vă în filmul promoțional pe care am vrut să-l dezvăluiți ca primul modul pentru că am crezut că
va fi cea mai ușoară provocare, dar deloc a fost cea mai dificilă provocare și modul mai ușor de
a explica acest lucru este că, bine în doom, monștrii sunt mari și, prin urmare, mai ușor de detectat și, prin urmare, mai ușor
de ucis sau de evitat.
Dar în Breakout avem această minge mică pe care ochiul trebuie să o detecteze și pentru că ochiul va avea în
continuare ochi.
Voi încă vom face o învățătură profundă de întărire.
Deci, de fapt, este foarte provocator și de aceea nu avem de ales.
Cea mai puternică versiune a lui A-3 văd acum de ce spun că aceasta este cea mai puternică versiune.
Pentru un motiv anume.
Nu e ca și cum aș spune că voi pune în aplicare cea mai puternică versiune a modelului A-380.
Nu e asta.
Motivul pentru care spun acest lucru este că versiunea pe care urma să o implementăm și acest
lucru este ceva special pe care o vom face este de fapt o versiune a celor 3 C care a fost implementată de
cineva, dar corectată de unul dintre cei mai influenți oameni in masina de invatare astazi care se intampla sa fie
creatorul tortei Pi.
Numele lui este Dan Pashka.
Acum ce vom face.
Vom continua să ajungeți pe pagina principală și dacă vă deplasați în jos până la capăt până jos veți
vedea echipa în care echipa se luptă cu creatorii de arc și cu contribuitorii.
Și puteți vedea aici că torța mea este în prezent menținută de Adam Pascal.
Aceasta este persoana pentru care ar trebui să fim foarte recunoscători pentru că există foarte puține versiuni
ale celor trei lucruri care funcționează bine pentru breakout și a corectat unul din codul lui A-380 pentru
a face munca perfectă.
Deci, Pascal nu numai că se întreține până la, dar și el este unul dintre creativi prin torță și, așa cum am spus
astăzi, el este în topul celor mai influenți 10 oameni de învățare în mașină.
Așadar, putem avea încredere că versiunea pe care urmează să o implementăm este probabil cea mai puternică versiune
A-3 a se vedea astăzi.
Și deci ce este această implementare.
Ei bine, inițial vine de la un dezvoltator numit istorie iliacă.
Și așa cum puteți vedea că a făcut-o spre implementarea lui A3 C care inițial nu funcționa bine pentru
breakout, dar apoi cineva a făcut o solicitare de tragere.
Dacă mergem la cererea de piscină aici, putem vedea în cel mai apropiat că mergem, avem soluția cea
mai curată pentru problema Gretchen.
Și ghiciți de cine a fost făcută această cerere de tragere.
A fost făcută de Adam Pashka creat de torță și care a rezolvat problema care face ca A-380 să funcționeze
foarte bine la ieșirea fără să aștepte zile și zile.
Și, prin urmare, dacă revenim la această implementare, putem vedea cei patru contribuabili ai acestei implementări cele
mai puternice.
Și aici sunt contribuabili.
Așadar, vă mulțumesc foarte mult tuturor și vă putem spune o mare și deosebită mulțumire pentru pasiunea
lui Adam pentru rezolvarea problemei partajării firului.
El a început prin a face o furculiță, care este o subdiviziune a codului.
Apoi a făcut o cerere de tragere către dezvoltator pentru a rezolva această problemă.
Nu a existat un cod care este o problemă mare și de împărțire și așa el a devenit un
important contribuitor al acestei implementări făcând totul să funcționeze perfect și credeți-mă că am făcut o mulțime de experimente cu
privire la modelul AC DC, implementat de fapt cinci modele.
Am fost chiar disperat că nu a funcționat bine, așa că am făcut propria mea pauză și mizerie pentru a avea o
minge mai mare și, prin urmare, o pre-procesare mai ușoară a imaginilor.
Apoi m-am întors în ochi și mi-am făcut propria implementare a modelului 3C.
Dar a fost nevoie de vârste pentru a alerga și a se antrena pe un calculator destul de puternic.
Așadar, am vrut să găsesc o cale mai bună.
Și așa este.
Implementarea foarte puternică a lui Silmaril, al cărei unul dintre cei mai importanți contribuitori este Creatorul
prin torță.
Deci, ceea ce vom face în acest Mudgal cred că sunteți gata pentru asta este implementarea acestui cod
de nivel superior pentru implementarea lui A3.
Deci, vom reimplementa toate aceste fișiere și vom insista în majoritatea cazurilor asupra fișierelor care sunt direct legate
de cele trei C toate părțile direct legate de cele pe care le vedem.
Vom implementa linia de cod pe linie pentru celelalte.
Voi extinde codul, astfel încât ar trebui să fim capabili să abordăm acest lucru fără a găsi prea copleșitoare,
astfel încât să mergem un modul special.
Nu numai că lucrăm într-un model de AI de ultimă generație, dar și la momentul în care vorbesc și sunt
foarte încrezători că implementăm cea mai puternică versiune a modelului A-380.
Deci hai sa o facem.
Să ne întoarcem la Python și să începem toate astea înainte de a începe.
Vom face acest lucru cel mai simplu pe care îl vom face în acest modul.
Setarea directorului de director de lucru.
Să mergem la AI-ul nostru este faptul că modulele dosar șablon vom rula cele mai provocatoare unul.
Și acolo mergem.
Toate fișierele noastre.
Deci, să vedem care sunt direct legate de A-3 C.
Și să vedem care dintre ele vom implementa.
Linia de linie și concentrarea energiei noastre.
Deci, există de fapt două fișiere.
Primul nu este tot drumul care este acesta, așa că vom re-implementa linia de linie, pentru că asta e cel
mai important care este locul unde facem A-3 să vedem creierul.
Și cel mai important lucru pe care trebuie să-l înțelegem aici este că vom avea un model
comun care va avea aceleași date despre greutățile pentru actor și critic.
Aceasta este o parte din această versiune specială a A-3, a se vedea modelul partajat cu datele
partajate greutățile și apoi celălalt cel mai important fondator de implementat.
Linia de linie este păsările sălbatice instruite, desigur, imediat după ce am făcut creierul vederii.
Ei bine, trebuie să-i antrenăm și îi antrenăm pe trenul ăsta, pe care eu, soția mea.
Deci, acesta este un cod destul de lung, dar acesta este cel care conține inima modelului
A3 C, care va trebui să-l reducă pe Lass în SUA, care este ultimul legat
de predicțiile criticului și ultima politică care este ultima legate de predicțiile atomului.
Deci, acest lucru este destul de nou, dar știți că asta pentru că A-380 au lucrat practic cu mai mulți
agenți, fiecare având copia proprie a mediului.
De asemenea, avem acest strat complet conectat care scoate o valoare a funcției și care este în esență o
viziune comună a ceea ce se întâmplă în joc.
Deci, acest lucru va fi destul de dificil.
Așa că asigurați-vă că sunteți în formă bună și pentru ceilalți oameni Ei bine le voi explica în detaliu, dar nu prin
a petrece prea mult timp pe ele crede-mă că vrei să-ți păstrezi energia pentru asta.
Acest lucru va fi deja foarte mult.
Deci, acești semeni sunt furnici ducci Y, care este o îmbunătățire a mediului de fitness datorită universului.
Deci, practic ceea ce îmbunătățește mediul în sala de sport cu univers și care ne
permite să avem o pre-procesare optimă a imaginilor și, de asemenea, să normalizăm toate valorile mediului, cum
ar fi intensitățile culorilor sau intensitățile de recompense.
Ei bine, toate valorile mediului în care acest fișier normalizează toate aceste valori și, de asemenea, asigurați-vă că avem
suficiente pentru a nu menține prelucrarea imaginilor.
Și după cum puteți vedea acest lucru este luat de la această deschidere I a lua pagina ei în cazul în care povestea universului agent.
Deci, nu vom petrece prea mult timp în acest caz, de fapt ne oprim aici.
Trebuie doar să înțelegeți că am îmbunătățit mediul în sala de sport cu universul pentru a obține
suficient pentru a nu procesa imaginile.
Restul nu este atât de important pentru PC.
Apoi avem principiul că P Y este codul care va executa întregul lucru.
Deci știi codul care va rula totul creând creierul tren creierul și ieșirea video.
Și asta pentru că va rula toate aceste coduri aici.
Așa că am mai văzut unde se afla atunci.
De ce este optimizatorul special.
Acesta este în esență optimizatorul de atomi, dar adaptat acestui model comun pe care îl implementăm.
Așa că vom explica tot acest cod într-un tutorial.
Atunci avem testul W - de ce.
Este de fapt ultima pentru a testa.
Q De ce este în esență fișierul care va implementa un agent de testare.
Deci, există un agent care va juca pauză fără actualizarea modelului.
Deci, este total independent de antrenament.
Și vom extinde și acest cod în detaliu.
Pe lângă vestea bună este că veți avea două coduri un cod care va fi codul pe care îl implementăm
în tutoriale, dar fără nici un comentariu.
Și unul din codul care este unul din folderul de cod cu toate codurile îl comanda.
Deci, cu toate aceste șase faulturi bine conectate.
Deci, dacă vă pierdeți ceva și tutorial Ei bine, veți putea să vă uitați la conținutul codului pentru a
înțelege ce se întâmplă.
Așa că mergem.
Sper că sunteți încântat să implementați acest lucru.
Sunteți într-adevăr la vârful muntelui acum sau chiar sub partea de sus pentru că trebuie să înțelegeți
mai întâi acest lucru, dar ajungeți acolo.
Deci, ia o bună aerisire de oxigen.
Și acolo mergem cu o călătorie extraordinară.
Până atunci, bucurați-vă.