Salve e benvenuti al terzo modulo del discorso sul mare H-3 come agenti critici attivi sincroni.
E così ora posso davvero dire benvenuto allo stato dell'arte del machine learning.
Bene, al momento lo dico perché forse alcuni di voi seguiranno il corso in
uno o due anni, ma al momento lo dico nel 2017.
Bene, stai per lavorare su uno dei modelli più potenti dell'intelligenza artificiale, ma c'è di
più che non è l'unica cosa speciale di questo modulo.
ma implementeremo la versione più potente di questo algoritmo che è la versione ottimizzata
della versione implementata del modello A-380 perché puoi immaginare che ci sia il cuore di l'algoritmo.
Non solo stiamo lavorando con il modello più potente,
Ma poi ci sono molti strumenti che possiamo usare per ottimizzare l'intero modello.
E così non solo avrai il cuore lungo l'algoritmo ma
implementerai anche tutti questi strumenti per rendere il modello super potente.
E perché volevo farlo.
Beh, questo è per due ragioni.
La prima ragione è che ci stiamo avvicinando alla fine del discorso.
Questo corso è il corso di livello più alto tra i tre corsi e si occuperanno di AI.
È che ora penso che tu sia pronto per portarlo al livello successivo.
E la seconda ragione è che risolvere il breakout è davvero super impegnativo.
Ricorda nel video promozionale che volevamo inserire breakout come primo modulo perché pensavamo che sarebbe stata la
sfida più facile ma non è stata in realtà la sfida più difficile e il modo più
semplice per spiegare questo è che nel destino i mostri sono grandi e quindi più facile da individuare e quindi più facile
da uccidere o da evitare.
Ma in Breakout abbiamo questa pallina che anche l'occhio deve rilevare perché l'occhio avrà ancora
gli occhi.
Tu continueremo a fare l'apprendimento di rinforzo profondo.
Quindi è davvero super impegnativo ed è per questo che non abbiamo una scelta da implementare.
La versione più potente di A-3 ora vedo perché dico che questa è la versione più potente.
Questo è per una ragione particolare.
Non è che sto dicendo che implementerò la versione più potente dell'A-380.
No non è questo.
speciale che stiamo per fare è in realtà una versione di 3 C che è stata
implementata da qualcuno ma corretta da una delle persone più influenti oggi in machine learning chi è il creatore della torcia Pi.
La ragione per cui sto dicendo questo è che la versione che stavamo per implementare e questo è
qualcosa di molto
Il suo nome è Dan Pashka.
Ora cosa faremo.
Andremo a prendere nella pagina principale e se scorri verso il basso fino alla fine
in basso vedrai la squadra che il team combatte creatori e collaboratori.
E puoi vedere qui che la mia torcia è attualmente gestita da Adam Pascal.
per il breakout e ha corretto uno dei codici per l'A-380 per eseguire perfettamente il breakout.
Questa è la persona alla quale dovremmo essere veramente grati perché ci sono pochissime versioni delle tre
cose che funzionano bene
Quindi Pascal non sta solo mantenendo By verso Ma è anche uno dei creativi per torcia e come ho
detto oggi è tra i primi 10 personaggi più influenti nell'apprendimento automatico.
Quindi possiamo essere certi che la versione che stiamo per implementare è probabilmente la versione
più potente di A-3 oggi.
E quindi cos'è questa implementazione.
Beh, in origine proviene da uno sviluppatore chiamato iliac storia di.
E così come potete vedere ha fatto un verso verso l'implementazione della A3 C che originariamente non funzionava bene per
il breakout ma poi qualcuno ha fatto una richiesta di pull.
Se andiamo alla richiesta del pool qui possiamo vedere in quello vicino che abbiamo questo abbiamo una soluzione
più pulita al problema di Gretchen.
E indovina da chi è stata fatta questa richiesta di pull.
È stato fatto da Adam Pashka creato dalla torcia e questo ha risolto il problema che rende l'A-380
funziona molto bene per scoppiare senza aspettare giorni e giorni.
se torniamo a questa implementazione possiamo vedere i quattro contributori di questa implementazione più potente.
E quindi
E qui ci sono i contributori.
Quindi, grazie mille a tutti loro e possiamo dire un enorme e speciale ringraziamento alla passione di Adam per
aver risolto il problema di condivisione dei thread.
Ha iniziato facendo una forchetta che è un sottobosco del codice.
E poi ha fatto una richiesta di pull allo sviluppatore per risolvere questo problema.
ed è così che è diventato uno dei principali contributori di questa implementazione, facendo sì che tutto funzionasse perfettamente
e fidati di me ho fatto un sacco di sperimentazione sul modello AC DC che ha implementato cinque modelli.
Non c'era un codice che fosse un grande problema di condivisione
Ero persino disperata che non funzionasse bene, quindi ho fatto il mio breakout e il mio cavy per avere una
palla più grande e quindi una più facile pre-elaborazione delle immagini.
Poi sono tornato all'occhio e ho realizzato la mia implementazione della 3C.
Ma ci sono voluti anni per correre e allenarsi su un computer piuttosto potente.
Quindi volevo trovare un modo migliore.
E questo è il modo in cui è.
potente del Silmaril di cui uno dei maggiori contributori è il Creatore di torcia.
Implementazione molto
Quindi, cosa faremo in questo Mudgal? Penso che tu sia pronto per implementare questo codice di
livello più alto per l'implementazione dell'A3.
Quindi, fondamentalmente, reimplementeremo tutti questi file e per lo più insisteremo sui file che sono direttamente
correlati alle tre C di tutte le parti direttamente correlate a ciò che vediamo.
Implementeremo il codice riga per riga per gli altri.
Mi limiterò ad espandere il codice in modo che dovremmo essere in grado di affrontare questo problema senza trovarlo troppo
travolgente in modo da ottenere un modulo speciale.
Non solo lavoriamo in un modello di IA all'avanguardia, ma anche nel momento in cui parlo e sono
molto fiducioso che stiamo implementando la versione più potente dell'A-380.
Facciamolo.
Torniamo a Python e iniziamo tutto prima di iniziare.
Faremo la cosa più semplice che faremo in questo modulo.
Impostazione della cartella della directory di lavoro.
Andiamo alla nostra intelligenza artificiale è che i moduli di cartella modello si rompono più difficile uno.
E noi andiamo.
Ecco tutti i nostri file.
Quindi vediamo quali sono direttamente collegati all'A-3 C.
E quindi vediamo quali implementeremo.
Linea per linea e concentrare le nostre energie.
Quindi ci sono in realtà due file.
Il primo non è tutto ciò che è questo, quindi lo ri-implementeremo linea per linea perché è
il più importante in cui facciamo vedere il cervello A-3.
un modello condiviso che avrà gli stessi dati dei pesi per l'attore e il critico.
E la cosa più importante da capire qui è che avremo
Questa è una parte di questa versione speciale di A-3 vedere il modello condiviso con i
dati condivisi i pesi e poi l'altro fondatore più importante da implementare.
Line by line è naturalmente l'addestramento di selvaggina selvatica subito dopo aver fatto il cervello della sede.
Bene, dobbiamo addestrarli e li addestriamo in questo treno che io moglie.
Quindi questo è un codice piuttosto lungo, ma questo è ciò che contiene il cuore del modello
A3 C che dovrà ridurre il valore negli Stati Uniti di Lass, che è l'ultimo relativo
alle previsioni del critico e la politica che è l'ultima relativo alle previsioni dell'atomo.
Quindi questo è abbastanza nuovo, ma sapete che è perché l'A-380 stava praticamente lavorando con diversi
agenti ognuno con la propria copia dell'ambiente.
Abbiamo anche questo livello completamente connesso che emette un valore della funzione e che fondamentalmente è una
visione comune di ciò che sta accadendo nel gioco.
Quindi sarà abbastanza impegnativo.
Quindi assicurati di essere in buona forma e per il resto dei borsisti Beh, li spiegherò nei dettagli ma
non trascorrendo troppo tempo su di loro, credimi, vuoi mantenere la tua energia per questo.
Questo sarà già molto.
Quindi questi amici sono le anatre ducky Y, che è un miglioramento dell'ambiente palestra grazie all'universo.
Quindi, fondamentalmente, questo migliora l'ambiente della palestra con l'universo e ciò ci consente
di avere una pre-elaborazione ottimale delle immagini e anche di normalizzare tutti i valori dell'ambiente
come intensità di colori o intensità dei premi.
Bene, tutti i valori dell'ambiente questo file normalizza tutti questi valori e ci assicuriamo di avere
abbastanza per non continuare l'elaborazione delle immagini.
E come puoi vedere questo è preso da questa apertura, ho la sua pagina in cui l'agente della storia dell'universo.
Quindi non impiegheremo troppo tempo per fermarci qui.
Hai solo bisogno di capire che abbiamo migliorato l'ambiente della palestra con l'universo per ottenere
abbastanza da non elaborare le immagini.
Il resto non è così importante, specialmente per il PC.
Quindi abbiamo il principale P Y che è il codice che eseguirà il tutto.
Quindi conosci il codice che eseguirà tutto il processo creando il cervello per allenare il cervello e produrre il video.
E questo perché eseguirà tutti questi codici qui.
Quindi più abbiamo visto dov'era allora che potrebbe essere comparso.
Perché è l'ottimizzatore speciale.
Questo è fondamentalmente l'atom optimizer ma adattato a questo modello condiviso che stiamo implementando.
Quindi spiegheremo tutto questo codice in un tutorial.
Quindi testiamo W-perché.
In realtà è l'ultimo a testare.
D Perché è fondamentalmente il file che implementerà un agente di test.
Quindi c'è un agente che si esibirà senza aggiornare il modello.
Quindi è totalmente indipendente dalla formazione.
E amplieremo anche questo codice in dettaglio.
Inoltre la buona notizia è che avrai due codici un codice che sarà il codice che implementeremo
nei tutorial ma senza alcun commento.
E uno del codice che è uno della cartella di codice con tutti i codici lo comanda.
Quindi con tutti questi sei falli tutti ben collegati.
In modo che se ti manca qualcosa e tutorial Ben si sarà in grado di guardare il contenuto del codice
per capire cosa sta succedendo.
Quindi eccoci.
Spero che tu sia felice di implementarlo.
Sei davvero in cima alla montagna ora o appena sotto la cima perché devi
capirlo prima, ma ci stai arrivando.
Quindi fai un buon respiro di ossigeno.
Ed eccoci con un viaggio super emozionante.
Fino ad allora divertiti.