Ciao e bentornati al corso sull'intelligenza artificiale.
Oggi continuiamo il nostro viaggio nel mondo ogni tre vediamo e stiamo parlando del lato sincrono di
aither C, così abbiamo la nostra abbreviazione di vantaggio sincrono.
Critico attivo
E oggi scopriremo che cosa significa sincrono qui significa che cosa significa.
E torniamo indietro.
Diamo un'occhiata a ciò che abbiamo iniziato questo corso per l'imposizione delle regole di apprendimento su tutto ciò che
l'asiatico è in un certo stato.
Osservano lo stato.
Prendono certe decisioni che intraprendono azioni in quello stato e poi lo stato viene cambiato in modo che entrino in un nuovo
stato e in più ottengano una ricompensa.
Quindi la ricompensa per aver preso quell'azione o una sorta di ricompensa che potrebbe essere una penalità e finiscono in
un nuovo stato.
E sulla base di ciò ora riprendono un'altra azione.
Ricevono una ricompensa e finiscono in un nuovo stato e intraprendono un'altra azione e così via,
e questa è la base dietro l'apprendimento di rinforzo.
Ed è quello che abbiamo usato nell'apprendimento in deep learning e in deep convolutional keep learning e che
ha permesso ai nostri agenti di battere gradualmente ambienti più complessi e più complessi.
Ma ora introdurremo un concetto ancora migliore e persino per portare questo livello ancora più lontano.
Ciò che A-3 vede introduce attraverso questo elemento sincrono invece di avere un agente
che attacca l'ambiente.
Hanno tre agenti o qualsiasi numero di agenti o agenti che attaccano lo stesso ambiente.
E la chiave qui è per questo che vengono chiamate sincronizzazioni perché sono inizializzate in modo diverso in modo che
i loro ingressi stella siano diversi.
Ad esempio, come vedrai da fonti pratiche, hai impostato un seme casuale e lo hai impostato in modo
diverso per ciascuno degli agenti.
E in questo modo perché i loro punti di partenza sono diversi.
Passeranno dapprima agli ambienti in modi diversi e poi esploreranno in modi diversi
e poi nelle prossime iterazioni andranno ad esplorare in modi diversi.
E così ad esempio abbiamo tre agenti.
All'improvviso ti stai facendo triplicare la quantità di esperienza invece di una
sola età, passando per esplorare l'ambiente e cercando di capire come gestirlo in quell'ambiente.
Ora avete tre o molti di loro che stanno attraversando questa esperienza e così là in modo
che ognuno di loro stia imparando questa esperienza più grande e oltre a dare semplicemente una gamma
più ampia di esperienza riduce anche le possibilità di un agente rimanere bloccati al massimo locale.
Quindi, ad esempio, se un agente trova un modo per battere l'ambiente che non è il più ottimale, perché
se devia una sinistra a destra da quella soluzione, trova sempre che diventa più penalizzato
e potrebbe rimanere bloccato al massimo.
Potrebbe continuare a farlo pensando che è la soluzione ottimale dove non è effettivamente.
probabilità che un agente rimanga bloccato in un determinato massimo locale potrebbe essere elevata ma O potrebbe essere un determinato valore.
Bene, la probabilità che molti agenti rimangano bloccati nello stesso massimo locale diminuisce
al diminuire del numero di agenti, quindi la
Ma la probabilità di avere tre di loro di tutti e tre bloccati nel massimo
locale è molto più bassa.
E fintanto che condividono l'esperienza l'una con l'altra possono aiutarsi a vicenda, quindi se uno di loro rimane bloccato per esempio
è in un massimo locale e pensa semplicemente che è il migliore e quella è la migliore che
è sempre la soluzione migliore continua a farlo.
attraverso il modo in cui costruiamo il nostro intero algoritmo attraverso il cellulare e loro lo aiuteranno.
Beh, finché interagisce con gli altri agenti. Diciamo che questo ragazzo rimane bloccato in un'azione calma
finché interagisce con gli altri agenti
Gli daranno la conoscenza che in realtà sai che dovresti esplorare questo o sarà più
probabile che ne vada fuori.
E anche nel complesso l'ambiente saprà che hey anche se questo è un grande massimo queste altre epoche
hanno visto opzioni migliori e dovremmo continuare ad esplorare perché sembra che ci siano opzioni migliori.
Quindi, in un tipo molto breve di comprensione intuitiva approssimativa, è che quelli sono alcuni dei vantaggi
di avere questi agenti sincroni per cui hai più esperienza tra cui scegliere e da cui imparare.
Potresti arrivare alla soluzione più velocemente e generalmente parlando se c'è una minore possibilità di
rimanere bloccati in un massimo locale di CRN.
Quindi vediamo come tutto questo si svolge.
In questo modello che abbiamo costruito finora, ricordiamo che questo è quello che abbiamo ottenuto finora attraverso il critico
attuale e questo è come se tutti ci stessimo prendendo in giro per quanto ci ricordiamo dal primo a
tartaruga che abbiamo introdotto questo sai che l'avevamo già in mare aperto.
ma finora non ha davvero senso che senso ha avere questo critico e misurare il valore dello
stato o predire il valore di uno stadio usando lo stesso neurale reti o lo stesso approccio.
Q learning's Quindi abbiamo appena chiamato la X ora ma ora abbiamo introdotto il critico
Ma ora è questo è che il partner comincerà a dare più senso.
Quello che faremo è che lo replicheremo perché ora abbiamo più agenti. Quindi se più agenti è
questo è ciò che sembra.
Quindi, il primo modo di immaginarlo ora è che abbiamo questi tre giorni ben ricordati di ciò che abbiamo detto su di loro condividendo
la loro esperienza l'uno con l'altro.
Quindi in questo momento sono come se fossero tutti indipendenti.
Ne hai una che gioca e oltre a giocare un'altra partita nel gioco.
È come lanciare il tuo agente su tre computer diversi, mettere tre diversi computer l'uno accanto
all'altro e lanciarli e sai che è fantastico.
Come se davvero ti piacesse, avrai una maggiore esperienza e otterrai una maggiore varietà, specialmente
se inizializzati.
Quindi da qui possiamo assumere che sono mal inizializzati sempre prima, anche se qui
abbiamo la stessa immagine.
Sapremo che in realtà sono inizializzati in modo diverso quindi non
sarà come l'identico allenamento identico da questo gioco.
E quindi, anche se ti piace, metti tre computer
uno accanto all'altro e li lanci sì, avrai più esperienza perché avrai tre agenti in gioco e avrai anche
una grande varietà di possibili soluzioni .
Quindi è vero.
Ma il problema è che non condividono la nostra esperienza l'uno con l'altro o non imparano gli uni dagli
altri.
Quindi non hanno questa sinergia.
avessi una squadra di persone che lavorano meglio insieme di ognuna di loro separatamente.
Non hanno il vantaggio o la potenza in più che otterrebbero se facessero compering sapessi come se tu
Quindi, come in una squadra qui ne hai uno più uno più uno.
Sono tre ma in una squadra uno più uno da generare e non tre è come i tre perché
si sfruttano reciprocamente i punti di forza e mitigano le debolezze degli altri e la stessa cosa qui.
Quindi se metti insieme questi due computer, sì, avrai più memoria di esperienza e forse
qualcuno otterrà una soluzione migliore.
Un altro è fantastico ma sarà ancora meglio se inizieranno a condividere quell'esperienza.
E come fanno a farlo.
Bene, grazie a questo Wii lo calcoliamo in modo tale che questo valore Wii che è l'output della nostra
rete sia in realtà così.
Quindi hanno lo stesso ogni volta ogni volta.
Tutti questi agenti stanno contribuendo allo stesso critico.
Non hanno critiche separate hanno un critico comune e questa è la chiave di come il critico attore
si collega con il loro sincrono.
Quindi c'è un critico che ci sta guardando mentre fanno esperienza.
Quindi come calcoliamo il Wii.
Dobbiamo far passare la Wii.
Come ricordi, possiamo ottenere la TV attraverso i valori che otteniamo così i benefici che otteniamo
attraverso l'ambiente.
E così come gli agenti esplorano il loro ambiente sono calcoli che stanno predicendo il Wii.
Inoltre hanno il Wii che possono calcolare.
Questo è tutto ciò che rientra in ciò che abbiamo già discusso nelle sezioni precedenti
dei punteggi.
in questo labirinto e che hanno già esplorato e mentre li esplorano, ovviamente, quel valore può cambiare.
Quindi hanno già una Wii che loro possono prevedere come aspettarsi attraverso i premi che
sanno che esistono
Ma anche loro hanno il Wii che questo è l'output della rete neurale, così come
stanno passando attraverso questo stanno andando ad aggiustare le loro reti neurali per meglio abbinare quello previsto.
Quindi, in pratica, questo è condiviso, la parte critica è condivisa tra gli agenti e questo è il modo in cui condividono le
informazioni tra loro. Ecco come sono in grado di vedere cosa succede nell'ambiente condiviso l'uno
con l'altro e poi usarlo come Vedremo più avanti nella prossima parte in vantaggio.
Usalo per ottimizzare il modo in cui si comportano con l'ambiente.
E l'altra cosa da notare qui è.
Quindi questo era un passaggio C.
Questo è come il nucleo di A-3 vedere fino a qui.
Questo è un tipo di versione di 08:30 Ma c'è una implementazione ancora migliore di questo.
pratico delle cose e di cosa parlerà è come il creatore di Pi torche abbia effettivamente apportato un adeguamento a
uno dei codici che sono stati condivisi e ottenere hub dove ha preso tutti questi come potete vedere in questo momento hanno
reti neurali separate e hanno mostrato al Wii che la regolazione che è stata fatta era in
realtà prendere tutte queste reti neurali e metterle in una prendili e mettili insieme
A a C che sentirai di cui mi piacerebbe parlare in uno dei primi tutorial e il
lato
Quindi alla fine c'è solo una rete neurale condivisa tra gli agenti.
Quindi, prima che ognuno di loro avesse una rete neurale condivisa per l'attore e per la critica una
rete neurale Shelfer effettiva per la critica una rete neurale condivide per accuratezza.
Ora hanno tutti una rete neurale condivisa per l'attore o critico critico o critico attuale.
E poi il critico è qui in comune.
Quindi vediamo di farlo.
Spostiamo queste immagini a sinistra qui, quindi crea un po 'di spazio.
E questa è fondamentalmente l'architettura o la struttura che useremo nei tutorial
pratici.
So che questo potrebbe sembrare un po 'travolgente in questa fase, ma ne abbiamo ancora uno per parlare
di quale sia il vantaggio e lo vedremo meglio in azione.
Come va, parleremo dell'intuizione in azione.
Ma in generale questo è ciò che è.
Questo è che c'è una rete che ciascuno degli agenti usa o condivide.
Fondamentalmente ciò significa che condividono i pesi, i pesi della rete sono condivisi tra età
e quando si aggiornano, aggiornano l'intera rete non solo la propria rete.
E poi hanno degli output che hanno come queste azioni per ogni agente e poi hanno il critico
condiviso che verrà monitorato.
Quindi so che tutto questo è un po 'come se ci fosse un sacco di cose in questo momento, ma si spera che
si stia avvicinando lentamente.
Il principale da asporto di qui è che il critico è condiviso.
che gli agenti sono in grado di assicurarsi che collaborino insieme per ottenere il risultato molto più velocemente.
È così
E poi nel prossimo tutorial vedremo ancora di più come tutto questo si aggiunge.
Tutto questo viene insieme.
E per ora c'è come vorrei raccomandare o vorremmo raccomandare una lettura
aggiuntiva.
Quindi questo è un blog di Jaromir Jansch.
Si chiama Facciamo un A3 vedere impianti è in realtà due parti di implementazione e teoria.
non è specifico per questo tutorial, non solo per Sutro ma è per l'intera sezione.
C'è il link ed è molto simile a quello che Adlon implementerà nella parte pratica
del tutorial, quindi
Incoraggiare lì alcune informazioni aggiuntive alcune intuizioni aggiuntive lì.
E quindi è per questo che lo stiamo portando qui.
Ma comunque nel prossimo tutorial inizieremo a tirare tutto questo insieme.
Tutto ciò di cui abbiamo discusso.
E non vedo l'ora di vederti la prossima volta.
E fino ad allora mi godo I.