Ciao e benvenuto in questo tutorial.
Bene, ora abbiamo la nostra IA, è pronta per essere addestrata.
E il primo passo della formazione è impostare il replay dell'esperienza.
Quindi ci stiamo lentamente arrivando.
La formazione e la buona notizia è che abbiamo una versione implementata della riproduzione dell'esperienza.
Inoltre si adatta alla traccia di eleggibilità che io ricordo è una tecnica che invece di imparare
i valori q ogni transizione impara ogni 10 transizioni.
Quindi in pratica è esattamente lo stesso di prima.
Ma invece di avere un singolo bersaglio una singola parola per ogni passo avremo un obiettivo cumulativo
di dieci passi e una ricompensa cumulativa di 10 passi e impareremo sui 10 passi ogni volta.
Quindi stiamo imparando sulle transizioni 10 passi invece di uno come prima.
E con questo farò miracoli e questo farà alcune meraviglie per il processo di allenamento.
Sai che l'allenamento richiederà molto meno tempo.
Grazie a questa tecnica, ma dobbiamo specificare la ripetizione dell'inesperienza che stiamo imparando ogni 10 passi.
Ecco perché questa ripetizione dell'esperienza non è una classica implementazione del replay dell'esperienza.
Come fare uno per l'auto che guida.
Si tratta di un'implementazione di replay dell'esperienza che tiene conto di questo apprendimento in 10 passi e quindi
in questo file di replay dell'esperienza si trovano due classi una classe che fa progredire la tua IA facendo
dieci passi in modo che possa riassumere i premi in questi 10 passi.
Questa è la prima lezione e abbiamo bisogno di questa classe perché dobbiamo includere questi 10 passaggi nella
classe di memoria di replay che è l'implementazione della classe per l'esperienza che giochiamo ed è così che
ci assicuriamo che la memoria tenga anche conto del fatto che siamo imparare su 10 passi.
Ecco perché troverai due classi in questa implementazione della riproduzione dell'esperienza, ma questo
è solo per tenere conto che stiamo imparando in 10 passaggi e che dobbiamo tenerne conto anche nella memoria.
Quindi, parlando della nostra memoria, creiamolo.
Chiameremo la nostra memoria di memoria e la memoria sarà un oggetto del cast della memoria di replay e la classe di memoria
di replay è una classe di questo replay dell'esperienza in questo momento.
E così prendo per primo questa esperienza di replay dell'esperienza vissuta ed è qui che prendo la classe di memoria
di replay.
Perfezionare.
E ora puoi vedere che dobbiamo mettere due argomenti il ​​primo argomento e passi che corrispondono esattamente
al numero di passi su cui impareremo i valori chiave.
Quindi conosci il numero di passaggi su cui accumuliamo l'obiettivo e vogliamo.
Avremo un obiettivo cumulativo e la ricompensa cumulativa e quindi il secondo argomento è la
capacità che è la dimensione della memoria.
Quindi per esempio qui possiamo vedere decine di migliaia.
Quindi se la capacità è uguale a 10000 significa che avremo una dimensione
di 10000 e quindi ciò significa che otterremo una memoria dei 10000 passaggi eseguiti dall'occhio.
Ma ancora non impareremo ogni transizione.
della memoria e questa è esattamente questa nuova funzione che presentiamo qui rispetto a prima.
Impareremo ogni dieci passi lungo questi ultimi 10000 passi
Prima avevamo solo questo trucco della memoria di riproduzione e qui abbiamo questo trucco della memoria di replay più
questo trucco che ho imparato ogni dieci passi e impareremo ogni dieci passi
e lo faremo nella memoria composta dal ultimi 10000 passi.
E questo è un replay esperto combinato a tratti di ineleggibilità con 10 passaggi che miglioreranno considerevolmente
le prestazioni dell'allenamento.
Quindi finiamo con questi due argomenti.
Il primo è e passi e sarà uguale a.
Ma per ora diciamo e i passaggi specificheranno quale passo è giusto dopo che sarà effettivamente un abietto dell'altra classe di
questo file di replay dell'esperienza che è la classe di progresso del passo finale e che permette
di fare progressi nel corso di dieci passi.
E ricorda durante i 10 passi suoneremo le parole sui dieci passi per ottenere i premi
cumulativi su 10 passi.
E questo è esattamente il test di idoneità.
Quindi, ora quello che dobbiamo fare è creare qui questa procedura e la creiamo con la seconda classe che abbiamo
in questo file di replay dell'esperienza, che è un passo avanti.
Quindi ora creeremo dei passaggi e questo sarà un oggetto della classe di progresso del
passaggio che riprenderemo dalla nostra esperienza che giochiamo.
Eccoci.
Quindi questa è la classe anti-progresso e ora dobbiamo mettere tre argomenti, come potete vedere,
dobbiamo mettere l'ambiente che è l'ambiente qui che abbiamo importato.
Quindi il secondo argomento è la nostra intelligenza artificiale e questa sarà, naturalmente, l'intelligenza artificiale che
abbiamo costruito proprio qui nella U. S. e l'ultimo argomento è un passo in questo, dove è specificato
che vogliamo 10 passi che conosci per imparare ogni 10 passi che è ogni 10 transizioni.
Quindi aiutiamo con questi argomenti.
Il primo è l'ambiente e questo è destino e tutto ok.
Quindi la seconda è la nostra AI AI e che abbiamo contato ai ai.
Questo è quello qui.
Quindi questo è solo il nome dell'argomento del passaggio progress classe e questo ai ai.
Ecco i nostri ai ai.
Quello che abbiamo costruito e quindi l'ultimo argomento è e stack e che è uguale a 10.
Tutto ok.
Quindi adesso stiamo solo prendendo in considerazione nella memoria che c'è un apprendimento su 10 passi e
questo apprendimento su 10 passi è chiamato traccia di eleggibilità.
Quindi stiamo davvero lavorando alle cose avanzate qui.
Ma ricorda che è perché stiamo cercando di essere Dume che non è niente come fare un pezzo di torta.
Quindi abbiamo bisogno di queste tecniche avanzate per farlo funzionare.
Quindi ora siamo quasi pronti.
e diciamo che 10000 uomini avremo una dimensione di 10000, il che significa
che la memoria conterrà l'ultimo 10000 passi eseguiti dall'IA e che ci permetteranno di generarne alcuni.
Prima di passare al passaggio successivo che riguarderà l'implementazione dei vassoi LGBT, l'unica cosa che dobbiamo
includere è ovviamente la capacità
Ricordo che era una semplice funzione.
Sai che la memoria contiene 10000 transizioni ma per allenare l'occhio stiamo andando a campionare così tante serie
di dieci transizioni non una rispetto a prima delle 10 transizioni questa volta e noi
campioneremo questi mini lotti di 10 transizioni in memoria composta dai 10000 passi .
Bene, ora suppongo di essere pronti per passare al passaggio successivo che riguarda l'implementazione della traccia
di idoneità.
Quindi avremo qualche avventura qui.
Questa non sarà una semplice implementazione.
Quindi fai una bella pausa e quando sei pronto possiamo attaccarlo.
E allora allora divertiti.