Ciao e benvenuto nella storia.
Ora faremo il ciclo for che calcola la perdita della politica e la perdita di valore e una
volta che avremo queste due lezioni saremo in grado di usare il nostro ottimizzatore per piazzare delle sigarette
nella sabbia per ridurre le perdite.
Va bene così ci siamo.
Iniziamo qui dal tutorial precedente che abbiamo implementato in questa sezione e ho dimenticato di
rimuovere i rientri indentati.
Quindi partire da qui non è in autunno.
E ora stiamo iniziando un nuovo ciclo completo, quindi sto iniziando qui con quattro.
E ora quello che faremo è iniziare dall'ultimo passaggio che è stato fatto durante l'esplorazione
e andremo indietro nel tempo.
Ecco perché sto facendo per i premi terra di gamma inversa più grandi ricompense è il minimo.
E poiché ogni fase dell'esplorazione è associata a dove lavoriamo perché ad ogni passo otteniamo una ricompensa
quando poi le parole.
Questo numero di passi e questo contrario qui è usato in modo che possiamo tornare indietro nel tempo così che andiamo.
quello che faremo è aggiornare la ricompensa cumulativa che è lontana e la aggiorneremo in questo modo.
E ora
Questo è in realtà lo stesso di quello che abbiamo fatto per Doom.
È uguale alla gamma che otteniamo dai nostri parametri e dai primi programmi che non durano molto più
la ricompensa di ciò che possiamo ottenere prendendo la ricompensa minima e prendendo l'indice.
Quindi per noi questo sarà il lavoro dell'ultimo e poi sarà la ricompensa del giorno precedente e così via.
e ogni volta che aggiorniamo il nostro moltiplicando per gamma e quindi aggiungendo questa ricompensa sul set.
E così facendo, ricorderemo che ci arriveremo alla fine.
nostra ricompensa per la comunità che sarà alla fine del ciclo fino al nostro zero.
Quindi scriverò come verranno e otterremo la
La ricompensa del punto zero più i tempi gamma sono uno.
Siamo stati i primi a superare i tempi della gamma.
Il secondo passo più quello più gamma alla potenza e meno una volta la ricompensa ottenuta al punto e meno 1 dove un
numero qualsiasi di passi ma poi attenzione alla fine avremo gamma alla potenza del
numero di passi.
I tempi svalutano il valore della funzione applicata all'ultimo stato.
Questo è quello che dovremmo ancora ottenere.
E questo lo otterremo perché ricordate qui che abbiamo ottenuto questo valore e l'ultimo passo perché questo è stato fatto
alla fine di questo ciclo.
E così abbiamo ottenuto il valore e abbiamo impostato il nostro per essere uguale a quel valore.
Quindi adesso sono all'inizio del secondo ciclo completo qui sarà uguale a questo valore dell'ultima
data.
Ma poi facendo questo è ciò che otterremo alla fine sono uguali o zero per cento o un campo da tennis
o due più può aggiungere la potenza e meno una volta che eravamo al passo e meno uno più
il gioco alla potenza del numero di passaggi volte questo valore delle durate.
Quindi questa è la cosa principale da capire e questa può essere l'azione della ricompensa cumulativa.
Ed è per questo che è importante partire da esso inizializzando o con il qui e facendo questo
ciclo inverso per ottenere questa equazione finale perfetta.
E ora ora che abbiamo il giusto valore per la ricompensa cumulativa Bene calcoleremo il vantaggio e
il vantaggio qui è solo il vantaggio di ottenere questa ricompensa rispetto a loro.
Quindi introdurrò un vantaggio evolutivo e quindi sarà uguale a questa ricompensa cumulativa meno
il valore della funzione V ottenuta nello stage.
Quindi, questo è il nostro valore negativo.
Perfezionare.
E ora che abbiamo la comunità che lavoriamo e il vantaggio allora possiamo ottenere la perdita di valore.
Questo è il primo che possiamo ottenere ora.
Quindi faremo in modo che il nostro valore funzioni molto bene e questo verrà aggiornato nel modo seguente.
Ricorda fino ad ora che il nostro svalutato è stato inizializzato a zero.
E quindi prenderemo di nuovo la perdita di valore e a 0. 5 volte il quadrato per il vantaggio in modo che possiamo ottenere in
questo modo.
Vantaggio pensato anche.
Quindi questo significa semplicemente quadrare il vantaggio della potenza e questo è esattamente il valore più
la perdita generata dalle previsioni del valore degli output della funzione da parte del torrente.
E quindi ha senso che questo sia svalutato solo perché ricorda il vantaggio dell'azione nello stato s
è la differenza tra il valore Q e il valore della funzione B.
E così quando giochiamo l'azione ottimale Bene otteniamo lo stato stazionario con Q ottimale dell'azione ottimale di
un giocatore stellare nello stato uguale al valore ottimale.
Vistar dello stato s.
che quando il vantaggio non è uguale a zero, allora ci sarà una differenza tra questi due.
Quindi è abbastanza intuitivo capire
E quindi è così che si misura l'ultimo.
OK.
Quindi l'ultima calcolata è stata l'ultima.
Abbiamo ora un altro da fare.
della politica e questo è quello che calcoleremo in questo momento e per calcolarlo dobbiamo considerare
di nuovo la stima del vantaggio generalizzato perché per calcolare la perdita della politica abbiamo bisogno di una stima generalizzata del
vantaggio e di ottenere i vantaggi generalizzati della nazione abbiamo bisogno prima della differenza temporale delle valvole di stadio.
È la perdita
Quindi abbiamo più cose da calcolare qui e inizieremo con questa differenza temporale una volta
ottenuta la differenza temporale.
Otterremo la stima del vantaggio generalizzato e una volta ottenuti i vantaggi generalizzati
da citare otterremo le penisole.
Tutto ok.
Quindi iniziamo con la differenza temporale T. G. gamma di Bromstad moltiplichi il valore di questo
debito più uno e aggiungiamo quei dati per accedervi meno il valore del punto I e lo stesso aggiungiamo i dati.
DD è uguale alla ricompensa del passo I plus Ghana che otteniamo cose nella nostra lista di programmi in modo che la
Tutto ok.
Questa è la formula della differenza temporale e dei valori dello stato.
E ora possiamo aggiornare la stima del vantaggio generalizzato e come è datata.
Bene, prendiamo l'R-GA e lo moltiplichiamo per i tempi gamma dei parametri gamma, in modo da poter accedere anche ai nostri
parametri.
Quindi prendiamo programmi cella e aggiungiamo questa differenza temporale dei valori di stato.
Perciò stai attento.
Siamo nel giro.
E ogni volta che moltiplichiamo il numero e aggiungiamo una differenza temporale.
Quindi è importante capire che alla fine di questo ciclo Bene, questa stima del
vantaggio generalizzato sarà uguale alla somma su tutti i passaggi dei tempi gamma in modo che la potenza di i volte la differenza temporale al
passo sia così importante da mantenerla in mente.
E ora che abbiamo la stima del vantaggio generalizzato e la differenza generale possiamo
finalmente calcolare la politica.
Quindi facciamolo.
Stiamo andando ad aggiornare le nostre leggi politiche nel seguente modo prendendo per noi la vecchia politica e
sottraiamo le probabilità LUGG ottenute al passo che moltiplichiamo per questa stima del vantaggio generalizzato che dobbiamo inserire in
una variabile perché poi calcoleremo i gradienti
Quindi deve essere collegato ai gradienti nel grafico e quindi aggiungere meno 0. 1 volte l'entropia.
L'entropia ottenuta al passo in autunno.
E di nuovo.
Adesso stai attento.
alcuni dei passaggi del prodotto luggin della politica ai tempi di passaggio alla stima del vantaggio generalizzato.
Questo è l'interno del ciclo, il che significa che alla fine dell'influenza si otterrà una politica più equa
meno
Più questo 0. 01 volte l'entropia fa ciò che otteniamo.
E ora qual è la politica dell'io
Bene, queste sono le morbide probabilità di Max delle azioni e l'entropia di ciò che saprò di cosa si
tratta e dove abbiamo calcolato in precedenza.
E quello che intendevamo fare elencare.
Quindi lo abbiamo già.
Ma quest'anno sento che è la probabilità Max morbida delle azioni.
E perché mettiamo un meno qui.
Questo perché la fortuna della probabilità e l'entropia sono valori negativi.
E poiché vogliamo minimizzare il loro valore assoluto, dobbiamo considerare quest'ultima come la probabilità di LUGG rispetto
a una distanza.
No, vogliamo massimizzare la probabilità dell'azione che massimizzerà il vantaggio.
Questa è l'idea alla base.
per quelli di voi che potrebbero chiedersi quale sia lo scopo di questa entropia efficiente.
Vogliamo massimizzare la probabilità di giocare all'azione che massimizzerà il vantaggio e
C'è questo fattore 0. 01 qui.
Bene, lo scopo è semplicemente quello di evitare che cada troppo rapidamente in una trappola in cui abbiamo una distribuzione
di probabilità con zeri per tutte le azioni tranne una che ha una probabilità di una.
E se ciò dovesse accadere ciò minimizzerebbe l'entropia.
Ecco perché stiamo aggiungendo queste piccole revisioni 0. 01 anni che farà aumentare l'entropia
nel Grande nel senso.
OK, ora la buona notizia è che la parte più difficile è fatta.
Abbiamo le due perdite e quindi quello che dobbiamo fare ora e sappiamo già come farlo è quello di
eseguire solo per ottenere un voto nel senso di ridurre queste due classi.
E quindi quello che faremo ora è uscire da questo ciclo e prenderemo il nostro ottimizzatore.
Quello che abbiamo creato separatamente ricorda che la prima cosa che dobbiamo fare è inizializzare tutti
i parametri di classificazione a zero e per fare questo aggiungiamo che poi a zero e si chiama metodo grad.
Va bene, allora è fatto.
Ora eseguiremo la propagazione all'indietro ma daremo il doppio dell'importanza della politica
rispetto al valore perso perché la politica è più piccola.
Quindi per fare questo metteremo tra parentesi la politica e il punteggio più più 0. 5 perdita di valore quindi 0. 5 volte il valore per noi e aggiungiamo
qui che applichiamo il metodo backward per eseguire la propagazione all'indietro e grazie a questo trucco
qui con la politica meno oltre la metà del valore che abbiamo il
doppio dell'importanza della politica rispetto la Vanessa.
OK, useremo un altro trucco che impedisce al gradiente di prendere valori
estremamente grandi e quindi di generare l'algoritmo.
modulo dalla libreria torcia e poi il sottomodulo utils e ora useremo una funzione CLEP
underscore grad sulla norma del punteggio e inseriremo il nostro parametri del modello con un secondo input che sarà 40.
E il trucco è quello di ottenere prima la nostra libreria torcia, poi la fine e il
E quel trucco fondamentalmente farà in modo che i gradienti non prendano valori estremamente
grandi e generino l'algoritmo.
E per quelli di voi che potrebbero chiedersi se questi 40 anni.
Esattamente.
Beh, questo significa solo che stiamo usando questi valori, quindi la norma del gradiente rimane
tra 0 e 40 e quindi è così che impediamo al gradiente di assumere valori grandi.
OK ora abbiamo quasi finito.
Ricorda che all'inizio della caduta abbiamo reso questa funzione sicura condivisa di Gretz, che è quella di garantire
che l'agente e il modello condiviso condividano gli stessi gradienti e per fare in modo che possiamo
applicare questa funzione qui.
E quindi aggiungeremo e sicuramente condivideremo i voti per assicurarsi che il modello morale e condiviso condividano gli
stessi gradienti.
Va bene quindi è solo una precauzione.
Non sono sicuro che sia assolutamente necessario, ma sai almeno che non avremo un problema qui.
Va bene.
E infine l'ultima riga di codice, ovviamente, eseguiremo la fase di ottimizzazione per ridurre le perdite
e tu sai come farlo, ovviamente prendiamo il nostro ottimizzatore e aggiungiamo quel passo con parentesi e poi andiamo
ad allenare il nostro cervello al di sopra di.
Quindi congratulazioni.
Spero che questo non sia stato troppo travolgente.
Non preoccuparti, fornirò il codice con tutti i commenti.
Quindi se hai perso qualche dettaglio puoi dare un'occhiata ai commenti.
E non ti preoccupare se non hai capito nulla di molto avanzato.
Ma state certi che questa è anche la visita di ricordo più potente fatta dal creatore di pi.
Quindi stiamo davvero lavorando con il meglio qui.
Lo stato dell'arte quindi è del tutto normale se non hai ottenuto tutto per la prima volta,
ma lavorando su di esso molte volte diventerai sicuramente sempre più comodo.
Quindi ora abbiamo finito con l'allenamento.
Quindi, in pratica, abbiamo fatto tutte le cose più importanti che sapete che abbiamo creato il cervello costruendo le
architetture delle reti neurali con le convoluzioni LCN e gli strati completamente connessi.
Abbiamo allenato la sua mente facendo questo codice del treno qui.
Quindi in pratica il cuore dell'algoritmo è fatto.
Hai fatto l'A3 a vedere congratulazioni.
Ora abbiamo ancora un po 'di cose da fare, ma è solo per ottenere la parte divertente.
Sai che abbiamo bisogno di fare questo test che abbiamo trovato che metterà alla prova gli agenti e fornirà i video
e l'aereo che scoppia.
Quindi sarà molto divertente vedere che non codificheremo tutte le righe di questo test che sono caduto perché, come abbiamo detto,
abbiamo fatto la cosa più importante.
relativi, ma ovviamente spiegherò il codice e, alla fine, avremo trovato ciò che eseguirà il codice.
Tutti i 23C
E dal momento in cui eseguiamo questo codice verrà generato tutto il codice.
Quindi i cervelli saranno fatti.
La formazione avverrà e l'occhio giocherà a nuovi giochi di breakout e otterremo tutti i video.
Quindi non vedo l'ora di vederli.
Vedremo se è abbastanza intelligente da prendere la palla.
Così ora vedrò nel prossimo tutorial per questa interfaccia utente desktop in modo da poter testare l'intelligenza artificiale su
alcuni nuovi giochi.
E fino ad allora goditi l'intelligenza artificiale.