Ciao e benvenuto al Statoil.
Così ora l'agente ha fatto la sua esplorazione e poi quando sta per fare è aggiornare la rete condivisa.
Quindi, la prima cosa che faremo è inizializzare il cumulativo come la chiameremo la nostra R
maiuscola e la inizializzeremo come un tensore della torcia ma questo avrà dimensioni una per una perché è solo un
valore ma volevamo essere un tensore.
E quindi sto usando qui ma zeri e poi 1 1.
Quindi in pratica la ricompensa cumulativa viene inizializzata a 0.
OK, allora dicendo che se non abbiamo finito è se il gioco non è finito.
Ciò che vogliamo ora è che la ricompensa cumulativa sia uguale al valore dell'ultimo scambio
raggiunto dalla rete condivisa.
Quindi otterremo l'output del valore.
Conoscete il valore delle uscite funzionali del nostro modello e questo è il valore che daremo alla comunità in
cui lavoriamo.
Quindi, prima prendiamo questo valore, possiamo farlo in questo modo.
poi sottolineare di nuovo e poi otteniamo il nostro modello perché produrrà questo valore ma solo il primo risultato della cosa
morale da fare è raddoppiato sul suo corso qui e qui possiamo semplicemente copiare incollare quello che abbiamo qui.
Valore Allora sai dato che vogliamo solo il valore che possiamo aggiungere qui sottolineare e
Questo è l'input del modello con le immagini di input e il pull degli stati e degli stati del Sud.
Quindi sto solo incollando quello e ci siamo.
Otterremo il valore.
E così ora quello che faremo è dare il nostro valore in modo che tutti siano uguali al valore e all'accesso
al valore che abbiamo all'inizio.
Tutto ok.
possibile ottenere dall'output del modello il primo output del modello che già aggiunge questo nuovo valore all'elenco dei valori.
Ora, se la condizione è stata fatta e ora cosa faremo da quando abbiamo appena ottenuto un
nuovo valore, è
Quindi possiamo prendere direttamente la nostra lista valori quindi verso una tenda e noi poniamo variabile perché è nostra.
Questo ultimo valore è così grande che ora è fatto.
Stiamo per inizializzare le perdite e ricordare le lezioni di intuizione.
Hai due perdite.
Hai l'ultimo criterio che è l'ultimo correlato alle previsioni dell'agente.
E poi hai l'ultimo valore che è meno correlato alle previsioni del critico.
Quindi introdurremo queste due variabili inizializzate in zero e prenderanno qui
la politica per noi orribili perdite di politica.
Inizializzalo a zero e poi il valore ha perso molto del valore e diciamo inizializzato a zero quindi non dimentichiamo di
impostare la ricompensa cumulativa come una variabile torcia perché avremo bisogno che sia una torcia Roybal
perché calcoleremo un gradiente con rispetto ad esso perché la ricompensa cumulativa sarà un
termine della perdita di valore.
Quindi questo è vitale ora è collegato ai grafici dinamici con un gradiente.
tendenze sai quando abbiamo applicato il gas al degrado al sole per ridurre quest'ultimo tra le previsioni e gli obiettivi.
E ora finalmente l'ultima cosa che dobbiamo fare prima di iniziare il ciclo di grandi
Bene, abbiamo bisogno di inizializzare il GAAP per la stima del vantaggio generalizzato e non ottenerlo o non rivestito.
Fai attenzione a questo GAAP, la variabile che stiamo per inizializzare adesso è la stima del
vantaggio generalizzato.
Quindi, come promemoria, la stima del vantaggio generalizzato è per definizione il vantaggio di giocare
l'azione a osservando lo stato s.
Quindi è una funzione dell'azione e dello stato s ed è uguale alla differenza tra i valori
q Q A S e il valore della funzione V.
Quindi in realtà posso scriverlo qui.
La stima del vantaggio generalizzato è una funzione dell'azione e dello stato s e che è uguale ai
valori q dell'azione A e lo stato S meno il valore della funzione V applicata allo
stato s.
Ecco i vantaggi generalizzati da citare e questo è ciò che vogliamo inizializzare in questo momento.
E lo inizializzeremo a zero.
confronti dei ballerini che stavano per usare lo stesso trucco di quello che abbiamo appena fatto qui,
prenderemo la libreria torcia e applichiamo alla funzione di zebra per impostarlo come un tensore di un solo valore che è zero.
Ma deve essere nei
E useremo questa nuova variabile g che sarà uguale a quella torcia che zeri 1 come
ci inizializza.
Quindi questo sarà inizializzato a zero e quindi i valori q dell'azione lo stato s sarà uguale
al valore della funzione V dello stato s.
Tutto ok.
E ora siamo pronti per iniziare il ciclo for.
Quindi avremo un'avventura qui.
Quindi prenditi una pausa e ti vedrò nel prossimo tutorial per attaccarlo.
E allora io