Salve e benvenuti a questo tutorial in Statoil di oggi andremo a sincronizzarci con il modello condiviso.
Quindi quello che faremo è comunque inviare la funzione, naturalmente, e quindi inizializzare la durata di un
episodio.
Quindi chiameremo la lunghezza di un episodio episodio e questa lunghezza di core che andiamo e iniziamo
a inizializzarlo a zero.
Ma allora questa lunghezza attuale sarà incrementale.
E parlando di incrementi in questo è esattamente quello che faremo.
useremo questo trucco per dire, mentre il vero Kallen ripeterà cosa accadrà ora che cosa succederà in questo mondo.
Quindi useremo un ciclo while e
E quindi la prima cosa che accadrà in questo ciclo è l'incremento della lunghezza di
un episodio.
Quindi la prima cosa che faremo è incrementata di 1 e per fare ciò possiamo
semplicemente prendere lunghezze degli episodi e aggiungere qui più uguale a 1.
E ora ci sincronizzeremo con la condivisione di più.
Ciò significa che ora che l'agente otterrà userà il modello condiviso per fare la sua piccola esplorazione su un
certo numero di passaggi e in che modo il modello otterrà questo modello condiviso.
Bene, dobbiamo prendere la nostra morale di quella e poi usare il metodo di caricamento del metodo di Dick perché
lo useremo per ottenere il dizionario di stato del nostro modello condiviso, quindi dobbiamo prima mettere il modello condiviso e applicare quindi
il metodo statico a ottenere i parametri del modello condiviso.
Ed è così che il nostro modello qui porterà il modello condiviso alla sua piccola esplorazione. Okay.
E una volta che il modello ottiene questo modello condiviso ora dobbiamo distinguere due casi.
Il primo è fatto se significa che se il gioco è finito, quindi il gioco è fatto, allora cosa succede in quel caso.
Bene, dobbiamo reinizializzare gli stati nascosti e gli stati della cella dell'LSD e del centro commerciale.
stati delle celle e invecchierò anche gli stati nascosti e li inizializzerò di nuovo e come li reinizializzeresti.
Ed è per questo che prenderò See X gli
Bene con solo zeri ci sarà un vettore di 256 zeri perché ricorda le uscite del resto.
Come ho menzionato 1 e 256.
Quindi andiamo a inizializzarli usando la libreria torcia e poi la funzione dello zero.
E poiché vogliamo un vettore di 256 zeri, sentiremo le dimensioni una per il vettore e 256
per il numero di elementi che saranno zero e quindi andremo.
Ma poi lo convertiremo in un Voivode della torcia perché poi verranno calcolati alcuni gradienti.
Quindi dobbiamo integrare questo con un gradiente.
Tutto ok.
E faremo lo stesso per gli stati nascosti appena sotto e li analizzeremo nello stesso modo.
Eccoci.
Quindi, se il gioco è finito.
E ora l'altro caso a cui possiamo accedere con Else else rispetto a quello che succede in quel caso.
Bene, manterremo i vecchi stati delle celle e le puntate nascoste e quindi con
molta facilità possiamo mantenere i vecchi in questo modo digitando X uguale a variabile cx che i dati e lo stesso per quello negli Stati
Uniti possiamo semplicemente aggiungere qui H x uguale variabile xx che i dati sono a.
Buona cosa
Ora possiamo uscire dal resto perché fondamentalmente abbiamo finito con questi due casi, a prescindere dal fatto che il
gioco sia finito o meno, ma restiamo nel ciclo while perché ora faremo altre cose che
fondamentalmente sono tutti gli allenamenti processi.
Quindi ciò che faremo ora è inizializzare diverse variabili che saranno al centro
dei calcoli del training.
Quindi, facciamo questo, avremo bisogno dei valori che ricordano l'output del critico.
Questa è la funzione.
E li inizializzeremo come un nido vuoto.
In questo modo avremo bisogno di trascinare le probabilità.
Quindi probabilita 'di fortuna e la inizializzeremo anche come una lista vuota.
Quindi, ovviamente, avremo bisogno di tutte le parole che verranno inizializzate come una lista vuota.
E finalmente avremo bisogno che entropia sia qualcosa di nuovo.
Ma questo è davvero al centro delle condizioni di allenamento.
Quindi fino a poco.
iniziare un nuovo ciclo FOR e poi questo ninfal aggiornerà i valori di queste quattro variabili.
Quindi, ora che inizializziamo queste quattro variabili, possiamo
E così questo nuovo Foluke sarà un cerchio pieno per le fasi di scadenza e quindi la
variabile di loop sarà il nostro passo.
Quindi per un passo all'interno e all'interno possiamo mettere direttamente un punto senza fermi perché il parametro in alcuni passaggi
è esattamente il numero di passi dell'accelerazione.
Quindi per tutti i passaggi dell'accelerazione Cosa facciamo.
Bene, otterremo le previsioni del modello.
il modello e applicarlo agli input che inviano il segnale che passa attraverso il cervello nel modello.
Ora, cosa viene restituito dal modello e per ottenere queste previsioni, possiamo semplicemente prendere
E questo ci darà le uscite ma otterrà diversi output sapendo che ci otterrà i
valori della funzione che è l'output del critico.
Quindi i valori q QSA, che è l'output dell'attore, ma non dimenticano che produrrà anche il
ribaltamento degli stati di Doheny e dei piccoli stati perché ricorda che se torniamo al
nostro modello nella funzione forward possiamo vedere che effettivamente restituisce l'output del critico.
Questo è il valore della funzione sì, l'output dell'attore che del cubo vale QSA e anche l'output del
CM che è questo doppio controllo e vedere X quindi Stati e stati della cella.
Quindi dobbiamo stare attenti a questo.
Questo è molto diverso da quello che è successo prima e quindi li applicheremo tutti
agli input che sono lo stato.
Ma ora ci sono diverse cose da fare relative alla tortura.
Ma ciò conferisce naturalmente il potere a ciò che stiamo facendo.
La prima cosa che dobbiamo fare è spremere negli stati per aggiungere questa dimensione che deve avere
l'indice 0.
Questo perché il modello può accettare solo una serie di input e non un fine da solo in un vettore o un intensificatore.
Questa è la prima cosa che dobbiamo fare e spremere, ma non è tutto ciò di cui
abbiamo bisogno per convertire i nostri input in una torcia annullabile, quindi io qui dentro.
Quindi ora siamo con lo stato di polizia statale ma ricordiamo che gli input delle quattro funzioni sono in
realtà l'immagine di input.
Questo è ciò di cui ci prendiamo cura, ma anche questo tipo di età X gli stati e gli stati cellulari e
quindi dobbiamo aggiungere qui.
Questa seconda parte dell'input con il suo fascino di età X e 6.
Tutto ok.
E dobbiamo riprendere la parentesi.
Eccoci, abbiamo i nostri due input, il primo è gli stati di input che sono le immagini di input
tutte convertite in variabili e spremute per aggiungere questa dimensione falsa del batch e fermano tutti gli stati e
gli stati del sud.
Quindi siamo tutti a posto.
Siamo pronti per ottenere le nostre previsioni.
E ora da questo ritorno.
l'uscita del critico fino all'attore e la cima di tutti i reintegri resi necessari dal CME.
Bene le nostre tre predizioni
Bene, introdurremo tre nuove variabili ora che pubblicheranno tre output.
Quindi otteniamo il primo risultato è il valore della funzione V che è l'output del critico.
Quindi lo chiameremo così.
Quindi eccoci.
Questa è la prima uscita.
Quindi il secondo output sarà l'output dell'attore.
E questo è il Q valori QSA.
Ma poiché i valori q sono associati alle azioni, possiamo anche chiamarli i valori di azione.
Tutto ok.
E poi trova un output restituito entro l'indomani.
Questo è il doppio della tassa di vendita nascosta e gli stati della cella vedono X e poi andiamo abbiamo tre
uscite restituite da loro tutte perfette.
Quindi ora che abbiamo le predizioni, dobbiamo usare un Max morbido per fare l'azione giusta.
E così ora questo sarà esattamente lo stesso di quello che abbiamo fatto prima.
mettere in questo momento e quali, naturalmente, i valori reali che sono i valori q che sono gli output dell'attore nel modello.
Il passo successivo è quello di ottenere le nostre probabilità in modo che possiamo chiamarle e questo è il punto
in cui abbiamo usato il metodo Max abbattuto che prendiamo dal modulo funzionale che ha una
ff che ha sbrottato Max e che genererà una distribuzione delle probabilità degli input che stiamo per
Occasionalmente abbiamo le nostre probabilità ma, come hai notato, lavoreremo con l'entropia e insieme
l'entropia non solo guiderà le probabilità ma anche le probabilità di LUGG perché l'entropia è
la somma del problema di Lucke del prodotto. volte somme tutto questo moltiplicato per meno 1.
E quindi abbiamo anche bisogno di ottenere il nostro amore di cui verranno generati gli stessi da LUGG soft max.
che applichiamo al cubo e usiamo i quali chiamiamo i valori dell'azione.
Quindi, invece di prendere una distribuzione delle probabilità, prendiamo una distribuzione delle probabilità e questo lo facciamo con LUGG soughed che bussa
alla funzione Optimax per dire
Va bene, ora abbiamo il problema e il blocco.
E quindi siamo pronti per ottenere l'entropia e l'entropia.
Qual è la formula per questo.
Bene, come ho appena detto, prendiamo il prompt della fortuna che moltiplica per il prodotto.
Quindi prenderemo la somma di tutto questo e per fare ciò possiamo aggiungere che qualcuno attualmente usa
la strada molte volte.
E come abbiamo detto moltiplichiamo questo per meno 1.
Quindi è il meno della somma del prodotto.
Molte volte
Perfezionare.
E ora stiamo andando a memorizzare questa entropia che è stata appena calcolata nella nostra lista di entropia.
Eccoci, abbiamo l'ultimo calcolo dell'entropia.
E quindi abbiamo bisogno di memorizzarlo nella lista delle entropie e per fare questo niente di
più semplice useremo la funzione append, ovviamente perché entropies è una lista.
Quindi prendiamo la nostra lista di entropie, quindi iniziamo e usiamo la funzione append per aggiungere
l'entropia che viene calcolata.
Va bene, adesso faremo una pausa.
Faremo questo passo dopo passo nella prossima storia, svolgendo l'azione prendendo un sorteggio casuale
di questa distribuzione generata di probabilità.
E dopo che giocheremo l'azione otterremo il valore di questo stato e alla fine archiveremo la nostra
nuova ricompensa per gli stati di transizione.
E così sarà un nuovo grande passo e lo completeremo nel prossimo ostacolo.
Fino ad allora I.