Ciao e benvenuto in questo tutorial Python.
Facciamo così, facciamo questo per il ciclo partendo da destra e andando a sinistra
e per fare questo aggiungeremo quattro.
Quindi questo VAR iterativo sarebbe stato il nostro passo, perché passeremo dall'ultimo passaggio al primo
passaggio di una serie di transizioni e così via.
E poi il trucco per andare da destra a sinistra è utilizzare per il passo invertito invertito.
E ora abbiamo solo bisogno di inserire una sequenza e questa sequenza sarà ovviamente la nostra serie.
Quindi possiamo mettere le nostre serie ma, come puoi vedere dal giornale, passiamo da T meno 1 per iniziare.
Quindi non passiamo dall'ultima fase che è la fase terminale, ma il passaggio precedente è che c'è meno
uno, ma per iniziare è il primo passo.
E quindi ecco perché non dobbiamo fare quel passo prima di aggiungere colonne tra parentesi meno uno.
Sono sicuro che per quelli di voi che hanno seguito l'apprendimento della macchina in
un corso più profondo conoscete questo trucco, Kollin meno uno significa che state salendo all'elemento prima dell'ultimo elemento ma
non fino all'ultimo elemento e quindi otteniamo la sequenza che vogliamo.
Questo è ciò che andremo dall'elemento prima dell'ultimo elemento al primo elemento e che facciamo le
cose invertite per andare da destra a sinistra.
Bene, siamo pronti per entrare nel ciclo for.
E così dentro questo ciclo, cosa faremo.
Dove stiamo andando a fare esattamente come nel giornale.
Stiamo andando ad aggiornare la ricompensa cumulativa moltiplicandola per Ghana e aggiungendo la parola raggiunta nella
fase corrente che è nel passo del follow-up.
Va bene, facciamo questo tornando a Python.
E quindi vogliamo aggiornare il nostro cumulato lavoriamo come segue, prima moltiplicando per gamma.
Eccoci.
Qui lo moltiplichiamo per gamma e quindi vogliamo aggiungere la ricompensa di ciò a cui possiamo accedere in questo modo con
la struttura speciale.
Ricorda che la parola è un attributo dell'oggetto.
E quindi qui ovviamente aggiungiamo un plus.
Va bene, è una ricompensa cumulativa.
Uguali vogliamo questo passo.
Siamo in questo momento il ciclo più Gahanna volte il precedente premio cumulativo prima che sia un.
Perfezionare.
Quindi ora penso che siamo bravi.
Stiamo seguendo a fondo l'algoritmo.
E ora tempo per i prossimi passi.
Bene, diventerà piuttosto facile.
Torniamo al primo follow-up perché questo ciclo for è solo per calcolare la ricompensa cumulativa che non
va dalla destra alla sinistra aggiornando in questo modo.
Seguire l'algoritmo e ora, come ricordi, l'obiettivo di fare questo è ottenere i nostri input pronti e i nostri obiettivi pronti
in modo che possiamo ridurre al minimo la differenza quadratica tra i due per l'allenamento.
E così ora come ora, l'unica cosa che dobbiamo fare è ottenere questi input e il bagno è pronto.
Facciamo prima ciò che dobbiamo aggiungere la prima data della serie nel nostro elenco delle parti.
Finora questo stato è in questa parte del nostro obiettivo.
Era solo per calcolare l'output.
Quindi otterremo questo stato di input del primo passo separatamente, perché è esattamente quello
che dobbiamo fare nella nostra lista.
Quindi prendiamo questo separatamente.
Quindi lo chiameremo stato.
E così esattamente come qui possiamo ottenerlo in questo modo prendendo il primo indice della serie che contiene la
prima transizione e quindi aggiungendo quello stato per ottenere lo stato di questa prima transizione.
Questo è il sito di cui abbiamo bisogno, quindi diciamo che otterremo separatamente gli obiettivi associati a
questa fase di input della transizione.
E quindi una nuova variabile interessante qui target che sarà uguale al valore del primo passo.
E poiché il valore Q viene restituito dalla rete neurale e dal suo contenuto e output
e poiché output è l'uscita associata a questo input che contiene il primo del pozzo di transizione possiamo ottenere
questo valore q della prima data semplicemente prendendo l'output qui e prendendo l'indice zero.
E poi aggiungiamo quei dati che ci otterranno semplicemente il valore Q dello stato di input della prima transizione e che
è esattamente il tempo.
Q In questo modo, quindi, aggiorneremo questa variabile target, ma solo per l'azione selezionata nel primo
passaggio della serie e per accedere a questo primo passaggio della serie.
Bene, dobbiamo prendere la prima serie 0 perché questo è esattamente il primo passo di una serie 3 0.
E per accedere all'azione corrispondente a questo primo passaggio della serie, dobbiamo aggiungere qui di nuovo
quell'azione che è questa struttura di attributi che stiamo usando. L'azione è un attributo del
primo passo della serie.
Questa è la prima transizione della serie perché ogni transizione della serie ha la seguente parola
di azione dello stato della struttura e fatta così azione qui questa azione attributo qui significa che stiamo
semplicemente ottenendo l'azione di questa prima data.
E quindi l'obiettivo per quella specifica azione del primo passo è esattamente ciò che deve essere aggiornato
dalla comunità del mondo.
Quindi, in pratica qui stiamo solo andando a scrivere quell'obiettivo associato all'azione che è stata giocata.
Il primo passo della serie è questa ricompensa cumulativa che abbiamo appena calcolato.
pronti ad aggiornare il nostro contributo aggiungendo questo primo soggiorno qui e questo primo appuntamento qui per la prima ora.
Bene e ora siamo finalmente
Abbiamo solo bisogno di aggiornare il primo passo della serie perché sai che addestriamo l'IA su 10 passi e
quindi l'input è il primo passo dei dieci passi.
E inoltre otteniamo l'obiettivo in questo primo passaggio, ma non otteniamo input o servizi igienici
nei seguenti passaggi dei 10 passaggi, perché in pratica l'apprendimento avviene dopo 10 passaggi.
Ecco perché in questo momento otteniamo solo lo stato e l'obiettivo del primo passo della serie.
Quindi è importante capirlo e quindi se capiamo che ora capiamo che dobbiamo inserirli
nella nostra lista di input e nella nostra lista di obiettivi.
Quindi facciamolo.
Innanzitutto, aggiungiamo gli stati ai nostri input.
Quindi prendiamo la nostra lista di input e usiamo la funzione append per aggiungere lo stato che ricorda lo stato di
input del primo passo della serie e quindi aggiungeremo l'obiettivo al primo passaggio alla nostra lista di obiettivi e
per fare ciò prendiamo la nostra lista di obiettivi e diciamo che usiamo la funzione append
per aggiungere questo primo obiettivo.
Eccoci.
di cui avevamo bisogno, come abbiamo detto all'inizio di questo tutorial, gli input e gli obiettivi che sono ora aggiornati.
Quasi finito e ora abbiamo bisogno di restituire le ultime cose che sono ovviamente ciò
Quindi andremo ad aggiungere qui ogni turno e otterremo i nostri input prima, ma questa
è la cosa di cui abbiamo bisogno per convertirli in un array di numeri prima di fare una conversione
di tipo per assicurarci di avere un singolo tipo con il tipo tu uguaglia e questo galleggia 32 lo stesso.
E poi convertiamo questo in un tensore torcia perché ovviamente stiamo lavorando con una torcia che è
totalmente obbligatoria.
E così sto usando di nuovo la torcia della funzione non-tailandese.
E questo ci dà i nostri input.
Perfezionare.
E ora facciamo lo stesso per gli obiettivi.
Ora possiamo usare questo trucco che è più veloce.
Stiamo andando a raggruppare gli obiettivi insieme e per fare questo dobbiamo prendere prima
la nostra libreria torcia perché useremo la funzione pila per torcia per impilare i bersagli.
Tutto ok.
E così questa riga di codice restituisce sostanzialmente gli input ei servizi igienici che sono stati appena aggiornati
tramite questo algoritmo di tracciabilità di Sarsour di idoneità.
Oppure possiamo chiamarlo e intervenire e inviare le nostre congratulazioni.
Eravamo pronti a fare l'allenamento finale perché fondamentalmente la formazione consiste nel ridurre al minimo
le differenze quadrate tra le previsioni dei nostri input e le toilette.
Quindi diamo i nostri occhi intelligenti.
Diventerà intelligente e il prossimo è.
E così fino ad allora goditi l'intelligenza artificiale.