Ciao e bentornato.
Nell'ultima lezione, abbiamo finito per completare o finalizzare la definizione effettiva del nostro ambiente, la rappresentazione
dei nostri valori, la nostra punizione in ricompense e le nostre azioni nell'ambiente.
In questa lezione, quello che voglio fare è introdurre la formazione, l'idea alla base di come addestrare
il modello e aiutarti a iniziare.
E poi nella prossima lezione fornisci la soluzione e più di una ripartizione per i passaggi coinvolti.
Quindi dobbiamo addestrare il modello su ciò che sarebbe richiesto dalla formazione.
Questo è un approccio che possiamo utilizzare per i seguenti passaggi per l'addestramento del modello.
Vogliamo scegliere uno stato casuale non terminale, che sarebbe il quadrato bianco del nostro agente, ed è così
che vogliamo iniziare nel nostro episodio per l'allenamento.
Quindi ovviamente vogliamo scegliere un'azione per lo stato attuale.
Abbiamo bisogno che il nostro agente sia in grado di muoversi nell'ambiente.
Quindi le azioni per noi e per il nostro agente in questa sfida verranno scelte utilizzando Epsilon Greek.
Questo algoritmo sceglierà solitamente l'azione più promettente per l'agente, ma occasionalmente sceglierà un'opzione
meno promettente.
Per incoraggiare l'agente a esplorare l'ambiente, vogliamo davvero trovare la politica ottimale.
Quindi vogliamo eseguire l'azione scelta e passare allo stato successivo.
Passa alla posizione successiva.
E perché sto dicendo questo è che voglio che voi ragazzi pensiate a come potete suddividerlo in
funzioni per risolvere questo problema.
Successivamente, dobbiamo ricevere una ricompensa per essere passati a un nuovo stato e quindi calcolare la differenza temporale.
Dobbiamo aggiornare il valore Q per lo stato precedente e la coppia di azioni, e se la nuova valuta è
uno stato terminale, andremmo a uno.
Altrimenti andremmo al passaggio numero due.
Quindi, per l'intero processo, mireremo a correre per un migliaio di episodi da addestrare.
Questo ci darà un'opportunità sufficiente o al nostro agente un'opportunità sufficiente per calcolare il percorso più breve tra
l'area di imballaggio dell'articolo e altre posizioni nella nostra città di esempio.
Eccezionale.
Quindi, per favore, pensa a come ti avvicini a questo e voglio aiutarti a darti un'idea per provare a risolverlo.
Quindi esamineremo la nostra soluzione, utilizzeremo le seguenti funzioni.
Posso effettivamente commentare questo dato che è un codice, quindi mi scuso.
Non vogliamo il simbolo del dollaro.
Vogliamo commentarli e ti aiuterò a iniziare con il primo.
Nel complesso, queste funzioni definiranno i nostri passaggi per l'addestramento del modello e per aiutarti a
iniziare.
Diamo un'occhiata a come ci avvicineremmo allo stato terminale nella creazione di una funzione all'interno di Python per
questo.
Per prima cosa vorremmo ovviamente definire la nostra funzione così com'è.
Stato terminale.
E questi sono i nomi delle funzioni che vedrai per darti un'idea che potrebbe aiutarti a
scomporla.
Quello che vogliamo fare è prendere l'indice di riga corrente e l'indice di colonna corrente.
Questo ci aiuterà a darci la posizione del nostro agente e possiamo aggiungere qui per le nostre ricompense un vero o un
falso.
Quindi ne abbiamo bisogno.
Quindi impostiamo il nostro se le nostre ricompense.
Della nostra corrente.
Indice di riga.
E attuale.
Indice di colonna uguale a uno negativo se si trovano in quello stato.
Vorremmo restituire false o altrimenti o altro.
Ci torneremmo.
VERO.
Abbastanza semplice.
Ed è così che avremo la nostra idea del nostro stato terminale dopo che avremo se esiste nello stato
terminale, quindi vogliamo ottenere la posizione di partenza.
Come suggerimento, puoi dare un'occhiata all'utilizzo dell'indice di riga corrente nell'indice di colonna corrente e impostare
numpy con un casuale.
Vogliamo inizializzarlo in modo casuale nelle colonne dell'ambiente delle righe dell'ambiente.
Ma nella prossima lezione vedrai un guasto.
Vedrai il resto delle funzioni con alcune note per aiutarti a darti un'idea.
Spero davvero che voi ragazzi cogliete l'occasione per sperimentare questo perché è solo un modo
fantastico per imparare a darvi un'idea e questo è per iniziare.
Quindi non preoccuparti, otterrai la soluzione nella prossima lezione.
E poi concluderemo le cose assegnando effettivamente un eccellente fattore di sconto all'apprendimento, quel tipo di cose
per l'allenamento, l'esecuzione dell'allenamento e la visualizzazione dei risultati.
Eccezionale.
Fermiamoci di nuovo qui.
Prova a risolvere questo.
In caso contrario, se vuoi solo avanzare, vai alla lezione successiva e otterrai la soluzione per
la formazione per la definizione di queste funzioni.
Va bene, ci vediamo ragazzi alla prossima lezione.