Ciao a tutti e bentornati.
In questa lezione, prepareremo il nostro ambiente.
E voglio introdurre questa panoramica di più alto livello per coloro che vogliono provare a risolverlo da
soli.
E questo potrebbe sembrare familiare nell'ultima lezione che hai visto.
Quindi, se lo leggi, mi scuso.
Lo passeremo molto velocemente.
Cominciando dall'inizio.
In questo progetto, miriamo davvero a mantenerlo il più semplice possibile, nel senso che non abbiamo bisogno di
importare troppe librerie.
Fondamentalmente useremo NumPy per quello.
Abbiamo solo bisogno di importare NumPy come e P, di solito il riferimento comune per numpy.
E vogliamo anche creare il nostro ambiente, come vedrai qui.
E lo esamineremo di nuovo molto rapidamente come panoramica.
Il primo passo per il nostro apprendimento della Q è che volevamo trovare un ambiente in cui il postino deve navigare.
Abbiamo bisogno che l'ambiente sia impostato in modo da poter effettivamente iterare e attraversarlo.
In questa lezione, l'ambiente sarà composto da stati, azioni e ricompense.
Gli stati e le azioni sono input per l'agente di apprendimento Q, mentre le azioni possibili sono gli
agenti, gli output sono stati a cui possiamo pensare e considerare questa immagine come la nostra rappresentazione.
Gli stati nel nostro ambiente sono tutti i possibili luoghi all'interno della città che possiamo chiamare questa città di
esempio.
Alcuni di questi luoghi sono i confini della città che saranno i nostri quadrati neri, mentre altri luoghi sono isole
che il postino può usare per viaggiare attraverso la città.
Quelli saranno i quadrati bianchi.
Il quadrato verde indica la zona di imballaggio e spedizione dell'articolo.
I quadrati neri e verdi sono quelli che chiameremo stati terminali.
Quindi, nel complesso, il nostro obiettivo o l'obiettivo del nostro agente, vogliamo utilizzare il percorso più breve.
Vogliamo che il nostro agente impari il percorso più breve tra l'area di confezionamento degli articoli, il barattolo, il verde e tutte
le altre località della città in cui il postino può viaggiare.
Nell'immagine sopra, abbiamo 121 possibili stati o posizioni all'interno della città.
Questi stati sono disposti in una griglia 11 per 11.
Ogni posizione può essere identificata dall'indice di riga e colonna.
Allora quale sarebbe il nostro primo passo?
E questo è davvero che voi ragazzi iniziate a pensare a come definirlo.
Dobbiamo definire il nostro ambiente.
Questo è un buon esempio della nostra immagine e di come la affronteremo.
Quindi come lo modelleresti?
Ricorda, stiamo usando NumPy, quindi dobbiamo definire questi limiti e possiamo definire un array numpy 3D per mantenere
i nostri valori Q correnti per ogni coppia di stato e azione mentre vediamo la nostra rappresentazione.
E per quelli di voi che non lo conoscono, o forse questo è
nuovo o volete semplicemente rinfrescarvi, il manuale Air Z di questo corso è estremamente utile, altamente raccomandato.
Allora cosa dobbiamo fare qui?
Possiamo effettivamente.
Consentitemi di espandere questo molto rapidamente per noi in modo da poterlo visualizzare un po' più facilmente.
Fammi solo aggiungere alcune celle di codice.
Definiremo il nostro impero 3D.
Come lo faresti?
Quindi abbiamo alcune opzioni.
Ma l'opzione più diretta e semplice, chiamiamola righe di ambiente.
Rose e impostiamolo su 11.
È un 11 per 11.
Quindi possiamo anche fare ambiente, colonne di sottolineatura.
E potremmo anche impostarlo su 11.
Infine, possiamo impostare i nostri valori Q poiché dobbiamo aggiungere il nostro numpy con le righe dell'ambiente, le colonne
dell'ambiente.
E possiamo impostarlo come valori Q uguali a zeri NumPy e dobbiamo usare le nostre righe di ambiente, colonne di
ambiente.
E abbiamo il nostro numpy array 3D, la nostra rappresentazione dell'ambiente 3D impostata con il nostro ambiente.
Eccezionale.
Ora e lo lasceremo qui, ma voglio che voi ragazzi iniziate a pensare a come risolverlo poiché
avete già impostato il vostro ambiente.
La prossima cosa che vorrai fare come suggerimento è impostare le tue azioni.
Il tuo agente deve essere in grado di muoversi nell'ambiente.
Quindi come lo rappresentereste?
Come lo scriveresti?
Per questo problema, lasciamo perdere qui.
Nel prossimo video, rivisiteremo queste azioni.
Eccezionale.
Ci vediamo ragazzi nel prossimo video.