Ciao e bentornati al corso sull'intelligenza artificiale.
Oggi parliamo della prima parte di A-3, vedi la parte critica dell'attore.
Quindi qui abbiamo un vantaggio sincrono.
Algoritmo critico dell'attore.
E stiamo per parlare di questo ha sottolineato Akrotiri.
Ecco dove inizieremo.
tecnicamente da qualche parte, ma è molto più sensato iniziare da un
critico perché in questo modo avremo una spiegazione molto consecutiva della comprensione intuitiva di ciò che sta succedendo ci faciliterà.
Potresti iniziare
Ma se iniziamo a sorprendere ancora alla fine di questa aberrazione.
Va bene così lontano in questo corso che abbiamo creato un apprendimento Kule condizionale profondo che è un illustratore qui, quindi abbiamo
il computer che vede i pixel in modo che l'immagine e i pixel effettivi non siano solo un vettore.
Quindi non è barare, è in realtà vedere esattamente ciò che un umano vede vede
i mostri vede la salute vede i parametri in fondo vede la carta o vede la pistola è esattamente la stessa
cosa che un umano vedrebbe quando gioca gioco.
come ricordiamo che abbiamo quei valori cubici quindi applichiamo una politica di selezione delle azioni a loro.
Poi quell'immagine viene passata attraverso una tana convoluzionale e poi viene passata attraverso una lirats che si appiattisce e
entra in una rete neurale e quindi all'output abbiamo azioni
Ad esempio, applichiamo un Max morbido e scopriamo quale azione vogliamo intraprendere.
E quindi c'è un'esplorazione e uno sfruttamento in corso.
Ci sono una combinazione dei due.
Ecco come funziona il profondo apprendimento convoluzionale.
Ma ora vediamo cosa faremo con esso.
facile per noi operare con noi, perché stiamo modificando questa immagine e spostandola.
Quindi, per ragioni di semplicità, è più
Sostituiremo i cerchi con i quadrati con queste o queste caselle rettangolari.
E ci sbarazzeremo anche di quelle linee e tra appena le cambiamo in frecce quindi questo
non cambia l'essenza.
Questa è solo la rappresentazione su questo grafico.
Anche se questa rappresentazione è ancora profonda, l'apprendimento Kule convoluzionario sarà più facile
per noi modificarlo e mostrare esattamente di cosa si tratta.
Ecco come rappresenteremo le cose da qui.
E cosa fa o questa parte così specifica sta iniziando.
Ricorda che stiamo iniziando come passo per passo, stiamo iniziando con la parte critica attiva.
Quindi vedremo come passiamo dal fondamentale e cruciale apprendimento di Kule all'A-3, vediamo passo dopo passo e il primo
passo introdurremo questo critico degli attori PARTOVI qui, quindi parleremo di questo.
Quindi la prima cosa che succede è questo ultimo bit.
L'output è in realtà stiamo andando a ridisegnarlo in questo modo in modo che sia esattamente lo
stesso output esattamente gli stessi valori di q sono esattamente la stessa azione.
metteranno in cima in modo che occupino meno spazio, quindi nulla finora è cambiato così tanto finora.
Quindi, se lui avesse otto azioni possibili, avresti ancora otto azioni possibili che le
Questo e questo sono esattamente gli stessi.
Ma ora è qui che entra in gioco la parte critica attiva.
Avremo una seconda uscita.
Avremo il primo come una serie di output e qui avremo un output individuale
separato, quindi tecnicamente useremo la nostra rete neurale.
Quindi una volta all'ora.
O l'immagine e tutto come i valori passano attraverso la rete da sinistra a destra qui.
Non sputano solo un set di valori che sputano in realtà in due set.
E così la parte superiore ha detto che sappiamo davvero di cosa si tratta è possibile azioni, ma qui in realtà
avremo un altro valore in più, quindi diamo un'occhiata a questo.
Qual è quel valore.
Quindi qui andiamo è il massimo.
Quindi abbiamo solo un po 'come ridurre le dimensioni di questa illustrazione.
L'output principale sono i valori del cubo come abbiamo discusso in precedenza per le azioni.
Quindi sono la stessa cosa
È tutto uguale
Ma ora questa parte in basso e la parte superiore sono in realtà chiamate X
o ci daremo un nome che è l'attore perché è la parte in cui l'agente sceglie ciò che vuole fare in
modo che sia come se agisse è come se sta andando sul palco e avrà più senso una volta che avremo
il secondo nome sullo schermo.
E poi il secondo output è proprio come un valore e cioè V of S, quindi questo è il valore dello stato.
q di S è il Q di A è il valore q di una certa azione e come puoi vedere è il motivo per cui c'è azione una azione due azione
tre sono fino all'azione sei o più significa che le azioni possono esserci in quello stato.
Quindi se
Quindi in un determinato stato s Qual è il valore q dell'azione da intraprendere un'azione per l'azione un'azione per e così via.
Poi qui stiamo anche prevedendo che stiamo usando la rete neurale per prevedere quale sia il
valore dello stadio in cui ci troviamo effettivamente e questa parte è chiamata il critico.
E così questo è intuitivo per il tipo di non completamente intuitivo che è proprio come l'inizio dell'intuizione
dietro l'attore che prevede che ci siano due uscite ora dalla rete neurale non solo una.
P prima abbiamo appena avuto quello in outbred che ora chiamiamo l'azione.
Ma ora abbiamo due risultati: Akshara e critico.
E tra loro c'è una dinamica che esploreremo ulteriormente.
Ma per ora è importante capire che prevediamo non solo i valori delle azioni che l'agente può assumere dallo stato
attuale, ma stiamo anche predicendo il valore di essere in questo tipo di stato usando
quella rete dello stesso anno.
Questo è il nocciolo del primo passo verso il critico attivo.
E ora avremo bisogno di parlare di un sincrono che faremo il prossimo tutorial per
capire esattamente cosa sta succedendo tra il dovere e l'ultima cosa per oggi è che tutti questi valori chiave come sappiamo
che è anche chiamato Pulse .
Quindi in alcune pubblicazioni in alcuni blog e in alcune discussioni che potresti trovare nel critico attivo potresti
trovare l'autore che parla dei valori di Cue sul lato dell'attore in alcuni in altri articoli di letteratura e blog
e nelle discussioni che troverai nell'agrah dell'autore Parlando della politica, di solito, si usa l'utente come
una lettera greca P per rappresentare la politica o semplicemente dire la politica di stato.
Quindi, complessivamente, questa è la politica dello stato di è perché, come ricordiamo, la politica è che
se si mettono tutte le azioni insieme le azioni possibili e poi si decide quale azione intraprendere.
Quindi queste saranno come le probabilità di intraprendere ogni azione così questa è la politica.
Quindi non essere buttato fuori se vedi l'uno o l'altro.
Fondamentalmente significano la stessa cosa.
Quindi da una parte qui hai la politica o i valori q dall'altra parte hai
il valore reale dello stato e sono previsti da quell'anno su quello.
Quindi questo è l'inizio del critico attivo che continuerà nel prossimo tutorial quando
parliamo di un sincrono e cerchiamo di vedere lì.
Fino ad allora godetevi il.