Ciao e bentornati al corso sull'intelligenza artificiale.
Oggi parliamo della pena di vita.
Va bene, qui abbiamo tutte le equazioni di Belman e visto che stiamo seguendo
questo corso, stiamo lentamente diventando sempre più complesse, quindi finora abbiamo già aggiunto queste probabilità qui.
E inoltre abbiamo aggiunto il fattore di sconto.
Ora esamineremo più in dettaglio questo aspetto della domanda in cui ora abbiamo la ricompensa.
rinforzo, abbiamo detto che abbiamo un agente e che compie azioni nell'ambiente e in uno scambio
o come risultato ottiene un nuovo stato e che è ora in e una ricompensa per quell'azione.
Ricorda in precedenza quando abbiamo parlato di come funziona l'apprendimento di
Beh, finora nel nostro esempio abbiamo ottenuto premi alla fine o se arriviamo al traguardo o
se per l'agente finisce nel pozzo del fuoco ottiene un più uno o meno un premio.
Ma questo è un approccio molto semplicistico all'apprendimento di rinforzo e in scenari più realistici è probabile che tu abbia
dei premi per tutto il viaggio, non solo alla fine potresti avere dei premi durante il
viaggio.
Ad esempio, se si tratta di una IA che gioca e se per esempio è come sparare a qualcuno in un destino
potrebbe ottenere punti per uccidere quel nemico o potrebbe essere un altro gioco diverso.
Se sorpassa un'altra macchina o qualcosa del genere solo a causa delle regole del gioco, non per il suo
modo di analizzare il gioco, ma in realtà il gioco è strutturato in modo tale da rinforzare i suoi punti di forza per
fare determinate azioni anche prima che il gioco sia al di sopra di.
Quindi i Sinatra come questi sono molto comuni e non solo nei giochi e nella vita reale ed
è per questo che introdurremo qualcosa di simile nel nostro esempio, una versione semplificata di questo, ma
comunque una ricompensa che viene continuamente assegnata all'agente per tutto il gioco. non solo alla fine e il
modo in cui lo faremo è guardare le altre tessere.
una ricompensa più una nella tessera finale e premiamo meno 1 all'altra tessera finale del firepit.
Quindi adesso abbiamo solo
Ma ora aggiungeremo ricompense in ogni singola volta.
Aggiungeremo una ricompensa molto piccola sarà meno 0. 04.
E come puoi vedere è negativo quindi ogni volta che l'agente si muove otterrà una ricompensa negativa ed è quella che
viene definita una penalità vivente perché non importa dove andrà avrà sempre questa ricompensa negativa eccetto per queste
tessere finali perché quella è la fine il gioco.
E così puoi vedere la ricompensa anche su questa tessera è una follia o un puzzle.
Ma ciò non significa che inizi con quella ricompensa.
Ottiene solo questa ricompensa.
E questo è importante per ricordare che ottiene la sua ricompensa solo quando entra in una tessera, quindi ogni volta
che lui promette un'azione va qui poi otterrà questa ricompensa meno 0. 04 e poi torna in questo stile che avrà
un'altra mente e 0. 04 parole.
E così più a lungo cammina e più accumula la sua ricompensa negativa e quindi è un incentivo per
lui a finire il gioco prima il più rapidamente possibile.
E così ora diamo un'occhiata a come la nostra politica o come la politica degli agenti cambierà
a seconda del valore che abbiamo impostato per questo premio.
Quindi qui ci sono quattro ambienti e in ognuno andremo a esplorare un altro.
Non faremo i calcoli.
Stiamo solo andando a proiettare i risultati e vedrete che intuitivamente hanno un senso.
Quindi qui abbiamo una ricompensa per qualsiasi offerta passo per entrare in qualsiasi stato.
È uguale a zero.
Proprio come quello che abbiamo visto prima qui la ricompensa sarà il 0 di Mei. 0.
Per quello che abbiamo appena fatto ora sapete che la ricompensa sarà a meno 0. 5 o il livello di dare penalità sarà il mio è
fuoco aperto, tanto più in alto puoi vederli qui più di 10 volte più grande.
Ed ecco il Penhall vivente sarà meno due.
Quindi, anche più dei premi che ottieni per il salto o anche meno della ricompensa per il fatto che sei l'agente per finire
nel pozzo del fuoco.
Diamo un'occhiata a come le azioni o le politiche ottimali per il passaggio di questo ambiente cambieranno a
seconda di questa ricompensa.
Quindi questa è la nostra politica originale.
E come puoi ricordare abbiamo avuto queste due decisioni molto interessanti e anche un po 'strane da parte
dell'agente, ma che ha assolutamente senso se può vivere per tutto il tempo che gli piace.
Se si può semplicemente viaggiare per tutto il tempo che vuole senza essere penalizzato per rimanere in vita
molto a lungo.
Perché no, perché non dovrebbe semplicemente andare nell'angolo qui nel muro e continuare a farlo finché non
succede.
Accade così che vada da questa parte e poi camminerà.
E la stessa cosa qui è molto più sicuro per lui saltare nel muro sperando che
uno di questi arrivi alla fine e poi andrà comunque al traguardo perché scegliendo queste due azioni non rischia di
entrare nel pozzo del fuoco .
Ora vediamo cosa succede se aggiungiamo un premio negativo alla ricompensa solo per essere una vita per fare un passo.
Spostati qui puoi vedere che immediatamente questi due sono cambiati.
Ora l'agente non vuole saltare nel muro.
È più probabile che rischi di raggiungere la firepit con il 10% di possibilità di saltare qui,
ma andrà avanti perché ogni volta che viene a guardare qui se lo farà anche qui ogni volta
che salta in esegue un'azione in cui finisce in questo stato con una probabilità
dell'80%.
Ciò significa che l'80 percento di probabilità si ottiene un 0 negativo. avrà questo accumulo di questa ricompensa negativa.
04 ricompensa significa che un sacco di tempo
La stessa cosa qui se salta sul muro aspettando quel momento in cui verrà spostato in modo
casuale a destra.
Se continua a farlo accumula questa ricompensa negativa e che il risultato di ciò se esegui
i calcoli vedrai che il risultato di ciò che il valore atteso di quell'approccio che salta
al muro è peggio che correre il rischio di andare avanti e in effetti finiscono nel firepit.
andare invece avanti e qui spostarsi a sinistra, anche se sa che c'è il rischio dell'incendio del firepit semplicemente perché ora
più a lungo è vivo più a lungo accumulerà questa penalità vivente nel prossimo ambiente.
Quindi cambia le sue decisioni in questi due blocchi per
Ora stiamo aumentando la vita di Pouncey anche a un numero maggiore di Meinzer, il quinto punto e vediamo
cosa cambia qui.
Quindi ora puoi vederlo rispetto a questo ambiente.
L'unica cosa che è cambiata qui è che questa freccia punta a destra.
E ciò significa che ora non è più una buona opzione per l'agente o in realtà anche le frecce che
puntano sono rivolte verso sinistra e il naso degli ugelli verso l'alto.
fino in fondo perché se sbaglia tutto, sì è al sicuro o c'è una possibilità minore che non ci siano possibilità di ottenere il firepit.
Quindi ora non è più una buona idea che l'agente vada in giro da qui o
vada in giro
Ma allo stesso tempo o ci sono meno possibilità che accada.
Ma allo stesso tempo accumulerà una notevole ricompensa negativa mentre cammina.
Quindi è solo il percorso è troppo lungo.
Quindi questo lo costringe a scegliere se è qui o qui per prendere la via più breve per arrivare qui, anche se ha un rischio
molto più alto di entrare nella buca di fuoco perché non appena finisce in piazza c'è una probabilità
del 10% di arrivare al fuoco .
Secondo i suoi calcoli.
È solo che il valore atteso di questo approccio è migliore del valore atteso di andare in giro semplicemente
perché abbiamo aumentato questa pena di vita.
E finalmente arriviamo all'esempio con la penalità di meno di due punti zero.
Quindi qui ti incoraggio a postare il video ora che hai visto come la politica è cambiata mentre aumentiamo
la penalità di caricamento punt.
Ti incoraggio a mettere in pausa il video ea pensare a te stesso cosa succederà in questo scenario.
la politica ottimale sarà data che la pena di vita è così alta, così tutto questo presunto video se lo desideri.
Cosa pensi che
E ora ho intenzione di saltare nel mostrarti la soluzione, quindi in questo caso se
aumenti la penalità a meno 2. 0 è così alto che la penalità qui è solo meno 1. 0 è così alto che l'agente vuole solo uscire
dal gioco in qualsiasi modo possibile, anche se è semplicemente saltando nel pozzo del fuoco.
Lo farà.
Sarà come ogni volta che faccio un passo ogni volta che finisco in un nuovo nel tuo stato
o ogni volta che faccio un'azione finisco per ottenere un meno due ricompensa.
Quindi qual è il punto di cercare di arrivare al traguardo se da qui mi porterà due passaggi in più.
Vado qui e poi direttamente nel pozzetto perché in questo modo
la mia ricompensa sarà inferiore alla ricompensa negativa sarà così grave come nel caso di solo fare ulteriori passaggi in
modo da poter vedere che aggiungendo questo vivere ricompensa e in base al valore della ricompensa vivente che
stiamo aggiungendo i risultati saranno diversi.
E l'agente selezionerà politiche diverse e questo è in pratica il modo in cui il valore della ricompensa può essere
incorporato dall'equazione di Belmont anche quando non è solo al traguardo o alla fine del gioco,
ma anche durante il gioco.
volta non deve essere su ogni singolo in ogni singolo stato a seconda dell'ambiente stesso.
E ancora una
Potrebbe essere dato all'agente in determinati stati specifici non in ogni stato, ma nel nostro esempio
semplicistico stiamo semplicemente usando premi in ogni dato stato.
Per illustrare questo concetto, spero che ti sia piaciuto il tutorial di oggi.
E come puoi vedere abbiamo già reso la nostra equazione di Belman piuttosto sofisticata e ora può essere applicata a
molti scenari diversi e non vedo l'ora di vederla nel prossimo tutorial.
E fino ad allora godermi un io