Ciao e bentornati al corso sull'intelligenza artificiale.
Oggi parleremo dell'equazione di Belman.
È un argomento abbastanza complesso e lo presenteremo in maniera graduale in
tutta questa sezione del corso, quindi non passerò subito alla versione
più complessa dell'equazione di Belmont, ma invece lo introdurremo lentamente per
comprendere gradualmente come funziona.
E spero che il tuo obiettivo con questo approccio se tu sei G. R. Entriamo subito.
avremo un paio di concetti chiave con cui opereremo e questi concetti sono.
Quindi
S indica gli stati, quindi lo stato in cui si trova il nostro agente o qualsiasi altro stato possibile
in cui può essere rappresenta un'azione che un agente può intraprendere.
Quindi un agente può avere accesso a un determinato elenco di azioni e azioni sono molto
importanti quando vengono esaminate in una combinazione di stati.
o uno stato non ha davvero senso perché tu non so dove sei e dove
potresti finire e poi avremo il nostro che sta per ricompensa e che è
attraverso il reparto che l'agente ottiene per entrare in un certo stato e gamma è il fattore di sconto.
Quindi quando sei in uno stato di swing e poi guardi le azioni e inizia a dare un senso a
quello che sarà il risultato di quelle azioni perché vedrai un'azione da sola
E parleremo del fattore di sconto in un secondo che ha senso solo ora ma stanno solo prendendo
appunti.
Prendi nota mentalmente che avremo questa lettera Gamelin che funzionerà più tardi.
Quindi la persona dietro l'equazione del fattorino è Richard Ernest bellman.
Era un matematico di volo e aveva ideato i concetti di programmazione dinamica che ora chiamiamo apprendimento
di rinforzo o che ora chiamiamo equazione di Belman.
Bene, questo è quello che ora chiamiamo.
E nel 1953 venne fuori con questo concetto e fu allora che l'equazione di Belmont Belman venne da me.
Quindi diamo un'occhiata a come funziona tutto questo.
C'è il nostro bel agente nell'angolo in basso a sinistra e lui è in un labirinto e questo è
un labirinto piuttosto classico in cui hai alcuni blocchi i blocchi larghi sono blocchi in cui l'agente può entrare nel
blocco grigio è l'unico che è solo non accessibile dice come un muro in questo labirinto.
Il verde è dove l'agente dovrebbe mirare a finire nel punto in cui vogliamo che l'agente vada, è
la fine.
E il rosso è buche per il fuoco o il motore cade nel pozzo del fuoco.
Perderà la partita.
Quindi nel campo del fuoco la ricompensa che è R è meno 1.
Questo è il nostro modo di dire all'agente che non è qualcosa che vogliamo che tu faccia.
Come ricordiamo nell'esempio di quando stiamo addestrando i cani, vogliamo dire loro come un cane cattivo se non sta
facendo la cosa giusta che voleva fare la stessa cosa qui siamo uno dire all'agente che questo non è
qualcosa che dovresti essere facendo non dovresti finire nel quadrato così ogni volta che
non accade lo scoiattolo ottiene meno una ricompensa quindi sarai punito con meno una ricompensa.
D'altra parte, se finisce nella Green Square, otterrà una ricompensa in più, il che significa
che è quello che volevamo fare.
Quindi quelli sono i due vantaggi che l'agente non può ottenere.
E come apprende come operare in questo labirinto.
Proprio come nell'esempio dei cani robot che hanno imparato a camminare e che lo faranno sapere che diranno
solo che qui l'azione che puoi fare.
Puoi andare a destra o a sinistra o giù sono quattro azioni possibili che puoi prendere e il gioco è fatto.
Avere un gioco con quello vedere quello che si può venire con.
Quindi l'agente potrebbe andare a destra, quindi potrebbero andare altri due a destra potrebbero tornare indietro a
sinistra premendo il pulsante in modo casuale e stanno cercando di vedere cosa succede e tornano qui.
Salgono salgono scendono salgono andate a destra.
Quindi per ora non hanno imparato nulla, ma finora non è successo niente.
Vanno a destra e poi bam finiscono nella Green Square.
Quindi si rendono conto che ho appena ricevuto uno più. Quindi appena sono entrato nella Green Square hanno ottenuto una
ricompensa in più.
E questo fa scattare l'algoritmo per dire OK che è davvero forte.
Sono ricompensato per essere finito in piazza quindi voglio finire in piazza.
Quindi cosa significa questo per l'agente.
Ciò significa che inizia a porre la domanda come sono arrivato a questo quadrato.
Qual era lo stato precedente in cui mi trovavo e quale azione intravedo per arrivare in quadrato e
poi guardo indietro e dice OK, quindi lo stato precedente era questo.
Risulta essere prezioso in quello stato.
Quello che scintilla della Freccia Rossa.
più uno come un biscotto per un cane non appena so se sono mai stato in quello stato.
Perché da quello stato sei io sono solo ad un passo dall'ottenere la ricompensa massima che posso sognare di
Quel quadrato segnato con la Freccia Rossa.
Tutto quello che devo fare è premere a destra.
Quindi, come faccio a dirmi di ricordare che quello stato è prezioso.
Beh, per me non c'è differenza in realtà come agente.
Non c'è differenza nel fatto che io sia nella Green Square o nella piazza bianca proprio nel Green Square
ottengo la ricompensa di uno.
di 1 perché porta esattamente a premiare uno presto perché sono nella piazza bianca. So che prenderò solo un'altra azione.
Quindi segnerò per me che il Y Square ha per me un valore
Sarò nel Green Square e otterrò una ricompensa o uno quindi è per questo che sto per dire
che il valore di questo quadrato è uguale a uno perché porta direttamente a se in qualsiasi tipo di sottrazioni non appena Intendo qui
che so che il mio premio sarà uno, quindi segnerò questo quadrato come la chiamata a
uno che è il valore che è il valore percepito dell'essere nello stato.
Quindi l'agente sarà OK.
Quindi come faccio a entrare in questo quadrato.
E sai che potrebbe andare in giro di nuovo e così via.
E su nella piazza di nuovo e sii come OK come sono entrato in questa piazza prima di quello.
E il modo in cui sono entrato in questa piazza è stato da questa piazza.
Interessante.
OK, non appena arrivo in questa piazza, so che tutto quello che devo fare è andare bene.
E poi da qui so già che vincerò.
So esattamente come si risolverà tutto da qui e so che il valore di essere in questo stato
è uguale a uno.
andando a un valore percepito. Ho un grande valore di essere qui come un veicolo per volere anche perché questo è intendo qui lo so.
E dal momento che non c'è niente mi impedisce di crescere da qui a qui il valore in
questo sta
Sii qui e sarò qui abbastanza rapidamente.
Quindi vincerò.
E poi come si entra in questa piazza prima di quello.
Bene, sono entrato in questa piazza da questa piazza.
di essere qui è uguale a uno e così via così il valore di essere qui è uguale a un valore di essere qui è
uguale a uno perché ognuno di essi porta al successivo e questi a il traguardo.
Quindi il valore è simile approccio il valore
Quindi è tutto abbastanza logico in questa fase.
Questo è il modo in cui stiamo progettando l'equazione di Belman in questo momento.
Quindi potremmo pensare a progettare un'equazione che aiuti un agente a passare attraverso il labirinto.
Quindi guarda la ricompensa quindi lo stato precedente gli dà un valore uguale per premiare il procedimento e
quindi quelli sono un po 'come creare un percorso è tutto bello e bene ma il problema qui è OK
cosa succede se il nostro agente per qualche motivo inizia in questo stato invece di iniziare qui e prendere queste azioni e che
in realtà inizia nello stato.
Come fa a sapere come si ricorda quale azione intraprendere dovrebbe andare bene o dovrebbe andare giù o dovrebbe andare
a sinistra o dovrebbe salire.
Come ricorda quale sarà la prossima continuazione da qui.
Se gli unici valori che ha sono questi valori sono uguali a una volta che non riescono a vedere cosa c'è di più lontano.
Può solo vedere.
Tutto ok.
Quello che ho qui e quello che ho qui.
Come fa a sapere quale strada da percorrere.
Beh, a questo punto non è altrettanto identico per l'età e la strada da percorrere.
Ed ecco perché questo approccio non funziona davvero.
È una spiegazione molto semplicistica.
Naturalmente c'è molto di più.
Ma in un modo intuitivo è per questo che non possiamo semplicemente assegnare solo portare avanti questo valore in questo modo.
Perché una delle ragioni è una volta che l'Agente si trova tra questi due valori e dove andrà.
Non può essere confuso in questo modo.
E quindi come risolviamo questo problema, cosa faremo?
Ed è qui che inizieremo a introdurre gradualmente l'equazione di Belman nella sua
forma attuale.
Quindi l'equazione di Belman assomiglia a questo.
Quindi abbiamo già parlato del valore di essere in un certo stato come è il tuo
stato attuale o qualsiasi dato stato e c'è anche.
E come Prime è lo stato il seguente dichiara lo stato in cui ti ritroverai dopo lo stato
e prendendo un'azione concertata.
Ma sappiamo che ci sono molte azioni e un agente può prendere ed è per questo che abbiamo questo Max qui.
Quindi, intraprendendo un'azione, cosa succederà a un agente, diciamo che siamo in una situazione come se stessimo
intraprendendo un'azione nelle risorse dello stato e interveniamo.
Ciò che accadrà sarà istantaneamente ottenere una ricompensa entrando in un nuovo stato.
E ricorda che la ricompensa può essere uno o più uno o meno uno se è alla fine del gioco o può essere
uno zero se è durante il gioco in questo caso la nostra ricompensa per tutto il gioco è zero.
Quindi questa è la ricompensa Plus entreremo in un nuovo stato che ha valore di s prime.
Quindi questo è il valore del nuovo stato e gamma.
Ne parleremo tra un secondo.
Ma il punto che sto cercando di sollevare qui o il punto che sto sollevando qui è che hai molte azioni diverse
che possiamo intraprendere ed è per questo che abbiamo il massimo.
Quindi agendo otteniamo una ricompensa Più finiamo in un nuovo stato.
E così, per ogni mossa fuori dal nostro, prima delle nostre possibili azioni per
ognuna delle possibili 4 azioni, avremo un'equazione come questa.
Quindi questo avrà un valore perché avranno un valore diverso per ognuna delle quattro
azioni e guarderemo solo al massimo perché ovviamente l'agente vuole prendere lo stato ottimale.
a trovare il massimo in base all'azione e andando a prendere quell'azione che ha bisogno del massimo di questi valori.
Quindi se è in stato s sta andando a guardare questi valori che sta andando
Quindi spero che abbia senso capire perché stiamo prendendo il massimo qui.
Quindi una volta ottenuto il premio e il valore che ha detto perché abbiamo questo parametro di Gabaa qui.
Bene, è lì esattamente per risolvere il problema di dove l'agente non sa da che parte andare perché
non può.
Sta confrontando i valori di due stati su entrambi i lati e sono gli stessi.
Questo è il motivo per cui i giocatori hanno chiamato il fattore di sconto, quindi daremo un'occhiata
a questo e capire meglio.
Quindi prendiamo una formula che metterò qui in alto a destra.
E ora analizzeremo quali sono i valori dei diversi stati.
E ogni stato qui è un quadrato.
No.
Quindi uno di questi uno di questi quadrati bianchi è uno stato, voglio dire che calcoleremo il
valore di essere in quello stato.
Quindi iniziamo con il quadrato.
Qual è il valore di essere in questo stato.
Bene, dobbiamo prendere il massimo di questo valore per tutte le azioni.
E sappiamo che questo valore rappresenta è massimizzato quando ci avviciniamo al traguardo ed è così
che è costruito e semplicemente guardandolo puoi vedere perché qui c'è il premio e qui
c'è un fattore di sconto moltiplicato per il valore del prossimo stato.
Ed è logico che sia così che dovremmo costruire quell'equazione, quindi ha senso che da qui
il massimo di questo valore sarà se ci spostiamo a destra.
Ecco come calcoliamo i valori che questo valore di questo stato è che chiama il massimo o
uguale a questo valore.
Se ci spostiamo a destra se facciamo un'azione di spostarci a destra.
Quindi, quale sarà questo valore.
Bene, la ricompensa di spostarsi a destra è uguale a 1.
E indipendentemente da quale gamma di colore non abbiamo un valore nello stato perché siamo già
nel miglior stato possibile.
Quindi questa è la fase finale.
Non avremo un valore, qui otteniamo solo una ricompensa e questa è la fine del gioco.
Quindi il valore sarà di questo massimo sarà uguale a 1.
Ed è per questo che il valore dello stato come qui è uguale a 1.
Ora le cose diventano interessanti quando ci spostiamo a sinistra quando ci muoviamo un po 'indietro.
Quindi ora è calcolare il valore di questo in questo stato e per questo avremo bisogno di Gabaa.
Quindi diciamo che il nostro fattore di attualizzazione è pari a zero virgola nove e ha senso quale fattore di sconto è una
volta che lo calcoliamo.
Quindi da qui solo basato sulla nostra intuizione e basato perché sappiamo come funziona come funziona.
Sappiamo che la migliore azione possibile è andare a destra perché da qui andiamo qui.
Questo significa che il massimo sarà raggiunto in questo stato che vai a destra.
Quindi vediamo cosa succede se lo colleghiamo qui.
Quindi se vai da qui a qui non ottieni la tua ricompensa sarà pari a zero.
Ma poi otterrai camis che ottengono zero punti nove volte il valore del nuovo stato che è uno.
Quindi in questo caso il valore dell'intero risultato è 1 volte a 0. 9 volte uno è uguale a 2. 9.
Quindi sono tutti valori per.
Quindi se lo calcoliamo ora lo vedrai da qui.
Sappiamo solo guardando il labirinto che conosciamo perché siamo umani perché capiamo come funziona
questa equazione, naturalmente, un agente di intelligenza artificiale dovrebbe sperimentare queste cose.
Ma poiché abbiamo come una sfera di cristallo possiamo vedere questo intero labirinto.
Abbiamo come la vista a volo d'uccello in questo momento.
Sappiamo che l'azione migliore va a destra.
Quindi se lo inseriamo qui tutto sarà pari a zero senza ricompensa Plus il rapporto nove volte
il valore nello stato 0. 9 è zero punto ottantuno e così via.
Quindi qui sarà 0. 23 e sarà 0. 66.
Quindi puoi vedere che il modo in cui agisce il fattore scontato è che sconta il valore dello stato man mano
che ti allontani.
Quindi, se hai familiarità con la teoria della finanza, allora è qualcosa di simile al valore del denaro in termini di tempo
come in cosa penseresti in questo modo? Cosa preferiresti avere $ 5 oggi o $ 5 in 10 giorni da adesso.
Solo se qualcuno dovesse darti una scelta ti darò cinque dollari oggi tutti $ 5 10 giorni
da tutti.
Certamente sceglieresti $ 5 oggi.
Perché.
Bene, perché puoi prendere quei $ 5 e puoi investirli a un certo tasso di interesse che è molto simile
al gamma.
E i tuoi $ 5 in 10 giorni si trasformeranno in forse in 5 dollari e 73 centesimi o qualcosa del genere.
Ed è così che funziona il valore del denaro nel tempo.
E un concetto molto simile qui.
E la cosa importante da capire qui è solo una teoria, un modo per rinforzare l'apprendimento.
Quindi Richard Belman ha escogitato questa equazione.
E da quel momento è così che lo usiamo.
Quindi potresti andare avanti e trovare un'equazione diversa.
Non deve avere Gamla potrebbe avere qualche altro fattore potrebbe non sapete avere un fattore.
Ma questo approccio funziona ed è per questo che stiamo usando e questo è quello che sembra così tanto più
lontano sei il valore minore di esso nello stato e in termini di tempo e denaro.
Se potessi dirti dove preferiresti, preferiresti essere qui.
Preferiresti essere qui.
Diresti che preferirei essere qui.
Quindi stiamo creando quello stesso fenomeno del valore temporale del denaro che stiamo artificialmente creando attraverso il
gamma in modo da incentivare gli agenti o ispirare gli agenti ad essere più vicini al traguardo.
agente preferiresti essere qui o qui a causa del modo in cui funziona questa equazione, sceglieresti di essere qui.
Quindi se dovesse essere richiesto un
Non c'è nient'altro a questo niente di meno.
Non è qualcosa che il mondo funziona in questo modo.
No, è solo qualcosa che stiamo creando artificialmente in modo che i nostri agenti capiscano che questo è buono questo è buono
questo è buon vecchio buono ma questo è migliore di questo e questo è migliore di questo
e questo è stato in questo
E in questo modo puoi vedere tutto ciò che l'agente può vedere in quale direzione deve andare.
in piedi qui, quindi se stai qui sto scendendo o se sono improvvisamente qui per andare su o scendo.
Quindi può vedere che se sto qui in piedi, ricorda quel problema che avevamo o era
Bene, ora non c'è più un problema perché può vedere che in realtà è meglio salire
perché i valori sono qui.
E poi da qui deve andare bene perché il valore è più grande qui che qui.
E poi da qui Bertschi va bene perché il valore qui è più grande di quello che sai.
E da qui sa già che ha bisogno di andare bene perché ne riceverà uno in premio.
Ecco come funziona l'intero approccio.
Ora diamo una rapida occhiata al resto della piazza.
Quindi come calcoliamo il valore in questo quadrato.
Bene, qui è dove le cose si complicano.
Quindi da qui potresti non girare a destra, potresti davvero andare bene, quindi possiamo continuare così perché
potrebbe essere più breve andare in questo modo.
Quindi, quello che faremo è che prima calcoleremo il valore nel quadrato.
E perché ovviamente da qui il modo migliore per andare è alto.
che l'equipaggio ha la sfera di cristallo possiamo vedere le cose e vedrai più in basso nella
sezione vedrai come l'agente esplora effettivamente questo capisce questo sui loro simili attraverso la sperimentazione.
Di nuovo perché vediamo
Ma per noi sappiamo che è meglio andare in questo modo, quindi calcoleremo il valore
qui ed è per questo che prima calcoleremo il valore in questo quadrato.
Quindi qui abbiamo tre possibili azioni.
In realtà, in realtà ne abbiamo quattro, possiamo anche andare a sinistra.
L'agente potrebbe ipoteticamente premere a sinistra e sbattere contro il muro e rimanere qui.
insieme di semplicità che mostrerà le azioni che sappiamo di ciò che sappiamo e che hanno la
sfera di cristallo, sappiamo quali azioni portano effettivamente a qualcosa di diverso dallo stesso stato.
Ma per un
E così da qui sappiamo che anche perché abbiamo una sfera di cristallo sappiamo che il modo migliore per
andare è in questo modo che un agente, naturalmente, dovrebbe sperimentare e trovare il modo migliore e vedrai
come ciò accadrà.
Più in basso nella sezione vedrai in realtà come si muove un agente e come proverai a
cercare di trovare questi valori.
Ma per noi sappiamo che è così.
Quindi qui se colleghiamo tutto in uno così il massimo l'output migliore è quando salite.
E qui c'è un rapporto 9: 0 Quindi lo metti dentro.
Ottieni zero punti nove.
OK quindi Kalika quello che calcola questo.
Stesso approccio.
Questo è che hai tre modi in cui puoi andare.
In realtà quattro per l'agente, ma per noi possiamo vedere che sono solo tre.
Quindi zero punto ottantuno da qui hai ZERO punto settantatre.
bene a questo valore perché in te se ridisci di nuovo metti 66 e qui hai 0.
E in realtà si lega 23 perché questa è la via ottimale.
Quindi eccoti.
Questo è il valore di tutti questi stati.
E ora puoi vedere che poiché abbiamo creato questa equazione o abbiamo creato sinteticamente questo
intero concetto di quanto sei più vicino al traguardo, tanto più prezioso è lo stato perché temiamo che ora sia
abbastanza ovvio per il agente in che modo dovrebbe andare.
E ne parleremo di più in futuro.
potrebbe sembrare un po 'fondamentale in questa fase, ma mentre passiamo attraverso questa sezione aggiungeremo un po' più di complessità.
Spero vi sia piaciuta la sessione di oggi e so che
Allo stesso tempo, se non puoi aspettare se vuoi saltarci dentro, c'è un foglio che puoi
guardare ed è il documento originale di Richard Belman.
Si chiama teoria della programmazione dinamica dal 1954.
E puoi trovarlo a questo link.
Ed ecco che puoi saltare direttamente dentro e leggere dall'autore dell'equazione di Belman.
Ma tieni a mente che questa è una carta piuttosto pesante dal punto di vista matematico.
E su quella nota cercherò il tuo prossimo.
E fino ad allora goditi l'intelligenza artificiale.