Ciao e bentornati al corso sull'intelligenza artificiale.
Oggi parliamo della differenza temporale.
Ora è molto importante provare perché la differenza temporale è il cuore e l'anima dell'algoritmo di
apprendimento Q.
Questo è in realtà il modo in cui tutto ciò che abbiamo imparato finora entra in gioco nell'apprendimento chiave.
Quindi diamo un'occhiata.
Ricorda il momento in cui abbiamo parlato della ricerca deterministica rispetto a quella non deterministica.
E ricorda come abbiamo detto in questo caso che è quando l'agente vuole salire, se ne va e quando.
In questo caso, vuole salire il 10% di probabilità che vada in temps e chance in basso
a sinistra e vada a destra e una possibilità dell'80% andrà bene.
Vai dritto.
Mentre questi numeri sono ovviamente arbitrari e possono essere diversi.
E l'intero concetto è che potrebbe essere diversi e diversi problemi, quindi non deve preoccuparsi del modo
in cui si muove solo che c'è qualcosa di casuale fuori dal controllo dell'agente
che sta accadendo all'interno di questo ambiente.
che nell'esempio deterministico era molto facile calcolare i valori di Wii, anche se non necessariamente sempre molto facile.
E quale effetto ha avuto, come ti ricordi,
Ma nel nostro caso potremmo semplicemente calcolarli usando l'equazione di Belman e abbiamo avuto i
valori esatti.
E poi, come ricordi, ho menzionato molto attentamente che questi valori per l'esempio di ricerca non deterministico
sono al di sopra della mia testa.
Non sono Kalka, lo sappiamo.
L'ultima volta che ho detto che non dobbiamo calcolarli perché è molto complesso.
il computer può farcela e siamo andati avanti con questi valori che sono solo valori che ho inventato.
Ma
Ma hanno fatto il lavoro.
Ci hanno aiutato a capire il concetto.
Bene, ora torneremo un po 'su questo e capiremo cosa sta succedendo esattamente qui.
Perché è molto più difficile calcolare questi valori nell'esempio non deterministico o in generale in questi
problemi in questi ambienti e nell'agente che li attraversa.
Perché è così.
Perché può essere così difficile calcolare questi valori.
Beh, quando ci pensi perché quando l'agente si muove, per esempio da qui a destra,
non necessariamente si muove sempre in quel modo a volte come una possibilità che vada a
vincere invece di andare dritto, quindi chiamiamoli questi sud-est nord-est così è sorta di andare ad ovest.
L'agente potrebbe a volte andare al sud e per esempio da qui è una specie di nord.
A volte potrebbe andare ad est.
Mi dispiace.
Quindi qui invece di andare ad est potrebbe a volte andare a sud e sta andando verso nord.
ad est o ad ovest e qui invece di andare a nord potrebbe a volte andare verso ovest o est o ovest e così via.
A volte potrebbe andare
Quindi e quindi Quindi per calcolare questo valore è necessario sapere qual è questo valore ma la cosa interessante
è che per calcolare questo valore è necessario sapere qual è questo valore.
Quindi ci sono molte ricorsioni qui e quindi non puoi decidere di definire quali sono
questi valori.
E soprattutto, questa ricorsione non è deterministica.
A volte capita in questo modo a volte è una sorta di salita a destra a volte invece
di alzarsi e andare a sinistra a volte.
Quando vuole salire.
Salirà.
Quindi è soggetto al caso e quindi forse molte volte l'agente passerà attraverso questo percorso e salirà su e
penserai che da qui ti ascolterai sempre e il valore dello stato andrà
avanti sarà buono e poi all'improvviso cadrà nella fossa e questo valore andrà giù.
Pertanto, puoi vedere come ci sia una casualità stocastica a questo intero calcolo su questi
valori perché sono tutti interconnessi.
quella casualità in questo inerente all'ambiente perché c'è un segno di processo decisionale.
In più hai
Quindi è qui che tutto questo si unisce ed è qui che introdurremo
il concetto della differenza temporale che consentirà all'agente di calcolare questi valori.
E qui avevamo a che fare con i valori.
E da allora ci siamo già spostati sui valori Q, quindi è quello che lavoreremo.
Stiamo andando a guardare valori enormi.
Quindi, come ricordo, questa è la nostra equazione di Belman per i valori di q.
azioni immediatamente dopo aver eseguito un'azione più ottieni il massimo ottieni la gamma della somma di tutte le possibili .
Quindi il valore AQ o il valore di eseguire una sorta di azione A in stato s
equivale alla ricompensa che ottieni dopo aver eseguito quelle
Quindi ottieni il valore atteso dello stato in cui ti troverai.
Quindi, come ricordi, c'era una formula per l'equazione di Beldon e ora, per semplicità, diciamo che
la riscriveremo alla vecchia maniera e in un modo in cui eravamo soliti parlare dell'equazione di
Bellmen prima di sapere del sequestro.
Quindi ricorda che questa era la nostra equazione di Belman nel senso di un esempio di ricerca deterministica perché qui non
hai quel valore atteso che non hai lo stesso su tutte le probabilità.
L'hai appena fatto come se fosse determinato che finiresti con quale stato finirai e poi
dirai a Max in quello stato.
E la ragione per cui stiamo riscrivendola è semplicemente l'unica ragione perché è più semplice scriverlo e
sarà più facile seguire la formula.
Quindi ci limiteremo a ricordare che abbiamo sostituito questa parte di questo bar.
E troverai anche questa notazione in molta letteratura, quindi ti sarà più facile
seguire altre fonti se stai studiando quelle.
approccio probabilistico qui invece di questa notazione è solo più facile per noi operare questo e capire cosa sta succedendo.
Ma ricordate che in realtà ciò che intendiamo è questo
Semplicemente mi piace guardare le equazioni in modo che non siano troppo disordinate, ma ancora
una volta ricordate solo che in realtà intendiamo questo approccio probabilistico qui.
E così sappiamo che Tom Silis ha dato un'occhiata a quello che sta succedendo.
Quindi, ecco il nostro stato in bianco del labirinto non abbiamo alcun valore di q vediamo o quando possiamo, ma lasciatelo
semplicemente vuoto per ora guardiamo solo uno degli stati o una delle celle.
Questo in particolare.
E qui abbiamo le risposte per l'azione di salire.
Abbiamo un valore q che calcoliamo.
Quindi non è che non abbiamo alcun valore di q eppure ce l'abbiamo.
Ma non stiamo semplicemente illustrando nulla.
Stiamo solo tenendo un vuoto per la semplicità.
Ma abbiamo l'età che sta camminando da un po 'di tempo e diciamo ipoteticamente che in
qualche modo ha calcolato questo valore del cubo di salire o Norf da questo stato da questa specifica cella e dai valori.
Q S e A e così ora quello che abbiamo.
Quindi è attualmente con il suo punto frecce blu e l'agente è seduto in questa cella.
E ora ha bisogno di fare una scelta dove sta andando.
E conosce il valore di questa azione che va verso nord e che è q Senay e qui sto dicendo prima e il motivo
è che lui è prima di prendere In realtà non ha ancora fatto
nulla, quindi è ancora nella cella e prima che abbia preso l'azione il valore qui è q e SNH e ora in realtà prende
l'azione.
Quindi diciamo che decide che è il migliore.
Prende l'azione e si sposta verso la cella.
per aver preso quell'azione più la gamma il massimo di questo nuovo stato in cui è appena entrato Prime.
Bene, ora quello che succede ora viene dopo così, dopo che è stato preso l'azione, possiamo
misurare quale sia questo valore, calcoliamo solo questo valore il valore della ricompensa
E così il massimo su tutte le possibili azioni e aspirine.
E quindi quello che abbiamo qui è il valore precedente di quell'azione.
E poi abbiamo calcolato questa metrica in seguito.
Ma come puoi ricordare dai quattro mesi precedenti, se torniamo molto velocemente dalla precedente formula in cui abbiamo appena calcolato è effettivamente il
valore che è come Q di s. un. a è calcolato.
Quindi questa parte di Arite viene calcolata separatamente ma dopo che abbiamo preso provvedimenti.
Quindi, anche in questo caso, prima di conoscere una Q di una S e un valore che abbiamo calcolato attraverso le nostre
iterazioni, Preuss è qualcosa.
Quindi un valore che è memorizzato nella nostra memoria.
Quindi, proprio come un numero che conosciamo e ora, dopo che l'azione è stata eseguita, sappiamo quale ricompensa
ha effettivamente ottenuto quale ricompensa l'agente abbia effettivamente ottenuto.
E possiamo calcolare questo nuovo valore.
Quindi in sostanza ricalcolare questo valore ma ora con nuove informazioni la nuova informazione è la
ricompensa che abbiamo ottenuto.
E oltre a ciò che è rimasto, ci siamo ritrovati e quale sia il massimo in tutto ciò
che può essere questo nuovo valore per i dati specifici.
Quindi qual è il valore di quell'essere in quello stato.
Quindi, fondamentalmente la cura Vanessa-Mae, ma ha dato nuove informazioni e ora la differenza temporale è definita
come tiddy di a e di questi due della differenza tra questi due.
Quindi qui il primo elemento è il valore fuori terra.
Quindi il tipo di Q di Esson un po 'calcolato in seguito.
E il quvenzhanĂŠ precedente che avevi memorizzato nella tua memoria.
E quindi la domanda è: sono diversi.
Quindi idealmente dovrebbero essere uguali.
Idealmente questo dovrebbe essere lo stesso semplicemente perché questa è la formula per il calcolo di questo.
Ma la cosa è che questo non è qualcosa di Kalka, questo è qualcosa che abbiamo da prove empiriche qualcosa
che abbiamo appena passato attraverso il labirinto molte volte e calcolare.
Quindi questo è qualcosa che abbiamo inventato finora.
Non è correlato all'attuale iterazione.
inventato in passato molto tempo fa, ma in una delle nostre precedenti iterazioni che attraversano il labirinto.
È qualcosa che abbiamo
Considerando che questo è qualcosa che abbiamo calcolato solo ora e non c'è
alcuna garanzia che saranno uguali o a causa della casualità che esiste nel labirinto perché questo potrebbe essere stato calcolato e visto
alcuni eventi casuali di CRN sono stati attivati ​​e questo possono essere chiamati a diversi eventi casuali
accadendo sono stati attivati.
E così ora scriviamo i nostri eroi spostiamoli lì.
Quindi come usiamo questo.
La domanda è OK, quindi abbiamo questa differenza temporale.
Come lo usiamo
E perché si chiama la differenza temporale.
Beh, la ragione è chiamata la differenza temporale è perché stai praticamente calcolando la stessa cosa
che stai calcolando Q di S e A, quindi il valore Q di quell'azione.
Il tuo Calcott qui e lo stai calcolando qui.
Ma la differenza è tempo.
Questa è la Q di S e in precedenza questa è la Q di S e A.
Ora la tua nuova cura è innata e la domanda è che c'è stata una differenza.
C'è stato uno spostamento tra loro in tempo.
E come possiamo usarlo a nostro vantaggio se c'è stato davvero uno spostamento nel tempo.
Beh, una cosa che potremmo fare è che potremmo dire, OK, tu sai la nostra Q di s. un. a non lo fa.
Questo nuovo valore non è uguale alla vecchia, quindi elimineremo il vecchio o dimenticheremo il vecchio e
utilizzeremo solo questo è tutto un nuovo valore.
Ma non sarebbe intelligente.
E la ragione è che nei nostri ambienti si possono talvolta verificare eventi casuali.
E se la nostra vecchia QSA di s. un. a era qualcosa che accade costantemente come l'80% delle volte.
E poi è stato rappresentato da ciò che accade l'80% delle volte.
E poi questo nuovo solo quello che è successo a causa della casualità.
In tal caso, elimineremo quello responsabile della maggior parte della situazione e lo sostituiremo con qualcosa
che accade solo il 10 o il 20 percento delle volte.
Questo non sarebbe l'approccio migliore da seguire ed è per questo che è esattamente il motivo per cui non vogliamo cambiare
completamente i valori Opu.
Vogliamo usarli come cambiarli un poco alla volta un poco alla volta.
modo specifico, quindi stiamo andando a dire Ecco una formula che prenderemo il nostro segnale di SNH.
Ed è per questo che useremo questa differenza temporale in un
E lo aggiorneremo in questo modo.
Prenderemo il vecchio valore della cura Senay e aggiungeremo tutte e cinque le volte
la differenza temporale.
Quindi Alpha starà imparando tutto bene.
Questo è un nuovo parametro che stiamo introducendo.
Ecco quanto velocemente l'algoritmo apprende.
pratica, stiamo prendendo questa differenza e qualunque cosa sia la stiamo aggiungendo al nostro precedente serpente KJo.
Quindi, in
Ora questa formula probabilmente non ha alcun senso o solo guardarlo non ha senso perché hai
Covisint qui e dacci un A qui.
È la stessa cosa, quindi probabilmente dovremmo negarci a vicenda, ma abbiamo dovuto riscriverlo in un
altro modo.
Quindi ti mostrerò di nuovo quindi sto solo aggiungendo tempo a queste formule.
Quindi qui qt meno uno degli anni precedenti.
Q T meno 1 degli anni precedenti.
Q T Il Nuovo questo dovrebbe essere un cerchio qui in cerchio anche qui, ma non importa e qui ottieni differenza
alfa temporale.
Allora tu la differenza temporale attuale.
Quindi puoi vedere cosa stiamo facendo.
OK prendiamo la nostra corrente.
Q sarà uguale a tutti i precedenti Q più qualsiasi differenza temporale abbiamo trovato Times Alpha.
Questa formula qui è il cuore e l'anima dell'algoritmo di apprendimento del cubo.
Questo è come il cubo è o aggiorna.
Ed è positivo che abbiamo già imparato quali valori di q sono ciò che è ciò che è gamma e ciò che
è tutto questo.
E ora tutto ciò che dobbiamo vedere è che hai un valore Q precedente Sì, va bene.
E poi quello che può succedere è che quando prendi il controllo quando prendi l'azione quando
l'agente agisce, saprai che riceverà una ricompensa e finirà in uno stato.
E così basato su quello che può calcolare Aha.
OK, quindi, qual è ciò che avrebbe ciò che avrebbe dovuto essere il valore Q di quella mossa che ho fatto.
E ora questa è questa parte dell'equazione.
Sottrarre il vecchio valore di Q ti fa una differenza temporale e ora devi prendere una differenza campione di
tempo Alpher ed è così che ti aggiusti.
Q. Hai capito che è quello che intendi.
Penso solo che tu passi e adesso solo per finire questo.
Questo è un po 'come questo è sufficiente per capire cosa sta succedendo, ma solo per chiarire le
cose ancora di più o forse forse confondere le cose ancora di più.
Cosa dobbiamo fare per prendere questa differenza temporale o questa semplice differenza o qui un modo per collegarlo
a questo formato.
Quindi prendiamo tutta questa parte e la inseriamo in questa formula e finiamo con un'enorme equazione.
Quindi eccoci qui.
C'è la nostra equazione.
Quindi questa è l'equazione completa con la differenza temporale scritta completamente.
E la ragione per cui l'ho scritta, prima di tutto, probabilmente la troverai in
altre pubblicazioni se la studi.
E la seconda cosa è che rende alcune cose un po 'più complesse con le formule più lunghe, ma rende anche
alcune cose un po' più chiare.
Quindi, ad esempio, puoi vedere qui il ruolo di Alpha.
Puoi vederlo meglio perché guarda questo.
Qui.
Q T meno uno e qui vai.
Q T meno uno con un segno negativo.
Quindi se inserisci Alpha è uguale a 1 se metti un 1 qui, questo annullerà questo.
Quindi si distruggeranno a vicenda e tutto ciò che ti rimane è questa parte.
la situazione in cui abbiamo detto Va bene, così hai un nuovo valore che avrebbe dovuto essere.
E questo significa esattamente
Aggiorniamo il nostro valore Q con il nuovo valore e dimentichiamo qualsiasi cosa avessimo prima.
E come abbiamo discusso non è l'approccio migliore perché ci sono eventi casuali qui e vogliamo aggiornare le
cose passo dopo passo.
E d'altra parte se hai detto Alpher uguale a zero, quello che succede è che ti dimentichi completamente
di questa parte e sei carino con quello nuovo o quello attuale sarà sempre uguale a
quello precedente così sei non imparerò nulla.
labirinto non ha importanza perché hai deciso su di te il valore Kuchi tanto tempo fa e continuerai a tenerlo.
E questo significa che qualsiasi cosa stia accadendo nel
Ecco perché Alfas non dovrebbe essere 0 o dovrebbe essere uno dovrebbe essere da qualche parte nel mezzo.
E ti permetterà di imparare lentamente, passo dopo passo, permettendoti di vedere come il tuo o l'agente
mentre attraversa il labirinto per ottenere la differenza temporale.
E lentamente ma sicuramente questo valore otterrà aggiornamento e aggiornamento di ibed e ciò che
accadrà alla fine è che a un certo punto si spera che l'algoritmo convergerà.
zero e alla fine sarà semplicemente molto vicina a zero o anche a 0 0
0 0 e ciò significa che ogni volta il tuo nuovo valore cutesie o il tuo nuovo valore calcolato.
E ciò significa che questa differenza temporale comincerà a diventare sempre più vicina a
Cosa avrebbe dovuto essere.
Quindi non questo ma quello che ipoteticamente dovrebbe essere sufficiente per fare il passo sarà proprio uguale al tuo
precedente valore di Q2.
E poi uno che è zero e questo significa che quando la differenza di
temperatura è zero significa che il tuo algoritmo è convergente e non è davvero necessario continuare ad aggiornare cosa sta succedendo.
Fa questa ricerca per continuare ad aggiornare i valori del cubo.
continuare a eseguire l'intera operazione, si conosce l'aggiornamento dei valori della coda se l'ambiente cambia continuamente.
L'avvertenza qui è che l'unica volta, probabilmente, una delle uniche volte in cui si desidera
Se non solo non è lì, ha solo alcuni randoms per eventi Kostic in esso.
Ma l'ambiente stesso sta cambiando mentre il morphing sta cambiando nel tempo.
Quindi devi continuamente imparare perché non è possibile per te imparare tutto e trovare
la politica ottimale perché le politiche ottimali cambiano anche con l'ambiente in ogni momento.
In tal caso sarà necessario continuare CALKIN e differenza temporale e calcolare i valori Q.
Ma a parte questo è una specie di complicazione in più.
e alla ricerca esatta di ciò che sta accadendo in quell'ambiente in modo che possa venire con la politica ottimale.
Oltre a questo è così che l'aggiornamento dei valori di Q è quindi questa è la formula
principale dell'algoritmo di apprendimento Q e questo è un po 'come la versione estesa di questo e ora
dovrebbe essere tutto insieme e ha senso perché abbiamo l'equazione di Belman e non solo ciò che rappresenta i gewgaws ma anche come l'agente
procede all'aggiornamento dei suoi valori
Quindi so molto di cui occuparmi, ma spero che questo tutorial ti sia piaciuto e spero che
tu riesca a rimuovere i concetti e l'intuizione sottostanti ai tuoi valori e qual è l'intera nozione
di differenza temporale e perché è importante perché ci aiuta a allenare lentamente il nostro agenti e portarli a capire
i loro ambienti in cui operano.
E se ti piacerebbe imparare un po 'di più sulle differenze temporali, allora un foglio
molto popolare sta imparando a predire con i metodi delle differenze temporali di Richard Sutton del millenovecentottantotto.
Abbiamo già avuto un riferimento anche da Richard Sutton, ma questo è come un altro
e in realtà ha un libro quindi se vieni a conoscere il suo stile di scrittura e il suo stile di comunicazione, dai un'occhiata anche
al suo libro.
È un po 'come una versione più estesa di tutte queste cose.
Non ho letto il libro ma è quello che sto immaginando allo stesso tempo.
al documento e si può imparare un po 'di più o probabilmente molto di più sulle differenze temporali lì.
Questo andrà ad aggiungersi
E spero che ti sia piaciuto anche a te.
Ci vediamo la prossima volta.
Fino ad allora goditi l'intelligenza artificiale.