Ciao e bentornati al corso sull'intelligenza artificiale.
Oggi stiamo finalmente parlando dell'apprendimento di Kule.
Va bene, abbiamo già ottenuto questa equazione l'equazione di Bellmen alla quale abbiamo aggiunto molti
componenti.
Qui abbiamo la ricompensa che non può essere solo alla fine ma può essere in qualsiasi momento.
Abbiamo il fattore di sconto.
Abbiamo la probabilità perché ora stiamo osservando il segno di un processo decisionale.
di finire in uno stato diverso indipendentemente da quale azione prendiamo o effettivamente dato l'azione che prendiamo.
E qui abbiamo la possibilità
Ci possono essere più stati in cui possiamo finire e quindi abbiamo il valore degli
stati successivi perché è come una funzione ricorsiva e così via, ma probabilmente hai ancora una domanda.
La domanda è dove in tutto questo non c'è la lettera Q Perché è tutto chiamato q.
Apprendimento.
Quindi dov'è la stecca.
E questa è la domanda a cui risponderemo oggi.
di essere in un certo stato e ora vedremo come anche Q si adatta a tutto ciò.
Finora abbiamo trattato con valori il valore
Quindi qui abbiamo due esempi a sinistra: quello che faremmo fino ad ora è stato analizzato dal nostro agente.
Ok sono qui.
Questo è un segno del processo decisionale quindi non importa come sono arrivato qui.
Il resto dell'ambiente non si cura dei passaggi che mi ha portato ad arrivare qui da ora in poi.
Devo prendere la decisione ottimale dove andare qui qui o qui.
Basato sullo stato attuale e su tutti gli stati futuri che vengono da qui ma non dal passato.
E così può vedere che ci sono tre opzioni: c'è uno stato da dichiarare tre.
E in base alla sua esperienza ha calcolato i valori in questi stati e ora userà l'equazione
di Bellmen.
Quindi, anche se questo è un classico Proceso, sa che andrà qui, ma c'è una possibilità
che andrà a sinistra e così via.
Quindi, sulla base di questi valori, prenderemo una decisione che è ciò che facciamo finora e questo è un approccio
totalmente legittimo qui.
Ma ora veniamo modificati un po '.
ogni stato in cui può finire esamineremo i valori o il valore di ogni azione.
Prendiamo lo stesso identico concetto dello stesso esatto problema ma qui invece di guardare i valori di
Quindi non useremo più la lettera V perché per il valore dello
stato useremo una Q e potremmo avere una domanda sul perché la lettera Q Bene.
Q Alcuni lo speculano.
Q leggerò questo
Penso a Quora.
altri riferimenti a questo, quindi potrebbe non essere perché potrebbe essere solo perché è la lettera che è stata usata in quel momento
e ora è diventata super popolare perché è tutti hanno chiamato l'apprendimento chiave per questo motivo.
Qualcuno ha detto che Q è dovuto alla qualità ma allo stesso tempo non sono riuscito a trovare
Quindi nessuna ragione esatta era valida.
Q Ma tuttavia almeno ci aiuta a distinguere tra V e Q So Q qui.
C'erano regali piuttosto che il valore dello stato che rappresenta lascia andare la qualità.
Rappresenta la qualità dell'azione che rappresenta.
OK, quindi ho quattro azioni.
Quali sono le diverse qualità di queste azioni.
bene come faccio a quantificare questa azione e quindi posso confrontarla e questo è esattamente ciò che Q è.
Qual è il valore dell'azione o la qualità dell'azione che l'azione è più redditizia quindi ho bisogno
di una metrica che mi dica
E così ha quattro possibili azioni.
Come sempre vai su a destra o a sinistra.
E sulla base dell'azione ci sarà una formula che ci dice il valore quantificabile di quell'azione
che chiamiamo il valore Q q di quell'azione.
Diamo un'occhiata a come ricaveremo questa formula.
Q In che modo si relaziona effettivamente con questi.
Perché, come puoi immaginare, perché le azioni portano agli stati deve esserci una sorta di collegamento tra i
due.
Bene, abbiamo già determinato come calcolare questo e siamo abbastanza bravi a farlo.
Sappiamo come usare l'equazione di Belman in ambienti molto diversi con molte complicazioni.
Bene, sfruttiamo questa conoscenza per capire come possiamo ora calcolare.
Q Per fare le stesse previsioni perché, come puoi immaginare, l'ambiente non cambia in base
a quale approccio utilizziamo l'ambiente sarà lo stesso a prescindere.
sempre dare lo stesso risultato e quindi questo è un altro motivo per cui questi due devono essere collegati.
Quindi, questo approccio e questo approccio dovrebbero
Quindi diamo un'occhiata.
Quindi ecco il nostro approccio alla vista in cui si arriva a considerare il valore di ogni stato determinato questo stato
o qualsiasi altro stato.
Ed eccoci qui, stiamo solo usando il lead qui perché quello è lo stato attuale.
E quindi la terminologia sarà la stessa in entrambe le equazioni e qui usiamo q come Q
È lo stato e l'azione.
A perché l'azione è in atto ma in quale stato eseguiamo quell'azione eseguiamo quell'azione nello Stato.
OK, ora stiamo andando a cavalcare l'equazione di Belman per il primo approccio,
come potete vedere qui abbiamo il valore di s o il valore di ogni dato stato s è il massimo del premio che si ottiene una scommessa massima basata
sulle azioni che hai tre.
In questo caso, in realtà, hai quattro azioni in modo da massimizzare tutte le possibili azioni di
questa parte che abbiamo sentito discutere molte volte, quindi questa è la nostra ricompensa che otteniamo dall'eseguire quella
azione in quello stato sconto di fatto moltiplicato per il previsto valore del nuovo stato che stiamo per essere in un
valore previsto perché è un processo stocastico.
che finiremo qui finiamo per finire sulla sinistra o sul giusto tipo di probabilità.
Non sappiamo esattamente per certo
Ecco perché queste probabilità sono in te.
Va bene, questo è il nostro valore
E ora guardiamo.
Q Quindi Q sarà definito.
Lo useremo per definire Q Quindi diciamo che l'agente da questa posizione da questo
stato esegue l'azione.
Qual è il valore q che sarà chiamato a.
Bene, prima di tutto vediamo cosa otterrà in cambio di questa azione.
La prima cosa che otterrai è una ricompensa giusta.
Non ne dubita.
Ci sarà una sorta di regola o potrebbe essere zero, ma sappiamo che l'intero è il modo in cui funziona
questo processo di apprendimento di rinforzo è che alcune città stanno eseguendo determinate azioni da un determinato stato o due.
Quindi aggiungerò che qui.
E poi aggiungeremo cosa aggiungeremo.
Beh, pensiamoci.
Qual è la prossima cosa che succede dopo che lui sta andando lì.
Bene, la prossima cosa che succede è che ora l'agente è in un certo stato che potrebbe finire qui con
una probabilità dell'80% o con qualche probabilità.
Ma in realtà qui, proprio qui.
Ma ovunque finisca ora abbiamo già una metrica quantificata per quello stato in cui si trova.
E questo è in realtà il valore di quello stato.
Ma poiché è arrivato in molti stati diversi e in tre dei possibili stati diversi, dobbiamo
considerare il valore atteso dello stato in cui si troverà.
E quindi aggiungeremo quello che aggiungeremo.
Ovviamente il fattore scontato che avevamo in precedenza perché è da qualche parte nel futuro.
E poi aggiungeremo alcuni di tutti i possibili stati in tutti i possibili stati in cui potrebbe
finire prendendo questa azione.
Termini di probabilità.
Quindi quello che stiamo dicendo qui è che OK così facendo un azione otterrai una ricompensa Plus
che è una metrica quantificata. Più che otterrai.
Finisci in uno stato che non sappiamo quale potrebbe essere qui.
Potrebbe essere qui potrebbe essere qui.
Ma qui c'è il valore atteso dello stato in cui andrai a finire.
E ora stiamo andando a moltiplicare per il fattore di sconto perché quello è un allontanamento.
Quindi questo è il nostro valore Q per questo per la sezione delle prestazioni e quello che noterete qui è proprio
questo.
Q Il valore Q è in realtà esattamente identico a quello che c'è all'interno di queste parentesi quaggiù.
E perché è così.
in tutte le possibili azioni del risultato che otterremo prendendo ciascuna di quelle azioni e accodiamo stiamo definendo.
Bene, se ci pensi qui stiamo prendendo il massimo dei risultati otterremo
il massimo in tutte le possibili azioni, così abbiamo ottenuto l'azione prendendo il massimo
Interessante.
Cosa otterremo prendendo una certa azione.
Quindi, se ci pensi, ha senso il valore di uno stato.
Quindi, ad esempio, questo stato è il massimo di tutti i possibili valori di Q.
Giusto quindi qui negli Stati essendo nello stato l'agente ha un valore chiave per mantenere il valore 3Q per il
valore q.
Quindi sì positivo per possibili valori di Q mentre il valore del soggiorno ha senso
che il valore dello stato sia il massimo di tutti questi quattro valori chiave.
Questo è esattamente ciò che possiamo vedere qui.
Questa è una buona conferma di questa nuova formula che deriviamo.
Se così non fosse, se ciò non corrispondesse, avremmo delle domande.
Quindi perché perché non corrisponde.
Perché non coincide se.
Il valore Q è una metrica quantificata di eseguire un'azione e V dipende dal pavimento.
È come se il massimo dei possibili risultati delle quattro azioni che può eseguire su di esso abbia
senso.
E questo conferma la formula che abbiamo appena derivato e ora lo renderemo ancora più interessante.
Ci libereremo completamente di Wii perché puoi vedere qui che Wii è una funzione ricorsiva.
Allora e poi hai me e poi B e poi B e poi B e così via.
Così puoi esprimere questa vista attraverso tutti i seguenti Vee, i più ottimali
verranno qui.
una funzione ricorsiva dell'OR come funzione del prossimo V e quindi dovresti collegare questo V e poi tornare al B.
Ci aspettiamo Q come un funk
Quindi, cosa stiamo per fare è che prenderemo questa V e lo sostituiremo con
Q Right, quindi diamo un'occhiata a questo.
Prenderemo questo V del prossimo stato e lo inseriremo in questa formula qui.
E come puoi vedere ora, quindi questa parte non cambia, questa probabilità non cambia.
Ma come abbiamo appena discusso di s è il massimo di tutte le azioni di q di S e di un diritto qui.
Quindi questo è quello che sostituiremo qui.
ovviamente la nuova azione, l'azione che stiamo per intraprendere perché qui abbiamo il Wii di prima qualità.
Quindi stiamo per dire che il massimo è
Quindi qui ora abbiamo la console massimale in un primo.
Quindi le azioni che andremo a prendere da questo stato provengono
da qualsiasi altro stato in cui finiamo, ma l'azione che intraprenderemo da lì e Maxima attraverso tutti questi e
il massimo è di tutti i valori del cubo che che ci sono disponibili in quel nuovo stato come prima virgola un numero primo.
E questa è azione.
Quindi questo è il.
Quindi ce ne saranno altri quattro.
Q valori lì.
Quindi ora come puoi vedere torniamo indietro.
Quindi, da ciò che ricaviamo questa parola sarebbe giusta causa solo attraverso la logica e l'intuizione, in modo che possiamo
vedere che i VNS sono effettivamente la vista di AS e di e a sono collegati.
Il valore di S è il massimo tra tutte le azioni di Cuba S e puoi vedere qui proprio in modo che questa
parte sia identica a questa parte.
E poi lo sfrutteremo e sostituiremo questo bit con VNS da qui, ma non con questo
imbuto esatto, prenderemo questa parte interna e la sostituiremo con uccidere gli innocenti.
Quindi lo inseriremo qui e questa parte sarà il primo di un massimo di cubo da Crucell
a Priam di Q As Prime un primo.
E ora abbiamo la nostra formula.
Quindi ora abbiamo una formula ricorsiva per il valore q quindi ora l'agente può pensare qual è il valore della sezione qual è la
qualità di questa sezione è stato il nuovo valore di questa azione.
Beh, dipende dalla ricompensa che ottengo nel passaggio immediato dopo, in più dipende dal fattore
scontato, moltiplicato per il massimo di tutte le possibili azioni Q in quello stato.
abbiamo questo valore atteso qui, quindi abbiamo alcune probabilità volte il massimo che è il valore atteso.
Ma non so se riuscirò a convincere la loro parte a guardare anche quello stato in quello stato e questo è il motivo
per cui
Quindi una formula molto simile, come puoi vedere, ma stavolta stiamo esprimendo le cose attraverso
i valori q ed è per questo che l'intero algoritmo è chiamato Kill learning perché questo è ciò che viene guardato in questo modo è quello che gli agenti
effettivamente usano che non guardano agli stati guardano le loro possibili azioni e poi in base
alle azioni sul valore q delle azioni che decideranno quale azione intraprendere.
Quindi guarderanno solo il valore massimo di Q in questo stato dato che ha quattro azioni.
e poi impegnarsi? sta per ripetere quel processo ripetere quel processo e così via.
Qual è l'azione migliore da intraprendere in modo da poter confrontare un paragone tra i diversi stati che
possono finire per confrontare le possibili azioni che ha attualmente, trovando quello ottimale che
prenderà quell'azione
Così ora puoi vedere come tutto questo si unisce a come ricompensa i fatti di attualizzazione
oi processi decisionali di mercato stocastici ei valori ei valori di q si uniscono per
citare questa equazione di Belman superpotente per i valori di q che ora possiamo applicare e lasciamo che i nostri
agenti imparino a battere l'ambiente.
E quindi questa è una spiegazione intuitiva di quello che sta succedendo.
So che siamo passati attraverso le formule ma è necessario perché è come la
nostra formula che stiamo attraversando tutto questo capitolo e penso che sia una buona transizione dal To.
Q E illustra come ci sono collegamenti tra Yishun E se ti piacerebbe avere un approccio matematico più rigoroso e come
vedi la matematica dietro di esso e imparare un po 'di più sui valori di
q e su come funzionano.
Poi abbiamo qualche lettura aggiuntiva per te.
Questo documento si chiama concetti e algoritmi di processi decisionali Markov di martĂn von Autor basso 2009.
di più complesso come questo articolo se vogliamo ottenere ulteriori informazioni su questo per ottenere una comprensione più profonda.
Così hai tagliato il link qui come sempre e qui puoi leggere un po 'più
in dettaglio per capire tutto il nitty grintoso dietro i valori di Hugh e così via e ora
che abbiamo discusso di tutte queste cose relative all'equazione di Belman ora siamo pronti per vedere qualcosa
Ma anche se non leggi il giornale o la radio, dovresti avere una buona conoscenza pratica di cosa
sia l'apprendimento e di come gli agenti escogano le azioni che devono intraprendere in un determinato ambiente.
Quindi spero che ti piaccia oggi Statoil e attendo con ansia il tuo prossimo.
Fino ad allora divertiti.
IO.