Ciao e bentornati al corso sull'intelligenza artificiale.
Nella storia di oggi parliamo della finale a in una 3C.
Stiamo parlando di vantaggio.
Quindi eccolo.
Abbiamo già parlato del critico attore e di un sincrono in precedenza.
E così ha costruito un modo per quello che vedremo oggi e, con vantaggio, metteremo
tutto insieme.
è condivisa tra agenti agenti asincroni e quindi abbiamo il critico che è anche condiviso tra l'età e così via.
Quindi questo è ciò che abbiamo fino ad ora abbiamo una rete neurale che
Come funziona tutto questo e perché questo critico è condiviso tra gli agenti.
Diamo un'occhiata a questo.
Capisco meglio vedremo un esempio che vedremo per esempio in questo agente e vedremo cosa
succede quando si trova in un determinato stato e deve decidere quale azione intraprendere.
è che questa informazione entra nella rete neurale che va alla tana convoluzionale, quindi entra nella tana della piscina, quindi
entra nel covo appiattito e poi da lì entra nel strati nascosti della rete neurale
e quindi come output ottiene tutti questi valori di politica che valori sono la politica.
Quindi questo agente è in uno stato che vede questa immagine e poi ciò che accade
E anche lui ha il valore del critico.
E così come sappiamo che le reti neurali per funzionare hanno bisogno di propagare determinati errori o perdite
attraverso la rete.
Quindi in questo modo per aggiornare i pesi, in modo che cosa aspetti o meno quali perdite dovremo affrontare
qui.
Bene, siamo due perdite.
Abbiamo la perdita di valore e le postali.
Quindi la perdita di valore è legata al valore di perdita parziale è collegato a pool e così prezioso.
Ci siamo già occupati prima.
Sappiamo che abbiamo dei premi e sappiamo che abbiamo un fattore di sconto, quindi in pratica questo è molto
simile a quello di cui stavamo parlando nella conversione in tutorial di deep learning.
Fondamentalmente la rete predice un certo valore V e allo stesso tempo possiamo stimare ciò che dovrebbe basarsi su ciò che sappiamo sull'ambiente fino a
questo momento possiamo stimare quale dovrebbe essere il valore nello stato e confrontando i due possiamo calcolare
il valore perdita e quindi indietro la rete di propagazione aggiorna i
pesi.
Ecco, questo è il coraggio per la nuova cosa qui è la perdita di politica.
E quindi cos'è questa perdita di politica e come funziona.
Bene, questa è la parte in cui l'intera situazione in cui il critico è condiviso tra gli
attori o tra gli agenti sta per emergere.
Quindi per capire la perdita di palsu abbiamo bisogno di introdurre un valore chiamato Advantage da cui il nome
di questa parte della storia su questa parte del Salyut il vantaggio e il vantaggio è calcolato come
Q di A meno V di s.
di giocare tutta l'azione che hai scelto di giocare nello stato in cui sei nello stato S meno il valore di quello stato.
Quindi in pratica il valore Q o che hai scelto
Quindi questa è la differenza tra i due e quella si chiama quella.
E il vantaggio è usato nel calcolo dell'impulso.
Ora non entreremo nella formula del calcolo senza polso perché è piuttosto complesso che usa
l'entropia o l'entropia non è necessario.
Non analizzeremo questa formula, ma lo capiremo a livello intuitivo.
Perché lo stiamo facendo, perché stiamo calcolando questo vantaggio e come ci aiuterà.
Bene, diamo un'occhiata a questa premessa per un secondo.
Il valore Q deriva da ciò che la rete neurale ha predetto per questo agente e quindi predittiva di questa specifica azione in questo
specifico stato per l'azione che può svolgere in modo da avere queste azioni
e può farne scorrere una e può giocarci bene mentre il valore di Wii è il valore che è dettato dal
critico.
È il valore che abbiamo qui in questa parte condivisa e questa è la chiave qui che questa parte è condivisa,
così il critico si rompe perché è così che entra in gioco il credito.
Perché abbiamo un valore che scegliamo o l'azione che scegliamo di giocare per questo agente in
quello stato.
Ma poi il critico può dirci qual è il valore noto di quello stato che è in generale il valore noto per questo
intero gruppo di agenti che si esibiscono insieme perché la loro condivisione non risponde perché l'iniziale B perché stanno condividendo
il critico stanno tutti contribuendo a questo a questi valori v che vengono calcolati per un set
diverso in modo che l'intero a. l'algoritmo z dice OK.
Quindi il critico conosce un valore v quanto è migliore il valore q che stai selezionando rispetto al
valore v conosciuto.
Questo è quello che sta dicendo.
Quindi questo è fondamentalmente.
In questo modo selezionerò un valore q in base alla mia politica in base all'utilizzo o meno di una funzione soft
max o di una politica di Epsilon Grealy o qualcosa del genere.
E naturalmente saremo fuori esplorazione e sfruttamento combinato, ma abbiamo selezionato il valore
Q e ora la domanda è qual è l'extra.
Che cosa rimprovera quello che è il vantaggio che l'azione selezionata porta rispetto al valore noto di quello
stato e che è l'essenza del vantaggio e in fondo quindi che viene utilizzato per calcolare la perdita della
politica e quindi la perdita della politica viene poi propagata attraverso di nuovo alla rete.
modo che la rete possa rappresentare meglio il valore del critico e anche questa è la parte superiore.
Quindi entrambi si stanno propagando attraverso una rete e i pesi vengono regolati in
Ma poi anche questa parte della chiave è che il valore dei pesi è bakra.
Quando gli uffici postali dimenticano che le tariffe sono aggiustate in modo tale che questo vantaggio sia massimizzato, così
come questo è il lato intuitivo della comprensione intuitiva di esso che siamo tornati
a usare questa politica per ultimi attraverso la rete per aiutare a massimizzare questo vantaggio
E ciò significa in sostanza che quando un agente incontra azioni sbagliate come azioni in cui il
valore q è inferiore al valore noto per lo stato.
di X e poi all'improvviso ti sei imbattuto in un'azione molto brutta e il e tu l'hai fatto hai scelto l'azione.
Quindi in pratica l'intero algoritmo ATC sa che il valore per lo stato è qualcosa
E ciò che significa per l'entusiasmo è così bene perché dovremmo fare qualcosa di simile quando è
peggio di quello che già sappiamo di tutto questo ambiente e cosa avrebbe potuto fare.
Quindi non dovremmo fare di più.
E quindi i pesi sono solo in un modo, quindi quello che succede è più raro.
Quindi ciò accade meno raro.
Quindi questo è un evento meno frequente che scegliamo quella cattiva azione.
modo tale che l'algoritmo di atresia penserà oh bene che è davvero bello che Wantage era molto alto lì.
D'altra parte se si sceglie un'azione molto buona in cui il valore q è
maggiore di V o molto maggiore di quello in cui durante questa retrodatazione della perdita polacca attraverso la rete i pesi saranno aggiornati e in tal
modo si rafforzerà davvero quello per incoraggiare a rassicurare che succederà di nuovo in modo
che i pesi siano regolati in
Dovrei fare di più e quindi aggiornerai i pesi in modo tale che sia più probabile che
si verifichi in futuro quell'azione.
che sapete, è come la rete si sta lentamente adattando lentamente e lentamente si costruisce in qualcosa che
da una parte calcola il valore correttamente e poi dall'altra o nel modo più corretto possibile.
Quindi, e questo è ciò
E d'altra parte incoraggia o ha azioni che hanno un alto vantaggio.
Quindi eccoci qui che è questa parte.
E ora diamo un'occhiata a un altro solo per rafforzare quello che abbiamo appena discusso in alto 1.
Quindi la stessa cosa qui.
e quindi deve decidere cosa fare in quanto queste informazioni alle reti di questa immagine usano i regrow internet per convincere che stanno tirando
il loro appiattimento Lehre va negli strati nascosti e poi da qui otteniamo un risultato
otteniamo i valori acuti della politica otteniamo nuovamente i valori V la stessa cosa che abbiamo avuto due perdite.
Il top agisce su una situazione in cui uno stato è in uno stato
Abbiamo la perdita di valore che è qui la perdita polacca che è qui la perdita di valore.
Sappiamo già come viene calcolato.
Quando abbiamo discusso di questo nel profondo apprendimento di Q e discutendo solo ora.
Ecco come è stato calcolato il valore e poi di nuovo la perdita della politica al fine di calcolare ciò che non
avremo per lui.
bene, quindi abbiamo intrapreso una certa azione, abbiamo scelto una determinata azione in base alla nostra politica di selezione, sia che si
tratti di un debole Max o di un avido o qualsiasi altra politica sociale che stiamo usando.
Ma a livello intuitivo stiamo calcolando quel vantaggio che va
E allora qual è l'azione che abbiamo fatto Ora confrontiamola con il conosciuto e il valore dello stato che viene dai critici condivisi,
quindi questo critico è un po 'come se pensassi che è un po' come osservare
tutti questi agenti allo stesso tempo sta guardando a questo sguardo a questo questo stanno
tutti contribuendo a criticare il critico più a velocità con l'ambiente per assicurarsi che il
critico sia rappresentativo di ciò che sta accadendo nell'ambiente reale in modo che i pesi.
perdita di valore in modo che i pesi della rete neurale effettiva riflettano molto bene la
situazione reale delle cose nell'ambiente, in modo che possano quindi fare affidamento su questo valore e quindi utilizzarlo qui.
È qui che si verifica la
E così fondamentalmente.
Quindi tutti questi agenti tutti questi agenti stanno contribuendo a questo critico.
Ma poi allo stesso tempo attraverso questo senza valore ma allo stesso tempo il critico sta osservando
le decisioni o le politiche di queste agenzie.
È come guardare indietro come se stessi cercando di disegnare come una freccia ai poli una freccia
e una freccia.
questa posizione di vantaggio e dicendo OK hai preso una decisione, hai scelto di scegliere questa azione.
Quindi, quando si guarda indietro alla decisione che stanno facendo, si sta criticando queste decisioni attraverso
È fantastico.
Ora calcoliamo il vantaggio o lo svantaggio del ranch è uguale a quanto sai che il valore di
Q potrebbe aver preso la decisione che ho preso o la scelta che ho fatto al fatto che ho scelto di prendere meno il valore
noto al critico.
Non per il critico.
quel valore di Q sarà inferiore in modo che, poiché la nostra politica seleziona le azioni in base ai
valori di q, più alto è il valore di Q più è probabile che venga selezionato.
Quindi Kalika fa la differenza se è una differenza bassa sei polacca allora quando ripulisci le tue perdite propagandate
attraverso la rete il modo in cui verrà regolato incoraggerà i pesi ad essere regolati in modo tale che ciò non accada di nuovo
che quel valore di Q o
Quindi, se usassimo come una politica di arco massimo, selezioniamo sempre quella più alta, come ricordi di
aver discusso di questo, ma selezioneremmo sempre quella con il valore più alto.
Ma in realtà stavamo usando un approccio probabilistico in cui stavo usando come un soft Max o una politica avida
di lusso.
poi stavamo fondamentalmente selezionando dove possiamo selezionarne uno, ma più alto è il cubo, meglio è.
E
Quindi, se abbiamo selezionato qualcosa e quindi il vantaggio era molto basso, allora la rete bomba verrà
aggiunta in modo tale che la prossima volta il valore di quella determinata azione sarà inferiore e forse qualcos'altro
sarà di più.
Questo è il modo in cui viene suddiviso e, d'altra parte, se selezioniamo qualcosa in cui tale vantaggio
sarà elevato, allora questo entrerà nelle leggi della politica e quindi nelle reti e
lo aggiorneremo in modo che sia più comunemente osservato un evento come scenario.
E così fondamentalmente questa intera perdita polacca aiuta la rete ad adattarsi o metamorfosi in modo tale da farlo.
Morale delle cose buone, buone azioni e cose buone e meno cose cattive.
Ed è così che queste due perdite entrano in gioco ed è così che sono tornate appropriate.
Quindi spero che si chiarisca in un modo molto intuitivo, naturalmente, non abbiamo inserito le formule
nella complessa matematica dietro a tutto questo e come nei dettagli molto intricati.
Ma allo stesso tempo, spero in modo intuitivo in modo intuitivo.
Tutto questo chiarisce il motivo per cui abbiamo l'attore, il critico e il modo in cui interagiscono
insieme, sapendo di avere questi agenti in modo asincrono o sincrono.
Allora questo è il tuo attore e critico e questo è il vantaggio e come tutto questo entra in gioco.
Quindi questi sono agenti sincroni.
Stanno andando.
Stanno giocando a questo o esplorando l'ambiente e lavorando attraverso l'ambiente e stanno tutti contribuendo
insieme a un critico che sta osservando le loro politiche osservando gli attori che è ciò che viene
chiamato.
E attraverso questo punto di vista e quindi emergere questo pone una perdita e quindi la perdita di politica e
valore o di ritorno si propagano solo alla rete per.
Da un lato rappresentano il vero modo delle cose nell'ambiente.
Un'altra mano per migliorare le prestazioni degli attori.
Quindi eccoci.
Questo è un breve riepilogo dell'intuizione che abbiamo discusso.
Ancora una volta, si spera che tutto questo si riunisca a un livello intuitivo e, naturalmente, nei
tutorial pratici. Parleremo di più di come tutto questo funziona ad Atlanta, vi guideremo attraverso questo processo di proprietari
di edifici.
immagine nella tua mente e questo come un po 'come una tabella di marcia di tutto ciò che
viene insieme andrà bene dovrebbe essere spero ti sarà molto utile per farti navigare meglio sul lato pratico delle cose.
Ma avere questa
E in termini di letture aggiuntive per oggi abbiamo due elementi, quindi il primo è in vantaggio.
Quindi qui abbiamo un alto controllo continuo demenziale usando la stima del vantaggio generalizzato di John
Shulman e questa è l'immagine di una figura stilizzata che si alza come in piedi.
E qui puoi trovare ancora di più su vantaggi e vantaggi e troverai tutti i diversi
tipi di vantaggi.
su come funziona esattamente le formule dietro di esso e alcuni dei gli elementi superiori
in alto o le formule e senza buchi nello spazio di questo vantaggio.
Hai il vantaggio generale nella stima e hai dei vantaggi che utilizzi effettivamente nei moduli nei calcoli, quindi se vuoi saperne di
più sul vantaggio e
Ne abbiamo discusso.
Questo è l'articolo a cui andare.
E ancora un altro elemento o pezzo di lavoro che volevamo ricordarvi è il blog di una serie di post sul blog di
Arthur Giuliani di cui abbiamo già parlato un paio di volte.
Questa è la parte otto che riguarda specificamente A-3 sea.
Quindi qui puoi ottenere una spiegazione più approfondita.
Quindi con un po 'più di matematica su quello che sta succedendo e tu forse puoi raccogliere alcune cose aggiuntive
da qui.
Solo due cose da tenere a mente prima di tutto come sempre questo blog è follower più intensi che usiamo
più torcia.
Quindi tienilo a mente.
E la seconda cosa è che il modo in cui abbiamo strutturato il nostro approccio è che abbiamo parlato di critico attivo,
quindi abbiamo parlato di un sincrono.
Arthur su un Synchronoss un critico dell'attore è un vantaggio quindi tienilo a mente, quindi spero che non ti scoraggi.
E poi abbiamo parlato di vantaggio, mentre nei primi discorsi di Arthur
Ma a parte questo ovviamente è un grande contenuto.
E consigliamo vivamente di verificarlo per ulteriori informazioni.
Così ci godiamo il tutorial di oggi.
E non vedo l'ora di vederti la prossima volta.
Fino ad allora divertiti.
IO.