Ciao e bentornati al corso sull'intelligenza artificiale.
Va bene quindi spero che ti stia godendo il tutorial fino ad ora che abbiamo quasi finito con l'intuizione che
presto molto presto arriveremo al lato pratico delle cose, abbiamo solo alcune piccole cose che dobbiamo coprire.
Va bene così in precedenza abbiamo parlato di come aggiungeremo le reti neurali in questa intera equazione
dell'apprendimento CULE e prendiamo ular nel passaggio successivo e trasformiamolo in apprendimento profondo.
E oggi aggiungeremo una funzionalità extra importante che codificherà nel lato pratico delle cose in modo headline e ho deciso
che è importante per noi coprirlo spesso nel lato dell'intuizione delle cose in modo che tu
sia più preparato per quando è nel codice delle cose.
Così come abbiamo discusso abbiamo la rete ci sono due parti che accadono.
Prima di tutto è l'apprendimento in modo che la rete impari effettivamente con ogni nuovo stato.
Aggiorna lentamente le sue attese per diventare sempre migliore e migliore nel trattare con questo ambiente.
E poi c'è la recitazione all'interno dello stato quindi dopo che i valori di q sono stati contati nello stato,
una volta selezionato.
Quindi oggi parleremo ancora della parte relativa all'apprendimento, con una funzione interessante
che aiuterà gli studenti a sviluppare questa funzione, ma
parleremo di una funzione molto importante per un apprendimento approfondito e questa funzione è chiamata esperienza replay.
Tutto ok.
Quindi, ecco la nostra rete, quindi l'abbiamo appena copiata qui.
Abbiamo perso quello che è Calcott in fondo è tornato propagatore attraverso la rete.
E diamo un'occhiata a un esempio di cosa succede per capire il problema che stiamo affrontando
un po 'meglio.
Quindi ecco un esempio in realtà dai punteggi.
Questa è una schermata ripresa esattamente da questo corso, questo è ciò che programmerai.
un'auto che guida da sola attraverso questa strada e che deve imparare a percorrere questa strada.
Si tratta di
E così com'è quello che abbiamo discusso in precedenza. Che cos'è questo in questo stato.
E ovviamente lo stato non sarà x1 x2 Lundell lo descriviamo molto più dettagliatamente in che
stato si tratterà di un paio di parametri che si riferiscono all'angolo della vettura e ad alcuni parametri relativi quali
sono i sensori leggere e così via.
Quindi ci saranno più parametri di quello per descrivere lo stato.
Tuttavia, sarà un vettore di valori che passerà attraverso una rete neurale e
quindi sull'output si avranno alcuni valori ACU.
Di nuovo ci sarà una differenza a seconda dell'ambiente.
Possono essere un numero diverso di azioni possibili azioni.
Ma per la semplicità ci limitiamo a lasciarlo solo per noi, per essere in grado di capire meglio
cosa sta succedendo qui.
Quindi, in questo caso, qual è la domanda?
Questo introduce in questa rete neurale o più precisamente quanto spesso attiviamo questa rete neurale.
Quante volte cresce questa crescita neurale.
l'auto finisce in un nuovo stato così la macchina fa una mossa finisce in un nuovo stato e poi tutto va.
Bene ogni volta che
Tutto quel dato che tutte le informazioni dello stato passano attraverso la rete danno ad Alice gli
errori calcolati.
Questo errore viene calcolato in base a ciò che abbiamo discusso nelle precedenti esercitazioni.
Questo viene propagato e i loro pesi vengono aggiornati.
Quindi l'auto seleziona quale azione intraprendere rende quel movimento finisce in un nuovo stato nel nuovo stato.
Tutto ricomincia.
E così in pratica questo succede ogni volta che la macchina è dentro e hai detto bene di dare un'occhiata a questo esempio.
In particolare, ho scattato la schermata perché sembra che illustrhi molto bene il problema che viene affrontato attraverso la
ripetizione dell'esperienza e i replay di spesa, non solo qualcosa che usiamo in questo corso o
in questo specifico problema.
È qualcosa che vedrai usato dappertutto.
Ancora e ancora e ancora e ancora negli algoritmi di intelligenza artificiale perché è così potente ed è
così importante.
Quindi guarda questa macchina questa macchina in questo problema o in questo ambiente il suo obiettivo è venire da andare da qui
a qui e indietro.
Il suo obiettivo è di navigare qui qui senza attraversare queste mura fatte di sabbia.
E così la macchina è iniziata qui, è andata giù e la sua ricompensa si basa sul fatto che sai quanto è
vicino iniziare.
Quindi la macchina è passata da qui è andata giù e ha continuato ad andare avanti così come questa come questa
o lungo questo muro lungo la diga.
E che cosa succederà dopo sarà il turno continuerà.
Bene, quello che volevamo fare è andare avanti qui.
Ma pensiamoci per un secondo.
Una volta raggiunto questo muro, ogni volta che avanza, avanza.
Si muove in avanti si muove in avanti si sposta in avanti si sposta in avanti si sposta in avanti e così via si muove in avanti.
Quindi ci potrebbe essere come dipendere dall'ambiente della struttura potrebbe essere come un centinaio di mosse
qui o 50 mosse qui.
Continua semplicemente ad andare avanti in avanti e non cambia nulla.
In realtà non cambia molto, ma è molto più lontano da questo inizio più vicino a questa storia.
È adorabile.
Ma dal punto di vista dell'ambiente circostante non cambiano molte cose, è sempre lo stesso muro.
Se sei seduto in macchina probabilmente hai visto la situazione mentre stai guidando in quello che
stai vedendo è come se l'ambiente fosse così monotono che stai solo vedendo che la stessa cosa
sta passando.
Ma come immagino tu stia guidando attraverso un deserto e stai solo vedendo la stessa cosa è lo stesso
suono è lo stesso suono che non sta succedendo nulla.
Niente sta cambiando.
E così basato, ma ogni volta mettiamo in questo stato il nuovo stato.
noi mentre guidi la macchina e il tuo GPS ti mostra che sei più vicino alla tua destinazione.
Sì, certo, qualcosa potrebbe cambiare per
Quindi uno di questi ingressi è strano ma molti di questi ingressi, ad esempio i sensori che si
trovano sulla macchina, non cambiano e quindi, dato che stai guidando lentamente in questo giorno, metti gli input da solo
qui qui qui qui qui qui qui e qui qui per tutto il tempo in cui gli input sono praticamente
gli stessi.
Quindi, se continui a inserire gli stessi input stessi valori nel vettore o vettori molto simili nella
tua rete perché non c'è varietà.
La macchina imparerà molto bene.
Una cosa imparerai molto bene su come guidare lungo questo muro che è alla sua destra ed è così
che la rete si aggiornerà e verrà premiata e inizierà lentamente a essere premiata per guidare così bene che
sarà come.
OK così da qui imparerò tutto ciò che sto facendo così bene sto migliorando lo sto facendo meglio.
Tutto.
Avrà questa falsa percezione che in realtà sta andando molto bene anche se impara solo a guidare così come altre
reti neurali si adatteranno molto bene a percorrere bene tutto questo e poi all'improvviso c'è
questa curva e la macchina non funziona so cosa fare
E completamente non si adatta a questa rete neurale.
E anche se lo fa, in qualche modo ipoteticamente diciamo che passa un punto e poi finisce su questo
muro.
Stessa cosa succederà sta andando a guidare da qui qui qui.
OK ora la rete neurale si sta ristrutturando per adattarsi a questo muro e poi bam questa cosa succede.
E poi anche se in qualche modo viene passato che supererà questa cosa e poi la stessa cosa seguendo queste
linee.
in qualche modo correlati o sono in qualche modo interdipendenti e non vogliamo che l'interdipendenza influenzi la nostra rete.
Quindi, in pratica, questo è un esempio molto vivido del problema che siamo quello che abbiamo
perché, dal modo in cui usiamo la rete neurale aggiornandola ogni singolo stato una volta che abbiamo
un sacco di cose consecutive, non devono nemmeno essere il lo stesso, ma negli ambienti è normale che gli stati consecutivi
sono
Non vogliamo che l'auto impari solo a guidare come una linea retta o una lunga linea curva
o come qualsiasi cosa a cui pensi di poter pensare in una vita in cui un agente potrebbe essere
un ambiente navigante in cui possiamo pensare di correlare o stati interdipendenti che arrivano dopo un altro che possono davvero rovinare
la tua rete neurale.
Se lascerai che l'agente apprenda da quello.
Ed è qui che entra in gioco l'esperienza.
Quello che succede nell'esperienza di riproduzione è queste esperienze così questi stati che è in uno due
tre comunque molti 50 stati qui in neuro non vengono messi subito in rete.
Sono in realtà salvati nella memoria dell'agente.
E così, ad esempio, salva tutti questi e salva tutti questi e alcuni ad un certo punto una volta raggiunta una
certa soglia che sarai in grado di codificare e Atlanta ti mostrerà come farlo.
Una volta raggiunta una certa soglia, l'agente decide autonomamente che è ora di imparare.
Ho questo gruppo di esperienze che ho non ho intenzione di imparare da questo e quindi
selezionare casualmente una distribuzione uniforme e l'uniformità è la chiave è importante qui perché è qualcosa di
cui parleremo nella prossima diapositiva.
Lo prenoteremo ne parleremo.
Ma ci vuole un campione uniformemente distribuito.
Quindi fondamentalmente tutte le esperienze sono considerate uguali.
ha ottenuto attraverso quell'azione in quello stato specifico così quattro elementi in ciascuna esperienza ne indicano uno azione stato due e ricompensa e
così prende tutte quelle esperienze e poi le passa attraverso la rete e impara.
Prende un campione uniformemente distribuito da quel gruppo di esperienze che ha e poi passa
attraverso di loro e impara da loro in modo da non prendere tutta l'esperienza o semplicemente prende distribuire uniformemente campioni
che potrebbero richiedere un paio di da una coppia da qui una coppia da qui e da essa e ogni esperienza
è caratterizzata dallo stato in cui è stata compiuta l'azione che ha preso lo stato in cui è finita
e la ricompensa che
E in questo modo rompe lo schema di quel pregiudizio che deriva dalla natura sequenziale dell'esperienza come se dovessi metterli
attraverso la rete uno dopo l'altro.
Questo è l'obiettivo principale dell'esperienza che giochiamo.
Questo è quello che è il problema e l'indirizzo e un altro vantaggio dell'esperienza di riproduzione è
che a volte in un ambiente come questo potresti avere esperienze rare molto preziose.
Quindi per esempio non lo so, diciamo guardiamo in questo angolo, questo è questo è l'angolo giusto.
Destra.
E uno molto acuto è nitido.
Quindi verrà da qui assumendo che abbraccerà quest'angolo.
Quindi, avendo gli angoli acuti a destra in questo punto, avremo qui un angolo
a destra qui e un angolo a destra.
Giusto quindi quando arriverà in questo modo è l'angolo giusto.
E poi, quando sta tornando, qui c'è un angolo retto.
Quindi, e questo non è nitido in questo modo nel negozio, quindi c'è solo un'opportunità
in tutto l'ambiente per imparare da un angolo a destra.
E questa è un'esperienza molto importante perché potrebbe diventare davvero brava a guidare lungo le linee rette,
diventando molto brava a fare curve morbide come quelle simili ma.
angolo acuto semplicemente perché semplicemente non ha molte possibilità di imparare da esso e quindi quindi imparerà tutto il resto
molto velocemente ma ci vorrà molto tempo per imparare il giusto corso.
E poi continuerà a incasinare questo
È un esempio molto semplificato è una spiegazione molto semplificata, ma illustra il concetto
che a volte sono esperienze rare che possono essere preziose.
E se stai solo facendo una semplice rete neurale in cui stai mettendo i tuoi valori qui e sai
che stanno attraversando e sai come se anche tu ti dimenticassi di quel problema della natura sequenziale
delle esperienze e di come possono essere Thimphu, interdipendente e tutto correlato, se ne dimentica addirittura
per un secondo.
una volta che hai messo a frutto un'esperienza attraverso le reti, i dati ti dimenticano immediatamente, ma dimenticati di quell'esperienza.
Quello che succede è che
Passi a quello successivo.
È così che funziona la rete neurale.
Poi passerai allo stato successivo, il prossimo passo, il prossimo passo alla successiva esperienza
X, che esperienza e così via.
Quindi questa destra non appena passa attraverso una rete è sparita e non hai memoria di
quella preziosa esperienza.
tuo gruppo così quando tornerà da qui è appena possibile ha registrato questa esperienza nel suo lotto.
Considerando che abbiamo sperimentato la riproduzione perché stai mettendo queste esperienze in lotti puoi
organizzare il tuo bash come una finestra a rotazione, quindi ad esempio potresti avere 100
lotti. Cento esperienze nel
Poi, come ad un certo punto, esegue una distribuzione uniforme dal suo gruppo di esperienze e poi c'è una finestra mobile
in modo da dimenticare queste esperienze ma poi mantiene queste esperienze.
E poi impara da quando è qui che impara da questo batch e poi, una volta qui, dimentica
fino a qui.
Ma poi ha una serie di esperienze del genere quindi non imparare da queste esperienze.
E in questo modo quello che stai ricevendo è che questa curva a destra potrebbe apparire diverse volte nel suo processo di apprendimento perché
era in quel batch quando il batch era così lì intorno rispetto a quello che c'era
nel batch qui in qui, quindi è venuto fuori in diversi lotti perché l'abash potrebbe essere
aggiornato come una finestra a rotazione di esperienza.
Quindi le esperienze più vecchie vengono espulse, le nuove esperienze vengono aggiunte e poi di nuovo
l'esperienza acquisita.
Quindi, e l'esperienza rimane nel lotto per un po 'di tempo e l'auto o l'agente può imparare da
quell'esperienza più volte.
Quindi questo è un altro vantaggio della ripetizione dell'esperienza.
E, naturalmente, il vantaggio finale è che la ripetizione dell'esperienza ti dà l'opportunità di imparare da più
esperienze rispetto a se stai imparando solo una alla volta perché hai quel batch e
quindi Ed è una finestra a rotazione e quindi anche se il tuo ambiente è limitato per sperimentare la tua esperienza, l'approccio
di ripetizione può aiutarti ad imparare più velocemente.
E invece di ripetere semplicemente ci sono molte molte volte che puoi imparare velocemente perché non devi
rifarlo.
Hai salvato quelle esperienze.
Quindi quelli sono i principali vantaggi dell'esperienza.
Ricapitoliamo che abbiamo il.
Stiamo rompendo quel modello per l'indipendenza e la correlazione delle esperienze sequenziali salviamo esperienze rare che
potrebbero essere importanti, quindi possiamo imparare da loro più spesso e possiamo imparare in
ambienti che possiamo imparare gli ambienti di Fosler che sono esperienza.
Abbiamo una carenza di esperienze che non hanno tante esperienze passate dall'agente e ancora possiamo
essere in grado di apprenderlo.
Ecco cosa riproduce l'esperienza.
Se desideri leggere un po 'di più di questo.
C'è un articolo interessante pubblicato da Deep Mind nel 2016, chiamato replay dell'esperienza
prioritaria e parla del perché.
Perché stiamo usando una distribuzione uniforme per selezionare le nostre esperienze dall'esperienza Bachche, perché non troviamo un modo
migliore per selezionare le nostre esperienze e dare la priorità ad alcune delle esperienze
che riteniamo importanti.
cosa piuttosto interessante, anche se in questo caso sarai in grado non solo di rinforzare o
non solo rafforzare le tue conoscenze sulla ripetizione dell'esperienza, ma sarai in grado di muoverti con la tecnologia più avanzata.
È una
Quindi questo è il 2016 e pubblicato da menti profonde.
È una carta molto potente molto recente, quindi sarai in grado di esplorare effettivamente i limiti o esplorare
ulteriormente questo algoritmo e portarlo al livello successivo.
Quindi ti lascio a te scoprire perché e come possiamo cambiare l'uniforme con un approccio diverso per provare il
replay da questo foglio, se lo desideri.
E spero che ti piaccia questo.
cos'è veramente l'esperienza e possiamo tranquillamente usarla nei nostri circoli pratici e cerco di vederti la prossima volta.
Tauriel e ora sappiamo
Fino ad allora goditi l'intelligenza artificiale.