Ciao e bentornati al corso sull'intelligenza artificiale.
Spero che ti piaccia il corso finora.
E oggi stiamo parlando dell'azione delle politiche di selezione.
Bene, entriamo subito.
In precedenza abbiamo parlato dell'aggiunta di una rete neurale al nostro semplice apprendimento e
finora stiamo entrando abbastanza in profondità nell'apprendimento.
Abbiamo parlato abbastanza della parte di apprendimento includendo alcuni elementi.
E oggi stiamo parlando di questa parte, stiamo parlando della recitazione.
Quindi diamo un'occhiata.
Quindi qui abbiamo quello che abbiamo discusso sulla recitazione che una volta immessi i valori i parametri sono il vettore
che descrive l'agente di stato è chiaramente in quell'ambiente, quindi dopo tutto è stato fatto l'apprendimento o anche
prima che l'apprendimento sia fatto.
Fondamentalmente otteniamo tutti i valori di q quindi non siamo interessati all'apprendimento in questo momento,
insistiamo nel recitare così una volta che avremo questi valori chiave come possiamo capire quale dobbiamo usare.
Beh, se ci pensi.
I valori Q sono semplicemente previsioni per il cubo.
Così come abbiamo fatto nell'algoritmo di apprendimento semplice, cosa abbiamo fatto, abbiamo appena selezionato quello con il migliore del
valore più alto.
Una volta ottenuto quello con il valore di QI più alto, adottiamo questa azione solo perché ci porta
il valore più alto e sappiamo che il guadagno immediato della calcolatrice di Duval che ci aspettiamo di
ricevere Plus il fattore DK moltiplicherà il valore della prossima data.
Ed è un calcolo ricorsivo, quindi perché non perché non si dovrebbe prendere il miglior valore e questo è un po
'la fine di esso.
qui stiamo usando una funzione soft max ed è qui che parleremo delle attuali politiche di selezione.
Ma come puoi vedere qui non è così semplice
Quindi qui in realtà non dobbiamo avere solo una funzione software.
Possiamo avere diverse politiche di selezione delle azioni, ad esempio Epsilon è avido di Epsilon's soft e noi abbiamo i soft Mac
e quelli sono un po 'come le più comuni politiche di selezione delle azioni, naturalmente
ce ne sono altri.
Ad esempio, il più elementare è un'azione molto semplice, ma è sufficiente selezionare il migliore.
Quello con il valore Q più alto.
questo impulso di azione non vola e perché abbiamo diversi tipi di politiche di selezione delle azioni di impulso d'azione.
Ma perché
Bene, tutto si riduce all'esplorazione contro lo sfruttamento.
E questo è il cuore dell'apprendimento rinforzato perché abbiamo già parlato un po 'del fatto che il tuo
agente quando opera in un ambiente potrebbe predire certi valori di coda che potrebbero
essere buoni e potrebbe rivelarsi ottimo potrebbe risultare che quelli sono disponibili e sarà costretto ad esplorare.
Quindi, se per esempio in questo caso prevediamo che Q2 sia il migliore e quindi ci vuole che
Q To intervenga per farlo.
Quindi da qui alla Sezione 2 e poi ottiene ottiene una ricompensa molto negativa.
Quindi l'ambiente sta costringendo l'agente ad andare ed esplodere perché ora imparerà che, in
realtà, pensavo che la Q2 sarebbe stata molto buona, ma è andata molto male.
Quindi i risultati non sono pessimi.
Quindi le reti possono aggiornarsi, quindi la prossima volta che sarà nello stato in cui probabilmente mangerà
la mia anima ci arriveremo.
Sai come se fosse molto molto favorevole quindi potresti pensare che è come se tu sapessi che potresti
aver bisogno di un paio di volte di un paio di sanzioni o punizioni per imparare che riguarda l'azione.
per compiere un'azione diversa e prendere l'azione del polso perché ora ha il miglior valore.
Ma forse imparerà presto che sto
Quindi, a volte l'ambiente impone all'agente di essere diverso per esplorare diverse azioni, ma a volte l'agente
potrebbe ottenere che si trovi bloccato in un massimo locale, potrebbe scoprire che ha seguito la sua esplorazione iniziale e
ha scoperto che questa è un'azione piuttosto interessante come Ho intenzione di andare qui.
E quella collezione d'esprit.
l'azione migliore semplicemente perché non è stata esplorata è esplorata andando sul suo naso o andando a sinistra è esplorazione
andando a destra ma non ha esplorato andando giù da quello stato specifico in cui è dentro e ora che è
un po 'come tendenzioso verso questa azione e pensa che una buona azione continui a prendere continuerà a crescere.
Ma il problema è che pensa che sia
Sta andando a prendere in realtà sta andando a ottenere sempre una buona ricompensa.
Ma cosa succederebbe se questa azione sarebbe stata ancora meglio se questa azione sarebbe stata molto meglio che se fosse a
conoscenza di questa azione passerebbe a questa azione, ma poiché è rimasta bloccata in un
massimo locale sta ottenendo queste buone ricompense sta andando essere rinforzato.
Continuerà a rinforzare se stesso o la violenza a rafforzarlo, che questa è una buona azione
da intraprendere per continuare a farlo.
Ma in realtà la realtà è che c'è un'altra azione che non ha ancora trovato o che non ha nemmeno esplorato.
Sarebbe stato molto meglio.
Quindi, quello che vogliamo fare è che vogliamo elaborare una vera politica di selezione che permetta al nostro agente di
non rimanere bloccato al massimo locale.
Sì, è importante sapere che continui a fare le buone azioni che è la parte dello sfruttamento.
Non sfrutteremo ciò che abbiamo trovato.
Ma allo stesso tempo vogliamo ancora esplorare, non vogliamo mai smettere di esplorare come nella vita non
vuoi smettere di imparare, smetti di imparare a morire.
morendo o qualcosa è diventato così vuoi continuare ad imparare e il tuo agente vuole continuare ad imparare.
È così che quando non stai crescendo stai
Ed è qui che entrano in gioco queste politiche di selezione delle azioni.
Ne abbiamo tre qui elencati, quindi il primo è Epsilon avido, è molto semplice, sembra
piuttosto complesso, nel senso che ha un nome interessante e di solito ha nomi chirurgici.
In realtà no.
Quindi in pratica quello che fa è selezionare quello con il miglior valore di Q e epsilon come Epsilon potresti
sentire altri posti è come una politica di selezione.
vendite come quella con il valore Q più alto tutto il tempo tranne che per la percentuale Epsilon del tempo.
Quindi in questo caso lo usiamo per chiazzare così i nostri valori Al-Q sono da
Ad esempio, se imposti epsilon al 10 percento, allora stai andando a 0. 1 del 10 percento delle volte
che l'azione verrà selezionata casualmente.
Quindi il 90 percento delle volte continuerai a selezionare l'azione migliore in base al valore più alto.
Ma il 10 percento delle volte selezionerà un'azione casuale.
Uniforme sta per prendere assolutamente un'azione a caso o se hai detto
epsilon al punto zero cinque per 0. 05 significa che il 95 percento delle volte che l'agente eseguirà l'azione con il
valore più alto.
Ma il 5 percento delle volte continuerà a selezionare e ad agire casualmente.
Quindi andrà là fuori ed esplorerà.
Quindi il soft di Epsilon è molto simile al modo in cui il genere è il motivo
per cui viene chiamato avido FCL perché in questo modo stai selezionando avidamente l'azione, ma l'azione buona è fatta eccezione per quel piccolo episodio.
Qualche volta.
Quindi più basso è il prezzo per l'EPS che abbasseranno il Lepp Epsilon, più untuosamente sceglierai quel
tipo di azione che è l'azione ottimale e meno ne lascerai meno le possibilità che lasci per l'esplorazione.
Il soft di Epsilon è l'opposto.
Quindi, in pratica, stai selezionando a caso che stai selezionando un centesimo di Epsus meno il tempo.
Quindi se a epsilons piace 0. Dall'1 al 10 percento, solo il 10 percento delle volte che esegui questa azione.
E il 90 percento delle volte stai selezionando un'azione casuale.
Quindi molto molto semplice, solo gli algoritmi invertiti e un soft Max è un po 'come il prossimo passo da o
è una versione più avanzata che direi sopra epsilon dell'algoritmo greedy epsilon anche se entrambi hanno
un merito ed entrambi hanno un posto.
Useremo l'autofinanziamento nella nostra codifica nel nostro genere di cose pratiche.
Ecco cosa parleremo un po 'più in dettaglio su soft max.
Quindi diamo un'occhiata.
Quindi passiamo alla prossima speranza.
È abbastanza chiaro che Ebsen è d'accordo sul fatto che sia un algoritmo piuttosto semplice.
Seleziona questo.
La maggior parte delle volte tranne che a volte andare ed esplorare.
E ora vediamo anche perché è importante fare questa esplorazione in modo da non finire nei massimi locali
nel nostro processo di ottimizzazione, quindi ora parleremo un po 'di più dei soft Mac.
C'è un tutorial sui soft marks alla fine del corso.
Penso che si tratti di un allegato numero due in cui parliamo del concetto di Maxim, perché ci si rinfresca un
po 'qui, quindi stiamo parlando di reti neurali e del modo in cui copriremo tutto il
convoluzionale.
Non stiamo trattando le reti neurali dell'evoluzione in questa sezione.
Naturalmente in questa sezione stiamo ancora usando un vettore.
Ma nella prossima sezione del corso, quando stiamo creando un'IA per giocare a Doom, utilizzeremo una rete
neurale convoluzionale, quindi potrebbe essere utile per te esaminare le reti neurali relazionali e poi
prendere un auto-max funzione o si può imparare un po 'di più su soft Max.
Dopo aver preso le reti neurali convoluzionali e, naturalmente, più tardi.
Ma ecco un rapido aggiornamento Quindi qui abbiamo la nostra rete neurale convoluzionale che decide se si tratta di un cane
o di un gatto.
Quindi qui abbiamo il processo di votazione tra questi neuroni e questo dice che è un ha le caratteristiche
che conosci le orecchie soffici Qual è il tipo di faccia a punta a punta e il tipo di caratteristiche sono i
tipi di occhi l'occhio con gli occhi guardano tutte queste caratteristiche che appartengono a un cane.
Quindi è una probabilità del 95% che sia un cane e il 5% di probabilità che sia un gatto.
come siamo entrati in quel Tauriel di cui stiamo parlando, come possiamo ottenere che questi valori si sommano a uno.
Ma la domanda è:
Bene, qualsiasi convoluzionale tutte le nostre reti neurali sono la rete neurale convoluzionale più il Lares pienamente
connesso, qualunque sia la cosa peggiore, qualunque sia il valore che applichiamo alla funzione
soft max.
È qui che abbiamo introdotto la formula per la funzione successiva morbida.
È quello che sembra
E poi abbiamo questi valori.
E così fondamentalmente è un rapido aggiornamento.
Questa è la formula per il morbido Max.
È quello che fa è ci vuole comunque molte uscite che hai non importa.
Li prenderà e li schiaccerà tutti in valori compresi tra 0 e 1, indipendentemente da quanto siano grandi solo per il fatto che
per me è possibile vedere che c'è una somma totale nella parte inferiore, quindi questi dispositivi saranno pari
a zero e inclusi.
E anche tutti questi valori si aggiungeranno a uno sempre.
Ecco perché è molto vantaggioso per noi, perché quando usiamo la funzione max max, ciò che accade è
che otteniamo questi valori selezioniamo questo miglior valore di visualizzazione.
Ma in realtà quello che succede è che questi valori che otteniamo ci sono numeri reali corretti.
Quindi questa è una specie di numeri.
Non devono sommare tutti a uno e non devono essere tra 0 e 1.
Solo alcuni numeri.
Ma quando applichiamo il soft Max non selezioniamo solo il migliore in realtà otteniamo numeri come quello in
modo da ottenere i nostri numeri nell'intervallo tra 0 e 1 e che sono anche quelli che sommano anche 1.
E quindi, quale altra cosa sappiamo che si aggiunge a uno.
possiamo dire che qui abbiamo valori di q, ma qui all'improvviso siamo diventati deboli o abbiamo avuto probabilità.
Bene, le probabilità sappiamo che le probabilità devono sempre aggiungere fino a 1, ecco perché
Quindi possiamo dire che la probabilità che questa sia l'azione migliore è del 90 percento.
Questa sezione lesbica 5 percento 2 percento 3 percento perché sappiamo che maggiore è il valore, migliore
è l'azione.
Quindi se li schiacciamo a 0 a 1, questi diventano possibilità e possiamo gestirli come tali.
E quindi ora è quando l'azione viene selezionata ed è così che arriviamo con Q2.
Ma se lo guardi da vicino questo non è un rigoroso 100 percento e questi non sono Saroo 0 percento.
Quindi questo è dal 5 al 3 percento.
Quindi il modo più naturale per applicare il Max morbido al fine di preservare l'esplorazione nell'algoritmo consiste nell'usare
queste esatte probabilità quanto spesso ci accingiamo a compiere quell'azione.
Quindi queste probabilità presentano effettivamente la distribuzione di queste azioni che stiamo prendendo in modo così semplice che
Max rende molto facile per noi trovare un modo per combinare lo sfruttamento e l'esplorazione.
Quindi, il migliore, l'azione migliore avrà sempre un'alta probabilità perché ha il valore Q più alto e quindi
qui li utilizzeremo solo come distribuzione o diremo ok, assumeremo Q2 Il 90 percento delle
volte ma il 5 percento delle volte continuiamo a prendere il Q1 e il 2 percento delle
volte che arriviamo al 3 e al 3 percento delle volte che andremo a prendere il Q4.
E il bello qui è che, man mano che questi valori si aggiornano man mano
che l'agente passa attraverso la rete, diventa sempre più familiare con l'ambiente e quindi questi aggiornamenti, quindi questo valore, ad esempio,
potrebbe diventare come potrebbe accertare che questo valore è in realtà inferiore o in realtà è più
elevato e quindi anche queste probabilità cambieranno man mano che un agente passa.
Quindi anche se qui abbiamo Choo-Choo.
Nessuno può dire che a volte il 5 percento delle volte per essere più precisi selezioneremo Q1 come
azione da intraprendere e, a volte, o l'azione che uno intraprenderà l'azione 1.
un'azione due tre per cento del tempo e l'azione per prenderà circa il 3 per cento.
A volte agirà attraverso
Quindi ogni azione ha la possibilità di giocare in questo processo fintanto che abbiamo abbastanza iterazioni un agente passa attraverso
un sacco di volte attraverso questi stati in cui si trovano.
Ed è così che questo è il modo in cui funziona qualsiasi tipo di algoritmo di
deep learning che vuoi fare tante volte così che impari dall'esperienza e quindi come puoi vedere qui
è una transizione molto naturale.
fa sì che abbia qualche logica dietro non solo il 10% casuale del tempo stiamo selezionando un'azione casuale,
ma c'è una logica dietro a come lo stiamo facendo e in base ai valori chiave che abbiamo esplorato.
Non siamo solo casualmente come un algoritmo arrabbiato di Epson e non solo selezioniamo
casualmente le azioni che selezioniamo in base ai loro valori massimi morbidi, il che
E questa è la politica di selezione delle azioni che utilizzeremo in questo corso.
Ti invitiamo a dare un'occhiata alla polemica azione avida di Ebsen Polsce, se preferisci,
ma useremo prevalentemente la politica della sezione di azioni Max e ho una lettura interessante
per te.
Quindi questo è chiamato esplorazione avida di Epsilon adattabile nell'apprendimento rinforzato basato sulle differenze di valore,
è l'articolo del 2010.
Ed è interessante perché Mike Michel non sono sicuro di come pronunciare Michelle e Miquel tossici introduce un
diverso tipo di Algren e aggiustato l'algoritmo di Epsilon avido e chiamato l'algoritmo VDB VDB o l'algoritmo VDB avido
di epsilon che puoi vedere qui.
E in realtà confronta i paragoni con l'avido Ebsen e il Max morbido ed è un algoritmo
assoluto e avido che fondamentalmente l'idea principale dietro di esso è quella di regolare il valore di epsilon a seconda dello stato in cui si
trova l'agente.
Quindi, se l'agente è molto sicuro dello stato in poi Epsilon dovrebbe essere più piccolo, quindi dovrebbero essere
meno esplorazione se l'agente ha una risposta, Epson dovrebbe essere più alto dovrebbe essere più esplorazione.
Quindi è un articolo del 2010.
Non sono sicuro se questo nuovo algoritmo proposto sia ampiamente utilizzato o accettato dalla comunità o se il
Times artificiale abbia una sorta di strada da questo suggerimento.
Ciononostante ti aiuterà sicuramente a rafforzare le tue conoscenze sulle politiche di selezione delle azioni che
abbiamo discusso su Epsom Ingredion, il soft Naxal ti
aiuta a darti l'opportunità di costringere il sito Subha e anche vedere in quale
direzione le persone effettivamente pensano quando vogliono migliorare l'intelligenza artificiale quindi se hai intenzione di creare algoritmi davvero
interessanti che stanno spingendo al limite dell'intelligenza artificiale Elche e spingi la busta in questo
spazio, allora questo potrebbe essere un buon modo per vedere in quale direzione la gente pensa a volte quando prova
migliorare le norme dell'intelligenza artificiale o le norme esistenti nel 2010.
Quindi eccoci.
Speriamo che ti sia piaciuto il tutorial di oggi sulle politiche di selezione delle azioni e che abbiamo imparato
a conoscere Abusil avido di Epson e i soft Mac e ora sei ancora più preparato per il lato pratico delle cose.
E su quella nota non vedo l'ora di vedere il tuo prossimo passo.
E fino ad allora goditi l'intelligenza artificiale.