Ciao e bentornati al corso sull'intelligenza artificiale.
Nel tutorial di oggi ci divertiremo un po '.
Avremo un aspetto e un'intelligenza artificiale che attraverserà quel labirinto di cui abbiamo parlato
così a lungo e useremo kill learning per orientarci e trovare la via d'uscita e vedremo
cosa succede al q i valori stavano per accadere alla politica e così via.
Quindi diamo un'occhiata.
Useremo dei materiali gentilmente forniti dalla Berkeley University.
Quindi se vai a un non bifolco solo l'E R K E L E perché non vai su quel link di nuovo.
Vedrai questo sito Web e ascolterai ciò che vedremo è la necessità di andare
a progetti PacMan.
Penso che i progetti di Pacman e qui se si scorre verso il basso e li guardi nel primo apprendimento, questo è ciò con cui
stiamo lavorando.
Quindi qui puoi scaricare l'archivio zip.
Quindi se vuoi.
Quindi non devi farlo non stiamo andando insieme a una soluzione insieme in questa prova solo
facendoti sapere da dove viene tutto questo perché siamo molto simili.
Lo apprezziamo davvero.
UC Berkeley ha reso disponibili questi materiali.
Ma se vuoi sperimentarlo da solo.
Basta ricordare che questo non fa parte.
Non farà parte dei nostri corsi come parte del corso di Berkeley.
Non sono sicuro di come funzioni a scopo illustrativo, ma se vuoi sperimentare questo
puoi trovare qui l'archivio zip e anche tutte le vecchie istruzioni.
volevo mostrarti è che qui abbiamo le informazioni sulle licenze, quindi questo è ciò che intendo.
E andremo subito a Python e la prima cosa che
Siamo molto fortunati nel dire che siamo liberi di utilizzare o estendere questi progetti a scopo
didattico, a condizione di sapere distribuire soluzioni pubblicitarie che non faremo.
Conservi questo avviso che abbiamo e fornisci un chiaro arcivescovo a UC Berkeley, incluso un link al quale
abbiamo anche noi.
Quindi, ancora una volta se ti piacerebbe saperne di più lì il link.
Puoi dare un'occhiata
E grazie mille a tutte queste persone che hanno lavorato a questo progetto, ecco il mondo della griglia.
Lavoreremo se c'è una soluzione lì.
Dovresti farlo per farlo funzionare, dovresti risolverlo da solo o eventualmente trovare una soluzione.
Forse alcune delle tue persone, qualcuno che conosci potrebbe aiutarti in questo.
Se di nuovo quello che vuoi non devi, perché lo vedremo su questo schermo
proprio adesso.
Quindi, dopo aver creato tutti questi file, potremmo avviarlo qui.
Quindi ci sono alcuni parametri che sono coinvolti in questo mondo e non vi mostreremo semplicemente
come appare se lo lanciamo.
Quindi proviamo a lanciarlo in modalità manuale.
Quindi se vado meno uno di questi panorami è manuale in modo da poter comandare il tuo agente di controllo.
Quindi qui puoi vedere tutte le griglie, così posso salire, così puoi vedere che sta iniziando e
iniziato negli stati in cui mi trovavo.
E poi hai visto che ho premuto su azione Norf e la prima volta sono finito a zero una
volta salito.
Ma la seconda volta che ho preso l'azione Norf e ho finito lo stesso triste non si è mosso.
Quindi è successo qualcosa, sai che la casualità che ho avuto è andata a destra oa sinistra.
E per impostazione predefinita i parametri sono impostati.
Puoi vedere qui per impostazione predefinita che sono impostati esattamente su ciò che abbiamo discusso su quanto spesso si traduca in
una direzione non intenzionale.
Il 20 percento delle volte il 10 percento a sinistra un po 'a destra.
Quindi se salgo e dico che sono salito, vado a destra.
Sono andato proprio ora non è successo.
Bene, giusto e ho finito.
fare di nuovo clic per uscire da questo output finale, così da lì basta cliccare di nuovo e hai finito.
Ma in questa implementazione devi
Questo è uno stato terminale in modo che possiamo eseguire il nostro manuale.
Puoi vedere che se vado a destra, a destra, a sinistra, su.
Quindi, ecco cosa abbiamo visto in precedenza che l'agente non sarebbe andato bene.
Qual è il punto di salire se c'è la possibilità di andare nella fossa.
Quindi vediamo cosa farebbe l'agente.
Andrebbe a sinistra e andrà ad ovest qui andrebbe ad ovest.
E vedi che ho cliccato a sinistra ma è salito e fare clic qui a destra.
E finisco nella fase finale dell'uscita e vedi la ricompensa di Dio uguale a uno.
Quindi è quello che sembra manualmente.
Ora leghiamo un'IA a questa e lasciala passare.
Quindi facciamo una H qui e aggiungiamo un po 'di Brandner.
Quindi fammi vedere cosa ho digitato qui, quindi spero che tu possa vedere dal mondo della griglia perché allora qui meno
i nostri mezzi.
Questa è la ricompensa per la vita.
Quindi ne ho due, quindi probabilmente dovrei rimuoverlo.
Quindi meno k è il numero di iterazioni.
Sono troppe iterazioni.
Facciamo meno Facciamo come 10 iterazioni dovrebbero essere sufficienti.
Meno a è l'agente.
Che tipo di agente non vuole fare onore e immagine e qualche valore o una Q.
Q Quindi voglio una Q.
L'agente di apprendimento di Q che fa questo meno s è la sua velocità, quindi è una forza troppo grande
che usa solo la massima velocità per ora meno R è una penalità vivente quindi di default è zero.
Quindi ricorda di ricominciare dall'inizio 0 penance viventi quindi chiamiamolo anche 0 0 e possiamo
semplicemente rimuovere questo parametro e D è ciò che è d sconto.
Quindi ho solo un po 'di fattore quindi teniamolo a zero e quindi molto simile
a quello che stiamo iniziando in questa sezione del corso, quindi eseguiamo quel modo OK troppo velocemente di nuovo tutto in realtà così
OK, così puoi vedere come sta esplorando.
E così finora ha colpito negativamente tre volte e puoi vedere come i valori q vengono aggiornati
in questi quadrati.
Quindi questi sono valori chiave.
Sono una specie di zero.
Puoi vedere ora il valore Q.
Quindi ha imparato che questo è un attrezzo un po 'diverso perché una volta arrivato
alla fase finale devi uscirne.
Devi solo fare clic su un altro pulsante per uscire.
E quindi è molto vicino a uno, ma non esattamente uno.
valore lentamente tipo di mani cristallizzanti è un punto in cui un ex collega sta arrivando da qualche parte ma sono
solo così lontani che sono tipo zero perché non ha abbastanza informazioni per capisci cosa sta succedendo
Ma allo stesso tempo puoi vedere che qui sai che il
OK, vediamo come vediamo cosa succede qui.
Esplorando esplorando esplorare cosa sta per accadere.
Bene stava per essere un po '.
E otteniamo qui una certa casualità.
Quindi c'è quella buona un paio di volte.
Ora ha solo 10 iterazioni.
Quindi deve imparare velocemente Ok, ho bisogno che tu sia lì.
Vediamo cosa sta succedendo.
Dai.
Esci da quel labirinto già.
E sì, 10 episodi così mediocri risulta.
Questo non è veramente interessato a questo.
Quindi qui vediamo.
Non ho mai visto abbastanza di un clic.
Destra.
Eccoci.
Quindi puoi vedere che questa è la politica che ha escogitato.
Anche con soli 10 episodi ha già un polso.
Vado su una bomba e qui andrò quaggiù andrò quaggiù andrò
nel muro e poi rimbalzerò qui.
E 'carino
OK.
Quindi ora aumentiamo la velocità.
Qual era il parametro s lì.
E questo è come una doppia illegalità.
Quella è quadruplicare la velocità e aumentiamo il numero di iterazioni quindi diciamo 20 per razionare questa volta e
vediamo se ora può fare un po 'di più.
Quindi puoi vedere che sta andando un po 'più veloce.
E sta imparando che sta imparando che in realtà non sai da questo stato non ci sono molte buone azioni
Orio queste azioni che la destra e la scala non sono così buone.
Sicuramente questo non era decisamente buono.
Ha ancora bisogno di imparare che così anche da qui va bene.
Puoi vedere che questa azione è abbastanza buona.
Tutto ok.
Cosa ha ottenuto.
OK.
Così interessante politica qui decidiamo di salire.
Solo poche informazioni.
Quindi facciamolo davvero.
E aumentiamo la velocità a 100 come piace.
Super veloce e il numero di iterazioni gli darà 100 iterazioni questa volta è corsa
quella scena come una matta veloce e puoi vederlo perché ci sono così tante altre iterazioni Ha
più informazioni più opportunità di sperimentare e davvero costruire questa matrice o matrice questi valori per ogni
singolo stato.
Ora sa che puoi vedere quel punto zero ottantanove.
Che cosa abbiamo detto nel nostro punto zero 86.
Un'altra cosa da ricordare è il valore di ogni dato stato.
Ricorda che la formula che avevamo era il massimo dei valori del cubo.
Ricorda quella cosa che abbiamo trovato con la formula di scelta rapida.
Quindi cos'è che cosa con il valore in questo stato è la V di questo.
Sarebbe 0. 18.
Perché questo è il più alto dei quattro qui il valore di questo stato 0. 7 vuoi il valore di questo
giorno.
C'è il punto sessantuno e così via.
Quindi è qualcosa da ricordare.
Ricordo che quando mi sono alzato penso che avremmo gradito il punto zero 86 o qualcosa così praecox.
E così se andiamo l'anno prossimo sparirò o scomparirò di nuovo e questo può farlo tornare indietro.
OK.
Lentamente lentamente riempiendo alcuni spazi.
Io vedo.
Ed è anche abbastanza casuale perché non solo l'ambiente ha casualità, ma anche il modo in
cui esplora che la star in realtà non sa che la politica sta esplorando a caso.
Continua a sparire.
Non capisco perché.
Ad ogni modo vediamo cosa succede se aumenti il ​​numero qui e qui dovrebbe
praticamente prendere lo stesso tempo se la velocità non ha un limite.
OK, quindi è come se avesse più opportunità di esplorare le cose.
OK vediamo come va tutto.
E puoi vedere che i valori stanno convergendo, vanno su e giù a seconda che tu lo sappia
perché c'è un po 'di casualità e potrebbe finire come nella buca anche se lui va così.
Ma allo stesso tempo stanno lentamente iniziando a convergere in una sorta di valori e valori di cue.
OK probabilmente un migliaio è un po 'troppo in termini di tempo.
Non sembra che anche la velocità aumenti proporzionalmente.
Quindi potrebbe tagliare quella parte.
Intendo come ridurre la velocità.
Sai che mentre questo è molto basso non devi guardare fino alla fine di questo tutorial,
voglio solo sperimentare un bel po 'per darti alcuni esempi di ciò che stiamo lavorando, ma ottieni
il punto che passa attraverso tutto questo
Ha un po 'di casualità come Rambler è costruito nel suo comportamento.
Quindi, anche se ha una politica simile, continuerà a essere esplorata, quindi non sarà come se, una volta che avrà una
politica di base, non continui a seguire la sua politica.
Sperimenterà ancora con altre variazioni di tanto in tanto al fine di migliorare la sua politica, forse non
ha trovato la politica migliore già subito.
Forse può migliorare la politica.
Ed è per questo che anche dopo tante iterazioni puoi ancora vedere alcuni effetti casuali che a volte salta agli stati
casuali non solo a causa della casualità nell'ambiente ma anche perché c'è un livello come un
parametro che puoi controllare e che potresti impostare per il tuo agente che dice che la maggior parte
delle volte l'80% delle volte fa ciò che la tua politica ti dice di fare, ma il
20% delle volte hai solo qualche divertente esperimento e vedi cosa succede e usa le
informazioni che raccogli per aggiornare la tua politica.
OK, questo sta prendendo troppo tempo.
Proviamoci di nuovo.
Sì, è così che l'agente impara in diversi stati.
Magari ne corriamo uno solo per curiosità.
Quindi c'è qualcos'altro che possiamo cambiare al riguardo.
Iterazioni.
OK.
OK diamo un'occhiata.
Sì, potremmo cambiare la discussione, ad esempio.
Quindi in questo caso potremmo dire che K meno cento meno un Q meno due meno OK migliaia.
Quindi ricompensa.
Vogliamo tenerlo, forse continuiamo a 0. mantieni la ricompensa nel mio punto zero nel deserto ogni volta.
04 Ma diciamo contro,
E poi qui stiamo per dire che lo sconto non è zero virgola nove ma è come zero punto punto
cinque.
Quindi viene scontato parecchio durante il gioco.
Quindi in realtà ora sarà incentivato ad essere più vicino al traguardo piuttosto che un ulteriore percorso in cui gli stati vicini
alla fine otterranno un valore elevato in modo che tu possa vedere che i valori diminuiscono davvero, non
è così verde come prima.
Quindi qui puoi vedere che questa è la politica ora.
Quindi è come se fosse così simile a quello che abbiamo visto prima, ma probabilmente solo le
differenze da qui saltano direttamente qui.
Quindi questo è uno.
E OK, ne eseguiamo uno di più.
Questo è molto divertente.
Facciamo solo un altro k meno k 100 a q scartare.
Mantenerlo come era originale Quindi eseguiamo questa configurazione base di vaniglia ok ok ok.
Vedremo se ci mostrerà la politica.
E sì, abbiamo la politica.
Sì.
Buon finale
Quindi qui abbiamo la politica.
Sai che questo è familiare.
Ricorda quella volta in cui abbiamo visto che l'intelligenza artificiale ha superato in astuzia la bomba umana nel muro per andare
lì e sbattere contro il muro per andare così ad aumentare il problema.
Quindi eccoci.
Questo è un esempio di inattività dell'intelligenza artificiale molto semplice e semplice guadagno di uccisioni, quindi nessun apprendimento profondo
in questa fase.
Ma allo stesso tempo è già abbastanza intelligente e spero vi sia piaciuto il tutorial di oggi.
E ancora una volta grazie a UC Berkeley e spero che ti sia piaciuto il tutorial di oggi e non vedo l'ora
di vederli.
Fino ad allora goditi l'intelligenza artificiale.