Ciao e bentornati al corso sull'intelligenza artificiale.
Precedentemente avevamo un'esercitazione piuttosto lunga e faticosa sui processi decisionali di Margrove e, si spera, tu ti
sia comportato bene.
E spero di poter spiegare le cose in modo accessibile e coinvolgente.
E oggi parleremo di politiche contro piani.
perché ora stiamo entrando in un nuovo mondo, stiamo entrando in un mondo di ricerca non
deterministica con una ricerca stocastica, quando non stai attraversando il labirinto ma tenendo conto di fattori casuali che potrebbero colpire
sei in testa quando stai attraversando questo labirinto e devi essere preparato per questo.
Ci sarà un tutorial rapido e divertente
Questo è il mondo.
Il nostro agente sta vivendo ed è più divertente ma è anche più pericoloso, più è meno prevedibile.
Quindi, come si comporterà il nostro agente.
Diamo un'occhiata.
C'è il nostro marchio nel quadro del processo decisionale che è ancora una volta il nostro favore per l'equazione di Belman.
Tuttavia, la versione più avanzata dell'equazione di Belman con cui stiamo lavorando.
Quindi d'ora in poi chiameremo questa equazione di Beldon.
E qui abbiamo la nostra azione massima e Crucell, quindi il valore di uno stato qualsiasi è il massimo tra tutte
le azioni che un agente potrebbe eseguire in tale stato.
E la massima è stata presa dalla ricompensa che l'agente otterrà eseguendo l'azione A come Plus un fattore
di sconto moltiplicato per il valore atteso del nuovo stato in cui si troverà.
E mi aspetterei che quelli presi qui perché non sanno esattamente cosa finirà il sadle.
Sono alcuni effetti casuali presenti nell'ambiente che potrebbero alterare lo stato e che potrebbero non finire
nello stato desiderato.
Potrebbe finire in uno stato diverso.
Ecco perché stiamo prendendo il valore previsto qui da qualche parte qui.
Diamo un'occhiata a questo come esempio nostro o nel nostro esempio del labirinto.
Quindi questo è ciò che avevamo precedentemente, quindi in precedenza abbiamo a che fare con la ricerca deterministica dal vivo.
Quindi lo sapevamo.
Va bene, quindi se sono qui ho sicuramente bisogno di andare qui se sono qui.
Devo assolutamente andare qui se sono qui, devo assolutamente andare qui se sono qui sono qui.
Quindi era tutto abbastanza semplice.
Una volta che hai questa mappa e ricorda di chiamarla, l'abbiamo definita un piano.
Una volta che hai il piano è abbastanza semplice da fare.
Ci sono.
Quindi questo è il piano con le frecce.
E da qui è stato molto semplice siamo questi sono questi i percorsi che prenderanno ogni volta che
inizierai su questa linea blu.
Questo è esattamente il modo in cui andresti.
Comunque ora non abbiamo più un piano.
ciò che pianifichiamo potrebbe non accadere non è sotto controllo o piano è quando sai esattamente cosa devi fare dopo.
Non possiamo avere un piano perché sai che tutto
Conosci i passi.
Quindi hai un punto di partenza che hai un obiettivo e conosci ogni singolo passo in modo da poterli pianificare come
se lo stessi facendo io lo farò questo lo farò come nella vita come un piano .
Ma allo stesso tempo ci sono così tante cose aleatorie.
Puoi avere un piano perché cosa succede se arrivi qui e poi fai clic a destra e in realtà ti
porta giù.
Quindi non fa parte del tuo piano.
Ecco perché si chiama la pianificazione di più.
E qui andremo a calcolare i valori in realtà andranno a guardare solo
i valori calcolati per questo stesso problema.
Ma sulla base di ciò dato che abbiamo questa casualità dentro.
Quindi questi sono i nuovi valori.
E quindi perché questi valori sono diversi, quindi confrontiamoci con ciò che avevamo precedentemente.
Questo è ciò che avevamo precedentemente.
Questi sei tu.
Quindi, ancora una volta avevamo precedentemente perché ha vinto 3. 9 percento.
Era davvero 366.
E questo è quello che ora abbiamo un a meno di una volta in vigore e 1 6 3.
E dal modo in cui questi non sono esattamente gli attuali rally fuori dalla mia testa, ma se dovessimo eseguire
un agente alcuni valori sarebbero qualcosa di simile a questo e i valori potrebbero cambiare
perché dipendono dal gioco d'azzardo che sceglierebbe 3. 9 o altro valore, ma comunque per il fine
dell'argomento, questi sono i valori con cui abbiamo a che fare ora e sono approssimativi. Essi trasmettono l'intera nozione nel modo
corretto, quindi diamo un'occhiata a loro.
Perché sono cambiati.
Bene perché è qui con questo qui il valore era uno.
Perché è tutto a un tratto 0. 26 Perché è meno di uno.
Basta andare da qui qui.
Beh, in realtà abbiamo chiamato perché da qui se andassimo bene quale è la nostra intenzione se andassimo
bene potremmo avere una probabilità del 10% di finire qui.
Quindi avremmo colpito il muro e saremmo tornati in questo stato.
Gamla Quindi il valore sarebbe scontato e o saremo fuori o fuori a 10 e il caso finirebbe qui in questo stato.
E ricorda che abbiamo una
Quindi non è il 100% di probabilità che potrei arrivare qui, quindi il disvalore non può più essere uno è
qualcosa di meno ed è 0. 26.
Quindi questo è un esempio del perché è così.
E potresti ottenere il valore esatto se calcoli l'equazione di Belman per intero ma la mia domanda che
abbiamo ora.
perché è necessario conoscere il valore per questo e quindi è necessario conoscere il valore per
questo che è abbastanza complesso ed è per questo che non stiamo facendo i calcoli manualmente qui.
L'unico problema è che ci sarà qualche ricorsione
Questo è il motivo per cui posso farcela mentre attraversa tutto questo è come se non fosse niente di troppo complesso
per a.
Non puoi suonare queste cose.
Quindi questo è il nostro valore qui.
Ma di questo è diverso.
Quindi qui basta essere 0. di sconto, da qui a qui di nuovo qui da
qui i college saltano da qui a qui semplicemente perché anche se saltassimo se andassimo così potremmo finire qui di nuovo qui.
9 solo a causa del fattore
Giusto questa probabilità del 20 percento che rimarrà nella piazza perché colpiremo un muro.
E ancora e così via.
Quindi il valore di essere qui è zero virgola settantuno.
Di nuovo questo e il fattore di sconto.
Sai che questo potrebbe sembrarti strano che anche con lo sconto nel fattore questo è troppo alto.
Forse il fattore di sconto in questo esempio non è 0. 9 forse è sette virgola novantanove o
qualcosa che non ti preoccupare.
Solo un po 'come concentrarsi su quello.
I valori hanno effettivamente cambiato che i valori ora sono meno.
Soprattutto perché non è una probabilità del cento per cento arrivare allo stato che vuoi ottenere e
quello che troverai.
Un interessante è qui che qui solo per essere 0. 9 in realtà è caduto molto è diminuito sostanzialmente.
Perché.
una probabilità del 10 percento di colpire un muro ma c'è una possibilità del 10 percento
di finire nel firepit e perdere meno uno per premiare e fondamentalmente questo significa per l'agente che è quella fine Del gioco.
Bene, perché se vai da qui su quale è la nostra intenzione c'è
E quindi questo è un pessimo stato in cui stare.
Quindi all'improvviso ricordo che avevamo zero punti a nove anni di distanza e quindi erano equivalenti.
Non importa che tu ascolti qui, sono praticamente uguali in termini di valore dell'essere in ciascuno di questi stati.
Ma ora improvvisamente bam questa data è quasi il doppio rispetto a questo semplicemente perché qui se ci
vai dritto vai esattamente dove vuoi andare.
Sai che le conseguenze della casualità si verificano è che tu stai qui.
Qui una delle conseguenze è una probabilità del 10% di finire nella fossa.
Quindi, come puoi vedere, questo non è più uno stato così buono semplicemente a causa di una fluttuazione
che potrebbe accadere.
Come puoi vedere, anche questo è molto brutto perché è brutto come questo in quanto sai che c'è solo il 10% di
possibilità di finire in buca e il 10% di possibilità di finire nel muro.
Ma allo stesso tempo c'è un fattore di sconto Quindi prima di tutto il fattore di sconto e
anche dopo questo dovresti andare qui.
E anche se ipoteticamente sei andato qui potresti finire di nuovo nella buca.
ricorda che questi valori derivano da questo valore e questo valore deriva da questo valore.
Quindi anche questa possibilità verrà presa in considerazione perché
Destra.
E quindi è piccolo ma in realtà in realtà quello che ho detto non c'era.
Questo valore non è derivato dalla Fed.
Quindi se guardi ora, noterai che questo valore qui sopra è in realtà più grande di
questo.
Noterai che per l'agente è meglio andare in questo modo che in questo modo e ha senso.
Perché in questo modo non lo perde non c'è possibilità di entrare nella fossa.
Sì è un po 'più lungo e quindi il fattore di sconto ha un effetto maggiore.
Ma allo stesso tempo semplicemente perché c'è una possibilità di entrare nella buca qui se va
dritto ci sarà la possibilità di saltare.
Quindi ci vorrà un pareggio per prendere il suo tempo e basta andare in giro perché in questo modo c'è una possibilità molto
minore di ottenere Ma c'è ancora.
Quindi da qui va lì da qui va lì.
Potrebbe potenzialmente finire nella fossa perché potrebbe finire lì e questo potrebbe finire nel conto.
Ma ciononostante è una possibilità minore quindi andrà avanti così.
Quindi è molto interessante vedere come cambiano tutti, ricorda di averti visto prima da qui.
Da qui andresti così e da qui andiamo così.
E ora tutto ad un tratto puoi vedere il suo cambiamento.
Facciamo rotolare le frecce e vediamo come appare ora e voilà.
Vedi anche una cosa più casuale.
Quindi sì, questo è vero.
Ma guarda cosa è successo qui.
Guarda questo.
Te lo aspettavi?
Questo è qualcosa che mi piace decisamente quando ho visto questa prima volta che sono rimasto molto colpito.
Non ero super non ero sorpreso e non me lo aspettavo affatto.
E questo è un esempio di come sai quando posso superare in astuzia un umano.
Sembra che qualcosa che hai colto anche tu potessi prevedere, ma l'I attraverso l'apprendimento delle regole ricorda che
l'esempio di cani a volte può funzionare meglio della normale vita reale.
sono cani robot preprogrammati possono giocare a calcio semplicemente perché escogitano queste idee che nemmeno noi possiamo vedere.
I cani
E come grande esempio probabilmente non ti aspettavi che anche gli asiatici
invece di salire fossero come me.
Come se salissi, c'è il 10% di possibilità di saltare nella fossa.
Ma cosa ottiene entrando in guerra.
Bene, l'80% delle volte si incontrerà e rimarrà nello stato.
Ma il 10 percento delle volte andrà qui e il 10 percento delle volte andrò qui.
Quindi all'improvviso puoi vedere che ora è in realtà in questo nuovo approccio di saltare nel muro.
C'è una probabilità pari allo zero per cento che andrà nel fuoco ma da questo punto così.
Ed è come se davvero non volesse andare nel pozzo del fuoco così drogato nel muro un
paio di volte e poi andrà a destra o a sinistra ad un certo punto perché quella casualità sta per accadere.
E così ha appreso che attraverso la sperimentazione ha imparato che, se procedo, i risultati non sono buoni
come quando vado al muro.
E se ci pensi, è così.
Questo robot se ci pensi questo è un firepit è molto questo è che questo è come una piazza è come
una sporgenza molto piccola e quindi questa è come una montagna come una scogliera.
E questo robot sta semplicemente abbracciando la scogliera e proprio come cercare di aspettare fino a quando spinge a destra o a
sinistra perché, come un umano, probabilmente fai lo stesso, non staresti in piedi di fronte in quel
modo o staresti abbracciando la scogliera a destra.
O qualcosa di simile.
E spero che tu sappia che dobbiamo finire per non finire mai in situazioni del genere.
Ma come visivamente solo visivamente se pensi a qualcosa qui.
E quindi è abbastanza intenso.
che faccio che andrò qui e qualcosa succederà e finirò qui e sarò al sicuro e poi mi limiterò continua così.
In modo che l'intelligenza artificiale abbia avuto questa idea e lo stesso qui è come se andasse
a sinistra e Riskin combatterà, ma cercherò semplicemente di lanciare le palle come sai saltare un muro e provare a
saltare nel muro e un certo punto so che sai che c'è una probabilità
è una probabilità del 10% ogni volta
Quindi l'approccio molto molto interessante che hanno preso qui e puoi vedere le rotte sono così da qui potrebbe andare a destra
e poi andrà a destra all'uscita o qui o vai a sinistra in quel modo.
E qui a un certo punto andrai a sinistra e andrai di nuovo in quel modo.
Questo è importante.
Non sono una politica quindi anche quando salta da qui andrà qui.
Forse E poi da qui potrebbe effettivamente piovere dritto.
Potrebbe effettivamente tornare indietro a destra e poi da qui e mi consentirò di ottenere la cosa giusta.
Quindi ci sono molte opzioni diverse per questo ragazzi che potrebbero non seguire esattamente questo ironmonger andare
dall'altra parte.
Questo è solo il percorso desiderato che è stato progettato per sé.
Ma il modo in cui funzionerà in realtà potrebbe essere diverso.
Dipende dal mondo reale.
Quindi eccoci.
Questo è il mondo dell'intelligenza artificiale.
Questo è ciò che una politica rispetto a un piano è e, si spera, ti stai lentamente eccitando per ciò
che l'intelligenza artificiale può fare, specialmente considerando ciò che abbiamo visto qui.
Questi sono alcuni tipi di decisioni molto virtuosi che le IA hanno in mente.
E come puoi vedere quando giochi a IA, anche da questo piccolo esempio puoi vedere
che anche quando giochi in un mondo reale, forse troverai idee e decisioni che anche a volte gli umani possono
inventare.
E questo è esattamente come quello che è successo in quei giochi in cui l'obiettivo di Google
Alpha stava giocando contro l'idolo campione di gol di Lisa in Corea nel campione del mondo di go.
E stavano suonando in Corea nel bakla nel 2016, credo che sia marzo 2016.
È venuto fuori con alcune mosse che gli umani non avevano mai giocato in 3000 anni o gli umani non erano abituati a giocare.
E questo è esattamente un esempio di ciò.
Quindi, ancora una volta, spero che ti stia eccitando e pompando sul discorso e su cosa possiamo integrare.
E lo cerco.
Arrivederci alla prossima.
Fino ad allora divertiti.
IO.