Ciao e bentornati al corso sull'intelligenza artificiale.
E oggi parliamo di Mark dei processi decisionali o M. D. Diamo un'occhiata a quello che abbiamo oggi.
Quindi l'ultima volta ci siamo fermati sul concetto di una mappa.
Quindi, poiché abbiamo calcolato i valori
basati sull'equazione di Belman, possiamo ricavare questa mappa per il nostro agente in questo labirinto.
E in pratica quello che significa è ovunque l'ange che un agente inizia diciamo che inizia da laggiù.
Sa esattamente quali passi prendere per arrivare al traguardo, quindi va su bene.
Giusto e fatto.
E quindi la domanda qui è che.
È davvero così semplice.
L'apprendimento di rinforzo è davvero quello che sai per la mancanza di una parola migliore noiosa.
È sì.
Una volta che hai la matematica è tutto quello che devi fare è che hai fatto solo pieno di loro.
Bene, la realtà è che in realtà non è così semplice.
E questa è una buona cosa perché rende questo corso
più interessante per noi e in realtà possiamo risolvere problemi molto più complessi.
Quindi è qui che sta arrivando un marchio di un processo.
Ma prima parleremo di due cose.
Siamo nella ricerca deterministica contro la ricerca non deterministica.
Parliamo quindi del concetto di ricerca deterministica.
Questo è il nostro agente nel labirinto e la
ricerca deterministica significa che se l'agente decide di salire, ciò che accadrà è il 100% di probabilità che salirà.
Questo è esattamente ciò che accadrà.
Non ci sono altre opzioni.
Una volta che dice "vai su" o fai clic sulla freccia su, salirà.
Non ci sono altre opzioni.
D'altra parte, la ricerca non deterministica è quando il nostro agente dice che vuole salire.
Sono in realtà un paio di opzioni.
Per esempio ci potrebbero essere tre opzioni
e daremo un esempio in cui ci sono tre opzioni ma non deve essere
un limite a tre prima che possa essere diverso a seconda che dipenda dal problema
che la casualità potrebbe essere diversa ma nel nostro caso potrebbero essere tre opzioni con l'80% di possibilità di salire.
Ma poi con una probabilità del 10% quando vuole salire, in realtà andrà a sinistra solo perché.
Perché è così che funziona l'ambiente che è il mondo in cui vive.
E con un altro check in una probabilità del 10% che in realtà andrà a destra.
E in questo caso cadrà nel pozzo nero.
Ecco come funziona.
qual è il punto di questo è di
creare un modello più realistico di ciò che potrebbe realmente accadere in un mondo reale in
un tipo di problema reale, perché molto raramente si verificano situazioni come questa quando fai qualcosa e succede esattamente in quel modo.
Questo è un esempio di ricerca sicura non deterministica di un processo stocastico e
E anche se ci pensi in termini di giochi, diciamo che hai un agente che gioca a Pac-Man.
Beh, non è sempre il caso che se sta in piedi nella piazza si alza.
Otterrà sempre lo stesso risultato esatto.
Beh, salirà davvero, ma in un caso potrebbe non essere mangiato da un fantasma in entrambi i casi.
Sarà mangiato da un fantasma.
Quindi, come puoi vedere, c'è una certa
casualità perché dipende da come i fantasmi si muovono e non si muovono sempre allo stesso modo.
Non iniziano sempre nelle stesse posizioni.
Quindi è logico che ci
sia un po 'di casualità in qualcosa che non è sotto il controllo dell'agente e questo
è solo un modo per noi di presentarlo per imparare come possiamo affrontarlo e
come ciò influenza un'equazione di Belman come influenza l'intero processo di apprendimento del rinforzo.
destra o alla temp e andare a sinistra
o se si scende al 10% di probabilità si va a destra oa sinistra o si ' C'è una probabilità del 10
percento di aumentare o diminuire il limite di dove si andrà a finire a volte si potrebbe avere un problema che è esattamente.
Ma allo stesso tempo la casualità non è limitata a se si sale, c'è una probabilità del 10% di andare a
A volte le possibilità potrebbero essere diverse.
A volte la casualità potrebbe ridursi a qualcos'altro che potrebbe essere riassociato come in questo esempio.
I fantasmi di Pacman che mangiano non ti stanno mangiando o potrebbero ridursi a qualcosa di diverso.
Per esempio, come c'è se l'agente sta giocando a Doom e poi c'è qualcosa
come un mostro che gli sparerà in un caso e in altri casi è come
se ci fosse una probabilità se tutti dovessimo spararci e non sparassero.
E così e così qualcosa che è fuori dal controllo degli agenti è qualcosa che non posso prevedere.
Questo è ciò che stiamo modellando qui nella ricerca non deterministica e questo
è il punto in cui abbiamo direttamente affrontato due nuovi concetti, un marchio di processi e
/ o un marchio di processo e un segno distintivo del processo decisionale, quindi diamo un'occhiata a questi.
E sai quanto non mi piace mettere le definizioni e molto testo sul lato.
Ma in questo caso è necessario per noi attraversarlo.
Diamo un'occhiata a un processo stocastico che ha un marchio di proprietà.
Se la distribuzione condizionata della probabilità degli stati futuri del processo è condizionata e
lo stato passato e presente dipende solo dallo stato presente e non dalla sequenza di eventi che lo hanno preceduto.
Un processo con questa proprietà è chiamato un marcatore.
Una definizione molto complessa e un
po 'come se si introducesse un po' non solo si contraddice ma si sente come se
si contraddica, quindi è condizionale per una presenza positiva che dipende dal punto.
Ma allo stesso tempo dipende solo dallo stato attuale.
Quindi non impantanarti.
Scoprirò in termini semplici quindi un marchio di proprietà è quando il tuo futuro afferma.
Quindi non solo la tua scelta ma il tutto.
La tua scelta e l'ambiente che
apprezzeranno solo i risultati di tutte le azioni intraprese in quell'ambiente dipenderanno solo da dove ti trovi ora.
Non dipenderà da come sei arrivato.
E questo è tutto.
Quindi questa è una questione di pubblico e un processo che ha questa proprietà è chiamato processo di mercato.
Quindi, per esempio, se il tuo agente
è qui e se va se decide di salire potrebbe andare.
Nel nostro caso, nel nostro esempio di ricerca non deterministico, potrebbe effettivamente andare a destra e a sinistra.
Tutto ok.
Questo perché
abbiamo quel bastone in questa città all'interno del nostro ambiente che abbiamo quella casualità nel nostro ambiente.
Quindi una di queste cose potrebbe accadere.
Ma la chiave qui è che questo è un punto di svolta perché non ci interessa come sei arrivato qui.
Avrebbe potuto venire dalla cima finendo qui avrebbe potuto venire da sinistra e che
qui si poteva venire dal basso e finire qui.
Avrebbe potuto giocare a fare un giro qui come 100000 volte e poi arrivare qui.
Non importa cosa sia successo prima, solo ciò che conta è in che stato si trova ora.
E così le probabilità di andare a sinistra oa destra
o in alto saranno sempre le stesse se lui è in questo stato ora.
E quindi questo è fondamentalmente solo dicendo che non importa quello che è successo prima che siamo qui ora.
Questo è lo stato in cui ti trovi.
E non dimenticare che lo stato non significa solo dove si trova.
destra o mostri a sinistra o sai che il
fantasma proviene da una parte superiore o inferiore dello stato in cui ti trovi ora .
Lo stato è lo stato di tutto l'agente nell'ambiente, quindi ci sono mostri a
Non importa come ci sei
arrivato, non importa come e come sia venuto fuori che sei lì in quello stato.
Ora quello che accadrà in futuro è determinato solo dallo stato in cui ti trovi ora.
Inoltre, le azioni che porterai loro oltre naturalmente alla casualità che viene sovrapposta a quella.
Quindi questo è un marchio di processo e un processo decisionale del marcatore o un processo decisionale su MVP o marcatore.
Fornire un quadro matematico per la modellizzazione del processo decisionale in situazioni in cui
i risultati sono parzialmente casuali e in parte sotto controllo sul processo decisionale.
È così importante capire che il marchio dei processi del
processo decisionale è diverso e il marchio di un intero concetto di processo è al centro del processo.
Ci sono come un quadro matematico così.
Ma allo stesso tempo pensavo che fosse
importante per noi capire che cos'è un marchio di processo perché penso
che aiuti ancora a capire il marchio del processo decisionale e quindi c'è un segno del processo decisionale.
il controllo come lui
in precedenza e ha il pieno controllo di ciò che sta succedendo, ma ora ha un po 'meno controllo.
Questo è esattamente ciò di cui abbiamo discusso fino ad ora in modo che l'agente viva in questo ambiente dove ha
Può decidere di salire ma in realtà lo sa.
Ok, quindi se salgo c'è un'ape probabile che
salirò su questi tentativi e le possibilità andranno a sinistra e la possibilità andrà a posto.
Quindi non tutto è completamente sotto il suo controllo.
C'è un po 'di casualità in questo ambiente
e questo è esattamente ciò che un processo decisionale e il processo
decisionale di Markov sono il quadro che l'agente userà per capire cosa fare in questo ambiente.
Quindi abbiamo un ambiente con una certa tossicità, un po 'di casualità.
E ora l'agente deve scegliere, ad esempio, di andare in alto a sinistra oa destra.
Deve prendere quella decisione.
Lui non sa cosa fare.
E per fare in
modo che questa decisione applichi un framework, verrà utilizzato un processo decisionale per prendere quella decisione su cosa succederà dove andrà.
processo decisionale, quindi è il framework che l'agente usa nello stesso momento
in cui l'ambiente viene riferito che l'agente sta operando in un ambiente di processo decisionale di mercato.
E così fondamentalmente questo ambiente che pone questo problema si riferisce al processo del
E quindi fondamentalmente qui abbiamo due concetti che abbiamo il
marchio di processo è il modo in cui questo ambiente è progettato che l'AP fa il lavoro.
Quello che succede da dove sei ora non dipende dal passato.
E nello stesso tempo abbiamo il marchio del processo decisionale
è il quadro che l'agente sta per utilizzare per risolvere questo ambiente.
E la buona notizia è che il marchio del processo decisionale o di
quella struttura di cui stiamo parlando è in realtà solo un'aggiunta alla nostra domanda sull'equazione di Belman è l'equazione di Belman, ma solo un po 'più sofisticata.
Quindi diamo un'occhiata a questo.
Questa è la nostra equazione di Belman finora.
È il massimo di tutte le azioni possibili.
Quindi il valore di essere in uno
stato è il massimo di tutte le azioni possibili che puoi prendere da quello stato.
Il massimo è preso
dalla ricompensa che otterresti prendendo quell'azione in quello stato più un fattore di sconto moltiplicato per il valore dello stato successivo che è primo.
Quindi questo è quello che abbiamo avuto finora.
Ora, poiché abbiamo un po 'di
casualità nel nostro intero processo, questa parte cambierà perché non sappiamo in realtà a quale
stato finirà e non sappiamo che cosa sarà il primo sarà se saliremo sarà
su o sarà lasciato sarà giusto quindi dobbiamo posizionare questo con il valore atteso della prossima data.
Quindi qui stiamo andando a sostituire questo, quindi ci sono tre possibili stati in cui possiamo finire.
E quindi sostituiremo questo con un certo valore che lo stato ha un valore di primo livello.
Che ha una visione di primo ad innescare.
E questo stato ha il valore di noi tre Bryne.
Quindi ora moltiplicheremo lo stato in cui intendiamo effettivamente arrivare all'80 percento
perché è così che la probabilità di arrivare a quello stato più la probabilità di arrivare a questo stato
è del 10 percento più le persone che entrano nello stato Quindi questo è solo
il nostro valore atteso, quindi se dalle statistiche se prendiamo il valore atteso di entrare nello stato in cui
entreremo in questi sono un po 'come la media Qual è la media di ciò che otterremo e poi la sostituiremo qui.
Poi otteniamo quest'aggressione e salta molto velocemente solo perché ce n'è una grande, ma se
la guardi attentamente vedrai la stessa cosa di Max qui Max qui.
Allora hai R di S e A R di S e loro hai gamma hai gamma.
E poi finalmente qui hai v.
Quindi sapevi esattamente che era una ricerca deterministica che sapevi in ​​quali stati entrerai.
Ora non sai in quale stato ti trovi da quando hai preso V.
Stai prendendo il valore atteso dello stato in
cui ti trovi o dello stato futuro o semplicemente in termini più semplici stai solo prendendo la media di ciò che stai per ottenere.
Quindi sai come è stato per il
30 più il 3% di possibilità che sarà come il divario di Plus per tre in pratica.
Ma in questo caso non è esattamente la media della media.
È una media ponderata a causa delle probabilità qui.
Quindi qui ne hai la probabilità quando sei in questa
fase per compiere questa azione di entrare in stato di prima serata nel valore di s prime
e in alcuni di attraversare tutti questi primati che potresti ottenere in chi siamo.
Quindi esattamente quello che avevamo tre qui uno due tre.
Aggiungili moltiplicati questi li sommano.
Anch'io.
Uno due tre.
Moltiplicali per le probabilità e aggiungili.
E questa è la tua nuova equazione di Belman.
Complimenti.
Questo è ciò con cui lavoreremo andando avanti.
E questa è la struttura che
viene utilizzata nei processi decisionali, quindi questa è la struttura che risolve questo problema.
Quegli agenti erano
soliti risolvere questo intero problema stocastico di ricerca non deterministica in cui si verificano eventi casuali che non possono controllare.
Quindi è molto più complesso.
Ma come puoi vedere perché ci siamo costruiti lentamente.
Ora sappiamo già di ciò che sappiamo.
C'è preoccupazione per questo.
Sappiamo di questo.
Sappiamo cosa sono.
Quindi tutto ciò
che abbiamo fatto è che abbiamo appena presentato questa parte qui perché ci sono probabilità implicate nell'azione o le conseguenze della vostra azione su non deterministiche sono basate sulle probabilità.
E così ci siamo.
Ecco come funziona un marker del processo decisionale e l'equazione sottostante.
Ancora una volta è qualcosa che assomiglia più a qualcosa di simile ai problemi del mondo
reale, a Sinatra o persino a scenari di gioco perché non tutto è semplice.
C'è una certa casualità di tutti i soggetti coinvolti
e non sempre intraprenderemo un'azione in un certo stato, ma sempre Nawal porterà sempre allo stesso risultato.
E quindi questo è ciò che avremo a che
fare con l'andare avanti e questo renderà le cose molto più interessanti.
Quindi spero che tu sia entusiasta di questo ed entusiasta di vedere cosa succederà dopo.
E nel frattempo ho trovato un documento davvero interessante da darti un'occhiata in questo momento.
È una carta molto applicata.
Quindi questo è davvero molto interessante da leggere.
Si chiama un'indagine sulle applicazioni del
processo dei processi decisionali di Mark ed è stata scritta da White nel 1993.
C'è il link e
Ill vi mostrerò esempi di dove i processi decisionali di Markov sono effettivamente usati per modellare la vera vita Sinatras. Penso di esserne molto entusiasta.
Sono rimasto impressionato da alcuni esempi di raccolta della popolazione, ad esempio.
Quindi diciamo che hai un po 'di pesce e sai qual è la
popolazione di pesci di cui hai bisogno per decidere quanti pesci possiamo pescare quest'anno e cosa.
Quindi questo è il tuo stato attuale.
Questa è l'azione che stai prendendo. Quanti possiamo aver sparato quest'anno?
Quindi quali sono i possibili risultati.
Quanti pesci avremo l'anno prossimo?
Quanti pesci avremo l'anno dopo e l'anno dopo e così via.
E non è deterministico perché non è come se lo prendessi a un'ora
e il 90 percento della popolazione l'anno prossimo che ti farai sapere al 100 percento non non è esattamente sermonizzante.
Ci sono alcuni fattori casuali coinvolti che sono fuori dal nostro
controllo e quindi dobbiamo capire cosa succederà che dobbiamo modellare cosa succederà
che è dove una decisione di mercato elabora l'agricoltura.
C'è un esempio come qualcosa come
la raccolta delle colture quante colture raccogliamo quanti soldi non vendiamo.
sotto il suo controllo.
Un altro che ho considerato finanza e investimenti come una compagnia di assicurazioni deve decidere quanta parte dei suoi
fondi investirà in qualsiasi giorno o anno, o qualche periodo di tempo, e ci sono alcuni fattori che sono
Ad esempio, conosci i
movimenti del mercato, non sa cosa può succedere e quindi deve in qualche modo modellarlo.
Un marchio di processi decisionali utilizzati per questo.
Quindi qui puoi vedere un sacco di esempi.
E questo è il numero di esempi dati che penso per ognuno.
e manutenzione e riparazione sono anche molto interessanti.
E così anche gli esempi sportivi per sport ed epidemie e le ispezioni di reclami dell'assicurazione auto
Dai un'occhiata a quello.
Solo per
darti una comprensione di hey, questo non è tutto roba inventata come tipo The Matrix.
Questo è in realtà
lo scenario del mondo reale quindi ti darò una migliore comprensione e questo è ciò di cui abbiamo parlato nel video promozionale per
i punteggi o la descrizione del corso che ti ispireremo e la tua intuizione di darti idee per come usare l'intelligenza artificiale nella vita reale.
Questa è la tua opportunità.
Guarda questo documento per capire.
OK, quindi avremo a che fare con il processo decisionale in corso.
È davvero bello come sono nella vita reale
e questo potrebbe far scattare alcune idee su come potresti applicare
in futuro per rendere il mondo un posto migliore e saremmo molto felici di questo.
Saremmo felici se potessi usare ciò che apprendi in questo corso per rendere il mondo un posto migliore.
Che fantastico con quello.
Quindi su quella nota spero vi sia piaciuto il tutorial di oggi.
Non vedo l'ora Ci vediamo la prossima volta.
E fino ad allora goditi l'intelligenza artificiale.