Hallo en welkom terug bij de cursus over kunstmatige intelligentie.
En vandaag hebben we het over Markov-beslissingsprocessen of MDP.
Laten we eens kijken wat we vandaag hebben.
Dus de vorige keer stopten we bij het concept van een kaart.
Dus omdat we de waarden hebben berekend op basis van de Bellman-vergelijking, kunnen we deze kaart afleiden voor onze
agent van dit doolhof.
En wat dat in feite betekent, is waar de change agent begint, laten we zeggen dat hij daar begint, hij weet
precies welke stappen hij moet nemen om bij de finish te komen.
Dus het gaat gewoon omhoog, omhoog, goed, goed en klaar.
En dus is de vraag hier, is het echt zo eenvoudig?
Is versterkingsleren echt zo, weet je, bij gebrek aan een beter woord, saai?
Het is het is ja.
Zodra je de kaart hebt, is dat het.
Het enige wat je hoeft te doen is dat je klaar bent.
Je volgt ze gewoon op.
Nou, de realiteit is dat het eigenlijk niet zo eenvoudig is.
En dat is maar goed ook, want het maakt deze cursus interessanter voor ons en we kunnen eigenlijk
veel complexere problemen oplossen.
Dit is dus waar een teken van een proces komt.
Maar eerst gaan we het over twee dingen hebben.
We gaan het hebben over deterministisch zoeken versus niet-deterministisch zoeken.
Laten we het dus hebben over het concept van deterministisch zoeken.
Dit is onze agent in het doolhof.
En deterministisch zoeken betekent dat als de agent besluit omhoog te gaan, wat er met 100 procent waarschijnlijkheid
zal gebeuren, het zal stijgen.
Dat is precies wat er zal gebeuren.
Er zijn geen andere opties als het eenmaal zegt omhoog gaan of CLECs de pijl omhoog, het omhoog gaat.
Er zijn geen andere opties.
Nu, aan de andere kant, is niet-deterministisch zoeken wanneer onze agent zegt dat het omhoog wil gaan.
Het zijn eigenlijk een paar opties.
Er kunnen bijvoorbeeld drie opties zijn.
En we gaan kijken naar een voorbeeld waar er drie opties zijn, maar het hoeft niet beperkt te zijn tot drie,
het kunnen er vier zijn.
Het kan verschillen, afhankelijk van het probleem.
De willekeur kan anders zijn.
Maar in ons geval zijn er drie opties met een kans van 80 procent dat hij omhoog gaat.
Maar met een kans van 10 procent dat hij omhoog wil, gaat hij eigenlijk naar links, gewoon
omdat de omgeving zo werkt.
Dat is de wereld waarin hij leeft.
En met nog eens 10 procent kans, gaat hij echt goed.
En in dit geval valt hij in de vuurplaats.
Zo werkt het dus allemaal.
Dat is een voorbeeld van een niet-deterministische zoektocht, een stochastisch proces.
En wat het punt hiervan is, is om een realistischer model te maken van wat er werkelijk zou kunnen gebeuren in een echte wereld, in een probleem
van het echte wereldtype, want zeer zelden krijg je situaties als deze als je iets doet en
het gebeurt precies op die manier.
En zelfs als je erover nadenkt in termen van games die zeggen dat je een agent hebt die Pacman speelt, nou,
het is niet altijd zo dat als hij op het plein staat, hij omhoog gaat, hij krijgt elke keer
exact hetzelfde resultaat tijd zal hij.
Hij gaat inderdaad omhoog.
Maar het kan zijn dat hij in één geval niet wordt opgegeten door een geest.
In een ander geval wordt hij opgegeten door een geest.
Dus zoals je kunt zien, zit er wat willekeur in omdat het afhangt van hoe de geesten bewegen en ze
bewegen niet altijd op dezelfde manier.
Ze beginnen niet altijd op dezelfde locaties.
Dus het is heel logisch, het is heel eerlijk dat er enige willekeur is.
Er is iets dat niet onder de controle van de agent valt.
En dat is gewoon een manier voor ons om dat weer te geven, zodat we kunnen leren hoe we
ermee kunnen omgaan en hoe dat de belman-vergelijking beïnvloedt, hoe het het hele leerproces van versterking beïnvloedt.
Maar tegelijkertijd is de willekeur natuurlijk niet beperkt tot als je omhoog gaat, er een kans van 10 procent is dat je naar rechts
gaat of een kans probeert om naar links te gaan.
Of als je naar beneden gaat, is er een kans van 10 procent dat je naar rechts of links gaat, of als je naar rechts gaat, is er een
kans van 10 procent om omhoog of omlaag te gaan.
Het is niet beperkt tot waar je gaat eindigen.
Soms heb je een probleem.
Dat is precies.
Soms zijn de kansen anders.
Soms kan de willekeur op iets anders neerkomen.
Het kan worden samengevat zoals dat voorbeeld van Pakman, van de geesten die je opeten, eten je niet op.
Of het kan op iets anders neerkomen.
Bijvoorbeeld, alsof de agent doem speelt en er is zoiets als een monster dat hem in
het ene geval gaat neerschieten, is er een kans waarmee het wordt neergeschoten en
waarmee het niet zal gebeuren neergeschoten worden enzovoort.
Dus iets dat buiten de controle ligt, iets dat ik niet kan voorspellen.
Dat is wat we hier modelleren in niet-deterministisch zoeken.
En dit is waar we direct twee nieuwe concepten van Markov-processen en of een kenmerk van proces
en een Mark Markov-beslissingsproces hebben benaderd.
Laten we deze dus eens bekijken.
En je weet hoe graag ik definities en veel tekst ernaast zet, maar in
dit geval moeten we ze doornemen.
Dus laten we eens kijken.
Een stochastisch proces heeft een kenmerk van eigendom.
Als de voorwaardelijke kansverdeling van de toekomstige status van het proces, afhankelijk van zowel de huidige
als de huidige status, alleen afhangt van de huidige status, niet van de reeks gebeurtenissen die eraan voorafgingen.
Een proces van deze eigenschap wordt een proces genoemd.
Zeer complexe definitie, en het is een beetje alsof je een klein beetje geeft, niet dat spreekt zichzelf tegen, maar het
voelt alsof het zichzelf tegenspreekt.
Dus hier is dit voorwaardelijk, want zowel de vroegere als de huidige staat hangt alleen af van, maar
tegelijkertijd hangt het alleen af van de huidige staat.
Laat je daar dus niet te veel in vastpinnen.
Ik zal het in eenvoudige bewoordingen opsplitsen.
Dus een kenmerk van eigendom is wanneer uw toekomst aangeeft.
Dus niet alleen uw keuze, maar het geheel, uw keuze en het milieu.
Het zal alleen de resultaten van de actie die je onderneemt leuk vinden, in die omgeving zal alleen afhangen van waar
je nu bent.
Het hangt er niet vanaf hoe je daar bent gekomen.
En dat is het.
Dat is dus een kwestie van eigendom en een proces dat deze eigenschap heeft, wordt een marktproces genoemd.
Dus om het in een voorbeeld te zetten.
Dus als uw agent hier is en als hij gaat, als hij besluit naar boven te gaan, gaat hij misschien.
In ons geval, in ons niet-deterministische zoekvoorbeeld, zou hij eigenlijk links en rechts of rechts kunnen
gaan.
Dat komt omdat we die stickermaatschappij in onze omgeving hebben.
We hebben die willekeur in onze omgeving.
Dus elk van deze dingen kan gebeuren.
Maar de sleutel hier is dat dit een teken van proces is, omdat het ons niet kan schelen hoe hij hier is gekomen.
Hij had van de top kunnen komen en hier terecht kunnen komen.
Je had van links kunnen komen en dat je hier van de onderkant had kunnen komen.
En hierboven had hij hier wel 100000 keer kunnen rondlopen en dan hier zijn.
Het maakt niet uit wat er eerder is gebeurd.
Het enige wat er toe doet, is in welke staat hij zich nu bevindt?
Dus de kansen om naar links of rechts of omhoog te gaan, zullen altijd hetzelfde zijn als hij nu in deze
staat is.
En dat is dus eigenlijk gewoon zeggen, het maakt niet uit wat er eerder is gebeurd, we zijn hier nu.
Dit is de staat waarin u zich bevindt.
En vergeet niet dat die staat niet alleen betekent waar hij staat.
De toestand is de toestand van het geheel van het geheel van de agent in de omgeving.
Dus is dat zoals monsters aan de rechterkant of de monsters aan de linkerkant of, weet je, het is de geest die van
de top komt van welke staat je nu ook bent.
Het maakt niet uit hoe je daar bent gekomen.
Het maakt niet uit hoe het allemaal is gekomen dat je daar in die staat bent.
Wat er in de toekomst zal gebeuren, wordt alleen bepaald door de staat waarin je je nu bevindt, plus de acties
die je dan zult ondernemen, plus natuurlijk de willekeur die daar bovenop komt.
Dus dat is een kenmerk van een proces en een marktbeslissingsproces of een lege stoel of van beslissingsprocessen
die een wiskundig kader bieden voor modelmodellering, besluitvorming in situaties waarin de uitkomsten deels
willekeurig zijn en deels onder controle van een besluitvormer.
Het is zo belangrijk om te begrijpen dat de marker van besluitvormingsprocesprocessen anders is.
Een ander heel concept om een proces te markeren, om een proces te markeren.
Ze zijn een soort wiskundig raamwerk.
Maar tegelijkertijd dacht ik dat het belangrijk voor ons was om te begrijpen wat een kenmerk van een proces is, omdat
ik denk dat het nog steeds helpt bij het begrijpen van een kenmerk en een kenmerk van een beslissingsproces.
Dus een teken van het besluitvormingsproces is er.
En dit is precies wat we tot nu toe hebben besproken.
Zodat de agent in deze omgeving leeft waar hij controle heeft, zoals voorheen de volledige controle had over wat
er gaande was, maar nu heeft hij iets minder controle.
Het kan besluiten omhoog te gaan, maar het weet het eigenlijk wel.
Oké, dus als ik omhoog ga, is er 80 procent kans dat ik omhoog ga.
Er is 10 procent kans op links, tien procent kans dat ik rechts ga.
Dus niet alles is volledig onder controle.
Er is wat willekeur in deze omgeving, en dat is precies wat een marktbeslissingsproces en
een kenmerk van een beslissingsproces is, het raamwerk dat de agent zal gebruiken om te begrijpen wat te doen in
deze omgeving.
Dus we hebben een omgeving met wat toxiciteit, wat willekeur.
En nu moet de agent kiezen, bijvoorbeeld omhoog, omlaag, links of rechts, moet die beslissing
nemen.
Het weet niet wat te doen.
En om de beslissing te nemen gaat gelden.
Een raamwerk gaat een Markov-beslissingsproces gebruiken om die beslissing te nemen, wat er gaat gebeuren,
waar het naartoe gaat.
En dus eigenlijk wordt deze omgeving die dit probleem vormt, het kenmerk van het besluitvormingsproces genoemd.
Het is dus het raamwerk dat de agent gebruikt.
Tegelijkertijd wordt verwezen naar de omgeving, dat de agent opereert in een omgeving met een
duidelijk beslissingsproces.
En dus hebben we hier eigenlijk twee concepten.
We hebben het Markov-proces, de manier waarop deze omgeving is ontworpen, dat het het werk doet.
Wat er gebeurt vanaf waar je nu bent, hangt niet af van het verleden.
En tegelijkertijd hebben we het Markov-beslissingsproces, het raamwerk dat de agent gaat gebruiken
om deze omgeving op te lossen.
En het goede nieuws is dat het Markov-beslissingsproces of dat raamwerk waar we het
over hebben eigenlijk slechts een toevoeging is aan onze Bellmon-vergelijking, de Bellman-vergelijking, maar dan net iets geavanceerder.
Dus laten we daar eens naar kijken.
Dit is onze Belmond-vergelijking.
Tot nu toe is dit het maximum van alle mogelijke acties.
Dus de waarde van een wezen in een staat is het maximum van alle mogelijke acties die je vanuit die staat kunt
ondernemen.
Het maximum wordt genomen van de beloning die je zou krijgen door die actie in die staat uit te voeren.
Plus, een kortingsfactor maal de waarde van de volgende staat, die als priemgetal is.
Dus dat is wat we tot nu toe hebben gehad.
En omdat we nu wat willekeur in ons hele proces hebben, zal dit deel veranderen omdat we eigenlijk niet
weten welke toestand zal eindigen en we weten niet wat als priemgetal zal zijn.
Zal het zijn als we omhoog gaan, zal het zijn of zal het links zijn of zal het goed zijn?
Dus.
We moeten dit eigenlijk plaatsen bij de verwachte waarde van de volgende staat, dus hier gaan we dit vervangen.
Er zijn dus drie mogelijke toestanden waarin we terecht kunnen komen.
En dus gaan we dat vervangen door een waarde die een waarde heeft van één priemgetal.
Dat is het heeft een weergave van subprime tot subprime.
En deze toestand heeft een waarde van drie priemgetallen.
Dus nu gaan we de staat waar we naartoe willen gaan vermenigvuldigen met 80 procent, want dat is onze kans om in
die staat te komen, plus de kans om in deze staat te komen, 10 procent plus om
in die staat te komen.
Dit is dus slechts onze verwachte waarde.
Dus als we uit de statistieken halen, als we de verwachte waarde nemen om in de staat te komen, dat zal erin komen, een beetje zoals
het gemiddelde wat is wat is het gemiddelde van wat zal krijgen en dan vervangen we dat
hier.
Dan krijgen we deze vergelijking.
Nu springt het heel snel omdat deze vergelijking groter is.
Maar als je er goed naar kijkt, zie je precies hetzelfde.
Dus we hebben Max hier.
Mooi zo.
Maximaal hier.
En dan heb je R van S en A, je hebt hier R van Essany.
Je hebt Gammer, je hebt Gammer.
En dan heb je hier eindelijk de.
Dus je wist precies dat het een deterministische zoektocht was.
Je wist in welke staat je terecht zou komen.
Nu weet je niet in welke staat je terechtkomt.
Dus in plaats van Veha te nemen, neem je de verwachte waarde van de toestand waarin je terechtkomt of van
de toekomstige toestand, of gewoon in eenvoudige bewoordingen, je neemt gewoon het gemiddelde van waar je in terechtkomt.
Dus weet je, als het een in een in een vier was, dan was er een kans van drieëndertig procent dat het zo zou
zijn.
Plus bedrijven delen door drie in principe.
Maar in dit geval is het dat niet, het is niet precies hetzelfde gemiddelde.
Het is een gewogen gemiddelde vanwege je kansen hier.
Dus hier heb je de kans dat wanneer je in dit stadium bent, je deze actie onderneemt om als prime time in
staat te komen, de waarde van een priemgetal en wat van al deze priemgetallen waar je hier mogelijk
in zou kunnen komen.
Dus precies wat we hier drie hadden.
Een twee drie.
Tel ze op, vermenigvuldig met kansen, tel ze op.
Hier ook.
Een twee drie.
Vermenigvuldig dat met kansen en tel ze op.
En dat is je nieuwe Bellmon-vergelijking.
Gefeliciteerd.
Dit is waar we in de toekomst mee gaan werken, en dat is het raamwerk dat wordt
gebruikt in marktbeslissingsprocessen.
Dus dat is het raamwerk dat dit oplost, dat agenten gebruikten om dit hele stochastische, niet-deterministische opslagprobleem op te
lossen waarbij er willekeurige gebeurtenissen plaatsvinden die ze niet kunnen beheersen.
Het is dus veel complexer.
Maar zoals je kunt zien, omdat we er langzaam naartoe zijn gebouwd, weten we dit nu al.
We lezen hierover.
Maak je hier zorgen over.
We weten hiervan.
Dus alles wat we deden is dat we dit deel hier hebben geïntroduceerd omdat er waarschijnlijkheden zijn bij de
actie of de gevolgen van jouw actie.
En op niet-deterministisch zijn ze gebaseerd op bepaalde kansen.
En daar gaan we dan.
Zo werkt een marktbeslissingsproces.
En de onderliggende vergelijking erachter, nogmaals, het is iets dat meer lijkt op
echte wereldproblemen, echte wereldscenario's of zelfs spelscenario's, omdat niet alles eenvoudig
is.
Er is een zekere willekeur van alle betrokkenen en dat zal niet altijd zo zijn.
Het ondernemen van een actie in een bepaalde staat zal altijd niet, zal niet, altijd tot hetzelfde resultaat leiden.
En dit is waar we in de toekomst mee te maken gaan krijgen, en dat zal de zaken
veel interessanter maken.
Dus hopelijk ben je daar enthousiast over en opgewonden om te zien wat er gaat komen.
En in de tussentijd heb ik een heel cool papier gevonden waar je deze keer naar kunt kijken.
Het is een zeer toegepast papier.
Dus deze is eigenlijk heel interessant om door te lezen.
Het heet een overzicht van toepassingen van Markov-beslissingsprocessen en het is in 1993
geschreven door White.
Er is een link en ik zal je voorbeelden laten zien van waar Markov-beslissingsprocessen daadwerkelijk worden gebruikt om scenario's uit het echte leven
te modelleren.
Ik denk dat ik hier erg enthousiast over was.
Ik was bijvoorbeeld onder de indruk van enkele voorbeelden van populatie oogsten.
Dus laten we zeggen dat je wat vissen hebt en je weet wat de populatie vissen is.
U moet beslissen hoeveel vissen we dit jaar mogen uitvissen en wat.
Dus dat is je huidige staat.
Dat is de actie die je onderneemt.
Hoeveel kunnen we er dit jaar hebben?
Dus wat zijn de mogelijke uitkomsten daarvan?
Hoeveel vissen zullen we volgend jaar hebben?
Hoeveel vissen zullen we het jaar daarna en het jaar erna hebben, enzovoort?
En het is niet deterministisch, want het is niet zo dat als je het volgende jaar 90 procent van
de bevolking uitschakelt, je weer 100 procent hebt.
Het is niet bepaald deterministisch.
Er zijn bepaalde willekeurige factoren bij betrokken die buiten onze controle liggen.
En daarom moeten we begrijpen wat er gaat gebeuren.
We moeten modelleren wat er gaat gebeuren.
Dat is waar een marktbeslissingsproces wordt gebruikt.
Landbouw, er is een voorbeeld van hetzelfde als het oogsten van gewassen.
Hoeveel gewassen oogsten we?
Hoeveel hoeveel oogsten we niet?
Een andere, waarbij ik naar financiën en investeringen keek zoals een verzekeringsmaatschappij nodig heeft om te beslissen hoeveel van haar geld het
in een bepaald bedrag zal investeren.
Ik denk dat de dag of het jaar of een bepaalde tijdsperiode, en er zijn bepaalde factoren die hij in de hand heeft.
Bijvoorbeeld, je weet wel, de marktbewegingen, het weet niet wat er kan gebeuren.
Dus het moet dat op de een of andere manier echt modelleren.
En daarvoor wordt een marktbesluitvormingsproces gebruikt.
Dus hier ga je, zie heel veel voorbeelden.
En dit is het aantal voorbeelden dat wordt gegeven, denk ik, voor elk en zelfs voor sport.
Twee voorbeelden voor sport en epidemieën en autoverzekeringsclaims, inspecties en onderhoud en reparatie.
Het is ook heel interessant om daar eens naar te kijken.
Om je een idee te geven van, hé, dit is niet alleen maar verzonnen dingen, hypothetisch, het
soort Matrix.
Dit is eigenlijk een real-world scenario.
Zo krijg je een beter begrip.
En dit is waar we het over hadden in de promotievideo voor de SCHAUS.
Dat of de beschrijving, natuurlijk, dat we jou en je intuïtie gaan inspireren om je ideeën te geven voor het
gebruik van A. L. in het echte leven.
Dit is uw kans.
Kijk naar dit papier om het te begrijpen.
Oké, dus we gaan in de toekomst te maken krijgen met de besluitvormingsprocessen van Markov.
Dat is echt cool.
Hoe zien ze er in het echt uit?
En dit zou mogelijk tot ideeën voor u kunnen leiden, hoe u A. L. in de toekomst om van de wereld een
betere plek te maken.
En daar zouden we super blij mee zijn.
We zouden super blij zijn als je wat je in deze cursus leert, zou kunnen gebruiken om de wereld een betere plek
te maken, hoe fantastisch zou dat zijn.
Dus wat dat betreft, ik hoop dat je de tutorial van vandaag leuk vond.
Ik kijk ernaar uit om je de volgende keer te zien.
En tot die tijd, geniet van I.