Hallo en welkom terug bij de cursus over kunstmatige intelligentie.
Voorheen hadden we een behoorlijk inspannende en lange tutorial over Markov-beslissingsprocessen en hopelijk konden jullie daar
goed mee overweg.
En hopelijk kon ik dingen op een laagdrempelige en boeiende manier uitleggen.
En vandaag gaan we het hebben over beleid versus plannen.
Het wordt een snelle en leuke tutorial, want nu gaan we een nieuwe wereld binnen.
We betreden een wereld van stochastisch zoeken, niet-deterministisch zoeken wanneer het niet alleen gaat om het doorkruisen van het doolhof, maar ook
om rekening te houden met willekeurige factoren die je zomaar in je hoofd kunnen raken als
je door dit doolhof gaat.
En daar moet je op voorbereid zijn.
Dat is de wereld waarin onze agent leeft.
En het is leuker, maar ook gevaarlijker.
Het is meer, het is minder voorspelbaar.
Dus hoe gaat onze agent zich gedragen?
Laten we eens kijken.
Er is ons Markov-besluitvormingsproces, dat opnieuw onze favoriete Bellmon-vergelijking is.
Echter, de meer geavanceerde versie van het wetsvoorstel, de vergelijking waarmee we werkten.
Dus vanaf nu noemen we dit gewoon de Belmond-vergelijking.
En hier hebben we ons maximum voor alle acties met de waarde van een staat, elke staat, evenals het maximum voor alle
acties die een agent in die staat kan uitvoeren.
En het maximum is genomen van de beloning die de agent krijgt door actie uit te voeren in toestand s plus een kortingsfactor vermenigvuldigd
met de verwachte waarde van de nieuwe staat waarin hij zich zal bevinden en onverwachte waarden die hier worden genomen omdat ze
zijn, hij weet het niet precies waar ze in terecht zullen komen.
Het zijn enkele willekeurige effecten die in de omgeving aanwezig zijn en die de staat kunnen veranderen en niet dat je misschien niet in de gewenste
staat terechtkomt, maar in een andere staat zou kunnen eindigen.
Daarom nemen we deze zomer de verwachte waarde hier.
Dus laten we dit eens bekijken als ons voorbeeld of in ons voorbeeld van het doolhof.
Dit is dus wat we eerder hadden.
Dus eerder hebben we te maken met deterministisch zoeken.
Dat wisten we dus.
Oke.
Dus als ik hier was, moet ik hier zeker heen.
Als ik hier ben, moet ik hier zeker heen.
Als ik hier ben, ben ik hier.
Dus het was allemaal vrij eenvoudig.
Als je deze kaart eenmaal hebt en je herinnert het je, we noemden het een plan.
Als je eenmaal het plan hebt, is het vrij eenvoudig en gemakkelijk te doen.
Er zijn gebieden.
Dus dat is het plan met pijlen.
En vanaf hier is het heel eenvoudig waar dit is.
Dit zijn de regels die de agent zou nemen, waar je ook begint op deze blauwe lijn, dat is precies de manier
waarop je zou gaan.
Nu hebben we echter geen plan meer.
We kunnen geen plan hebben omdat, weet je, wat we ook plannen misschien niet gebeurt.
Het is niet onder onze controle.
Ons plan is dat wanneer u precies weet wat u vervolgens moet doen, u de stappen kent.
Je hebt dus een uitgangspunt.
Je hebt een doel en weet je, elke stap, zodat je ze kunt plannen.
Je houdt van.
Ik zal deze doen.
Ik doe dit zoals in het leven, als een plan.
Maar tegelijkertijd is er nu zoveel willekeur aan de hand.
Je kunt geen plan hebben, want wat als je hier komt en dan naar rechts klikt en je daadwerkelijk
neerhaalt?
Dus dat maakt geen deel uit van je plan.
Dus daarom heet het geen plan meer.
En hier gaan we de waarden berekenen of we gaan gewoon kijken
naar de berekende waarden voor hetzelfde probleem.
Maar gebaseerd op of gegeven dat we deze willekeur van binnen hebben.
Dit zijn dus de nieuwe waarden.
En waarom zijn deze waarden dan anders?
Dus laten we het gewoon vergelijken met wat we eerder hadden.
Dit is wat we eerder hadden.
Dit zijn de nieuwe waarden.
Dus nogmaals, we hadden eerder een nulpunt nul honderd een drie drie zesenzestig.
En dit is wat we nu hebben, zesentachtig of minder dan één zeven vier zeven één zes drie.
En trouwens, dit zijn niet bepaald de juiste waarden uit mijn hoofd.
Maar als we een agent zouden leiden, zouden sommige waarden vergelijkbaar zijn met dit.
En de waarden kunnen veranderen omdat we afhankelijk van de overheid kiezen voor nul komma negen of een andere
waarde.
Maar toch, ter wille van het argument, dit zijn de waarden waar we nu mee te maken hebben.
En ze zijn bij benadering.
Ze brengen het hele begrip op de juiste manier over.
Laten we ze dus eens bekijken.
Waarom zijn ze veranderd?
Nou, waarom is hier laten we beginnen met deze hier.
De waarde was één.
Waarom is het allemaal hetzelfde in nulpunt zesentachtig?
Waarom is het minder dan één?
Kunnen we gewoon vanaf hier gaan?
Hier?
Nou, dat kunnen we eigenlijk niet, want vanaf hier gaan we naar rechts.
Dat is onze bedoeling, als we naar rechts gaan, zouden we eigenlijk met een kans van tien procent hier
eindigen.
Dus we zouden de muur raken en zouden terug zijn in deze staat.
En onthoud, we hebben een Gamla, dus de waarde zou worden verdisconteerd en of met of met tien procent kans hier
in deze staat terecht te komen.
Dus het is niet honderd procent kans dat ik hier zou komen.
Deze waarde kan dus geen één meer zijn.
Het is iets minder en de grootte is nul komma zesentachtig.
Dus dat is een voorbeeld van waarom het zo is.
En je zou de exacte waarde kunnen krijgen als je de Bellman-vergelijking zou berekenen, de volledige waardevergelijking die we nu
hebben.
Het enige probleem is dat er wat recursie zal zijn, omdat je de waarde hiervoor moet
weten en dan moet je de waarde hiervoor weten.
Het is best ingewikkeld.
En daarom doen we de berekeningen hier niet handmatig.
Daarom de.
Maar.
Ik kan ze doen terwijl het daar doorgaat, dit alles.
Het is alsof niets te ingewikkeld is voor de leeftijd om deze dingen te berekenen.
Dus dat is onze waarde hier.
Maar dit is een andere.
Dus hier was het nul komma negen, alleen vanwege de verdisconteringsfactor.
Onthoud, van hier naar hier en nu weer van hier, we kunnen niet zomaar van hier naar hier springen, simpelweg
omdat zelfs als we springen als we zo gaan, we misschien weer hier eindigen.
Hier terug, goed.
Deze 20 procent kans dat het nog steeds op het plein blijft omdat het een muur raakt en nog een keer enzovoort.
Dus de waarde om hier te zijn is nul komma eenenzeventig tegen dit.
En de verdisconteringsfactor, weet je, dit ziet er misschien vreemd uit dat dit zelfs met de verdisconteringsfactor is, deze
is te hoog.
Misschien is de verdisconteringsfactor in dit voorbeeld niet nul komma negen, misschien nul komma negenennegentig of iets
dergelijks.
Dus maak je daar geen zorgen over.
Gewoon een beetje focussen op dat.
De waarden zijn inderdaad veranderd, dat de waarden nu minder zijn, vooral omdat het geen 100 procent kans is om de staat
te krijgen die je wilt krijgen.
En wat je hier interessant zult vinden, is dat hier nul komma negen was en het is
eigenlijk heel erg gedaald.
Het is flink gedaald.
Waarom is dat?
Nou, want als je van hier naar boven gaat, wat onze bedoeling is, is er een kans van 10 procent om
de muur te raken, maar er is een kans van 10 procent om daadwerkelijk in de vuurplaats te eindigen en min één te verliezen als
beloning.
En eigenlijk betekent dat voor de agent dat dat het einde van het spel is.
En dus is dit een zeer slechte staat om in te verkeren.
Dus onthoud ineens dat we nul komma negen hier als een punt hadden.
Ze waren dus gelijkwaardig.
Maakt niet uit hier of hier.
Ze zijn vrijwel gelijk in termen van waarde om in elk van deze staten te zijn.
Maar nu ineens, bam, is deze toestand bijna twee keer zo goed als deze, gewoon omdat hier, als je rechtstreeks naar
waar je gaat, precies waar je heen wilt gaan, weet je, de gevolgen van de
willekeur zich voordoet, blijft u gewoon hier.
Hier zijn een van de gevolgen.
Een kans van 10 procent is dat je in de pit terechtkomt.
Dus zoals je kunt zien, is dit niet langer zo'n goede staat meer, simpelweg vanwege iets die fluctuatie die zou
kunnen gebeuren.
Zoals je kunt zien, is deze ook erg slecht, want hij is net zo erg als deze in termen van, weet je, het is maar 10 procent
kans om in de put te eindigen en 10 procent kans om in de muur te eindigen.
Maar tegelijkertijd is er een verdisconteringsfactor.
Dus allereerst de kortingsfactor en ook daarna moet je hier zijn.
En zelfs als je hier hypothetisch wint, kun je weer in de pits belanden.
Dus die kans zou ook voor de rechter worden gesleept want onthoud deze waarden afgeleid van deze
waarde op deze waarde is afgeleid van deze waarde.
Rechts.
En daarom is het klein.
Maar in werkelijkheid, eigenlijk, dat wat ik daar zei verkeerd was, deze waarde is niet afgeleid van deze waarde.
Dus als je nu even kijkt, zul je merken dat deze waarde VEO hier eigenlijk groter is dan deze.
U zult merken dat het voor de agent beter deze kant op kan dan deze kant op.
En het is logisch, toch?
Want op deze manier verliest het niet.
Er is geen kans om de pit te krijgen.
Ja, het is wat langer en daarom heeft de verdisconteringsfactor een groter effect.
Maar tegelijkertijd, simpelweg omdat er een kans is om hier in de put te komen, als het rechtdoor gaat,
is er een kans op een springkuil.
Dus het zal eerder zijn tijd nemen en het zal gewoon rond gaan, want op die manier is er een veel kleinere kans
dat het het krijgt.
Maar er is nog zo ver van hier.
Het gaat daar vanaf hier, het gaat daar.
Het zou mogelijk in de pit kunnen komen omdat het daar zou kunnen eindigen en dan in een beetje zou kunnen eindigen.
Maar toch, het is een kleinere kans.
Dus het zou gewoon zo rond gaan.
Zo erg interessant om te zien hoe ze allemaal veranderd zijn.
Onthoud dat je eerder van hier was, je zou zo gaan.
Vanaf hier zou je zo gaan.
En vanaf hier ga je zo.
En nu kun je ineens essentialist of de pijlen zien en zien hoe het er nu en later uitziet.
Je ziet nog iets willekeurigs, toch.
Dus ja, dit is waar.
Maar kijk eens wat hier is gebeurd.
Kijk naar deze.
Ik kijk naar deze.
Had je dat verwacht?
Dat is zeker zoiets als toen ik deze voor het eerst zag, was ik erg onder de indruk.
Ik was niet Ik was geen verrassing en ik had dit helemaal niet verwacht.
En dit is dit is een voorbeeld van, weet je, wanneer ik een mens te slim af kan zijn, is iets wat je niet kunt,
zelfs jij kunt niet eens voorspellen.
Maar de A L. onthoud door middel van versterkend
leren dat voorbeeld van de honden die soms beter kunnen lopen dan normale echte honden of voorgeprogrammeerde robothonden of die kunnen voetballen, simpelweg omdat
ze met deze ideeën komen die zelfs wij niet kunnen zien.
En dat is dus een mooi voorbeeld.
Dus dat had je waarschijnlijk ook niet verwacht, dat de agent, in plaats van omhoog te gaan, zegt, waarom zou ik het
leuk vinden als ik omhoog ga?
Dan is er een kans van 10 procent dat ik in de put spring.
Maar wat bereikt het door de muur in te gaan?
Nou, 80 procent van de tijd zal terugvallen en in de staat blijven.
Maar 10 procent van de tijd zal het hier gaan en 10 procent van de tijd zullen ze hier gaan.
Dus ineens kun je zien dat, nu het eigenlijk in deze nieuwe benadering is om in de muur te springen, er een kans
van nul procent is dat het vanaf deze plek in de vuurplaats gaat.
Dus het is alsof hij echt niet in de vuurplaats wil.
Dus hij trekt een paar keer bonbons de muur in en dan gaat hij voorbij.
Rechts links op een gegeven moment omdat die willekeur gaat gebeuren.
En dus leerde het dat door te experimenteren, het leerde dat, oké, als ik vooruit ga, de resultaten niet zo goed zijn als
wanneer ik naar de muur ga.
En als je erover nadenkt, het is zoals deze robot, als je erover nadenkt, dit is een vuurplaats is
een heel dit is dit is alsof dit vierkant een heel kleine richel is.
En dan is dit als een berg, als een klif.
En deze robot omhelst gewoon de klif en probeert net als te wachten tot hij hem naar
rechts of links duwt, want als mens doe je waarschijnlijk hetzelfde.
Zo zou je niet staan.
Op die manier zou je de klif omhelzen.
Rechts.
Of zoiets.
En hopelijk hoef je daar nooit in te belanden, in zo'n situatie terecht te komen.
Maar zoals visueel, gewoon visueel, als je erover nadenkt, hetzelfde hier.
En dat is dus best heftig.
Rechts.
Zodat ze met dit idee kwamen en hetzelfde hier, dat is een soort van naar links gaan en het risico lopen ruzie te krijgen.
Ik ga gewoon proberen tegen de muur te stuiteren zoals, je weet wel, een muur omhelzen, op een gegeven moment proberen tegen
de muur te springen.
Ik weet dat, weet je, er is alleen een kans van 10 procent.
Elke keer als ik dat doe, ga ik hierheen en zal er iets gebeuren en ik zal hier eindigen en ik zal veilig zijn
en dan zal ik gewoon zo doorgaan.
Dus zeer, zeer interessante benadering die ik hier nam.
En je kunt zien dat de wortels zo zijn.
Dus vanaf hier kan het naar rechts gaan en dan naar rechts naar de uitgang of hier of zo naar links.
En hier zal het gebeuren.
Op een gegeven moment gaat het naar links en dan gaat het weer zo.
Dit is belangrijk om te begrijpen.
Het is geen beleid.
Dus zelfs als het vanaf hier springt, zal het misschien hierheen gaan.
En vanaf hier zou het eigenlijk, in plaats van rechtdoor te gaan, eigenlijk terug naar rechts kunnen
gaan.
En dan vanaf hier en ik ga naar de linkerkant.
Rechts.
Er zijn dus veel verschillende opties voor jullie die dit gebied misschien niet precies volgen en de andere kant op
gaan.
Dit zijn gewoon de gewenste routes die het voor zichzelf heeft ontworpen.
Maar de manier waarop het zal werken, kan in werkelijkheid anders zijn.
Het hangt af van de echte wereld.
Dus daar gaan we.
Dat is de wereld van kunstmatige intelligentie.
Dat is wat een beleid versus een plan is.
En hopelijk word je langzaam.
Je raakt opgewonden door wat ik kan doen, vooral gezien wat we hier zagen.
Dit zijn een aantal zeer virtuoze beslissingen waar ze mee komen.
En zoals je kunt zien, wanneer je je aanmeldt, zelfs uit dit kleine voorbeeld, kun je zien dat
wanneer je in de echte wereld speelt, je misschien met ideeën en beslissingen komt waar zelfs mensen soms mee kunnen komen.
En dat is precies hetzelfde als wat er gebeurde in die games waar het Google
Alpha-doel speelde tegen Lisa Dohle, de kampioen van het doel in Korea in de wereldkampioen van het doel.
En ze speelden in Korea terug in zestienentwintig, ik denk maart 2016.
Het kwam met een aantal bewegingen die mensen in duizend jaar nog nooit hadden gespeeld of mensen niet gewend waren om te
spelen.
En dit is precies daar een voorbeeld van.
Dus nogmaals, ik hoop dat je enthousiast en enthousiast wordt over de SCORSONE, over wat we
gaan creëren.
En ik kijk uit naar je volgende keer.
Tot die tijd, geniet van AI.