Hallo en welkom terug bij de cursus over kunstmatige intelligentie, ik hoop dat je enthousiast bent
over de tutorial van vandaag, want we zetten onze allereerste stap in de wereld van AI en vandaag hebben we het
over versterkend leren.
Het is een heel belangrijk verhaal omdat het de basis vormt voor al het andere dat in deze cursus gaat
gebeuren.
Dus laten we hier beginnen.
We hebben een klein doolhof, en dit doolhof is onze representatie van een omgeving.
En daar gaan we in deze cursus mee aan de slag.
We krijgen te maken met bepaalde omgevingen waarin onze kunstmatige intelligentie
gaat presteren, acties gaat ondernemen.
Het zal proberen deze omgevingen te verslaan, en ze zal proberen te winnen in deze omgevingen.
En hier hebben we een agent.
De agent is onze kunstmatige intelligentie.
Dat is de persoon of dat is de geest die door deze omgevingen zal navigeren en zal leren van de feedback
die hun geest hem zal geven om bepaalde acties uit te voeren.
De manier waarop het werkt, is dat de agent bepaalde acties uitvoert in deze omgeving en als gevolg daarvan zal
de toestand waarin hij zich bevindt veranderen.
Dus het kan verder of dichterbij of meer naar links zijn, meer om te schrijven.
Het kan bepaalde andere parameters hebben die de status beschrijven.
En die parameters gaan veranderen.
De staat gaat veranderen vanwege de actie die wordt ondernomen en het zal ook beloningen krijgen op basis van de actie.
Dus elke keer dat het een actie onderneemt, verandert de staat en krijgt het nu een beloning.
Maar soms kan het gebeuren dat het de staat niet verandert, dat de actie de staat niet verandert, of dat er
geen beloning is voor het ondernemen van die actie in die bepaalde staat.
Het was.
Maar desalniettemin zullen de agenten blijven doen, wat inhoudt dat ze acties
ondernemen, de staat veranderen, beloningen krijgen, actie veranderen, acties ondernemen, de staat veranderen en beloningen krijgen.
En door dat proces te doen, leer je over de omgeving die de omgeving
gaat verkennen, begrijpen welke acties leiden tot goede beloningen en gunstige toestanden, en welke acties leiden tot
slechte beloningen en ongunstige toestanden.
En dit is een heel simplistische weergave van een heel mondiaal probleem.
Dus als je erover nadenkt, hoeven omgevingen eigenlijk niet alleen maar masers te zijn.
Het gaat niet alleen om uit een doolhof komen of een schat vinden.
De omgeving van de vijand kan vrijwel alles in het leven zijn.
Dus stel je voor dat je 's ochtends wakker wordt en een omelet kookt.
Dus om die omelet te maken, moet je bepaalde stappen doorlopen.
Je moet het zout halen, de eieren pakken, de braadpan pakken, het vuur aanzetten enzovoort.
En het klinkt als een routine, alledaags iets, maar het is routine geworden omdat je het zo vaak hebt
gedaan.
Maar in werkelijkheid is het een omgeving waarin je bepaalde acties uitvoert.
U neemt aan dat u het vuur op u aansteekt, de koekenpan op het vuur zet.
Je doet alle eieren in de braadpan en je doet wat zout op de eieren en je draait
ze om, enzovoort.
Dus zoals je kunt zien, zijn er bepaalde acties, acties die in bepaalde staten worden ondernomen en die acties leiden
tot bepaalde andere staten en soms tot beloning.
Dus als je bijvoorbeeld het vuur aansteekt en je wacht, wacht, wacht, wacht, wacht, onderneem je een actie
van wachten, wachten, wachten, te lang wachten.
En dan doe je de eieren in de koekenpan.
De beloningen zullen erg negatief zijn, ze gaan allemaal branden.
Aan de andere kant, als je alle op alle juiste acties in de juiste tijden doet.
Het is dus ook erg belangrijk om te begrijpen dat acties op de juiste momenten moeten worden ondernomen.
Dus bijvoorbeeld het zout in de braadpan doen voordat je de eieren erin doet, is misschien niet het beste
idee.
Misschien wil je die actie ondernemen door zout in de braadpan te doen nadat de eieren erin zitten.
Dus in een andere staat.
Het is dus belangrijk om dat te onthouden.
En op hetzelfde moment.
Dus als je alle juiste acties in de juiste volgorde in de juiste toestanden uitvoert, kan je uiteindelijke beloning zijn
dat je een omelet krijgt, die je kunt eten.
En dat is dus een heel basale activiteit in je leven.
Maar als je erover nadenkt, is het eigenlijk een omgeving en ben jij de agent die door deze omgeving gaat en
taken uitvoert.
Je hoeft niet echt iets te leren, want je weet het al vrij goed.
Maar tegelijkertijd zou je kunnen leren, misschien zou je kunnen leren hoe je een betere omelet kunt
maken, of vooral als het je eerste omelet is die je maakt, je
gaat het waarschijnlijk verknoeien, maar je zult leer daarvan omdat je zult begrijpen welke acties leiden tot staat en beloningen en al het andere in
het leven.
Bijvoorbeeld zelfs handelen op de beurs en kopen en verkopen en bepaalde feedback krijgen van
de markt in de zin van rendement, positief of negatief rendement.
Dat is ook een omgeving waarin jij deelneemt aan die omgeving niet autorijden is ook een
omgeving waar je aan het stuur kunt draaien, gas kunt geven, remmen enzovoort, en je
krijgt feedback van de omgeving.
En, weet je, een van die feedbacks is dat een politieagent je een snelheidsboete geeft als je op
die snelweg boven de acceptabele of toegestane snelheidslimiet gaat.
En daarom leer je van daaruit dat, oké, dat is niet iets dat moet worden gedaan, omdat
het tot een negatieve beloning leidt.
Dus beloningen hoeven niet helemaal aan het einde van het proces te zijn.
Dat kan de hele reis zijn, het hele proces.
Dus dat zijn een paar voorbeelden.
En in termen van I, is de eenvoudigste manier om te denken aan versterkend leren, als het trainen van een hond.
Als je een hond traint, geef je hem bepaalde commando's.
En als het die bevelen gehoorzaamt, dan geef je het een.
Om het te geven is als een koekje of zoiets, als het die bevelen niet gehoorzaamt, vertel je het dat het een
stoute hond is of geef je het gewoon geen traktatie.
En door dat proces leert het wat bepaalde commando's of wat het moet doen, welke actie het moet ondernemen
in bepaalde toestanden.
En de toestanden zijn de commando's die je het geeft.
En op basis daarvan krijgt het een aantal bepaalde beloningen.
In de wereld van AA is het natuurlijk niet zo ingewikkeld.
Je hoeft de AA-traktaties niet te geven.
Je hoeft niet elke keer een zak koekjes bij je te hebben als je er maar een plus of een min voor geeft.
Het is dus een enorm voordeel dat we in de wereld van AA deze ogen zelf hebben gemaakt.
Dus de beloningen die we ze geven, als je denkt, oh, dit is echt cool, de beloningen die ze geven,
ze bestaan niet echt.
Ze zijn gewoon een plus of een min één of een één of een nul of iets dergelijks.
Dus het bestaat allemaal niet, allemaal denkbeeldige dingen.
Maar tegelijkertijd leidt het tot grote middelen.
We kunnen deze verbazingwekkende dingen creëren, deze verbazingwekkende kunstmatige intelligentie heeft door deze verbazingwekkende kunstmatige intelligentie, door gewoon
beloningen te bieden die niet echt bestaan plus en min één kost ons niets.
Maar tegelijkertijd lijken de resultaten in ieder geval erg op de echte wereld.
En je weet wel, dat voorbeeld van honden.
Maar hier zijn de beloningen digitaal en alleen cijfers.
En met dat in gedachten, kunnen we het hebben over een beetje over robothonden.
Ik hou van dit voorbeeld.
Dit is dus gewoon een willekeurige foto.
Het is niet per se die exacte robothond, weet je, die wordt getraind door middel van versterkend leren.
Sommige robothonden, vooral de oudere.
Je zou daar een algoritme hebben.
En dit is eigenlijk een goed voorbeeld van het verschil tussen voorgeprogrammeerde agenten en versterkingslerende
agenten.
Je zou dus een robothond kunnen hebben die voorgeprogrammeerd is om te lopen.
Het zal dit zeggen in het algoritme achter de hond, in de software zal zeggen: OK, dus om
te lopen, moet je testen, beweeg je linkerbeen naar voren, linkervoorbeen naar voren, dan je achterste rechterbeen naar voren, dan je
voorste rechterbeen naar voren en je achterste linkerbeen naar voren en herhaal die actie.
En dat is een definitie van lopen.
Het is een functie in deze hond.
Dan kan het zijn, weet u, hoe te zitten, hoe te staan en dergelijke dingen.
Terwijl bij een robothond die is getraind door middel van versterkend leren, je hem niet voorprogrammeert.
Dit is het sleutelconcept van alles hier dat je geen algoritme hebt dat hard in de hond is
gecodeerd.
In plaats daarvan heb je wat in de toekomst zal worden besproken.
Je hebt dit algoritme voor het leren van versterking dat wordt verteld dat, oké, dus het doel is dat iedereen komt van
waar je nu bent, zonder iets te weten, bijvoorbeeld naar het einde van de kamer.
En hier zijn de bepaalde acties die u kunt ondernemen.
Je kunt je rechtervoet bewegen, je kunt je linkervoet bewegen, je kunt je rechterachtervoet bewegen.
Je bent linksachter.
Dus hier zijn alle vrijheidsgraden die je kunt doen.
Je kunt ze zo verplaatsen.
Je kunt zo bewegen als een lijst met acties die je kunt ondernemen.
En je beloningen zijn elke keer dat je een stap vooruit zet, je een plus één krijgt.
Elke keer dat je omvalt, krijg je een min één en dat is alles.
En dan laten ze de hond gewoon in de steek en laten ze het zelf uitzoeken.
Dus de hond probeert op te staan, hij valt en hij realiseert zich dat, oké, ik die actie die ertoe leidde dat ik viel niet zou moeten doen, want
elke keer dat ik val, krijg ik een min één, wat niet goed voor me is.
Dan doet die andere actie die hielp om op te staan en dan zijn het gewoon experimenten, experimenten, experimenten, probeert
willekeurig dingen en komt er dan achter dat je een stap naar voren kunt maken door het
recht naar de voorste voet te verplaatsen en het krijgt een plus één en realiseerde me dat ik dat meer moest doen.
Oké, gaaf.
Dus het leert nu dat het meer van dit en minder van dat moet doen.
En door dit leerproces begrijpt het snel, heel snel hoe het kan werken.
En die honden die er zelf achter komen, kunnen soms zelfs beter lopen dan honden die voorgeprogrammeerd zijn, want als
we dingen voorprogrammeren, kijken we naar de echte levende honden en of, weet
je, we gebruiken onze eigen fantasie hoe we doe het, terwijl een bekrachtigende hond zelf dingen kan
optimaliseren.
En omdat het een A is. L. , soms kan het zelfs betere resultaten opleveren.
En zo kunnen ze deze robots, diezelfde robothonden, trainen om te voetballen.
Je kunt een normale hond niet trainen om te voetballen, want, weet je, de hele aanpak is gewoon anders.
En het is niet iets dat, weet je, waarschijnlijk een normale hond is opgeleid om te doen of ooit heeft gedaan in
zijn evolutieproces, terwijl een bekrachtigingslerende robothonden heel gemakkelijk kunnen begrijpen hoe ze moeten voetballen, zolang je ze maar vertelt wat de
beloningen zijn, wat de doelen zijn, wat de mogelijke acties zijn die
ze kunnen ondernemen.
Dus zo werkt versterkend leren in het algemeen.
Dat is een snel overzicht van versterkend leren.
Ik hoop dat je hierdoor erg enthousiast bent geworden over wat er gaat komen, want
het is een compleet andere wereld vergeleken met voorgeprogrammeerde oplossingen of hard-programma, hard gecodeerde oplossingen waar je de
andere voorwaarden hebt.
Dit is heel anders en daar gaan we het nog meer over hebben.
In de tussentijd hebben we wat extra lectuur voor je, dus.
Als je wat ondersteunend materiaal wilt hebben, dan is hier een geweldig artikel waar je naar kunt kijken.
Het heet Simple Reinforcement Learning met Tenzer, flow heeft 10 delen.
De link is hier en je vindt de volledige klikbare link in de cursusbronnen van Arthur Giuliani.
Giuliani's artikel uit 2006.
En u kunt deze cursus volgen en ook aanvullende informatie uit dat artikel halen.
Maar houd er rekening mee dat dat artikel Tenzer flow is, terwijl we in deze cursus PAE Torch gebruiken.
Dus een andere uitvoering, maar implantaties.
Maar tegelijkertijd kun je hier en daar een paar dingen oppikken die een aanvulling kunnen zijn op je leerproces dat we in
deze cursus gaan doen.
Dus geweldig artikel om te volgen, zelfs als je niet overweegt het zeker te volgen.
Voor het geval dat, bekijk dat eerste deel eens en kijk of je het leuk vindt, kijk of je
het wat meer wilt lezen.
En dan hebben we specifiek voor deze tutorial over versterkend leren.
Er is een paper van Richard Sutton, genaamd Reinforcement Learning One Introduction.
Het is dat de papieren uit 1998 vrij oud zijn, maar tegelijkertijd kun je iets leren over versterkend
leren.
Sommige voorbeelden zoals dat omeletvoorbeeld en andere voorbeelden van waar versterkend leren kan worden
toegepast.
En slechts een algemeen overzicht van versterkend leren.
Als u op zoek bent naar wat extra lectuur.
En wat dat betreft gaan we deze tutorial afronden.
Ik kan niet wachten om je de volgende keer te zien.
En tot die tijd, geniet van EHI.