Hallo en welkom terug bij de cursus over kunstmatige intelligentie.
Vandaag hebben we het over de levende straf.
Oke.
Dus hier hebben we een Bellmon-vergelijking.
En terwijl we deze cursus doorliepen, werden we langzaamaan steeds complexer.
Tot dusver hebben we deze kansen hier al toegevoegd en ook de verdisconteringsfactor.
Nu gaan we in meer detail kijken naar deze kant van de vergelijking waar we de beloning hebben.
Onthoud dat we het eerder hadden over hoe bekrachtigingsleren werkt, we zeiden dat we een agent hebben
en het voert acties uit in de omgeving en in een uitwisseling of als gevolg daarvan krijgt het
een nieuwe staat waarin het zich nu bevindt en een beloning voor die actie.
Nou, tot nu toe hebben we in ons voorbeeld alleen beloningen gekregen aan het einde, of als we de
finish halen of als we voor de agent in de vuurplaats belanden, krijgt hij een plus één of een min één beloning.
Maar dat is een zeer simplistische benadering van versterkend leren.
En in meer realistische scenario's zul je waarschijnlijk gedurende de hele reis beloningen hebben, niet alleen aan het
einde.
U kunt gedurende de hele reis beloningen krijgen.
Als het bijvoorbeeld een A is. L. een spel spelen en als het bijvoorbeeld is
alsof je iemand neerschiet en onheil, kan het punten opleveren voor het doden van die vijand of het kan in een ander ander spel zijn als het
een andere auto inhaalt of iets dergelijks alleen vanwege de spelregels , niet vanwege de manier waarop het spel
wordt geanalyseerd.
Maar eigenlijk is het spel zo gestructureerd dat het zijn punten voor het uitvoeren van bepaalde acties versterkt, zelfs
voordat het spel afgelopen is.
Dergelijke scenario's komen dus heel vaak voor, niet alleen in games en ook in het echte leven.
En daarom gaan we iets soortgelijks in ons voorbeeld introduceren, een vereenvoudigde versie daarvan, maar
niettemin een beloning die continu aan de agent wordt gegeven gedurende het spel, niet alleen aan het
einde.
En de manier waarop we dat gaan doen, is door naar de andere titels te kijken.
Dus op dit moment hebben we alleen beloning plus één bij de uiteindelijke titel en beloning minus één bij de andere.
Laatste titel, de vuurplaats.
Maar nu gaan we beloningen toevoegen in elke keer dat we een heel kleine beloning toevoegen.
Het zal min nul komma nul vier zijn.
En zoals je kunt zien, is het negatief.
Dus elke keer dat de agent beweegt, krijgt hij een negatieve beloning.
En daarom wordt het een levende straf genoemd, want waar hij ook heen gaat, hij zal altijd deze negatieve
beloning krijgen, behalve deze laatste resultaten, want dan is het spel afgelopen.
En hier kun je zien dat de beloning zelfs op deze staart min nul komma nul vier is.
Maar dat betekent niet dat hij met die beloning begint.
Hij krijgt alleen deze beloning.
En dit is belangrijk om te onthouden, hij krijgt deze beloning alleen als hij een titel invoert.
Dus wanneer hij een actie uitvoert, gaat hij hierheen.
Dan krijgt hij deze beloning minus nul komma nul vier.
En als hij dan terugkomt bij deze staart, krijgt hij nog een min nul komma nul vier beloning.
En dus hoe langer hij rondloopt, hoe meer hij deze negatieve beloning verzamelt.
En daarom is het voor hem een stimulans om het spel zo snel mogelijk eerder af te ronden.
Laten we nu eens kijken hoe ons beleid of het agentenbeleid gaat veranderen, afhankelijk van de
waarde die we voor deze beloning stellen.
Dus hier zijn vier omgevingen.
En in elk daarvan gaan we een ander probleem onderzoeken.
Of nu gaan we de berekeningen niet doen.
We gaan gewoon de resultaten projecteren.
En je zult zien dat ze intuïtief volkomen logisch zijn.
Dus hier hebben we een beloning voor elke stap.
Het aanbieden van jou om in een staat te komen is gelijk aan nul.
Net zoals we hier eerder hebben gezien.
De beloning zal min nul komma nul zijn voor wat we zojuist hebben geïntroduceerd.
Hier, de beloning is min nul komma vijf of de boete voor leven is min nul komma vijf.
Zoveel hoger, je kunt zien dan hier meer dan 10 keer groter.
En hier is de levende straf min twee.
Dus zelfs meer dan de beloning die je krijgt voor het springen of zelfs minder dan de beloning die jij of de agent krijgt voor het
belanden in de vuurkorf.
Laten we dus eens kijken hoe de acties of het optimale beleid voor het passeren van deze omgeving zullen
veranderen, afhankelijk van deze beloning.
Dit is dus ons oorspronkelijke beleid.
En zoals je je kunt herinneren, hadden we deze twee zeer interessante en zelfs een beetje rare beslissingen van de
agent, maar dat is volkomen logisch als hij zo lang kan leven als hij wil, als je gewoon kunt
rondreizen zolang hij wil zonder gestraft te worden voor het lang in leven blijven.
Hij waarom niet?
Waarom zou hij niet gewoon de hoek hier de muur in gaan en dat gewoon blijven doen tot het gebeurt?
Toevallig gaat hij deze kant op en dan zal hij rondlopen en hetzelfde hier.
Het is veel veiliger voor hem om tegen de muur te springen, in de hoop dat een van deze uiteindelijk naar boven
komt en dan toch naar de finish gaat, want door deze twee acties te kiezen, loopt hij niet het risico in
het vuur te komen pit.
Laten we nu eens kijken wat er gebeurt als we een beloning toevoegen, een negatieve beloning voor gewoon leven, voor het zetten van een
stap.
Je beweegt, dus hier kun je zien dat deze twee direct veranderden, nu wil de agent niet tegen de
muur springen.
Hij heeft meer kans om naar de vuurplaats te gaan, met een kans van 10 procent om hier in te springen.
Maar hij zal vooruit gaan, want elke keer dat hij hier over de muur springt, als hij het hier ook zou doen, elke
keer dat hij in alles springt, voert hij een actie uit waar hij in deze toestand terechtkomt met een kans van
80 procent.
En dat betekent dat hij met een kans van 80 procent een min nul punt nul krijgt als
beloning, wat betekent dat hij dit vaak zal krijgen door deze negatieve beloning op te bouwen.
Hetzelfde hier.
Als hij tegen de muur springt in afwachting van het moment waarop hij daadwerkelijk willekeurig naar rechts wordt verplaatst, als hij dat
blijft doen, zal hij deze negatieve beloning accumuleren.
En dat het resultaat daarvan, als je de berekeningen uitvoert, je zult zien dat het resultaat daarvan,
de verwachte waarde van die benadering, tegen de muur springen erger is dan het risico nemen om vooruit te gaan
en daadwerkelijk in het vuur te belanden pit.
Dus hij verandert zijn beslissingen in deze twee blokken om in plaats daarvan vooruit te gaan en naar links te gaan, ook al is er
een risico om in de vuurplaats te springen, simpelweg omdat hoe langer hij leeft, hoe langer
hij deze levende straf zal verzamelen in de volgende omgeving .
Nu verhogen we de levende pouncy tot een nog groter aantal.
Mainzer punt vijf.
En laten we eens kijken wat hier verandert.
Dus nu kun je zien dat in vergelijking met deze omgeving, het enige dat hier verandert, is
dat deze pijl naar rechts wijst.
En wat dat betekent is dat het nu geen goede optie meer is voor de agent of eigenlijk ook
deze pijl wijst naar links en wijst nu naar boven.
Dus nu is het niet langer een goed idee voor de agent om vanaf hier rond te gaan, helemaal rond te gaan, want als
hij helemaal rondgaat, ja, hij is veiliger.
Er is een kleinere kans, er is geen kans om bij de vuurplaats te komen.
Maar tegelijk of er minder kans is tegen de vuurkorf.
Maar tegelijkertijd zal hij een behoorlijk substantiële negatieve beloning verzamelen terwijl hij rondloopt.
Dus het is gewoon dat het pad te lang is.
Dus dat dwingt hem, of hij nu hier of hier is, om de kortere route te nemen om hier te komen, ook
al heeft hij een veel groter risico om in de vuurplaats te komen, want zodra hij op het
plein belandt, is er een 10 procent kans om bij de vuurplaats te komen, volgens zijn berekeningen.
Is alleen de verwachte waarde van deze aanpak beter dan de verwachte waarde van rondgaan, simpelweg omdat
we deze woonboete hebben verhoogd.
En tot slot komen we bij het voorbeeld met de levende straf van min twee komma nul.
Dus hier zou ik je willen aanmoedigen om de video te pauzeren nu je hebt gezien hoe het beleid is veranderd naarmate we
de boete voor levensonderhoud verhogen.
Ik moedig je aan om de video te pauzeren en voor jezelf te bedenken wat er in dit scenario zal gebeuren.
Wat denk je dat het optimale beleid zal worden gegeven dat de woonboete zo hoog is?
Dus ik zal je de video laten plaatsen als je dat wilt.
En nu ga ik je de oplossing laten zien.
Dus in dit geval, als je de straf verhoogt tot min twee komma nul, is het zo hoog.
Onthoud dat de straf hier slechts min één punt is.
Het is zo hoog dat de agent gewoon op elke mogelijke manier uit het spel wil komen, al is het maar door
in de vuurplaats te springen.
Hij zal het doen.
Hij zal zijn zoals elke keer dat ik een steek doe, elke keer dat ik in een staat New York beland of elke
keer dat ik een actie doe, ik uiteindelijk een min twee beloning krijg.
Dus wat heeft het voor zin om vanaf hier de finish te bereiken of mij twee extra stappen te nemen?
Ik ga gewoon hier en dan recht de vuurplaats in, want op die manier
zal mijn beloning minder zijn, de negatieve beloning zal niet zo erg zijn als in het geval van alleen maar een extra stap zetten.
Dus je kunt zien dat het toevoegen van deze levende beloning en afhankelijk van de waarde van de levende beloning die
we toevoegen, de resultaten anders zullen zijn en de agent ander beleid zal selecteren.
En dat is eigenlijk hoe de beloningswaarde kan worden opgenomen door de portiersvergelijking, zelfs als het niet alleen bij de finish of aan
het einde van het spel is, maar zelfs tijdens het spel.
En nogmaals, nogmaals, het hoeft niet op elke single in elke afzonderlijke staat te zijn, afhankelijk van
de omgeving zelf.
Het kan in bepaalde specifieke toestanden aan de agent worden gegeven, niet in elke fase, maar
in ons simplistische voorbeeld gebruiken we alleen beloningen in elke bepaalde toestand om dit concept te illustreren.
Dus ik hoop dat je geniet van vandaag, Statoil.
En zoals je kunt zien, hebben we onze Bellmon-vergelijking al behoorlijk geavanceerd gemaakt en nu kan deze op veel
verschillende scenario's worden toegepast.
En ik kan niet wachten om je te zien in de volgende tutorial.
En tot die tijd, geniet van EHI.