Hallo en welkom terug bij de cursus over kunstmatige intelligentie van vandaag, we hebben het eindelijk
over Kyul-leren.
Oké, dus we hebben deze vergelijking al, de Belmont-vergelijking, waar we veel componenten aan hebben toegevoegd.
We hebben hier de beloning, die niet alleen aan het einde kan zijn, maar bij elke stap.
We hebben de kortingsfactor.
We hebben de waarschijnlijkheid omdat we nu naar Markov-beslissingsprocessen kijken en hier hebben we de kans om
in een andere staat te belanden, ongeacht welke actie we ondernemen of gegeven de actie die
we ondernemen, er kunnen meerdere waarin we terecht kunnen komen.
En dan hebben we de waarde van de volgende toestanden, want hij was een soort recursieve functie
enzovoort.
Maar waarschijnlijk heb je nog één vraag.
De vraag is waar in dit alles is de brief?
V Waarom heet het allemaal?
V Leren?
Dus waar is de.
V En dat is de vraag die we vandaag gaan beantwoorden.
Tot nu toe hebben we te maken gehad met waarden, de waarde van het zijn in een bepaalde staat, en
nu gaan we kijken hoe Q daar ook in past.
Dus hier hebben we twee voorbeelden.
Aan de linkerkant is wat we tot nu toe hebben gedaan.
Onze agent is aan het analyseren, oké, ik ben hier.
Dit is een Markov-beslissingsproces.
Dus het maakt niet uit hoe ik hier ben gekomen.
De rest van de omgeving trekt zich niets aan van de stappen die ik heb genomen om hier te komen.
Vanaf nu moet ik de optimale beslissing nemen waar ik heen ga, hier, hier, hier, gebaseerd op de huidige staat en alle
toekomstige staten die hier vandaan komen, maar niet uit het verleden.
En dus kan hij zien dat er drie opties zijn.
Er is een staat één staat tot staat drie.
En op basis van zijn ervaring heeft hij de waarden in deze toestanden berekend en nu gaat hij de
Bellman-vergelijking gebruiken.
Dus zelfs dat is echter een stochastisch proces.
Dus hij weet dat hij hierheen zal gaan, maar er is een kans dat hij naar links of rechts gaat enzovoort.
Dus op basis van deze waarden is het goed om een beslissing te nemen.
Dat is wat we tot nu toe hebben gedaan.
En dat is hier volkomen de legitieme benadering.
Maar nu gaan we het een beetje aanpassen.
We nemen exact hetzelfde concept, hetzelfde exacte probleem.
Maar hier, in plaats van te kijken naar de waarden van elke staat waarin hij terecht
kan komen, gaan we kijken naar de waarden of de waarde van elke actie.
Dus we gaan de letter V niet meer gebruiken, want vs voor de waarde van de
staat gaan we een Q gebruiken en je hebt misschien een vraag waarom de letter.
V Nou.
V Sommige mensen speculeren dat.
V Zal ik dit lezen.
Ik denk dat iemand dat op Quora heeft genoemd.
Q is vanwege de kwaliteit, maar tegelijkertijd kon ik daar geen andere verwijzingen naar vinden.
Dus het kan zijn dat het daar niet aan ligt.
Misschien omdat dat de brief is die destijds werd gebruikt.
En nu werd het super populair omdat het daarom allemaal Q Learning heet.
Dus geen exacte reden waarom het heet.
V Maar desalniettemin helpt het ons in ieder geval om onderscheid te maken tussen Viene.
V dus.
Q Hier vertegenwoordigt in plaats van de waarde van de staat die het vertegenwoordigt, laten we gaan van kwaliteit, het vertegenwoordigt
de kwaliteit van de actie die het vertegenwoordigt.
Oké, dus ik heb vier acties.
Wat zijn de verschillende kwaliteiten van deze acties.
Wat is de of de waarde van de actie of de kwaliteit van de actie.
Welke actie is lucratiever.
Dus ik heb een statistiek nodig die me vertelt, oké, hoe kwantificeer ik deze actie?
En dan kan ik ze vergelijken.
En dat is precies wat Q is.
En dus heeft hij hier vier mogelijke acties, zoals altijd, omhoog, rechts, links of omlaag.
En op basis van de actie zal er een formule zijn die ons de kwantificeerbare waarde van die actie vertelt,
die we de Q de Q-waarde van die actie noemen.
Dus laten we eens kijken hoe we deze formule gaan afleiden.
V Hoe verhoudt het zich daar eigenlijk mee?
Omdat, zoals je je kunt voorstellen, omdat acties tot toestanden leiden, er een soort verband moet zijn tussen de twee die we hebben.
We hebben al bepaald hoe we dit moeten berekenen en we waren er behoorlijk goed in.
We weten hoe we de Bellman-vergelijking moeten gebruiken in zeer verschillende omgevingen met veel verschillende complicaties.
Laten we die kennis gebruiken om te begrijpen hoe we nu kunnen berekenen.
V Om dezelfde voorspellingen te doen, want zoals je je kunt voorstellen, verandert de omgeving niet, afhankelijk
van de benadering die we gebruiken, de omgeving zal hoe dan ook hetzelfde zijn.
Dus daarom zouden deze benadering en deze benadering altijd hetzelfde resultaat moeten geven en daarom is dat nog een reden waarom deze
twee aan elkaar gekoppeld zouden moeten worden.
Dus laten we eens kijken.
Dus hier is onze benadering, waar we gewoon gaan kijken naar de waarde van een bepaalde staat, deze staat of een
andere staat.
En hier gaan we, we gebruiken hier alleen de letter s, want dat is de huidige staat.
En daarom zal de terminologie in beide vergelijkingen hetzelfde zijn.
En hier gebruiken we QSA.
Q Is de van de staat s en de actie.
A omdat actie aan de gang is, maar in welke staat die actie moet worden uitgevoerd, voeren we die actie uit in de staat.
S OK, dus nu gaan we de bouwvergelijking voor de eerste benadering uitschrijven.
Zoals je hier kunt zien, hebben we V van S, dus de waarde van.
Elke gegeven status is het maximum van de beloning die je maximaal krijgt op basis van de acties die je hebt drie.
In dit geval heb je eigenlijk vier acties.
Dus het maximale uit alle mogelijke acties en die van dit onderdeel, die vele malen zeer besproken zijn.
Dit is dus onze beloning die we krijgen door die actie in die staat uit te voeren, plus een verdisconteerde factor vermenigvuldigd
met de verwachte waarde van de nieuwe staat dat we in een verwachte waarde zullen zijn omdat het een
stochastisch proces is.
We weten niet precies zeker dat we hier gaan eindigen.
We kunnen met een bepaalde waarschijnlijkheid links of rechts eindigen.
Daarom staan deze kansen hier.
Oke.
Dus dat is onze waarde.
En laten we nu naar Q kijken. Dus Q wordt gedefinieerd.
We gaan dit gebruiken om te definiëren.
Q Dus laten we zeggen dat de agent van deze locatie, vanuit deze staat de actie naar boven uitvoert.
Waar zal de Q-waarde gelijk aan zijn?
Laten we eerst eens kijken wat hij in ruil krijgt voor het uitvoeren van deze actie.
Het eerste dat je krijgt is een beloning, toch.
Dat kent er geen twijfel over.
Er zal een soort van zijn, of het kan nul zijn.
Maar we weten dat de manier waarop dit versterkende leerproces werkt, is dat er soms een beloning is voor
het uitvoeren van bepaalde acties vanuit een bepaalde staat.
Dus we gaan dat hier toevoegen en dan gaan we toevoegen wat gaan we toevoegen?
Nou, laten we er eens over nadenken.
Wat is het volgende dat er gebeurt nadat hij er doorheen is gegaan?
Het volgende dat gebeurt, is dat de agent zich nu in een bepaalde toestand bevindt.
Je zou hier kunnen eindigen met een kans van 80 procent of een kans, maar eigenlijk zou je hier of hier
kunnen eindigen.
Maar waar hij nu ook terechtkomt, we hebben al een gekwantificeerde maatstaf voor de staat waarin hij zich bevindt.
En dat is eigenlijk de waarde van die staat.
Maar omdat hij in veel verschillende staten en in drie van de mogelijke verschillende staten kan komen, moeten we kijken
naar de verwachte waarde van de staat waarin hij zich bevindt.
En dus gaan we dat toevoegen.
We gaan natuurlijk de kortingsfactor toevoegen, zoals we eerder hadden, want dat is ergens in de
toekomst.
En dan gaan we de som optellen van alle mogelijke toestanden, van alle mogelijke toestanden die hij zou kunnen krijgen door deze
actie te ondernemen in tijden van waarschijnlijkheid.
Dus wat we hier zeggen is dat, oké, dus door een actie uit te voeren, krijg je een beloning plus, wat
een gekwantificeerde statistiek is.
Bovendien kom je in een staat terecht.
We weten niet welke.
Het kan hier zijn.
Maar hier is de verwachte waarde van de staat waarin je terechtkomt.
En nu gaan we vermenigvuldigen met de verdisconteringsfactor, want dat is één stap verder.
Dus dat is onze cue-waarde hiervoor voor prestatie-actie.
En wat je hier meteen opvalt, is dat Q De Q-waarde is eigenlijk precies identiek aan wat hier tussen
deze haakjes staat en waarom is dat?
Nou, als je er hier over nadenkt, we nemen het maximum van het resultaat zal het maximum krijgen over alle
mogelijke acties.
We hebben dus vier acties die we maximaal ondernemen voor alle mogelijke acties van het resultaat dat
we krijgen door elk van die acties uit te voeren.
En in Q definiëren we interessant.
Wat krijgen we als we een bepaalde actie ondernemen?
Dus als je erover nadenkt, is het logisch dat de waarde van een toestand, dus bijvoorbeeld deze
toestand, het maximum is van alle mogelijke Q-waarden.
Rechts.
Dus hier in de Verenigde Staten, door in de staat te zijn, heeft de agent één sleutelwaarde, twee sleutelwaarde,
drie sleutelwaarde voor Q-waarde.
Hij heeft dus vier mogelijke Q-waarden.
Welnu, de waarde van de staat, het is logisch dat de waarde van de staat het maximum is van al die
vier Q-waarden, en dat is precies wat we hier kunnen zien.
Dat is een goede bevestiging van deze nieuwe formule die we hebben afgeleid.
Als dat niet het geval was, als dat niet overeenkwam, dan zouden we vragen hebben als,
waarom dan?
Waarom maakt het niet uit?
Waarom komt het niet overeen?
Als.
Q-waarde is een gekwantificeerde metriek voor het uitvoeren van een actie en V hangt af van de vier is zoals is het maximum van de
mogelijke resultaten van de vier acties die hij kan uitvoeren?
Dat is logisch en dat bevestigt de formule die we net hebben bereikt en nu gaan we
het nog interessanter maken.
We gaan de V volledig verwijderen, want je kunt zien dat V een recursieve functie is van V, dus en
dan heb je V en de V en de V en dan V enzovoort.
Dus je kunt deze V uitdrukken door al het volgende vs de meest optimale vs die hier naar voren zal komen als we in Q zijn als
een functie recursieve functie van V of als een functie van de volgende V, en dan zouden we moeten sluit deze V aan en
dan gaan we terug naar de V.
Dus wat gaan we doen, we nemen deze V en we gaan hem vervangen
door een Q, oké.
Dus laten we daar eens naar kijken.
We gaan deze video van de volgende staat opnemen en we gaan dit hier in die
formule stoppen en zoals je nu kunt zien, zodat dit deel niet verandert.
Dit verandert waarschijnlijk niet.
Maar zoals we net hebben besproken, is V van S het maximum bij alle acties van Q van S en A hier.
Dus dat gaan we hier vervangen.
Dus we gaan het maximum zeggen, natuurlijk is de nieuwe actie, de actie die we gaan
ondernemen, want hier hebben we de video van Prime.
Dus hier hebben we nu het maximum over alle eh een priemgetal.
Dus de acties die we gaan ondernemen vanuit deze staat of
waar dan ook, in welke andere staat we ook belanden, maar de actie die we vanaf daar
gaan ondernemen en een maximum over al die en het maximum is van alle de Q-waarden die voor ons beschikbaar zijn in die nieuwe staat als priemgetal, komma, een
priemgetal.
En dat is de actie.
Dus dat is het.
Dus er komt daar nog een voor Q-waarden.
Dus nu, zoals je kunt zien, laten we dat nog eens doornemen.
Dus als we deze term hebben afgeleid, zouden we het gewoon via logica en intuïtie bespreken, zodat we kunnen zien dat
VNS eigenlijk V van S is en nieuwsgierig en A zijn gekoppeld. De van S is de stelregel voor alle acties van het Congres
en eh, je kunt zie hier.
Dus dit, dit deel is identiek aan dit deel en dan gaan we daar gebruik van maken
en we gaan dit bit vervangen door VNS vanaf hier, maar niet dit exacte formaat.
We nemen dit interne deel en we gaan het vervangen door Q of A. en een..
Dus we moeten dat hier aansluiten en dit deel wordt Q of als priemgetal.
Dus maximum van Q door Crosswell A problemen van Q als priemgetal Een priemgetal.
En nu hebben we onze formule.
Dus nu hebben we een recursieve formule voor de Q-waarde.
Dus nu kan de agent denken, wat is de waarde van de actie, wat is de kwaliteit van deze actie, was
de Q-waarde van deze actie?
Nou, het hangt af van de beloning die ik krijg in de onmiddellijke stap daarna.
Bovendien hangt het af van de verdisconteerde factor maal het maximum van alle mogelijke Q-acties in die staat.
Maar ik weet niet of ik daar ga komen.
Dus ik moet ook naar die staat en die staat kijken, en daarom hebben we hier deze verwachte
waarde.
Dus we hebben de enige kans maal een maximum.
Dat is onze verwachte waarde.
Dus zeer vergelijkbare formule, zoals je kunt zien.
Maar deze keer drukken we dingen uit via de Q-waarden.
En daarom heet dit hele algoritme Q Learning, want daar wordt naar gekeken.
Dit is wat de agenten daadwerkelijk gebruiken.
Ze kijken niet naar de staten om te kijken naar hun mogelijke acties.
En op basis van de acties op de Q-waarden van acties, zullen ze beslissen welke actie ze moeten ondernemen.
Dus ze kijken alleen naar de maximale Q-waarde in deze gegeven toestand.
Hij heeft vier acties.
Wat is de beste actie om te ondernemen?
Dus je kunt het vergelijken, een soort vergelijking van de verschillende toestanden waarin het dan
kan terechtkomen, gaat de mogelijke acties die het momenteel heeft, vergelijken door de optimale te vinden, gaat die actie ondernemen en
dan gaat het dat herhalen proces, herhaal dat proces enzovoort.
Dus nu kun je zien hoe dit allemaal samenkomt, hoe de beloning, de verdisconteringsfactor, de stochastische
Markov-beslissingsprocessen en de waarden en de belangrijkste waarden allemaal samenkomen om ons deze ene superkrachtige
Bellmon-vergelijking voor Q-waarden te geven, die we nu kunnen toepassen en onze agenten laten leren hoe ze het milieu
kunnen verslaan.
En dat is dus een intuïtieve verklaring van wat er aan de hand is.
Ik weet dat we de formules hebben doorgenomen, maar het is nodig omdat dit onze formule
is die we dit hele hoofdstuk hebben doorgenomen en ik denk dat het een goede overgang is van V naar Q en het illustreert hoe er
verbanden tussen elkaar zijn.
En als je een wat meer rigoureuze benadering wilt, een wiskundige benadering en zoals je de wiskunde erachter wilt zien en wat
meer wilt leren over Q-waarden en hoe ze werken, dan hebben we wat extra informatie
voor je.
Dit artikel wordt Markov-beslissingsprocessen, concepten en algoritmen genoemd door Martin von Utrillo 2009.
Dus je hebt de link hier, zoals altijd.
En hier kun je wat meer in detail lezen om alle details achter Q-waarden te begrijpen, enzovoort.
En nu we al deze dingen met betrekking tot de Bellman-vergelijking hebben besproken, zijn we
nu klaar om naar iets ingewikkelders te kijken, zoals dit artikel, zodat we, als we hier wat aanvullende informatie
over willen hebben, een soort van een dieper inzicht krijgen.
Maar zelfs als u de krant nog niet leest, moet u een goede praktische kennis hebben van wat
Q Learning inhoudt en hoe agenten de acties bedenken die ze in een bepaalde omgeving moeten
ondernemen.
Dus ik hoop dat je genoten hebt van vandaag, Statoil, en ik kijk uit naar je volgende keer.
Tot dan, geniet ervan.