Hallo en welkom terug bij de cursus over kunstmatige intelligentie van vandaag, we hebben het
over het eerste deel van het acteur-criticusgedeelte.
Dus hier hebben we een synchroon voordeel, acteur, criticus-algoritme.
En we gaan het hebben over die onderstreepte acteur.
Daar gaan we beginnen.
Je zou technisch overal kunnen beginnen, maar het is gewoon veel logischer
om te beginnen met acteur-criticus, omdat we op die manier een zeer opeenvolgende uitleg of intuïtief begrip hebben van wat er aan de hand
is.
Het zal ons beter vergemakkelijken als we aan het einde van deze operatie toch beginnen te verrassen.
Oke.
Tot dusver hebben we in deze cursus diep, convolutief leren bedacht, wat hier illustratief is.
Dus we hebben de computer die de pixels ziet.
Dus de eigenlijke afbeelding en pixels, niet alleen de vectoren.
Het is dus geen bedrog.
Het is eigenlijk precies zien wat een mens ziet.
Het ziet de monsters, het ziet de gezondheid, het ziet de parameters onderaan en ziet de gang.
Het ziet het pistool als precies hetzelfde als een mens zou zien bij het spelen van dit spel.
Dan gaat dat beeld door een convolutionele laag en dan is het voorbij een trekkende laag en wordt
het afgeplat en gaat het in een neuraal netwerk.
En aan de uitgang hebben we acties, zoals je je herinnert, we hebben die kernwaarden.
Dan hanteren wij voor hen een selectiebeleid.
Zo passen we bijvoorbeeld een softmax toe en zoeken we uit welke actie we willen ondernemen.
En dus is er wat exploratie en exploitatie gaande.
Er is een combinatie van de twee.
Dus zo werkt het diepe convolutionele Q-leren.
Maar laten we nu eens kijken wat we ermee gaan doen.
Dus omwille van de eenvoud, zodat het voor ons gemakkelijker is om
hiermee te werken, omdat we dit beeld gaan aanpassen en verplaatsen, gaan we de cirkels vervangen door
vierkanten met deze rechthoekige dozen.
En we gaan ook die lijnen ertussen verwijderen, verander ze gewoon in pijlen zodat dit de essentie
niet verandert.
Dit is slechts de weergave op deze grafiek.
Dit is nog steeds, zelfs deze weergave is nog steeds diep convolutie.
Q Leren wordt voor ons gewoon gemakkelijker om het aan te passen en precies te laten zien wat het werkelijk is.
Dus dat is precies hoe we de dingen van hier gaan weergeven en wat H3C doet of dit specifieke onderdeel.
Dus we beginnen te onthouden, we beginnen zoals stap voor stap.
We beginnen met het acteur-criticusgedeelte.
Dus we gaan kijken hoe we van diep convolutie gaan.
Q Door stap voor stap en eerste stap H3C te leren, gaan we dit acteur-criticus-gedeelte ervan hier
introduceren.
Daar gaan we het dus over hebben.
Dus het eerste wat er gebeurt is dit laatste stukje, de output is eigenlijk dat we het gewoon zo opnieuw gaan
tekenen.
Het is dus precies dezelfde output, exact dezelfde cue-waarden of exact dezelfde actie.
Dus als je acht mogelijke acties had, heb je nog steeds acht mogelijke acties, waardoor ze bovenaan komen te
staan, zodat ze minder ruimte in beslag nemen.
Dus tot nu toe niets, er is niets veranderd.
Tot nu toe zijn dit en dit precies hetzelfde.
Maar nu komt het actieve criticusgedeelte om de hoek kijken.
We krijgen een tweede uitgang.
We gaan hebben, dus de eerste is een set uitgangen.
En hier hebben we een aparte individuele output.
Dus technisch gezien gaan we ons neurale netwerk gebruiken.
Dus eens en nu of het beeld en alles zoals de waarden gaan door een netwerk van links naar rechts
hier.
Ze spugen niet zomaar een reeks waarden uit.
Dit leverde eigenlijk twee sets op.
En dus zei de top, we weten al wat het is.
Het zijn de mogelijke acties.
Maar hier gaan we eigenlijk nog een extra waarde hebben.
Dus laten we daar eens naar kijken.
Wat is die waarde?
Hier gaan we.
Dat is de bovenkant.
Dus we houden er gewoon van om de grootte van deze illustratie te verkleinen.
De bovenste output zijn de Q-waarden, zoals we eerder hebben besproken, voor de acties.
Dus ze assembleren alles hetzelfde.
Maar nu wordt dit onderste deel O en het bovenste deel eigenlijk de actie genoemd.
We gaan het een naam geven.
Dat is de acteur, want dat is het deel waarin de agent kiest wat hij wil doen, zodat het lijkt
alsof hij acteert.
Het is alsof het op het podium optreedt en het zal logischer zijn als we ook de tweede naam op het
scherm hebben.
En dan is de tweede output net één waarde, en dat is V van S, dus dat is de waarde van de
toestand.
Dus als Q van S de Q van S is en A de Q-waarde van een bepaalde actie, en zoals je kunt zien, daarom is
er actie.
Eén actie, twee actie drie tot actie zes of hoeveel acties er ook zijn in die staat.
Dus in een bepaalde staat.
S wat is de kernwaarde van het ondernemen van actie, van actie tot actie één, actie twee enzovoort.
Dan voorspellen we hier ook dat we ook een neuraal netwerk gebruiken om te voorspellen wat de waarde is van de staat
waarin we ons bevinden.
En dit deel wordt de criticus genoemd.
En dat is dus het intuïtieve of het soort dat niet eens volledig intuïtief is.
Dat is net als de ster van de intuïtie achter acteur-criticus dat er nu twee uitgangen zijn van het neurale
netwerk, niet slechts één.
Vroeger hadden we alleen die ene output, die we nu de actie noemen, maar nu hebben we twee outputs, acteur
en criticus.
En er komt een.
Dynamisch tussen hen, die verder zal worden onderzocht.
Maar voor nu is het belangrijk om te begrijpen dat we niet alleen de kernwaarden voorspellen van de acties die de Aziaten
van de staat kunnen nemen, maar ook de waarde voorspellen van het zijn in dit soort staat, met behulp
van datzelfde neurale netwerk .
Dus dat is een kern van de eerste stap naar de eigenlijke criticus.
En nu moeten we het hebben over asynchroon, wat de volgende keer eeuwig zal zijn om precies te begrijpen wat
er gaande is tussen de secretaresse.
En het laatste voor vandaag is dat al deze kernwaarden, zoals we weten, ook wel beleid worden genoemd.
Dus in sommige literatuur en sommige blogs en sommige discussies die je zou kunnen vinden in de A-criticus,
zou je de auteur kunnen aantreffen over sleutelwaarden aan deze kant van de acteur en in andere literatuur en
blogposts en discussies.
U zult zien dat de auteur het zo over het beleid heeft en de gebruiker meestal gebruikt als een Griekse
letter P om het beleid of een vast staatsbeleid weer te geven.
Onze SO al met al, dit zijn het beleid of de strategieën, omdat, zoals we ons herinneren,
het beleid is dat je alle acties samenvoegt, de mogelijke acties, en dan is het beslissen welke actie moet worden ondernomen.
Dus deze zullen zijn als de kansen om elke actie te ondernemen.
Dat is dus het beleid.
Laat je dus niet van de wijs brengen.
Als je de een of de ander ziet, bedoelen ze in feite hetzelfde.
Dus aan de ene kant heb je hier het beleid of de kernwaarden.
Aan de andere kant heb je de werkelijke waarde van de staat en ze worden voorspeld vanuit het neurale
netwerk.
Dus dat is het begin van de act.
Een criticus zal hier in de volgende eeuwigheid op voortborduren als we het hebben over een synchroon.
En ik kijk ernaar uit je daar te zien.
Tot dan, geniet ervan.