Hallo en welkom terug bij de cursus. In het vorige deel hebben we het gehad over de diep
lerende killer-intuïtie.
We zijn daar begonnen en in feite kwamen we helemaal bij dit deel en waar we het hadden over leren
en nu gaan we verder met het eigenlijke acteergedeelte.
Er zijn dus twee delen, twee verschillende delen die we moeten onthouden.
Dus dat is het leergedeelte.
Maar nu heeft hij dit allemaal gedaan.
Dat is mooi.
Nu moet hij echt in actie komen.
Hij moet beslissen wat hij gaat doen: actie één, twee, drie of vier.
En hoe doet hij dat dan?
Welnu, de manier waarop hij het doet, krijgt nu dezelfde waarden.
Dus de sleutelwaarden veranderen niet nadat we deze sleutelwaarden hebben, of vergelijk ze met de wetten met
een geprojecteerde fout.
We hebben de gewichten bijgewerkt, maar de belangrijkste waarden veranderen niet in dat hele proces.
Dus nadat we de belangrijkste waarden daar hebben, zijn ze opgelost.
We weten wat ze verkopen.
Dit gebeurt.
De netwerken bijgewerkt.
En nu we dezelfde sleutelwaarden gebruiken die we hadden, wat gaan we
doen, we gaan ze door een softmax-functie geven.
En nogmaals, Softmax wordt beschreven in denk ik in bijlage twee.
En we zullen wat meer over Softmax praten verderop in of we zullen praten over dit actieselectiebeleid verderop
in de rest van deze sectie.
Dus slechts in een paar tutorials, maar voor nu gaan we gewoon zeggen dat we het door de softmax-functie laten
gaan.
Wat het eigenlijk doet, is dat het helpt bij het selecteren van de beste.
Het selecteert de best mogelijke actie.
En daar past een kleine kanttekening bij.
Het is niet alleen de best mogelijke.
We zullen daarover praten in de zelfstudie over actieselectiebeleid.
Maar laten we voor nu zeggen dat het hier de beste actie selecteert.
Er staat: OK, dus Q1, je weet wel, de waarschijnlijkheid, weet je, eigenlijk kennen we de kernwaarden, dus voorspelden we
de waarde zodat het ernaar kan kijken en zeggen, OK, dus de hoogste waarde hiervan, net zoals wij deed
in het eenvoudige leeralgoritme, kijk je naar al deze voor, laten we zeggen, de hoogste waarden,
deze.
En ik ga die actie selecteren.
Die gaan we nemen.
En dat is het zo'n beetje.
Dat is hoe het kiest welke actie onderneemt, de actie onderneemt.
En dan gebeurt dit hele proces opnieuw voor de volgende toestand waarin de agent terechtkomt, in ons geval, in het volgende
vakje van de zaak.
Maar over het algemeen is het de volgende staat.
Dus daar gaan we.
Dat is hoe we een leerprobleem met versterking invoeren in een neuraal netwerk via een vector die de toestand beschrijft waarin we
ons bevinden.
En als we het eenmaal hebben ingevoerd, zijn er twee delen van het proces die plaatsvinden.
Deel één is het leren.
Dus onthoud dat deel waar we elk van de kernwaarden vergelijken met de doelen en dan
verspreiden we het verlies via het netwerk om de gewichten bij te werken, zodat ons netwerk leert terwijl we door
dit doolhof of door deze omgeving gaan.
En ook het tweede deel is, natuurlijk, we moeten handelen.
We moeten een actie selecteren.
En dat is waar we de belangrijkste waarden doorgeven via de softmax-functie en of eigenlijk een actieselectiebeleid,
waarover we verderop zullen praten.
En dan selecteren we gewoon de actie die we willen ondernemen en voeren we die actie uit.
En dan begint dit hele proces opnieuw.
En dan krijgt de agent misschien het spel niet door.
In ieder geval eindigt het spel en dan herhaalt het hele proces zich opnieuw.
De agent speelt het hele spel nog een keer en dan houdt dat op.
Dus eigenlijk is dat een ander tijdperk.
Elke keer dat de agent, weet je, elke keer dat het spel eindigt, of het nu gunstig is in februari, is dat het einde
van een tijdperk.
En dan begint hij opnieuw en dan begint hij opnieuw en dan begint hij opnieuw enzovoort.
Dat gebeurt dus.
En dit proces gebeurt voor elke keer.
De agent is een nieuw in een nieuwe staat.
Dus de staat is hier gecodeerd.
Dus dat is belangrijk.
Dus niet alleen voor elke game die hij speelt, maar voor elke staat.
Dus hij is in een staat.
Het doorloopt de procesupdates enzovoort en gebeurt elke keer weer.
En zo gebeurt het leren en dan gebeurt het acteren ook.
Dat is dus deep learning in de intuïtie achter deep Q learning.
We hebben nog veel meer te verbergen.
En dan hebben we natuurlijk nog de praktijk.
En als je in de tussentijd wat aanvullende informatie over diep leren wilt, hebben we
een aanbevolen lectuur.
We hebben het dus al gehad over de serie blogposts van Arthur Giuliani.
Als je kijkt naar eenvoudig versterkend leren met teststroom, deel vier, zul je het deel vinden dat relevant is voor wat
we vandaag hebben besproken.
Merk op dat hij het hier heeft over windingen.
We hebben het niet over revoluties in deze sectie.
We gaan het hebben over hen in het volgende deel van de cursus.
Dus het verschil hier is dat je het deel van de windingen voor nu een beetje overslaat en we zullen er in het
volgende deel van de cursus over praten.
Maar het verschil zit 'm in revoluties, je kijkt alsof je agent naar het beeld kijkt en daarom moet
hij een beeld verwerken, een extra complicatie voor nu, waar we langzaam, geleidelijk aan
aan het opbouwen zijn.
Voorlopig coderen we onze omgeving door.
Dus als je kijkt naar het coderen van onze omgeving of misschien naar deze, die waarschijnlijk onze
omgeving codeert als een of inclusief een toestand waarin de agent zich bevindt als een vector.
Dus in ons geval was het heel eenvoudig.
Mengsel van twee waarden.
Soms kunnen mensen zelfs in dat simpele, soms of zoals je zult zien in deze blogpost, soms mensen de
voorkeur geven aan die ene hete en gecoate versie van die staat.
Dus eigenlijk waar elke doos van het doolhof een heeft, zodat je een vector van vier hebt, zou in ons geval
12 waarden zijn, drie bij vier.
Dit is één of nul, afhankelijk van in welke elementen in welke doos je je bevindt, in de omgeving.
Dus op welke manier je ook besluit om je omgeving en de toestand van je omgeving te coderen, zo zegt
codering in feite een vector.
De sleutel hier is dat het geen convolutie is, dus het is niet zoals een afbeelding en er is geen convolutiestemming.
Dus dit deel komt later voor ons.
Het begint hier.
En dat vereenvoudigt gewoon het proces voor ons om geleidelijk beter te begrijpen.
En vergeet natuurlijk niet dat deze blogpost een intense stroom is en we gebruiken PI torch in onze
tutorials.
Dus hopelijk geniet je van deze snelle introductie in een diep, convolutief, dieper, niet convolutief, maar
dieper leren.
En wat dat betreft, ik kijk ernaar uit om je de volgende keer te zien.
En geniet tot die tijd van kunstmatige intelligentie.