Hallo en welkom bij deze tutorial.
Oké, dus nu hebben we ons oog, het is klaar om te worden getraind en de eerste stap van de training is om ervaring
op te zetten om te spelen.
Dus we komen er langzaam aan.
De training en het goede nieuws is dat we een geïmplementeerde versie van experience replay hebben.
Trouwens, dat is aangepast aan geschiktheidssporen, wat ik eraan herinner, is een techniek die in plaats van de
waarden te leren, elke overgang leert, elke bocht verandert.
Dus eigenlijk is dat precies hetzelfde als voorheen.
Maar in plaats van een enkel doel, een enkele beloning voor elke stap, gaan we een cumulatief doel hebben
voor 10 stappen en een cumulatieve beloning voor tien stappen.
En we leren elke keer over de tien stappen.
Dus we leren op 10 overgangen, 10 stappen in plaats van één zoals voorheen.
En met dit uur zal ik wonderen verrichten en dat zal wonderen doen voor het trainingsproces.
Weet je, de training zal dankzij deze techniek veel minder tijd in beslag nemen.
Maar we moeten in de ervaringsherhaling aangeven dat we elke 10 stappen leren.
Daarom is deze experience replay geen klassieke implementatie van experience.
We spelen zoals die voor de zelfrijdende auto.
Het is een ervaringsherhalingsimplementatie, rekening houdend met deze 10 stappen leren, en daarom zul je in deze ervaring
herhalingsspel voor twee klassen vinden, één klasse die je oog vooruitgang maakt gedurende tien stappen, zodat
het de beloningen kan optellen die op deze 10 zijn waargenomen stappen.
Dat is de eerste klas.
En we hebben deze klasse nodig omdat we deze 10 stappen moeten opnemen in de replay-geheugenklasse, de klasse die we
implementeren voor het opnieuw afspelen van ervaringen.
En zo zorgen we ervoor dat het geheugen ook rekening houdt met het feit dat we op 10
stappen leren.
Daarom vind je in deze implementatie van experience replay twee klassen.
Maar dat is alleen om er rekening mee te houden dat we op 10 stappen leren en daar moet ook rekening mee worden gehouden
in het geheugen.
Dus over ons geheugen gesproken, laten we het creëren.
We gaan ons geheugen geheugen noemen.
En dus wordt geheugen een object van de replay-geheugenklasse en de replay-geheugenklasse is een klasse van
deze ervaring.
Pauw opnieuw spelen.
En dus neem ik eerst deze foute ervaringsherhaling.
Dan dat, en dat is waar ik de replay memory-klasse perfect neem, en nu, zoals je kunt zien, moeten we twee
argumenten aanvoeren.
Het eerste argument is wreef, wat precies overeenkomt met het aantal stappen waarop we de
belangrijkste waarden gaan leren.
Dus, je weet wel, het aantal stappen waarop we het doel en de beloning verzamelen.
Dus we krijgen een cumulatief doel en de cumulatieve beloning.
En dan is het tweede argument de capaciteit die gelijk is aan de grootte van het geheugen.
Hier kunnen we bijvoorbeeld tienduizend zien.
Dus als de capaciteit gelijk is aan tienduizend, betekent dat dat het geheugen de grootte van tienduizend zal hebben.
En daarom betekent dat dat we een geheugen krijgen na 10000 stappen uitgevoerd door de A. L. Maar nogmaals, we gaan niet
elke overgang leren.
We gaan elke 10 stappen leren van deze laatste 10000 stappen van het geheugen.
En dat is precies deze nieuwe functie die we hier introduceren in vergelijking met voorheen.
Vroeger hadden we alleen deze geheugentruc.
En hier hebben we deze herhalings-geheugentruc, plus deze truc om elke 10 stappen te leren.
En we gaan elke 10 stappen leren.
En we gaan het doen in het geheugen dat is samengesteld uit de laatste 10000 stappen.
En dit is ervaringsherhaling gecombineerd met ongeschiktheidskenmerken met tien stappen, zal de trainingsprestaties
aanzienlijk verbeteren.
Dus laten we deze twee argumenten gebruiken.
De eerste is en stappen en dat zal gelijk zijn aan goed, laten we zeggen, en stappen zullen specificeren welke
stap direct daarna is.
Het zal in feite een object zijn van de andere klasse van dit ervaringsreplay-bestand, dat de voortgangsklasse van de eindstap
is, en die ons in staat stelt om de voortgang in tien stappen te maken.
En onthoud, tijdens de tien stappen zullen we enkele beloningen op de tien stappen geven om de cumulatieve beloningen over
tien stappen te krijgen.
En dat is precies het geschiktheidsspoor.
Dus wat we nu moeten doen, is dit maken en hier stappen.
En we hebben gemaakt met de tweede klasse die we hebben in deze ervaring, replay-bestand, dat is en stap
vooruitgang.
Dus nu gaan we wreef maken.
Op deze manier, en dit zal een object zijn van de voortgangsklasse van de wreef die we opnieuw uit onze ervaring halen,
spelen we fout.
Daar gaan we.
Dus dat is de voortgangsklasse van de eindstap.
En dan moeten we drie argumenten aanvoeren.
Zoals je kunt zien, moeten we de omgeving verbeteren, de doemomgeving die we hier hebben geïmporteerd.
Dan is het tweede argument onze EHI en dit zal natuurlijk de EHI zijn die we hier in de
VS hebben gebouwd. S. En het laatste argument is in stap.
En dit is waar we zullen specificeren dat we tien stappen willen, weet je, om elke tien stappen te leren, dat wil
zeggen elke tien overgangen.
Dus laten we deze argumenten.
De eerste is de omgeving en dat is Dhoom.
En goed, dan is de tweede onze EHI en dat tellen we mee, dat is die hier.
Dus dit is gewoon de naam van het argument in de klas van de stiefbroer aan het einde.
En dit gebied hier is, ben ik degene die we hebben gebouwd.
En dan is het laatste argument en stap en dat is gelijk aan tien.
Oke.
Dus op dit moment hielden we er in de herinnering gewoon rekening mee dat er een leerproces op tien stappen
is en dit leren op tien stappen wordt geschiktheidstracering genoemd.
Dus we werken hier echt aan de geavanceerde dingen.
Maar onthoud dat omdat we Dhume proberen te zijn, dat niets is als een fluitje van een cent.
We hebben deze geavanceerde technieken dus nodig om het te laten werken.
Dus nu zijn we bijna klaar voordat we verder gaan met de volgende stap, die feitelijk gaat over het
implementeren van geschiktheidstracering.
Het enige dat we moeten meenemen is natuurlijk de capaciteit, en dat is, laten we zeggen tienduizend.
Het geheugen zal een grootte hebben van tienduizend, wat betekent dat het geheugen de laatste tienduizend stappen zal bevatten
die door de A zijn uitgevoerd. L. en dat stelt ons in staat om zoveel batches te genereren, zoals u zich
herinnert, was een eenvoudige functie.
Weet je, het geheugen bevat tienduizend overgangen, maar om de A te trainen. L. , we gaan een aantal
batches van tien overgangen testen, deze keer niet één vergeleken met de vorige tien overgangen.
En we zullen deze mini-batches van tien overgangen in het geheugen bemonsteren, samengesteld uit de 10000 stappen.
Oke.
Dus nu denk ik dat we klaar zijn om door te gaan naar de volgende stap, namelijk het implementeren van geschiktheidstracering.
Dus we gaan hier wat avontuur beleven.
Dit zal geen eenvoudige implementatie zijn.
Even lekker uitrusten dus.
En als je er klaar voor bent, kunnen we dit aanvallen.
En dan genieten.