Ben je klaar?
Laten we dit doen, laten we beginnen met het installeren van alle systeemafhankelijkheden voor Vista, laten we
op deze afspeelknop klikken en nu zal het alle afhankelijkheden installeren, zoals je kunt zien, zoals Pelo of ZIPPI en ook enkele andere
afhankelijkheden die nodig zullen zijn om voer dit met succes uit.
Maar de rest, zoals PLI naar de gymmodules, is al geïnstalleerd.
Dus dat is echt geweldig.
Dat is echt het mooie van goede kulam, en daardoor zal niemand van jullie problemen hebben met het uitvoeren van
de code en het visualiseren van het eindresultaat.
Oke.
Dit gaat dus eigenlijk een of twee minuten duren.
Dus ik ga hier en nu snel vooruit.
Tot ziens voor de rest van de uitvoering van de code.
Oké, we lijken aan het einde te zijn van de installatie van de systeemafhankelijkheden,
zoals je kunt zien, is het ze aan het downloaden, installeren en verzamelen met de juiste vereisten.
En binnen een paar seconden moet het klaar zijn.
Rechts.
En laten we eens kijken, drie, twee.
Daar gaan we.
Alles succesvol geïnstalleerd.
Maak je hier geen zorgen over deze fouten.
Ze hebben geen invloed op de uitvoering van de code, maar alles is met succes geïnstalleerd zoals we willen.
Oke.
Dus nu volgende stap, heel belangrijk.
Kijk naar deze belangrijke opmerking.
Er staat dat na het installeren van alle Benz's, eigenlijk na het uitvoeren van deze eerste cel hier,
je runtime opnieuw moet starten.
Anders krijgt u hier enkele uitvoeringsfouten.
Dus laten we het snel doen.
Het is heel simpel.
U hoeft hier alleen maar op runtime te klikken en vervolgens runtime opnieuw te starten.
Ja.
Oke.
Dit zal je runtime herstellen en nu kun je al deze cellen gewoon uitvoeren door op de afspeelknop te
klikken.
Dus laten we dit doen, te beginnen met de voorbewerking van deze eerste afbeelding van het bestand.
Oke.
Laten we dus eerst de bibliotheken importeren en vervolgens de afbeeldingen voorbewerken met de pre-process afbeeldingsklasse.
En nu zijn we al overgestapt op de implementatie van experience replay, dus deze.
Oke.
Dus laten we dit doen.
We importeren eerst de bibliotheken, daarna definiëren we een stap van de omgeving.
Dan maken we de A. L. voortgang op verschillende en stapstappen met de voortgangsklasse van de eindstap
precies hetzelfde als wat we in de map hebben.
En dan implementeren we de ervaring die we spelen door deze herhalingsgeheugenklasse te bouwen.
Oke.
Alles goed.
En nu gaan we verder met de derde fout.
Deze A L. neem aan dat ik me had aangemeld en dan importeren we eerst de bibliotheken.
Oke.
Dus het kost wat tijd hier omdat we alle fakkelmodules importeren, dan importeren we de pakketten om
te openen en dit te doen met de sportschool en wijsheid, Jim.
En de verpakking is helemaal goed.
En dan gaan we naar deel één hier, Gebouw II, waar we de hersenen gaan maken, dan
het lichaam en dan alles in elkaar zetten.
Dus laten we eerst de hersenen in orde maken met de CNN-klasse, laten we dan de body maken met de softmax
body-klasse en dan de AI maken met een klasse.
Oke.
Allemaal goed dus.
En nu zijn we klaar om door te gaan naar deel twee.
Gaan we de AI trainen met natuurlijk diepe convolutionele Q Learning.
Oke.
Zo uitvoerend, hetzelfde als wat we hier hebben.
We krijgen eerst de doom-omgeving met onze nieuwe modules met doom.
Maak je hier geen zorgen over.
Dit is geen fout.
Dan gaan we de A bouwen. L. door de verschillende objecten te integreren om CNN, de lichamen van
Max Body en de hele A. L. met daarin de hersenen en het lichaam.
Oke.
Heb ik dit uitgevoerd?
Ja.
Dan zetten we ervaring op.
We spelen met Insteps en het geheugen als een objectief herhalingsgeheugen, en vervolgens implementeren we
geschiktheidstracering.
Oke.
Om de prestaties te verbeteren.
Dan maken we het voortschrijdend gemiddelde van honderd stappen met de M een klasse.
En tot slot, mijn vrienden, zijn jullie er klaar voor?
Welnu, dit is nu tijd voor het zeer opwindende deel waar we de A gaan trainen. L. ruim twintig dollar.
Oke.
Je zult dus zien dat dit al een beetje lang gaat duren.
Weet je, het zal misschien een of twee uur duren omdat ik de afmetingen vergroot, voel je vrij om
de uitstoot terug te brengen tot tachtig bij tachtig als je dit te lang vindt.
Maar geloof me, je zult veel betere video's hebben met deze afmetingen.
Oké, dus ben je klaar?
Laten we dit in drie tegen één doen.
Oke.
Dus dit zal de code van de training uitvoeren en binnen een paar seconden zouden we het eerste tijdperk
moeten kunnen zien, wat natuurlijk een negatieve beloning zal hebben.
Maar je zult zien dat, weet je, in de loop van de tijdperken de beloning beetje bij
beetje zal toenemen totdat positieve beloningen worden bereikt en dan tot honderden beloningen.
Laten we daar eigenlijk naar streven.
Laten we hopen dat we met achtentwintig dollar een uiteindelijke beloning hebben van een paar honderd, weet je,
100 of 200 of 300, want met deze beloningen heb ik er eigenlijk mee geëxperimenteerd.
Ja.
Ten eerste, een negatieve beloning min achtennegentig.
Dus ik zei dat we met beloningen van rond de 100, 200, 300 al geweldige resultaten zullen behalen.
Weet je, we zullen zien dat de AA erin slaagt om ofwel enkele monsters te doden of ze te ontwijken,
of, weet je, naar het vest gaan.
Oké, dus dat is het eerste boek, één min achtennegentig.
En dan weet je, we zullen zien bij boek nummer twee met misschien al een betere beloning.
Maar weet je, in het begin is de MER natuurlijk niet opgeleid.
Het is de omgeving verkennen.
Rechts.
Herinner je je deze afweging in versterkend leren, exploratie versus exploitatie?
Nou, in het begin is het idee puur verkennen en dan gaat het trainen en
dan wordt het kleiner en kleiner, en dat is wanneer het een hoge beloning gaat opleveren.
Het is dus helemaal prima om in het begin negatieve beloningen te hebben.
Misschien krijgen we dat.
Gedurende de drie eerste tijdperken, maar dan zul je zien dat na een nummer vier of vijf
of zes, nou ja, we misschien positieve beloningen zullen bereiken en dan hopelijk beloningen rond de 100, 200 of 300.
Oké, het zal dus even duren, zoals ik al zei.
We blijven hier dus geen twee uur, anders heb ik geen dingen meer te zeggen.
Dus wat ik ga doen is dat ik nu een leuke of coole muziek ga zetten en daar gaan we, tijdperk nummer twee,
min 62.
Er is dus al enige verbetering.
Dat is goed.
Maar je zult zien dat er nog betere verbeteringen zullen zijn.
Hoe meer we vorderen in de tijdperken.
Oké, dus wat zei ik?
Ja, ik ga nu wat coole muziek zetten en de training in versnelde modus spelen.
En natuurlijk zie ik je aan het einde van de training om de eindresultaten te zien.
Oke.
Dus daar gaan we.
Drie tegen één.
Oké, en hier zijn we aan het einde van de training, gefeliciteerd, je hebt een diep, convolutief leermodel
getraind op een zeer uitdagende applicatie, namelijk het spelen van het onheilspel.
Dus wat te zeggen voor?
Nou, zoals we hadden gehoopt, bereikten we een gemiddelde beloning van meer dan 100.
Wat dan belangrijk is om te zeggen, is natuurlijk dat je met meer tijdperken hogere beloningen krijgt.
Dus als je klaar bent om dit model bijvoorbeeld voor meer te trainen, lijkt het op 100 tijdperken of
zelfs meer om beloningen te bereiken van meer dan 300, 400, 500 of zelfs 1000.
Nou, voel je vrij om het te doen.
U kunt deze bijvoorbeeld 's nachts laten draaien terwijl u slaapt.
En als u 's ochtends wakker wordt, krijgt u betere resultaten.
Merk op dat je ook in de runtime GPU kunt gebruiken, toch.
Als u het runtime-type wijzigt, wat ik niet zou moeten doen, omdat het anders de notebook opnieuw zal opstarten.
Maar in de hardwareversneller hier kun je GPU of zelfs Tipu kiezen, maar dat is alleen als je, je
weet wel, de prestaties wilt optimaliseren en een superharde training wilt doen.
Maar hier heb ik gewoon een klassiek ding gebruikt, omdat ik je gewoon wil laten zien hoe je dit allemaal kunt uitvoeren.
En daar gaan we.
Nu gaan we de rest van de werkmap uitvoeren met deze extra code die alleen specifiek is voor deze code,
die notebook waar we natuurlijk AA in actie gaan visualiseren.
Oke.
Dus laten we dit doen.
Laten we eerst de bibliotheken importeren.
Rechts.
Alles goed.
Vervolgens gaan we de invoervorm en een aantal mogelijke acties afdrukken.
Oke.
Dus hier krijgen we inderdaad dat we zeven mogelijke acties hebben, weet je, in de
doomgangomgeving.
Dit zijn dus vooruit, achteruit, links, rechts, schieten en dan misschien jezelf beschermen of wat
dan ook.
Ik weet niet wat de laatste actie is, maar zoiets, dan zijn dit de afmetingen
van het invoerframe.
Dit komt overeen met de hoogte van het frame.
Het heeft een hoogte van 240 pixels.
Dit komt overeen met de breedte van het frame, toch?
Het is driehonderdtwintig groot.
En dit komt overeen met, weet je, het feit dat we met gekleurde afbeeldingen werken en de drie komen hier
overeen met de drie elementen van onze kanalen.
Oké, laten we dan de volgende cel uitvoeren die een frame van de omgeving weergeeft, gewoon om te zien hoe
het is.
En inderdaad, onthoud, dat is handig om te zien met welke omgeving je werkt.
Rechts.
Dus hier zien we dat we in Dume Corridor zijn.
Maar als je hier met wat meer omgevingen wilt experimenteren, weet je, ze
staan hier ook op de hoofdpagina.
Hier.
Ja.
Je hebt alle lijsten van de omgevingen, weet je, die ik aanbeveel om mee te experimenteren.
Dus, weet je, als je naar een andere wilt kijken, nou, weet je, ik kan je laten
zien, laten we deze echt pakken en dan ga ik terug naar deze zoomgang.
Rechts.
Dus als ik die door deze vervang.
Juist, en ik voer dit goed uit, we krijgen deze keer drie acties, natuurlijk, het is een eenvoudigere,
en als we dit goed uitvoeren, zien we deze omgeving, toch.
Het is dus gewoon een manier om snel te zien waar u mee werkt en om een voorproefje te krijgen van wat de
ACA in de omgeving zal doen.
Oke.
Dus gaan we terug naar de hoek.
Laten we dit nu uitvoeren voor het geval we het nodig hebben voor de volgende verkoop.
Oké, perfecte ondergang, Cawdor.
Laten we nu verder gaan met de laatste verkoop.
Dit is een hulpfunctie die zal worden gebruikt voor de visualisaties.
Dus laten we de verkoop uitvoeren en laten we het idee nu in één aflevering uitvoeren.
En hier zul je in staat zijn om de code te begrijpen, want, weet je, het is in feite het
proces van, weet je, het draaien van de lucht en een volledige aflevering waarbij het bij elke stap in een specifieke staat is, het in
actie gaat spelen binnen de staat.
Dan gaat het de beloning krijgen en dan de volgende datum bereiken.
Rechts.
Dus dit is het klassieke MGP-proces, toch.
Marktbeslissingsproces.
En daar gaan we dan.
Dat is gedaan voor één aflevering.
En tot slot krijgen we de video van de gameplay van onze A. L. , die werd opgeleid voor twintig dollar, was
in staat om meer dan 100 beloningen te behalen, wat ons behoorlijk goede resultaten zal opleveren, maar misschien niet
de beste.
Maar het is oke.
Dat ga je zelf uitproberen.
En nu zou ik willen dat je hierop klikt voor de knop hier, omdat ik je wil laten zien hoe de
video is gevuld.
Dit zijn dus enkele mappen die, je weet wel, enkele elementen bevatten zoals de frames, je weet wel, de frames
van de resultaten of enkele jasen-bestanden.
Maar waar echt in geïnteresseerd zal zijn, is de laatste video.
En om het te krijgen, hoeven we alleen maar op de afspeelknop hier te klikken en je zult zien dat het hier in de
hoofdmap zal worden ingevuld.
Mis het niet.
En het is oké.
Weet je, het lijkt erop dat de cel al is uitgevoerd, wat het geval is.
Maar je zult zien dat we binnen een paar seconden een avatar zullen zien, wat een videobestand is dat hier wordt ingevuld.
Het verschijnt in ongeveer tien seconden.
Ik kan zelfs aftellen als je wilt.
Dus laten we dit doen.
En tien, negen, acht, zeven, zes, vijf, vier, drie, twee, één, ga.
En nu zou het echt binnen een paar seconden moeten verschijnen.
Ja, daar gaan we.
Oke.
Dus agent gameplay, dat idee, dat is jouw video.
Dus laten we het downloaden en het zal worden gedownload op uw computer, die ik hier zal vinden.
Rechts.
Dat is de video-agent-gameplay die Evia ervoor zorgt dat deze wordt geopend met een videospeler met codecs zoals
VLSI.
Rechts.
Het zal niet werken met Quick Time Player als je op een Mac werkt, maar het zal zeker werken met VLCC.
Dus laten we eens kijken.
En hier is het filmpje.
Oke.
Dus laat me hier even op pauze drukken.
Oke.
Dus hier is de video.
En zoals je kunt zien, zijn dit dus de 256 bij 256 afmetingen van het frame.
Dus zoals je kunt zien, is het niet erg groot.
Rechts.
Daarom wilde ik heel graag met deze afmetingen werken in plaats van 80 bij 80.
Dus laten we nu de video bekijken.
Dit is dus de A. L. Doom spelen in één aflevering, en het moet voorkomen dat de monsters niet worden gedood.
Het moet vooruitgaan om het beste te bereiken.
Dus laten we eens kijken hoe het drie-tegen-een gaat.
Oké, dus eerst wordt hij gesloten, hij gaat vooruit, oké, en toen werd hij gedood door de monsters, maar dat
is nog steeds best goed.
Weet je, het begreep dat het vooruit moest naar het Westen omdat de hoogste beloning goed is
door het vest te bereiken.
En, natuurlijk, weet je, als je echt wilt dat de video van je lucht het vest bereikt en
wint bij dit spel, dan moet je in principe je oog trainen voor meer tijdperken en misschien zelfs een ander soort verbetering doen, zoals het
afstemmen van je hersenen van de A. L. of wat parameterafstemming doen, zoals het afstemmen
van de leersnelheid.
Nou, je hebt veel opties als iemand van jullie een geweldige video krijgt of, je weet wel, de video van A. L. bijvoorbeeld een beloning
van meer dan 1000 hebben bereikt.
Wel, deel het gerust in de Q&A.
Ik weet zeker dat andere studenten er super blij mee zullen zijn.
Oke.
Dus ik hoop dat je het leuk vond om het diepe, convolutionele leermodel te implementeren.
Nu gaan we verder met het volgende deel, dat gaat over het implementeren van het H3C-model
en een nog beter en krachtiger model dat zal worden geïmplementeerd om het spel van breakout te spelen.
Dus ik zie je in het volgende deel.
En tot die tijd, geniet van A. L..