Hallo en welkom bij de leuke tutorial van deze eerste module, zelfrijdende auto.
Het wordt episch.
We gaan ons oog op het milieu testen en we gaan het testen op vier verschillende niveaus.
Dat wil zeggen, we gaan een spel spelen.
Het spel heeft vier moeilijkheidsgraden en de A. L. zal deze vier niveaus moeten halen.
Dus we gaan deze vier niveaus zijn.
Ten eerste, niveau één, het eerste niveau zal zijn om de luchthaven te bereiken en dan wat rondreizen te maken tussen de
luchthaven en naar het centrum.
Dus zodra we de auto deze rondritten zien maken, komen we langs niveau één en dan niveau twee.
Niveau twee zal zijn om deze rondreizen nog steeds te doen, maar op een specifieke weg die we zelf hebben gereden.
Maar het wordt een gemakkelijke weg omdat het niveau twee is.
En natuurlijk zal de auto zelf moeten rijden door op die weg te blijven.
Het wordt dus een weg die van het vliegveld naar het centrum gaat en dan de andere kant op.
En dus zal de auto deze rondritten moeten doen door op die weg te blijven.
Als dat het geval is, passeren we niveau twee en dan niveau drie.
Niveau drie zal zijn om enkele obstakels op de kaart te tekenen om te zien of de auto erin slaagt de obstakels te ontwijken en
toch zijn doel te bereiken.
Dus geen zorgen, we zullen een aantal moeilijke obstakels tekenen die de auto zal moeten vermijden en we zullen
zien of het de luchthaven en het centrum heeft bereikt.
En ten slotte zal het niveau voor het meest uitdagende niveau voor de auto zijn om een zeer moeilijke weg te tekenen om het
centrum te bereiken.
Dus ik weet het niet, weet je, het zal een weg zijn als een zigzag.
Ik ben geen briljante architect, maar ik zal proberen een uitdagende weg te maken.
Dus laten we hopen dat we in ieder geval het eerste niveau halen.
Dat zou geweldig zijn.
Laten we dan hopen dat we ook level twee en drie kunnen halen.
En als we niveau vier halen, zou dat geweldig zijn.
Dus laten we dit doen.
Laten we de uitdaging aangaan.
Nou, eigenlijk gaat de zelfrijdende auto de uitdaging aan, maar wij zijn het brein hierachter, dus
laten we hopen dat dat werkt.
Oke.
Dus het eerste wat ik ga doen, is je een snelle herinnering geven over de kaart.
Dus dat is de kaart.
En eerst gaan we naar de kaart kijken.
We gaan kijken naar de zelfrijdende auto zonder de A. L. Het zal dus gewoon een auto zijn met
die willekeurige acties die je aan het begin van deze module zag.
Dus hoe kunnen we daar naar kijken?
We moeten de lucht deactiveren en activeren.
Ja, we moeten gewoon een temperatuur gelijk aan nul stellen.
Onthoud dat die parameter hier de temperatuur is, en op dit moment is deze gelijk aan zeven.
Dat is dus een lage temperatuur.
We zullen dat er naar toe verhogen.
Maar als we niet willen dat de auto hersens heeft, dan willen we de A niet activeren. L. , we hoeven alleen
maar de temperatuur in te stellen op nul nul nul.
En hetzelfde hier natuurlijk, dat is de echte temperatuur in de code.
Dus daar gaan we.
En dan moeten we niet vergeten op te slaan want anders zit de wijziging er niet in.
OK, dus nu hebben we geen idee om het te activeren.
Laten we dus eens naar de kaart kijken om ons een snelle opfrisbeurt te geven, een snelle herinnering aan hoe het eruit
ziet.
Dus ik ga alles selecteren en op enter drukken.
Oké, en er is een kaart en daar is onze auto, dus zoals je kunt zien, heeft de auto totaal willekeurige acties, je weet wel,
om naar links te gaan, om rechtdoor of om naar rechts te gaan.
En daarom bereikt het de luchthaven niet, dat wil zeggen, ik herinner me linksboven op de kaart en bereik
niet.
Nou, het deed het gewoon, maar dat is volkomen willekeurig.
Uh, je ziet nu dat het op het vliegveld is en het andere doel niet bereikt, het centrum rechtsonder
op de kaart.
Dus we waren net als hier.
Maar we kunnen nu duidelijk zien dat de acties totaal willekeurig zijn.
Het gaat nergens heen en er is zeker geen kunstmatige intelligentie.
Maar geen zorgen.
We zullen het nu activeren.
Ik ga de kaart sluiten.
En dan ga ik de kernel herstarten, herstart de kernel, je klikt hier en dan op deze knop.
Ja, en nu tijd voor de show.
We gaan eindelijk dit brein dat we gemaakt hebben in de auto stoppen en de A. L. Ik ben super enthousiast om te zien wat
er gaat gebeuren.
We gaan de lucht nu activeren.
En om dit te doen, moeten we de temperatuur verhogen.
Dus om de temperatuur te veranderen, moeten we die nul vervangen door bron, laten we beginnen met zeven, zoals
we eerder hadden.
Dus laten we hier zeven specificeren.
Oke.
Laten we niet vergeten te sparen.
En laten we nu teruggaan naar onze kaart.
En nu kunnen we dit gewoon opnieuw uitvoeren omdat we de kernel opnieuw hebben opgestart.
Dus laten we uitvoeren.
En daar gaan we.
We hebben de auto.
En wat doet het?
Nou, het probeert zijn weg te vinden.
Het onderzoekt zijn begrip van wat het moet doen.
En het staat op het punt de luchthaven te bereiken.
En daar gaan we.
Eerste doel bereikt.
Prachtig.
En nu is het volgende doel om het centrum te bereiken.
En daar bereikte het net het centrum en nu probeert het het vliegveld terug te vinden, naar het vliegveld en
ze zijn er weer.
Prachtig.
Dus dat werkt.
Het kostte eigenlijk geen tijd om te verkennen, van de fouten te leren.
Weet je, de fout hier is om verder van het doel af te komen.
Daar straffen we de auto door hem een licht negatieve beloning te geven.
Weet je, het is min 0. 01.
Dus het heeft geleerd van die fout.
En door van die fout te leren, slaagde het erin om de positieve beloningen te krijgen door dichter bij het doel te komen.
En nu begreep het eindelijk wat het moest doen.
Het is absoluut het vliegveld bereiken en dan het centrum bereiken en dan deze takken doen.
Dat is perfect.
We hebben een zelfrijdende auto, maar het valt me op dat hij op een insect lijkt.
De auto lijkt niet echt zeker van zichzelf.
Weet je, het heeft geen erg zelfverzekerde beweging.
Het is alsof je links en rechts gaat.
Dat ziet er niet uit als een autobeweging.
Het lijkt meer op een bug.
Dus dat gaan we oplossen.
En zoals je misschien al geraden hebt, is de manier om dit op te lossen de temperatuur te verhogen, want onthoud,
de temperatuur is de parameter in de softmax-functie die we kunnen verhogen, zodat de actie met
meer zekerheid terugkeert.
Dus dat is logisch dat als we de temperatuur goed verhogen, we misschien een auto krijgen die zekerder van
zichzelf is omdat de A. L. zal meer zeker zijn van welke actie het moet spelen.
En dat, onthoud, is omdat de actie met een hogere waarschijnlijkheid zal worden gespeeld.
Het enige probleem met deze temperatuurstijging is dat, onthoud, de A. L. is minder het verkennen van
de andere acties, omdat door de temperatuur te verhogen, de andere acties een lage kans hebben.
Maar op dit moment lijkt dat geen probleem te zijn, want de auto lijkt geen probleem te hebben om
zijn doelen te bereiken, de luchthaven naar het centrum, zodat we de temperatuur kunnen verhogen als we dit ding willen dat tot nu toe
op een insect lijkt, kijk als een auto.
Dus laten we dit doen.
Ik ga dit nu afsluiten.
Daar gaan we.
Start de kernel opnieuw.
En ja, en nu gaan we de temperatuur verhogen, dus laten we dit doen.
Ik ga terug naar mijn dossier en verving de Steagles zeven door honderd.
Daar gaan we.
Dan sparen we en nu hebben we zeker een zelfrijdende auto.
Van zichzelf.
Dus misschien krijgen we betere resultaten en krijgen we misschien iets dat meer op een auto lijkt.
Dus laten we een kaart pakken en laten we die dan opnieuw uitvoeren.
Oké, wat is er gebeurd?
Oké, het heeft een soort van burn-out veroorzaakt.
Ik weet niet zeker waarom, maar hoe dan ook, nu hebben we iets dat meer op een auto lijkt.
Je ziet dat het meer rechtdoor gaat.
Het doet deze snelle bewegingen naar links en rechts niet.
Dat komt omdat de auto nu zekerder weet welke kant hij op moet.
En elke keer, weet je, wil het de beste richting nemen om naar het vliegveld te gaan en dan naar het centrum.
Het is dus duidelijk dat we nu kunnen zeggen dat we niveau één hebben gehaald.
De auto maakt deze rondritten tussen de luchthaven en de binnenstad.
Dat gaan we dus redden.
Ik ga je laten zien hoe je de hersenen kunt redden.
We hoeven alleen maar op deze knop voor opslaan te klikken.
En als wij.
Kijk wat hier gebeurt.
Welnu, we hebben in het begin de curve van de beloning.
We kunnen enkele fouten waarnemen die het heeft gemaakt.
Dus daar is de beloning negatief.
Maar toen leerde het van zijn fouten en de beloning nam beetje bij beetje toe tot het bereiken van een constante positieve beloning
gelijk staat aan het openen van een.
Maar dat is de maximale beloning die we hebben ingesteld, en dat komt omdat het uiteindelijk is gaan verkennen.
Dat is de verkenningsfase.
En toen wist het gewoon wat het moest doen.
En dat is waar het deze rondreizen tussen de luchthavens en de binnenstad zonder enige fout deed.
Dus daar gaan we.
We zijn geslaagd voor niveau één.
Gefeliciteerd.
Laten we het nu wat uitdagender maken.
Laten we de zaken naar een hoger niveau tillen.
Laten we proberen om niveau twee te halen, wat ik eraan herinner dat we deze rondritten op een specifieke weg moeten doen.
We gaan zelf tekenen.
Dus laten we dat de komende tijd eens bekijken.
En tot die tijd, geniet van I.