Hallo en welkom terug bij de cursus over kunstmatige intelligentie in de tutorial van vandaag, we
beginnen met het gedeelte over een diep, convolutief Q-leren.
Dus laten we eens kijken waar het allemaal om draait.
Eerder hadden we het over Deep Q-leren, dus we hadden een omgeving met een agent en we hadden een vector die die
omgeving beschreef en die in een neuraal netwerk werd ingevoerd.
En aan het einde kregen we de Q-waarden als onze output en toen kwamen we er natuurlijk achter hoe het netwerk
het leergedeelte beperkte.
We ontdekten hoe acties worden beslist op basis van die kernwaarden.
Dat is een actiegedeelte.
En we spraken over het actieselectiebeleid en verschillende dingen over hoe deep learning werkt.
Maar hier is het sleutelconcept voor dit alles: hoe komen we hiervan uit de werkelijke omgeving en
de toestanden naar het neurale netwerk?
Nou, de overgang is hier, de invoervector.
Dus de invoerlaag van ons neurale netwerk en het is een vector.
Dus waar we naar kijken is, OK, dus we zijn eigenlijk niet dat is niet de juiste term.
We kijken nergens naar.
De agent heeft in principe deze informatie.
Dus de omgeving geeft deze informatie door en zegt: OK, jij de agent, je bevindt je momenteel in
deze toestand, wordt beschreven door deze vector.
In dit vereenvoudigde voorbeeld wordt het beschreven door deze vector x1 van één, x2 van twee.
Dus je coördinaten zijn één twee en dat is je hele staat.
In een complexere omgeving kan de staat andere dingen met zich meebrengen die de agent kan waarnemen.
Maar het punt hier is dat het wordt doorgegeven als een vector.
En het punt is dat dat in het echte leven niet gebeurt, in het echte leven, behalve voor systemen en
dergelijke.
Maar wat gebruiken we in het echte leven?
Meestal gebruiken we onze zintuigen.
We gebruiken onze ogen.
Zelfs in GPS is het niet ingebouwd in onze hersenen.
Het vertelt ons niet de coördinaten via onze hersenen.
En dus gebruiken we nog steeds onze ogen om naar de GPS te kijken en te begrijpen wat daar gebeurt.
En dit is dus een soort van bedrog voor A. L. om soortgelijke informatie over de omgeving als vector te
krijgen.
Het is te simpel.
Het is niet hoe het in het echte leven werkt.
Dat is niet hoe wij als mensen werken en uiteindelijk kunstmatige intelligentie willen creëren
die op een vergelijkbare manier als mensen kan werken, omdat het dezelfde uitdagingen kan aangaan als mensen.
En in de mensenwereld hebben we dat dus niet.
Wij hebben dat niet.
We hebben deze coördinaten of andere soorten vectoren niet die aan ons worden doorgegeven die de toestand verklaren waarin we ons
in die omgeving bevinden.
Dus we zullen dat moeten verwijderen om het realistischer te maken.
En waar kunnen we het dan mee vervangen?
Wat zien we of wat doen we als mens om aan informatie te komen?
Nou, meestal zien we natuurlijk met al onze sensoren, maar de meeste
informatie die we krijgen over de wereld om ons heen komt via onze site.
En daarom gaan we dat pijltje dat we hadden veranderen in een heel convolutief neuraal netwerk.
Dit komt dus uit onze bijlage.
Nummer twee, we hebben de convolutionele daar.
En daarom is het belangrijk om redelijk vertrouwd te zijn met convolutionele convolutionele neurale netwerken en hoe ze
werken.
Dus als je een deep learning-cursus hebt gevolgd, moet je je daar prettig bij voelen.
Of u kunt gewoon een kijkje nemen in de bijlage.
Nummer twee, we hebben daar een aantal zeer goede intuïtie-tutorials.
Dus hier hebben we de convolutionele operatie, die gebeurt.
Dus we gaan dit eigenlijk als een afbeelding bekijken.
Dit is dus een afbeelding van de omgeving.
En dus kijkt de agent eigenlijk naar de omgeving.
Dus in dit geval niet dat hij van binnenuit kijkt.
Hij ziet eruit alsof, laten we zeggen dat hij dit op een computer speelt en hij deze omgeving kan zien
en daarom kan hij zien waar deze figuur die de agent vertegenwoordigt, in werkelijkheid is, je kunt zijn hele omgeving
zien of wat een mens zou zien als het echte Meiwes en de mens zou het doolhof van
binnenuit zien.
En dus moeten de agenten precies hetzelfde kunnen zien.
Dus alles wat hij ziet, is gedaan.
Het gaat door een convolutielaag en het gaat door een volledige poollaag, gaat weer door
afvlakking.
Je kunt meer te weten komen over deze verschillende delen van het convolutionele neurale netwerk in de bijlage
en dan nadat het is afgeplat, dan hebben we inputs die naar het neurale netwerk gaan.
En dit is veel realistischer omdat de agent zijn sites moet gebruiken en of afbeeldingen moet verwerken
die de omgeving aan de agent levert, net zoals een mens afbeeldingen zou verwerken.
En het mooie hiervan is niet alleen dat het realistischer is en het is meer als een hier de agenten
eigenlijk meer als een mens, maar het stelt ons in staat om veel complexere omgevingen te verwerken.
Dit is bijvoorbeeld hoe we doom of andere dergelijke spellen kunnen spelen, want in plaats van
alleen een vector van informatie te krijgen die zoals iemand voor ons in deze omgeving zou hebben gecreëerd, kunnen we kunstmatige
intelligentie gewoon aansluiten op elke omgeving die als mens .
We zouden hier een visioen van hebben in Rome, dus wij als mens, wanneer je
dit spel speelt, kun je precies dit beeld zien en dat is precies wat het kunstmatige neurale netwerk of de agent nu zou
zien.
Dus in dit deel van de cursus, wanneer je de praktijkproeven gaat programmeren, zal de agent
dit exacte beeld zien.
Je ziet de pixels.
Het zal dit exacte beeld krijgen van alle pixels van deze persoon met dit met dit pistool, met dit
gezicht, met dit percentage, met alles.
Precies wat we hier zien.
Dat is precies wat de agent zal zien.
Dan zal het dat via convolutie moeten ontleden.
Ze trekken aan hun afplatting en dan gaat het in een neuraal net.
En het is onnodig om te zeggen dat het neurale netwerk eigenlijk veel complexer is en dat laten we het daarom vervangen door
zoiets als dit.
Dit is niet veel ingewikkelder.
Dit ziet er wat ingewikkelder uit.
Maar in werkelijkheid zullen de neurale netwerken waarmee wordt gewerkt en het creëren met
Adlen behoorlijk interessant zijn, veel complexer zijn dan dit.
Maar zoals je hier al kunt zien, zelfs als we maar vijf ingangen hebben in plaats van twee, worden de
dingen veel complexer.
En hier kunt u zien dat we nog veel meer acties hebben die de agent kan ondernemen.
Dus in het doomspel en draai links en rechts, kijk naar beneden, kijk omhoog, rennen, schieten, herladen, of, je weet wel,
al die verschillende acties die mogelijk zijn in first person shooter zoals doen.
En bovendien hoeft het niet zo te zijn dat je deze agent kunt koppelen aan een ander type spel.
Dat is het mooie ervan, dat het zich dan realiseert dat het nu elke soort omgeving kan bedienen waaraan je het
koppelt, want zolang er een visuele representatie van de omgeving van die omgeving
is, heeft het al de hele infrastructuur.
De hele structuur is klaar om dat te verwerken.
Dus dat is waar diep, convolutief leren over gaat.
Dus we gaan zelfs naar de volgende stap.
We voegen nu convoluties toe aan of de convolutionele lagen in ons agentenbrein.
En we maken het nog complexer.
En daarom kunnen we worden beloond met het kunnen oplossen van nog complexere uitdagingen.
Dus ik hoop dat je erg enthousiast bent dat dit een episch gedeelte gaat worden en dat we een aantal geweldige dingen
gaan maken.
En ik kan niet wachten om je te zien op de volgende Atauro.
En tot die tijd, geniet van Ehi.