Hallo en welkom hierbij, Atauro is super enthousiast omdat we op het punt staan het H3C-brein te maken dat het brein
is van onze A. L. En over hersenen gesproken, ik wil graag iets benadrukken.
Herinnering aan de eerste module.
We hebben een eenvoudig brein gemaakt met alleen volledig verbonden lagen.
Vervolgens maakten we in de tweede module voor Dhoom een brein dat niet alleen volledig verbonden lagen had,
maar ook ogen, omdat we de convolutionele lagen toevoegden die ijs aan het oog gaven omdat het de beelden kon
observeren en begrijpen wat er binnenin gebeurt.
En nu gaan we het zelfs op een hoog niveau aanpakken, want we gaan een brein maken dat
niet alleen ogen heeft en lagen volledig met elkaar verbindt, maar ook geheugen, want zoals ik al zei
in het vorige om te zwoegen, we gaan een regulier neuraal netwerk toevoegen in dit grote brein en dat
zal een lang geheugen aan onze hersenen geven, zodat het de temporele relaties, de temporele eigenschappen van de invoerbeelden
kan begrijpen, zodat we in een nog krachtiger brein gaan.
Ik kan je vertellen dat het model dat we nu konden implementeren echt heel krachtig is.
En we kunnen zien hoe gebouw A. L. S en het doen van diep leren, het
doen van diep versterkend leren, heeft alles te maken met steeds dichter bij hoe een menselijk brein werkt.
We zijn begonnen met de basisrelaties van de hersenen, met de lineaire voedselverbindingen.
Daarna hebben we ised toegevoegd en het geheugen toegevoegd.
Wie weet wat we in de toekomstige modellen gaan toevoegen.
Weet je, over achttien jaar zullen ze misschien iets toevoegen waardoor het brein nog meer
op een menselijk brein gaat lijken, maar al met volledig verbonden lagen, ogen en een geheugen, hebben we al een heel
goed en functioneel brein.
Dus laten we het doen.
Laten we dit brein maken.
Dus zoals gewoonlijk gaan we daar een klasse voor maken omdat het veel eigenschappen zal hebben
met de windingen en de Russen.
Dus we gaan het in zijn functie maken om dit alles te initialiseren, al deze verbindingen te creëren.
En dan hebben we natuurlijk de Ford-functie die natuurlijk het signaal in de hersenen zal
verspreiden, zodat we uiteindelijk de uitvoer kunnen krijgen.
Oke.
Ben je klaar?
Laten we dit doen.
Dus klas, we introduceren een nieuwe klas die we acteur-criticus noemen omdat ik het hier natuurlijk over hersenen
heb.
Maar laten we niet vergeten dat we een 3D-model aan het maken zijn, gebaseerd op het acteursprincipe met apart de acteur
en de criticus.
Dus we zullen eigenlijk één natuurlijke verbinding maken voor de acteur en één in jouw verbinding voor de criticus.
U zult zien hoe we dat gaan doen.
Het zal eigenlijk heel simpel zijn.
Dus acteur, criticus en deze acteurscriticus-klasse zullen erven van de beoogde module, zodat we alle
tools kunnen gebruiken.
Dus laten we dit doen om te erven van de beoogde module.
We moeten eerst de fakkelbibliotheek nemen en dat en dan.
En dat en module.
Goed, dus op die manier erven we ervan.
Oké, dus daar gaan we met onze eerste functie, die natuurlijk de init-functie zal zijn.
Dus we beginnen met daarin en het zal onderstrepen dat deze Senaatsfunctie zelf als argument voor het
object gaat nemen, dan de invoervorm, dat zijn de afmetingen van onze invoerafbeeldingen.
En we noemen het niet-invoer en de actieruimte, wat in feite de ruimte is die alle acties
bevat.
We zijn ook, weet je, uit deze actieruimte kunnen we een aantal acties krijgen.
Dat zijn een aantal mogelijke acties die we binnenkort ook daadwerkelijk gaan krijgen.
Dus daarom hebben we het ook nodig.
Dus dat is voor de argumenten.
Dat is alles wat we nodig hebben.
En laten we dan naar de functie gaan en alle variabelen maken die eigen zijn aan onze hersenen.
Maar voordat we dat doen, onthoud wat we moeten doen om op de een of andere manier de erfenis te activeren
dat we alle tools vanaf het einde kunnen gebruiken.
Die module moeten we op deze manier de superfunctie gebruiken, waarbinnen we actor invoeren.
Criticus, dat is onze klas, en kom dan zelf op het onderwerp.
Goed dan en daar gaan we weer met de erin.
Functie, daar gaan we, dat geeft ons alle tools die we nodig hebben van fakkel om onze hersenen te bouwen.
Oke dan.
Nou, het is tijd om de ogen van de A. L. dat zijn de windingen.
Dus we gaan het heel snel doen omdat we dit al in detail hebben uitgelegd voor Doom, want onthoud,
de A. L. want Doom had ogen.
Het is dus precies hetzelfde.
We gaan wat kronkels maken en we zullen een heel eenvoudige architectuur gebruiken met tweeëndertig kenmerkdetectoren van
formaat, drie bij drie schrijlings op twee en een paar van één.
Dus dat is een behoorlijk klassieke architectuur, maar dat zal eigenlijk genoeg zijn om ervoor te zorgen dat het oog
begrijpt wat er gaande is in de breakout-game.
Oke.
Dus laten we die windingen maken zodat we zichzelf oplossen, want de windingen zullen zo variabel zijn dat
het object zelf dat we het niet kunnen noemen komt en er zullen vier windingen zijn.
Dus ik noem deze één kom één.
En daar gaan we.
We nemen het einde in module DOT en dan nemen we de twee D-klasse, want eigenlijk zal tel één een object van
deze klasse zijn.
En dan zullen we eerst de invoervorm van de afbeeldingen plaatsen.
Dus dat is precies wat we hier hebben, dus we kunnen dit kopiëren en als eerste invoer invoeren.
Dan is het tweede argument het aantal feature detectors of ook het aantal kernels.
Dus we gaan 30 nemen naar, zoals we net zeiden, klassieke keuze.
Vervolgens moeten we een grootte van de kernel kiezen, dat is het aantal cellen dat over de invoerafbeelding zal
schuiven.
En onthoud dus dat we er drie, vier of vijf kunnen nemen.
Dat zijn gewone keuzes.
En hier gaan we er drie kiezen.
En dan gaan we bestrides kiezen.
Van twee en.
Een patroon van één dat we hebben, dus dat is voor de eerste convolutie die van het invoerbeeld naar
de eerste convolutionele lagen gaat, samengesteld uit tweeëndertig gecompliceerde afbeeldingen.
Dus nu zijn we klaar om de tweede conclusie te trekken.
Dus het zal eigenlijk bijna hetzelfde zijn.
Dus ik kopieer deze regel en plak die hieronder, maar eigenlijk weer hieronder en plak hem nog een laatste
keer omdat we vier windingen zullen hebben met bijna niets te veranderen, dus we kunnen hier al
één voor één vervangen tot één voor drie en één voor vier.
Dat zullen onze vier windingen zijn.
En nu moeten we natuurlijk wat dingen veranderen, maar niet veel, want we houden een
reeks van twee voor elk en een patroon van één.
Ze zullen allemaal tweeëndertig feature-detectoren hebben, dat is 30 om ingewikkelde afbeeldingen uit te voeren.
Maar bedenk hier, dit komt overeen met het linkerdeel van de winding.
Dus eigenlijk komt dat overeen met wat zich aan de rechterkant van de vorige winding bevond.
Weet je, onthoud, het is als een dominosteen.
Het is dus heel gemakkelijk.
En daarom moeten we hier tweeëndertig invoeren en ook hier.
We gaan heel gemakkelijk tweeëndertig en tweeëndertig zien.
Oké, om samen te vatten, we beginnen met de afbeeldingen van onze invoer die geen afmetingen van de invoer hebben.
Met de eerste convolutie krijgen we 30 twee ingewikkelde afbeeldingen, die elk een specifiek kenmerk detecteren.
Vervolgens passen we van deze dertig op ingewikkelde afbeeldingen de tweede convolutie toe om tweeëndertig nieuwe ingewikkelde afbeeldingen
te krijgen die vervolgens worden verzonden vanuit deze tweeëndertig nieuwe ingewikkelde afbeeldingen.
We passen de derde convolutie toe om opnieuw tweeëndertig nieuwe ingewikkelde afbeeldingen te krijgen.
En uiteindelijk passen we van de tweeëndertig ingewikkelde afbeeldingen de vierde convolutie toe om kenmerken te krijgen.
Oke.
En dit is genoeg hiermee of ik zal de supervisie hebben.
Het zal de bal heel goed pakken.
Oke.
Dus dat was het voor de bijdrage.
Dus dat is het voor de ogen.
En laten we nu voor het geheugen zorgen, deze nieuwe functie van dit brein die we implementeren in
tegenstelling tot voorheen, zodat het niet alleen supervisie krijgt, maar ook een supergeheugen, een lang geheugen, omdat
we gaan implementeren van een. T. M lange korte termijn geheugen, dat
is dit soort regulier neuraal netwerk dat je model een soort van lang geheugen geeft, zodat het een aantal lange tijdsrelaties uit
het verleden kan leren.
Dus hetzelfde gaan we een nieuwe variabele maken.
Dus ik begin met mezelf en dit is heel goed, we gaan het gewoon ASTM noemen,
omdat dit overeenkomt met het Elysium-netwerk in de hersenen.
Dus NCM en nu voordat we de code voor de NCM schrijven, laten we ervoor zorgen dat we begrijpen wat dit elysium-deel van de
hersenen zal doen.
Dus zoals we dit begrepen, wordt ASTM gebruikt om de temporele eigenschappen van de invoer, de invoerbeelden, te leren.
Dus als de bal bijvoorbeeld een steen raakt, codeert het Elysium de bounce.
Dus dat is het eerste wat je moet begrijpen.
Het zal een beetje coderen wat er in het spel gebeurt.
Dan is het volgende belangrijke om te begrijpen wanneer we een A. T. M. is dat we
hier een volgorde van de tijdelijke afhankelijkheden moeten kiezen.
Aangezien we ons neurale netwerk gaan voeden met een reeks van vier beelden, betekent dat
dat we al enkele tijdelijke afhankelijkheden van orde kunnen leren, want dat zijn enkele tijdelijke afhankelijkheden waarbij wat er gebeurt bij twintig
plus één afhangt van wat er op het moment gebeurt tt min één, T min twee en
twee is gelukt zodat we dat zeker kunnen.
Maar het goede nieuws is dat we een geldautomaat gaan gebruiken en daarom zullen we nog
complexere temporele relaties kunnen leren.
Dat wil zeggen, we kunnen enkele eenvoudige eigenschappen leren waarbij wat er gebeurt bij twintig plus
één zal afhangen van wat er gebeurt op tijdstip tt min één tot min twee tot drie, tot T min N, en
dat is het lange deel in de lange korte termijn geheugen.
Met deze ASTM kunnen we een aantal zeer complexe temporele relaties leren.
Oké, dus laten we onze a toevoegen. T. M, dus om dit te doen, gaan we
de motormodule gebruiken en dan gaan we de klasse A toevoegen. T. M-cel, die dit ASTM-object zal maken, dat het eerste deel van het
neurale netwerk zal vertegenwoordigen.
Want wat op dit moment ook belangrijk is om te begrijpen, is dat we een C ornon, je
weet wel, convolutioneel neuraal netwerk maken.
En het Arland-gedeelte komt na het CNN-gedeelte.
En daarom, wat we nu in deze LSM-cel moeten invoeren, is eerst de grootte van de uitvoer na de
convolutie.
Dus dat is tweeëndertig keer, drie keer drie.
Dus deze 32 keer, drie keer drie is eigenlijk de output na de vier windingen hier, maar dat wordt de input van het
ijzer in de a. T. M-netwerk.
En waarom heeft de output van de vier windingen deze grootte.
Tweeëndertig keer.
Drie keer drie.
Maak je geen zorgen, het is niet zo direct.
Het is eigenlijk geen simpele formule.
Maar er is een formule om dit aantal outputneuronen te berekenen na het afvlakken van de samengevoegde en
ingewikkelde beelden van de windingen.
Maar als we de termen van deze grote formule verzamelen, dan krijgen we tweeëndertig keer drie keer drie.
Ik wilde hier niet te veel tijd aan besteden, want we hebben nog veel meer te doen.
En bovendien hebben we al een functie gemaakt om dit getal te berekenen.
Onthoud dat het in juni was toen we dit aantal neuronen lieten werken, zodat je het opnieuw kunt gebruiken als je wilt, als je
niet overtuigd bent.
Maar dat is precies wat we krijgen na het verzamelen van de voorwaarden van deze grote formule, het berekenen van het aantal
uitgangen.
Dus dat is voor het eerste argument.
En dan is het tweede argument het aantal outputneuronen van de storm.
En we gaan voor tweehonderdzesenvijftig.
OK, en wat betekent dat nu, dat betekent dat we nu een vector hebben die elke gebeurtenis van het spel
codeert of met andere woorden, we hebben een gecodeerde staat.
En dat is nu dat we de scheiding kunnen maken tussen de acteur en de criticus, want, weet je,
we gaan eigenlijk twee afzonderlijke neurale netwerken maken, een voor de acteur en een voor de criticus.
Maar er zal dezelfde codering zijn van de afbeeldingen en de temporele relaties voor deze twee neurale
netwerken.
Dit is dus het gemeenschappelijke deel dat we doen voor deze twee neurale netwerken.
Dit zal hetzelfde begin zijn voor de neurale netwerken, maar nu gaan de dingen veranderen voor de acteur en
de criticus, want we gaan één lineaire, volledige verbinding maken voor de acteur en één andere dan ze
zijn volledige verbinding voor de criticus .
Dus laten we een korte pauze nemen en laten we dat de komende tijd doen.
Tot dan, geniet ervan.