Hallo en welkom terug bij de cursus over Deep Learning vandaag, we hebben
het over het neuron, de basisbouwsteen van kunstmatige neurale netwerken.
Dus laten we beginnen.
Eerder zagen we een afbeelding die er zo uitzag, en dit zijn echte echte neuronen die
op een glas zijn uitgesmeerd en een beetje zijn genoemd, en ze worden waargenomen door een microscoop.
Zo zien ze er dus uit.
Zoals je kunt zien, een behoorlijk interessant structuurlichaam en dan veel verschillende staarten, soort takken die eruit
komen.
En dit is erg interessant.
Maar de vraag is, hoe kunnen we dat in een machine nabootsen?
Omdat we die machine echt opnieuw moeten maken, omdat het hele doel van deep learning
is om na te bootsen hoe het menselijk brein werkt in de hoop dat we daarmee iets geweldigs gaan creëren.
We gaan een geweldige infrastructuur creëren zodat machines kunnen leren.
En waarom hopen we daar ook op?
Omdat het menselijk brein, nou ja, toevallig een van de krachtigste leermiddelen is, leermiddelen
op de planeet of soortgelijke leermechanismen op de planeet.
En we hopen gewoon dat als we dat opnieuw maken, zoiets geweldigs zal hebben.
Dus onze uitdaging op dit moment, onze allereerste stap om kunstmatige neurale netwerken te creëren, is om een neuron te
recreëren.
Dus hoe doen we dat?
Laten we eerst eens nader bekijken wat het eigenlijk is.
Deze afbeelding werd voor het eerst gemaakt door de Spaanse neurowetenschapper Santiago Ramon Yeakel in 1899.
En wat hij deed, was dat hij neuronen in echt hersenweefsel doodde en ze onder een microscoop bekeek.
En terwijl hij ernaar keek, tekende hij echt wat hij zag.
En dit is wat hij zag.
Hij zag daar aan de bovenkant twee neuronen of twee grote neuronen, waar al deze vertakkingen uitkwamen
in de richting van hun bovenste delen.
En dan had elk van hen een staaf of soortgelijke draad die naar de bodem uitkwam, een heel lange.
En ja, dus dat is wat hij zag.
En nu, weet je, de technologie is behoorlijk vooruitgegaan en we hebben neuronen veel dichterbij en gedetailleerder
gezien.
En nu kunnen we echt tekenen hoe het er schematisch uitziet.
Dus laten we daar eens naar kijken.
Hier is een neuron.
Dit is hoe het eruit ziet, zeer vergelijkbaar met wat Santiago Ramon hier en hier en dit neuron tekende.
Wat we kunnen zien is dat het een lichaam heeft.
Dat is het belangrijkste deel van het neuron.
En dan heeft hij wat takken aan de top, die dendrieten worden genoemd.
En het heeft ook een axon, dat is die lange staart van het neuron.
En waar zijn deze dendrieten voor en waar zijn ze voor?
Het belangrijkste om hier te begrijpen is dat neuronen op zichzelf vrijwel nutteloos zijn.
Het is net als een mier, toch?
Een mier alleen kan niet veel doen zoals vijf mieren samen.
Misschien kunnen ze iets oppikken.
Maar nogmaals, als ze dat niet doen, kunnen ze geen mierenhoop bouwen of een kolonie stichten.
Ze kunnen niet samenwerken als een enorm organisme.
Maar tegelijkertijd, als je heel veel advertenties hebt, alsof je een miljoen mieren hebt, kunnen ze een hele
kolonie bouwen, ze kunnen een mierenhoop bouwen.
Hetzelfde met neuronen op zich.
Het is niet zo sterk.
Maar als je veel neuronen bij elkaar hebt, werken ze samen om magie te doen.
En hoe werken ze samen?
Dat is de vraag.
Daar zijn de dendrieten en axonen voor.
Dus de dendrieten zijn een soort ontvangers van het signaal voor het neuron.
En axon is de zender van het signaal voor het neuron.
En hier is een afbeelding van hoe het conceptueel allemaal werkt.
Dus aan de top heb je een neuron en je kunt zien dat de dendrieten zijn verbonden met axonen
van andere neuronen die nog verder weg erboven zijn.
En dan reist het signaal van dit neuron door zijn axon en verbindt of gaat naar de dendrieten van het
volgende neuron.
En zo zijn ze verbonden.
En in dat kleine plaatje daar, kun je zien dat het axon de dendrieten niet echt raakt.
Veel machine learning of zoals een paar machine learning-wetenschappers zijn onvermurwbaar over het feit dat
het het niet aanraakt zoals het dat niet doet.
Het is bewezen dat daar geen fysieke verbinding is.
Maar het punt waar we in geïnteresseerd zijn, is dat die verbinding tussen hen, dat het hele concept van het signaal
dat wordt doorgegeven, de aanmeldingen worden genoemd.
Je kunt daar op dat kleine plaatje zien, die cijferbeugel is een aanmelding en dat is de trend die we gaan
gebruiken.
Dus in plaats van onze kunstmatige neuronen de lijnen te noemen die we zullen hebben of de connectoren voor kunstmatige neuronen,
gaan we ze geen axonen of dendrieten noemen, want dan is de vraag, wiens
verbinding is dit?
Zijn dat neuronen of zijn dit neuronen die we gewoon noemen, die ze Synopsize gaan noemen?
En dat is een soort van antwoord op alle vragen meteen.
Dat is gewoon waar de signaaldoorgang niet uitmaakt van wie dat element is.
Dat is slechts een weergave van het signaal dat wordt doorgegeven.
En dat zullen we nu zien.
Dus eigenlijk werkt een neuron zo.
En ja.
Dus laten we verder gaan met hoe we gaan vertegenwoordigen.
Neuronen hopen neuronen te creëren in machines, dus we gaan nu weg, we gaan weg
van neurowetenschap en gaan over op technologie.
En hier gaan we.
Dus hier is ons neuron, ook wel de knoop genoemd.
Het neuron krijgt een aantal ingangssignalen en het heeft een uitgangssignaal.
Dus dendrieten en axonen onthouden.
Maar nogmaals, we gaan deze stiltes noemen en dan deze ingangssignalen.
We gaan ze ook van andere neuronen vertegenwoordigen.
Dus in dit specifieke geval kun je zien dat dit neuron, dit groene neuron signalen krijgt van gele
neuronen.
En in deze cursus gaan we proberen ons aan een bepaald kleurcoderingsregime te houden, waarbij geel een
invoerlaag betekent.
Dus eigenlijk, alle neuronen die zich op de buitenste laag of in het eerste front bevinden, waar komen de signalen
binnen?
En per signaal is het misschien een beetje overdreven om dit een signaal te noemen.
Het is eigenlijk gewoon invoerwaarde.
Dus je weet hoe, zelfs in een eenvoudige lineaire regressie, je invoerwaarden hebt en dan heb
je een voorspelde waarde.
Hetzelfde hier.
Dus je hebt invoerwaarden en daar zijn ze, de gele.
En dan aan de rechterkant, je zult zien dat het nu rood is.
Het zal de outputwaarde zijn.
Waar ik hier op wilde wijzen, is dat we in dit specifieke voorbeeld kijken
naar een neuron dat zijn signalen ontvangt van de neuronen van de inputlaag.
Dus er zijn ook neuronen, maar hun input, hun neuronen, soms heb je neuronen
die hun signaal krijgen van andere verborgen laag-neuronen.
Dus van andere groentjes.
En het concept zal precies hetzelfde zijn.
Alleen in dit geval, omwille van de eenvoud, geven we dit voorbeeld weer.
En in termen van de invoerlaag, de manier om erover na te denken is in de analogie van het
menselijk brein, de invoerlaag zijn je zintuigen.
Rechts?
Dus wat je hier ook kunt zien, voelen, aanraken of ruiken.
En natuurlijk is het alsof er veel dingen zijn die je kunt zien.
Er komt veel informatie binnen.
Maar dat zijn jouw, dat is waar je hersenen zich toe beperken, het is zo'n beetje alsof je leeft
in een doos gemaakt van botten.
En het is gewoon een geestverruimend concept om over na te denken dat je hersenen gewoon opgesloten zitten in een zwarte doos en
het enige dat het niet kan zien, je niet kunt horen.
Het enige wat je krijgt zijn elektrische impulsen die komen van deze organen die je hebt,
die je oren en die ogen worden genoemd, je weet wel, je tastzin en wat dan ook, en jij en jouw en je
smaak.
Rechts.
Dus het krijgt alleen maar signalen.
Maar het leeft in feite in deze donkere zwarte doos en het geeft de wereld zin door middel van je
zintuigen.
Het is fenomenaal.
En dus, ja.
Dus je hebt deze inputs die binnenkomen in termen van menselijk brein.
Dat zijn je vijf zintuigen.
En in termen van machine learning of deep learning zijn dat in feite uw invoerwaarden.
Dus je onafhankelijke variabelen.
En dat krijgen we zo.
Dus je invoerwaarden, het signaal wordt door synapsen naar het neuron gestuurd en dan heeft je neuron een
uitvoerwaarde die het verder in de keten doorgeeft.
In dit specifieke geval, in termen van kleurcodering, betekent geel opnieuw invoerlaag.
Dus we vereenvoudigen alles hier een beetje.
We zeggen dat we alleen de invoerlaag hebben en dan hebben we één verborgen laag met het
groen, dat is het achterland, en dan hebben we de uitvoer daar meteen.
Zodat we voorlopig even aan deze kleuren kunnen wennen.
En daar gaan we dan.
Dat is de basisstructuur.
Laten we nu wat meer in detail kijken naar deze verschillende elementen die we hebben.
Dus we hebben de invoerlaag.
En wat hebben we hier?
Welnu, we hebben deze invoer, die in feite onafhankelijke variabele is, hangt al snel af van variabele één en
was beschikbaar voor onafhankelijke variabele.
En het belangrijkste om te onthouden is dat deze onafhankelijke variabelen allemaal voor één enkele waarneming
zijn.
Zie het dus als slechts één rij in uw database, één observatie.
Je neemt gewoon alle onafhankelijke variabelen.
Weet je, misschien is het de leeftijd van de persoon daar, het bedrag op de bankrekening, en hoe rijden
of lopen ze dan naar hun werk?
Welk vervoermiddel gebruiken ze?
Dus dat zijn allemaal beschrijvingen van één specifieke persoon die je bent, ofwel je training,
je model of je doet een voorspelling op.
En het andere dat u over deze variabelen moet weten, is dat u ze moet standaardiseren.
Je moet ze dus ofwel standaardiseren, wat betekent dat ze een gemiddelde van nul en variantie één
hebben.
Of u kunt soms ook en Hadland zal u op deze situaties wat meer in detail wijzen, misschien in
de praktische tutorials.
Deze kom je misschien tegen.
Soms wil je misschien niet standaardiseren, je zou ze willen normaliseren, wat betekent dat in plaats van ervoor
te zorgen dat het gemiddelde en ik bedoel er is en de variantie één is, je gewoon, weet je, de minimumwaarde
aftrekt en dan deel je door de maximale min, minimale som door het bereik van uw waarden.
En de vier, je krijgt waarden tussen nul en één.
En het hangt af van het scenario.
Misschien wil je het een of het ander doen.
Maar eigenlijk wil je dat al deze variabelen ongeveer hetzelfde zijn.
Een reeks waarden en waarom is dat?
Welnu, al deze waarden gaan naar een neuraal netwerk waar ze, zoals we zojuist zullen
zien, worden opgeteld en vermenigvuldigd met waar het wordt opgeteld enzovoort.
En het zal gemakkelijker zijn voor het neurale netwerk om ze te verwerken als ze allemaal ongeveer hetzelfde
zijn.
En in feite, weet je, dat is precies hoe het goed zal kunnen werken.
En als je meer wilt lezen over standaardisatie, normalisatie en andere dingen
die je kunt doen als je en welke variabelen zijn een goed aanvullend leesboek heet Diffusion Back.
Waarschijnlijk een jonge licaan, links uit 1998 daar.
Zo jonge Licorne.
We gaan het eigenlijk meer hebben over deze fenomenale persoon in de ruimte van diep leren.
In het deel van de cursus hadden we het over convolutionele neurale netwerken.
En je zult zien dat dit zeker iemand is die weet waar hij het over heeft.
Hij is een goede vriend van Geoffrey Hinton, die we al hebben gezien, die zeer gedimensioneerd is.
In dit artikel leer je dus meer over ontsmetting en normalisatie, maar je kunt ook tal van andere
verschillende tips en trucs oppikken.
En hij zal een goede bron zijn voor extra lectuur als je door de partituur gaat.
Dus.
Dus, ja, bekijk het eens als je geïnteresseerd bent in wat extra lectuur.
En daar gaan we.
Dus dat is wat we moeten doen als de variabelen en hier hebben we de uitvoerwaarde.
Dus wat kan onze outputwaarde zijn?
Nou, we hebben een paar opties.
Uitvoerwaarde kan continu zijn, zoals bijvoorbeeld prijs, het kan binair zijn.
Een persoon zal bijvoorbeeld vertrekken of blijven of het kan een categorische verbale en fysieke of een categorische variabele
zijn.
Het belangrijkste om te onthouden is dat in dat geval uw uitvoerwaarde niet slechts één zal zijn.
Het zullen verschillende uitvoerwaarden zijn, omdat dit dummyvariabelen zijn die uw categorieën vertegenwoordigen
en dat is precies hoe het werkt.
En het is gewoon belangrijk om te onthouden dat je in dat geval je categorieën op die manier
uit het kunstmatige neurale netwerk haalt.
Maar laten we teruggaan naar een eenvoudig geval van één uitvoerwaarde.
En laten we nu nog een punt hebben of een beetje zoals het punt dat ik al heb gemaakt.
Ik wilde dit punt alleen maar herhalen.
Aan de linkerkant heb je een enkele observatie.
Dus een van je uit je dataset en aan de rechterkant heb je ook een enkele observatie.
En dat is dezelfde observatie.
Het is zo belangrijk om te onthouden dat, welke invoer je ook invoert, dat voor één rij is en dan de
uitvoer die je krijgt voor diezelfde rol.
Of als je je neurale netwerk traint, dan zet je de input voor die ene
rol.
Je zet de output daarvoor in.
Dus, als je de complexiteit wilt vereenvoudigen, beschouw het dan als een eenvoudige lineaire regressie of
een multivariate lineaire regressie.
Dus je voert je waarden in.
Jij hebt de output.
Het is alsof er geen twijfel over bestaat als we het hebben over dingen als regressie, omdat we er zo
aan gewend zijn.
Hetzelfde hier.
Het is niets te ingewikkeld.
We voeren alleen waarden in.
We krijgen output.
Maar onthoud dat elke keer dat je met één rij te maken hebt, je niet in
de war raakt en begint te denken dat dit verschillende, verschillende rollen zijn die je in je kunstmatige
neurale netwerk stopt of zoiets.
Dit zijn allemaal gewoon waarden in die ene rol.
Dus telkens andere waarnemingen, andere kenmerken van of attributen die betrekking hebben op die ene
waarneming.
OK, dus het volgende waar we het hier over willen hebben, is of de synopsis een teken is dat we
hier wetenschappen hebben en dat ze allemaal gewichten toegewezen krijgen.
We gaan het nog hebben over gewichten voor dons.
Maar kortom, gewichten zijn cruciaal voor het functioneren van kunstmatige neurale netwerknetwerken, omdat neurale netwerken
leren met gewichten.
Door de gewichten aan te passen, bepaalt het neurale netwerk in elk afzonderlijk geval welk enkel signaal belangrijk is, welk signaal niet belangrijk
is voor een bepaald neuron, welk signaal wordt doorgegeven en welk signaal niet
wordt doorgegeven, of met welke sterkte, aan wat mate signalen worden doorgegeven.
Gewichten zijn dus cruciaal.
Dat zijn en zijn de dingen die tijdens het leerproces worden aangepast.
Zoals wanneer je traint op een kunstmatig neuraal netwerk, je in feite alle gewichten
aanpast in alle sinussen in dit hele neurale netwerk.
En dat is waar gradiëntafdaling en terugpropagatie in het spel komen.
En dat zijn concepten die we ook zullen bespreken.
En dus eigenlijk zijn dat de gewichten.
Dat is alles wat we voor nu moeten weten.
En hier hebben we het neuron.
Dus signalen gaan het neuron in en wat er in het neuron gebeurt.
Dus dit is het interessante deel, zoals we het vandaag over het neuron hebben, wat er in het neuron
gebeurt.
Er gebeuren dus eerst een paar dingen.
En de eerste stap is dat al deze waarden die worden opgeteld worden opgeteld.
Dus het neemt de toegevoegde dus de gewogen som van alle invoerwaarden die het krijgt.
Heel eenvoudig, toch?
Het is heel, heel eenvoudig.
Gewoon optellen vermenigvuldigd trouwens, tel ze op en dan is het van toepassing en activeringsfunctie.
Nu gaan we het meer hebben over de activeringsfunctie.
Want de overheid is in feite een functie die
aan dit neuron of aan deze hele laag is toegewezen, en het wordt toegepast op deze gewogen som, en daaruit begrijpt het neuron of het een
signaal moet doorgeven, dat is het signaal dat het geeft door, dat de functie van toepassing was op de gewogen som.
Maar eigenlijk zal het neuron, afhankelijk van de functie, een signaal doorgeven of dat signaal
niet doorgeven.
En dat is precies wat hier gebeurde.
In stap drie geeft het neuron dat signaal door aan het volgende neuron langs de lijn.
En daar gaan we het in de volgende tutorial over hebben, want het is een behoorlijk belangrijk onderwerp.
We willen dieper ingaan op de activeringsfunctie, maar hopelijk moet voor nu alles vrij duidelijk zijn hoe, weet je,
je hebt invoerwaarden, je hebt gewichten, je hebt de sinussen, je hebt
iets, weet je, gebeurt in neuron.
Je hebt de gewogen Salminen-activeringsfunctie toegepast en dan wordt dat doorgegeven langs de lijn en
dat wordt gewoon herhaald door het hele neurale netwerk, maar door en door en door, je weet wel, duizenden, honderdduizenden
keren, afhankelijk van hoe groot, hoeveel neuronen je hebt, hoeveel aanmeldingen je hebt
in je neurale netwerk.
Dus daar gaan we.
Ik hoop dat je genoten hebt van het redactionele commentaar van vandaag.
Tot de volgende keer.
En tot die tijd, geniet van deep learning.