Hallo en welkom terug bij de cursus over diep leren.
Oké, vandaag hebben we het over de activeringsfunctie.
Laten we er meteen op ingaan.
Hier waren we dus eerder mee gestopt.
We hadden het over de structuur van één neuron.
Dus daar staat het in het midden.
We weten dat het een aantal inputs heeft, waarden die binnenkomen.
Het heeft wat gewichten.
Vervolgens telt het het gewicht op, berekent het het gewicht bij sommige van die ingangen en past vervolgens de activeringsfunctie toe
in stap drie.
Het geeft het signaal door aan de volgende ronde.
En daar hebben we het vandaag over.
We hebben het over de waarde die wordt doorgegeven.
We hebben het dus over de activeringsfunctie die wordt toegepast.
Dus welke opties hebben we voor de activeringsfunctie?
Welnu, we gaan kijken naar vier verschillende soorten activeringsfuncties waaruit u kunt kiezen.
Natuurlijk zijn er meer verschillende soorten activeringsfuncties, maar dit zijn de belangrijkste waarover u zult
horen en die u in deze cursus zult gebruiken.
Dus hier is de drempelfunctie.
Dit is hoe het eruit ziet.
Dus op de X-as heb je de gewogen som van de invoer op de Y-as, je hebt gewoon, je weet wel,
de waarden van nul tot één.
En eigenlijk is de drempelfunctie een heel eenvoudig type functie waarbij als de waarde kleiner is
dan nul, de drempelfunctie nul doorgeeft.
Als de waarde groter is dan nul of gelijk aan nul, dan geeft de drempelfunctie een één door.
Dus het is eigenlijk een soort van, ja, geen type functie, heel, heel rechttoe rechtaan, een heel soort
van star type functie, ja of nee, geen andere opties.
Daar ga je dan.
Zo werkt dat.
Zeer eenvoudige functie.
Laten we nu verder gaan met iets ingewikkelders.
De sigmoïde functie, zeer interessante formule die we hier hebben.
Je zult zien dat er nu één is gedeeld door één plus E tot de macht min X, terwijl
in dit geval X natuurlijk de waarde is van de som van de gewogen sommen.
En dus, ja, dus dit is hoe de sigmoid eruit ziet.
Het is een functie die wordt gebruikt in de logistische regressie, als je je herinnert, uit de machine learning-cursus.
Dus wat goed is aan deze functie, is dat deze soepel is, in tegenstelling tot de drempelfunctie.
Deze heeft die knikken niet in zijn curve en daarom is het gewoon een mooie en soepele, geleidelijke progressie.
Dus alles onder nul, zakt gewoon af boven nul, het benadert naar één.
En deze sigmoid-functie is erg handig in de laatste laag, in de uitvoerlaag, vooral als je
kansen probeert te voorspellen.
En dat zullen we tijdens deze cursus zien.
En dan hebben we nog de gelijkrichterfunctie.
De gelijkrichterfunctie, ook al heeft deze een knik, is een van de meest populaire functies voor kunstmatige neurale
netwerken.
Dus het gaat helemaal naar nul.
Het is nul.
En vanaf daar vordert het geleidelijk naarmate de invoerwaarde ook toeneemt.
En dat zullen we tijdens de cursus zien.
We zullen dat zien in andere intuïtieve tutorials.
En dat zien we ook hoe we deze functie gebruiken in de praktijk van de cursus.
En ik zal hier in een paar dia's vanaf nu iets meer over zeggen.
Onthoud dus dat een gelijkrichterfunctie een van de meest gebruikte functies is in kunstmatige neurale netwerken.
En tot slot hebben we nog een functie waar je waarschijnlijk nog van zult horen.
Het is de hyperbolische tangensfunctie.
Het lijkt erg op de sigmoid-functie.
Maar hier gaat de hyperbolische tangensfunctie onder nul.
Dus de waarden gaan van nul naar één of ongeveer twee één en gaan van nul naar min één aan de andere
kant.
En dat kan in sommige toepassingen handig zijn.
We gaan dus niet te diep in op elk van deze functies.
Ik wilde je gewoon met ze kennis laten maken, zodat je weet hoe ze eruit zien en hoe ze heten.
Als je wat extra lectuur wilt krijgen, lees dan deze paper over vijf jaar of wat heb je
agglomeraat genoemd een Deep Spar's Rectifier Neural Networks 2011 paper.
En daar zult u precies ontdekken waarom de gelijkrichtfunctie zo'n waardevolle functie is, waarom het zo populair is om
te gebruiken.
Maar voorlopig hoef je al die dingen niet echt te weten.
Voorlopig hoeven we ze alleen nog maar toe te passen.
We beginnen ze gewoon steeds meer en meer te gebruiken.
Dus als je je op je gemak voelt met de praktische kant van de dingen, dan kun je dit document gaan raadplegen en
dan zul je die kennis veel sneller in je op kunnen nemen en zal het veel logischer zijn.
Maar houd dit in gedachten dat als je er klaar voor bent, als je voelt dat je er klaar voor
bent, je naar dit document kunt gaan en daar waardevolle kennis uit kunt halen.
Dus om het snel samen te vatten, we hebben de drempelactiveringsfunctie, die er zo uitziet, de sigmoid-activeringsfunctie,
die er zo uitziet.
We hebben de gelijkrichterfunctie en we hebben de hyperbolische tangens.
En om deze tutorial af te ronden, laten we snel een paar oefeningen doen, dus we zullen gewoon twee
snelle oefeningen doen om die kennis te laten bezinken.
Dus de eerste is dat we hier een voorbeeld hebben van een neuraal netwerk met slechts één neuron en dan meteen
de uitvoerlaag.
En de vraag is, ervan uitgaande dat uw afhankelijke variabele binair is, dus het is nul één, welke
drempelfunctie zou u gebruiken?
Dus van degenen die we hebben besproken, hebben we de drempelfunctie, de sigmoïde functie, de
gelijkrichterfunctie, en we hebben de hyperbolische tangensfunctie in hun ruwe vorm.
Welke zou je kunnen gebruiken voor een binaire variabele.
OK, dus de antwoorden hier zijn, er zijn twee opties waarmee we dit kunnen aanpakken.
Dus nummer één is de drempelactiveringsfunctie omdat we weten dat het tussen nul en één ligt en het geeft je een
nul om rally's te begrijpen en anders geeft het je een keer.
Het kan je maar twee waarden geven.
Het past perfect, past perfect bij deze eis, en daarom zou je kunnen zeggen dat Y bij sommigen gelijk is aan de
drempelfunctie van je suite en dat is het dan.
En in het tweede geval, die u zou kunnen gebruiken, is de sigmoid-activeringsfunctie.
Het is eigenlijk ook tussen nul en één, precies wat we nodig hebben.
Maar tegelijkertijd wil je gewoon nul één.
Rechts.
Dus jij bent niet precies wat we nodig hebben, maar in dit geval, wat je zou kunnen gebruiken, zoals
de kans dat Y ja of nee is.
Dus we willen dat Y nul één is, maar in plaats daarvan zullen we zeggen dat de sigmoid-functie, een vergelijkbare activeringsfunctie,
ons vertelt of die ons de kans vertelt dat Y gelijk is aan één.
Dus hoe dichter je bij de top komt, hoe waarschijnlijker het is dat dit inderdaad een een of een ja is in plaats
van een nee.
En ja.
Dus dat lijkt erg op de logistische regressiebenadering.
En dat zijn nog maar twee voorbeelden.
En als je een binaire variabele hebt en laten we nu eens kijken naar een andere praktische toepassing, laten we
eens kijken hoe dit allemaal zou uitpakken als we zo'n neuraal netwerk hadden.
Dus in de eerste invoerlaag hebben we enkele invoer.
Ze worden naar onze eerste verborgen laag gestuurd en vervolgens wordt een activeringsfunctie toegepast.
En wat u hier gewoonlijk zou toepassen en wat u tijdens deze cursus zult zien, is dat
we een activeringsfunctie voor gelijkrichters toepassen.
Dus het zou er ongeveer zo uitzien.
We passen de activeringsfunctie van de gelijkrichter toe en van daaruit zouden de signalen worden doorgegeven aan de uitgangslaag
waar de sigmoïde activeringsfunctie zou worden toegepast, en dat zou onze uiteindelijke uitvoer zijn en dat zou
bijvoorbeeld een waarschijnlijkheid kunnen voorspellen.
Dus deze combinatie zal heel gewoon zijn.
We zitten in de verborgen lagen.
We passen de gelijkrichterfunctie toe en in de uitvoer daar passen we de sigmoid-functie toe.
Dus daar gaan we.
Ik hoop dat je genoten hebt van de Dorel van vandaag.
Nu bent u redelijk goed thuis in de vier verschillende soorten activeringsfuncties en zult u
er een aantal praktische ervaring mee opdoen.
Deze cursus zal ze overal gebruiken.
Je zult ze dus heel goed leren kennen en je moet je er goed bij voelen.
Maar voor nu is dit de kennis die je nodig hebt om vooruitgang te boeken en te begrijpen wat er verderop in
deze cursus gaat gebeuren.
En wat dat betreft, ik kijk ernaar uit om je de volgende keer te zien.
Geniet tot die tijd van deep learning.