Hallo en welkom terug bij de cursus over Deep Learning vandaag, we
hebben het over een RELU die is gerectificeerde Leanyer-eenheden, en dit is een extra stap bovenop onze convolutiestap.
Het is dus geen aparte grote stap.
Het is een kleine stap.
Stap één, eigenlijk.
En wat is hier aan de hand?
Welnu, we hebben ons invoerbeeld.
We hebben onze convolutionele daar, die we hebben besproken.
En dan gaan we daar nog eens op wachten.
Onze favoriete gelijkrichterfunctie.
En je bent bekend met de gelijkrichtfunctie uit het vorige gedeelte over kunstmatige neurale netwerken.
En in onze zo soms autoriserende instructeurs scheiden de convolutie en de gelijkrichter als twee afzonderlijke stappen in onze voorbeelden,
wat ze gaat beschouwen als de enige grote stap voor de convolutie, dan de
gelijkrichter.
En de reden waarom we de gelijkrichter toepassen is omdat we de niet-lineariteit in ons
beeld of in ons netwerk willen vergroten en ons commerciële neurale netwerk en gelijkrichter fungeert als dat filter of toegang tot die
functie die de lineariteit verbreekt.
En de reden waarom we de niet-lineariteit in ons netwerk willen vergroten, is omdat afbeeldingen zelf in hoge mate
niet-lineair zijn, vooral als je verschillende objecten naast elkaar herkent, alleen op de achtergrond en dat soort
dingen.
Zoals de afbeelding veel niet-lineaire elementen zal hebben en de overgang tussen pixels, zullen aangrenzende
pixels vaak niet-lineair zijn.
Dat komt omdat de randen anders zijn, de kleuren anders zijn en er verschillende elementen in je afbeeldingen zitten.
Maar tegelijkertijd, als we wiskundige bewerkingen zoals convolutie toepassen en deze functiedetectie uitvoeren om
onze functiekaarten te maken, lopen we het risico dat we iets lineairs creëren en daarom moeten
we de lineariteit doorbreken.
Laten we dus een voorbeeld bekijken.
Hier is een afbeelding, een originele afbeelding.
Als we nu een functiedetectiedetector toepassen op deze afbeelding, krijgen we zoiets als dit.
Dus je kunt hier zien dat zwart negatief is, wit positieve waarden.
Welnu, als je een kenmerkdetector toepast op een gelijkaardige afbeelding, die niet alleen nullen en enen heeft, maar ook
veel verschillende waarden, en je toepast, zoals we eerder zagen, kenmerkdetectoren kunnen op zichzelf
negatieve waarden hebben.
Soms krijg je negatieve waarden.
En hier zijn zwarte die negatief zijn, witte zijn positief.
En wat een gerectificeerde Leanyer-eenheidsfunctie doet, is dat het al het zwart verwijdert, alles onder nul verandert in
nul.
En zo wordt het hieruit.
Rechts.
En dus is het vrij moeilijk om te zien wat precies het voordeel is in termen van voor in termen van het doorbreken van
lineariteit.
Ik zal het proberen uit te leggen.
Ik zal proberen een voorbeeld op deze afbeelding te laten zien.
Maar aan het eind van de dag is dit een heel wiskundig concept en we zouden veel wiskunde moeten
doen om echt uit te leggen wat er aan de hand is.
Maar laten we het proberen, laten we eens kijken.
Laten we bijvoorbeeld eens kijken naar dit gebouw hier.
Rechts.
Dit is dus een gebouw op zich.
Dan zie je deze schaduw, dit zwarte deel, deze schaduw hier.
Wel, je kunt zien dat het wit is, de weerkaatsing van het licht, en dan is het grijs en dan wordt
het donkerder en dan wordt het weer donkerder.
Dus als we het eruit halen, halen we dat zwarte deel eruit.
Denk er dus over in termen van lineariteit.
Rechts.
Dus het lijkt erop dat wanneer je van wit naar grijs gaat, de volgende stap zwart zou zijn, toch?
De volgende stap zou zwart zijn.
Het is een lineaire progressie van helder naar donker.
En daarom is dit een soort lineaire situatie.
Als je het zwart eruit haalt, verbreek je de lineariteit.
Laten we een andere proberen.
Laten we hier eens kijken.
En tegelijkertijd is het nog steeds datzelfde gebouw, toch?
Het is niet zoals jij bent.
Het is niet alsof je twee gebouwen in elkaar laat overvloeien.
Maar dat is secundair.
Het belangrijkste punt is het doorbreken van de lineariteit.
Dus laten we hier eens kijken.
Hetzelfde.
Dus je ziet wit, grijs, zwart, grijs, wit.
En als je het uit elkaar haalt, heb je dat niet meer, toch?
Je hebt die progressie niet, een geleidelijke progressie die je gewoon hebt als een abrupte verandering en die helpt
om niet-lineariteit in je beeld te introduceren.
Het is dus een heel ruwe uitleg, een beetje zoals op de vingers-uitleg in plaats van technisch.
Maar hopelijk helpt het je een beetje beter te begrijpen waar we het hier over hebben.
Dus ook hier kun je zien dat witgrijs een beter voorbeeld is, zelfs helder, donkerder, donkerder, donkerder, donkerder, donkerder
en donkerder.
Dus dit deel ziet eruit alsof het lineair is.
Dan verdeel je het zo.
Nogmaals, dit is dus een erg ruwe uitleg, niet helemaal perfect, maar het geeft je tenminste een idee van wat
er aan de hand is.
Maar als je meer wilt weten, er is een goed papier, zoals altijd, is altijd een papier.
Deze is van CCJ Cooper van de University of California.
En het heet Convolutional Neural Networks begrijpen die een wiskundig model hebben.
En daar beantwoordt hij eigenlijk vragen.
En je hoeft alleen maar naar de eerste te kijken.
En de vraag is waarom in een niet-lineaire activeringsfunctie essentieel is bij de filteruitgang
van alle tussenlagen.
Dus dat soort uitlegt het in wat meer detail, zowel in termen van intuïtie als vooral in termen van
wiskunde.
Dus dat is een interessant artikel waar je wat meer aanvullende informatie over dit onderwerp kunt krijgen.
En als je er echt in wilt duiken en wat coole dingen hier wilt ontdekken, dan is er nog een ander artikel waarin je
misschien geïnteresseerd bent.
Het heet Delving Deep into Rectifier en overtreft de prestaties op menselijk niveau op het gebied van beeld en die classificatie.
En hier komen auteurs en anderen van Microsoft Research.
Ze stellen een ander type gerectificeerde Leanyer-eenheidsfunctie voor met een voorgestelde parametrische, gecorrigeerde lineaire functie, die je hier
rechts ziet.
En ze beweren dat het betere resultaten oplevert zonder in te boeten aan prestaties.
Dus interessant om te lezen als je wat meer in dit onderwerp wilt duiken.
En dat was alles voor vandaag.
De echte jij-laag is vrij eenvoudig, luchtig om gewoon de gelijkrichtfunctie toe te passen.
En ik kijk ernaar uit om je de volgende keer te zien.
Geniet tot die tijd van deep learning.