Hallo en welkom terug bij de cursus over Deep Learning vandaag, we gaan afronden met terugvermeerdering.
Oke.
We weten dus al vrijwel alles wat we moeten weten over wat er in het neurale netwerk gebeurt.
We weten dat er een proces is dat voorwaartse propagatie wordt genoemd, waarbij informatie wordt ingevoerd in de
invoerlaag en vervolgens naar voren wordt gepropageerd om onze witte hoeden, onze uitvoerwaarden te krijgen, en dan vergelijken we
die met de werkelijke waarden die we in onze trainingsset hebben.
En dan berekenen we de fouten.
Dan worden de fouten in de tegenovergestelde richting terug door het netwerk verspreid, en dat stelt ons in staat om het netwerk te
trainen door de gewichten aan te passen.
Dus het enige belangrijke om hier te onthouden, is dat back-propagatie een geavanceerd algoritme is
dat wordt aangedreven door zeer interessante en geavanceerde wiskunde, waarmee we de gewichten kunnen aanpassen, allemaal tegelijkertijd, helemaal om
het tegelijkertijd aan te passen.
Dus als we dit handmatig zouden doen of als we met een ander type algoritme op de proppen zouden komen, zelfs
als we de fout zouden berekenen en we zouden proberen te begrijpen welk effect elk van
de gewichten heeft op de fout, zouden we op de een of andere manier elk van de gewichten afzonderlijk of afzonderlijk aanpassen.
Het enorme voordeel van back-propagatie en dit is een belangrijk ding om te onthouden,
is dat tijdens het proces van back-propagatie, simpelweg vanwege de manier waarop het algoritme is gestructureerd.
U kunt al het gewicht tegelijkertijd aanpassen, zodat u in principe weet voor welk deel van de fout elk
van uw gewichten in het neurale netwerk verantwoordelijk is.
Dat is het belangrijkste, fundamentele onderliggende principe van terugvermeerdering.
En dit was de reden waarom het zo snel oppakte in de jaren tachtig.
En dit was de grote doorbraak.
En als je daar meer over wilt weten en hoe de wiskunde op de achtergrond precies
werkt, dan is een goed artikel, dat we al noemden, de Neural Networks and Deep Learning, eigenlijk
een boek van Michael Nielsen, de You' Vind de uitgeschreven wiskunde en het zal je helpen te begrijpen hoe dit
precies mogelijk is.
Maar voor nu, voor onze doeleinden, vanuit een intuïtief oogpunt, is het belangrijkste om te
onthouden dat dat is wat back-propagatie doet.
Het past alle gewichten tegelijkertijd aan.
En nu gaan we alles afronden met een stapsgewijze uitleg van wat er gebeurt bij het trainen
van een neuraal netwerk.
Oke.
Dus stap één, we initialiseren de gewichten willekeurig naar kleine getallen dicht bij nul, maar niet nul.
We hebben tijdens de Egyptische tutorials niet echt gefocust op de initialisatie van gewichten, maar
de gewichten moeten ergens beginnen en ze worden geïnitialiseerd met willekeurige waarden in de buurt van nul.
En van daaruit, via het proces voor verspreiding door regulering, worden deze gewichten aangepast totdat de fout is geminimaliseerd,
totdat de kostenfunctie is geminimaliseerd, dan is het aan de eerste observatie van uw datasets om de eerste rij in
de invoerlaag in te voeren .
Elke functie is één ingang.
Dus neem in feite de kolommen en plaats ze afzonderlijk in de invoerknooppunten voor verspreiding van links naar
rechts.
De neuronen worden geactiveerd op een manier dat de input van neuronenactivering wordt beperkt door de gewichten.
De manier om in principe te bepalen hoe belangrijk elke neuronactivering is, en vervolgens de activering te propageren
totdat het voorspellingsresultaat wordt verkregen.
Waarom hoed in dit geval?
Dus eigenlijk propageer je van links naar rechts.
Je gaat de hele weg totdat je bij het einde bent.
Je krijgt je witte hoed, vergelijkt de resultaten met het werkelijke resultaat, meet de gegenereerde fout en dan doe
je de terugpropagatie van rechts naar links.
De gebieden die terug zijn gepropageerd, werken de gewichten bij op basis van hoeveel ze verantwoordelijk zijn voor de fout.
Nogmaals, je bent in staat om te berekenen dat vanwege de manier waarop de achterkant die wordt gepropageerd door
het percolatie-algoritme is gestructureerd, de leersnelheid bepaalt hoeveel we de gewichten bijwerken.
Leersnelheid is een parameter die u kunt regelen in uw neurale netwerk.
Stap zes, herhaal stap één tot en met vijf en werk de gewichten bij na elke observatie.
Dat heet versterkend leren.
En in ons geval was dat een stochastische gradiëntafdaling of herhaal de stappen één tot vijf.
Maar het is pas na een batch observaties of batch-leren, het is ofwel een volledige gradiëntafdaling
of achtergrondruis of een mini-batch gradiëntafdaling.
En stap zeven, toen de hele trainingsset door het kunstmatige neurale netwerk ging,
waardoor een tijdperk meer tijdperken opnieuw doet.
Dus eigenlijk blijf je dat en dat en dat doen en je neurale
netwerk beter en beter en beter laten trainen en zichzelf constant aanpassen terwijl je de kostenfunctie minimaliseert.
Dus daar gaan we.
Dat zijn de stappen die u moet nemen om uw kunstmatige neurale netwerken op te bouwen en te trainen.
En dit zijn de stappen die je samen met Hadland doorloopt in de praktijklessen.
Ik wens je veel succes en graag tot een volgende keer.
Geniet tot die tijd van deep learning.