Zoals de naam al aangeeft, is backpropagation een algoritme die terug propageert de fouten van uitvoerknooppunten naar de invoerknooppunten. Daarom wordt het eenvoudigweg 'achterwaartse voortplanting van fouten' genoemd. Deze benadering is ontwikkeld op basis van de analyse van een menselijk brein. Spraakherkenning, tekenherkenning, handtekeningverificatie, herkenning van menselijke gezichten zijn enkele van de interessante toepassingen van neurale netwerken. De neurale netwerken doorlopen gesuperviseerd leren, de invoervector die door het netwerk gaat, produceert een uitvoervector. Deze uitvoervector wordt vergeleken met de gewenste uitvoer. Als het resultaat niet overeenkomt met de uitvoervector, wordt een foutenrapport gegenereerd. Op basis van het foutenrapport worden gewichten aangepast om de gewenste output te krijgen.
Wat is een kunstmatig neuraal netwerk?
Een Kunstmatig neuraal netwerk maakt gebruik van begeleide leerregels om efficiënt en krachtig te worden. De informatie in neurale netwerken stroomt op twee verschillende manieren. In de eerste plaats wanneer het model wordt getraind of geleerd en wanneer het model normaal werkt - hetzij om te testen, hetzij om een taak uit te voeren. Informatie in verschillende vormen wordt in het model ingevoerd via invoerneuronen, waarbij verschillende lagen verborgen neuronen worden geactiveerd en de uitvoerneuronen worden bereikt, wat bekend staat als een feedforward-netwerk.
Omdat niet alle neuronen tegelijkertijd worden geactiveerd, worden de neuronen die de input van links ontvangen, vermenigvuldigd met de gewichten terwijl ze door verborgen lagen reizen. Tel nu alle inputs van elk neuron bij elkaar op en wanneer de som een bepaald drempelniveau overschrijdt, zullen de neuronen die stil waren gebleven, triggeren en verbinding maken.
De manier waarop het kunstmatige neurale netwerk leert, is dat het leert van wat het verkeerd heeft gedaan en het goede doet, en dit staat bekend als feedback. Kunstmatige neurale netwerken gebruiken feedback om te leren wat goed en fout is.
Wat is backpropagation?
Definitie: Backpropagation is een essentieel mechanisme waarmee neurale netwerken worden getraind. Het is een mechanisme dat wordt gebruikt om de gewichten van een neuraal netwerk (in dit artikel ook wel een model genoemd) te verfijnen met betrekking tot het foutenpercentage dat in de vorige iteratie is geproduceerd. Het is vergelijkbaar met een boodschapper die het model vertelt of het net een fout heeft gemaakt of niet, zodra het voorspelde.
backpropagation-neuraal-netwerk
Backpropagation in neurale netwerken gaat over de overdragen van informatie en het relateren van deze informatie aan de fout die door het model werd gegenereerd toen een schatting werd gemaakt. Deze methode is bedoeld om de fout te verminderen, ook wel de verliesfunctie genoemd.
Hoe backpropagation werkt - eenvoudig algoritme
Backpropagation in deep learning is een standaardbenadering voor het trainen van kunstmatige neurale netwerken. De manier waarop het werkt is dat - In eerste instantie, wanneer een neuraal netwerk wordt ontworpen, willekeurige waarden worden toegewezen als gewichten. De gebruiker weet niet zeker of de toegekende gewichtswaarden juist zijn of passen bij het model. Als resultaat geeft het model de waarde weer die verschilt van de werkelijke of verwachte uitvoer, wat een foutwaarde is.
Om de juiste output te krijgen met minimale fouten, moet het model worden getraind op een relevante dataset of parameters en de voortgang ervan elke keer dat het voorspelt, volgen. Het neurale netwerk heeft een relatie met de fout, dus wanneer de parameters veranderen, verandert de fout ook. De backpropagation maakt gebruik van een techniek die bekend staat als de deltaregel of gradiëntafdaling om de parameters in het model te wijzigen.
Het bovenstaande diagram toont de werking van backpropagation en de werking wordt hieronder weergegeven.
- ‘X’ bij de ingangen reiken vanaf het vooraf verbonden pad
- ‘W’, de werkelijke gewichten worden gebruikt om de invoer te modelleren. De waarden van W worden willekeurig toegewezen
- De output voor elk neuron wordt berekend door propagatie door te sturen - de invoerlaag, verborgen laag en uitvoerlaag.
- De fout wordt berekend aan de uitgangen met behulp van de vergelijking Achterwaarts voortplanten door de uitvoer en verborgen lagen, gewichten worden aangepast om de fout te verminderen.
Ga opnieuw naar voren om de uitvoer en de fout te berekenen. Als de fout wordt geminimaliseerd, eindigt dit proces of wordt het achteruit voortgeplant en worden de gewichtswaarden aangepast.
Dit proces herhaalt zich totdat de fout tot een minimum is beperkt en de gewenste uitvoer is verkregen.
Waarom hebben we backpropagation nodig?
Dit is een mechanisme dat wordt gebruikt om het neurale netwerk te trainen met betrekking tot de specifieke dataset. Sommige van de voordelen van Backpropagation zijn
- Het is eenvoudig, snel en gemakkelijk te programmeren
- Alleen de nummers van de invoer zijn afgestemd en geen enkele andere parameter
- Voorkennis over het netwerk is niet nodig
- Het is flexibel
- Een standaard aanpak en werkt efficiënt
- De gebruiker hoeft geen speciale functies te leren
Typen backpropagatienetwerken
Er zijn twee soorten backpropagation-netwerken. Het is als volgt gecategoriseerd:
Statische voortplanting
Statische backpropagation is een type netwerk dat tot doel heeft een mapping van een statische input voor statische output te produceren. Dit soort netwerken is in staat om statische classificatieproblemen op te lossen, zoals optische tekenherkenning (OCR).
Terugkerende voortplanting
De terugkerende backpropagation is een ander type netwerk dat wordt gebruikt bij leren op vaste punten. De activeringen bij terugkerende terugvoortplanting worden doorgevoerd totdat ze een vaste waarde bereiken. Hierna wordt een fout berekend en achterwaarts gepropageerd. EEN software NeuroSolutions heeft de mogelijkheid om de terugkerende terugpropagatie uit te voeren.
De belangrijkste verschillen: De statische backpropagation biedt onmiddellijke mapping, terwijl het in kaart brengen van terugkerende backpropagation niet onmiddellijk is.
Nadelen van backpropagation
Nadelen van backpropagation zijn:
- Backpropagation is mogelijk gevoelig voor data met ruis en onregelmatigheden
- De prestaties hiervan zijn sterk afhankelijk van de invoergegevens
- Heeft veel tijd nodig voor training
- De behoefte aan een matrixgebaseerde methode voor backpropagation in plaats van mini-batch
Toepassingen van Backpropagation
De toepassingen zijn
- Het neurale netwerk is getraind om elke letter van een woord en een zin uit te spreken
- Het wordt gebruikt op het gebied van spraakherkenning
- Het wordt gebruikt op het gebied van karakter- en gezichtsherkenning
Veelgestelde vragen
1). Waarom hebben we backpropagation nodig in neurale netwerken?
Dit is een mechanisme dat wordt gebruikt om het neurale netwerk te trainen met betrekking tot de specifieke dataset
2). Wat is het doel van het backpropagation-algoritme?
Het doel van dit algoritme is om een trainingsmechanisme voor neurale netwerken te creëren om ervoor te zorgen dat het netwerk wordt getraind om de inputs te koppelen aan hun geschikte outputs.
3). Wat is het leertempo in neurale netwerken?
Het leertempo wordt gedefinieerd in de context van optimalisatie en het minimaliseren van de verliesfunctie van een neuraal netwerk. Het verwijst naar de snelheid waarmee een neuraal netwerk nieuwe gegevens kan leren door de oude gegevens te overschrijven.
4). Is het neurale netwerk een algoritme?
Ja. Neurale netwerken zijn een reeks leeralgoritmen of regels die zijn ontworpen om de patronen te identificeren.
5). Wat is de activeringsfunctie in een neuraal netwerk?
De activeringsfunctie van een neuraal netwerk bepaalt of het neuron moet worden geactiveerd / getriggerd of niet op basis van de totale som.
In dit artikel, het concept van Backpropagation van neurale netwerken wordt uitgelegd in eenvoudige taal die de lezer kan begrijpen. Bij deze methode worden neurale netwerken getraind op basis van gegenereerde fouten om zelfvoorzienend te worden en complexe situaties aan te pakken. Neurale netwerken hebben het vermogen om nauwkeurig te leren met een voorbeeld.
