Hallo en welkom terug bij de cursus over kunstmatige intelligentie.
In de tutorial van vandaag gaan we het hebben over een add-on die we gaan implementeren
voor ons H3C-algoritme.
Het wordt het lange kortetermijngeheugen of kortweg Ellerston genoemd.
Dus laten we eens kijken naar wat we tot nu toe hebben en dan zullen we bespreken waarom we de LSM nodig hebben en wat en wat
en LSM is.
Dus tot nu toe hebben we het NSA-algoritme besproken.
We hebben het gehad over alle drie de letter A's in de U. S. En natuurlijk hebben we gezien dat het
eigenlijk een beetje ingewikkelder is, veel complexer dan wat we op deze afbeelding hebben.
We hebben eigenlijk drie of meer meerdere agenten die door de omgeving gaan en ze
communiceren met elkaar, enzovoort.
Maar omwille van de eenvoud, voor het verhaal van vandaag, gaan we aan het eind alles illustreren
met deze ene agent.
We hebben dit fragment.
Wat de criticus Pozzo eigenlijk, als we eenmaal een toestand hebben die bij dit beeld bleef, door een convolutionele laag gaat, dan
gaat het door een poolende laag of zoiets, een laag afvlakkend.
En op dit punt hebben we waarden of getallen die vervolgens door het netwerk worden verspreid en naar
de verborgen lagen gaan.
En dan krijgen we als output het beleids- of het actorgedeelte en zij krijgen de waarde van de staat
of we krijgen het kritische gedeelte.
En wat we vandaag gaan doen, is dat we gaan praten over dit verborgen deel.
Dus in de verborgen lagen kunnen we het naar een hoger niveau tillen en een wijziging toevoegen.
En we hebben al gezien dat er meerdere wijzigingen zijn voor de NSA en we hebben er een gezien.
We hebben gezien dat je in sommige gevallen dit hoofddeel van het netwerk kunt hebben, dat voor elke agent individueel is, of
je kunt dit hoofddeel van het netwerk hebben dat gedeeld wordt.
En dat is wat we zagen in onze vorige inbraak.
Charles, we hadden een gedeeld deel van het netwerk.
Dit netwerk werd gedeeld tussen de agenten.
En zoals Adlen je meer zal vertellen in de praktische tutorials, helpt dat echt bij de uitdaging van het
uiteenvallen.
En er zijn heel veel andere manieren waarop u hun Thrissur-algoritme kunt wijzigen, en
tal van andere toevoegingen die kunnen worden geïmplementeerd.
En een daarvan gaan we bespreken, omdat we hier eigenlijk een
praktische reeks tutorials zouden hebben voordat je lagen raakt, die je kunt toevoegen, is een LSM-laag, een neurale netwerklaag, die
je Athalia in staat stelt wat we roep het algoritme op om geheugen te hebben, waardoor het algoritme kan onthouden wat er
eerder is gebeurd.
En we zullen het nu in meer detail over Elysium hebben.
Maar eigenlijk kun je hier een extra laag toevoegen, namelijk de l'Est, Jim Lehrer, en het algoritme
verbeteren met wat extra geheugen van een andere functie.
En wat je in de praktijk ook gaat zien, is dat we na de prikkel niet eens meer verborgen
lagen nodig hadden.
Dus je zult zien dat hij in Adelaide's implementatie meteen de afvlakkingslaag heeft.
Daarna heeft hij de Elysium-laag.
Dus eigenlijk vertegenwoordigt dit vak de LSM-laag en daarna heb je meteen de uitvoer.
Dus je had daarna zelfs geen andere verborgen lagen meer nodig, simpelweg omdat dat
is hoeveel kracht de LSM-laag toevoegt aan het algoritme en nogmaals, het algoritme of de architectuur van je neurale netwerk.
Het is iets heel individueels, het is een persoonlijke voorkeur, het is iets heel creatiefs.
Dus misschien wilt u elastomeerlagen.
Misschien heb je L. N. analist Jim Lehrer en dan is er een aantal zoals vijf verborgen lagen na de L'Estang.
Dat is helemaal aan jou en aan jou om te experimenteren en te verkennen.
Maar dit is wat we bedachten in de praktische tutorials.
Dus je zult zien dat we een afvlakking hebben, een platte laag.
En daarna hebben we analist Jim Lehrer en dan de output.
Dus nu we het hier zo vaak over hebben gehad, Tamla, wat is dit, Ella Stemler?
Wel, er zijn, Jim, soortgelijke advertenties.
Geheugen geeft een functie waarmee het neurale netwerk geheugen kan hebben over wat er in de vorige iteraties is
gebeurd.
En het wordt vaak gesymboliseerd of weergegeven met een symbool dat er zo uitziet.
Dit zijn wij die er net mee begonnen zijn.
En ik zet het hier maar neer.
Ik weet dat het er erg krom uitziet, maar ik plaats het hier.
Dus je kunt zien wat er aan de hand is toen we deze afbeelding verder bespraken.
Dus dit komt de uitvoer van deze laag hier binnen.
En dat is onze dus dit is een hele laag die hier naar binnen gaat.
Het is dus een vector van waarden.
X is een vector.
Waarden gaan het systeem in, dat af en toe alleen discussieert als een uitvoer, je krijgt een
andere vector, die, weet je, de aaneenschakeling van deze winkel of iets is.
Op de een of andere manier sluit het aan bij netwerkanalyse als output.
Je krijgt dit en je krijgt dit.
Laten we dit dus in meer detail bekijken.
Dus we moeten ons gewoon op dit onderdeel concentreren.
In feite gaan we, zoals je waarschijnlijk hebt gemerkt door de letters aan
deze kant, het opzij draaien.
Dus zo en deze hele warboel was alleen maar om het feit te herhalen dat hoewel het er zo uitziet, wat
er feitelijk gebeurt een laag van waarden is, een hele vector van waarden die hier naar binnen
gaat.
Er gebeurt iets dat we zo nu en dan zullen bespreken, er is hier een hele vector van waarden aan de hand.
Dit is dus de laag.
Het is niet slechts één element hiervan, dit is de laag zelf.
Dus laten we weer terug gaan.
Gewoon om te herhalen, laag gaat in deze laag.
Er gebeurt iets, er komt een laagje uit.
Dus dat is dat de LSM gewoon op zijn kant ligt.
Dus het is gewoon makkelijker om te bespreken.
Op deze manier, en dat is de gebruikelijke voorstelling hier op dit moment, dat we het erover eens zijn waarom dit beeld op
zijn kant stond en hoe gaan we hiermee verder?
Laten we wat meer in deze LSM-situatie duiken.
Dus wat gebeurt er binnen de LSM-lagen?
Dus dit is hoe het eruit ziet.
En dit ziet er natuurlijk erg ingewikkeld uit en we gaan dit nu
zeker niet allemaal doornemen, simpelweg omdat er nogal wat te bespreken is, een punt van operaties, Alawi's
operaties en er is gewoon veel gaande of veel van ingewikkelde details waar we niet op in gaan, omdat het anders
deze cursus zou uitblazen.
En dit is niet de bedoeling is niet om hier over alle stengels te praten.
We gaan gewoon elke elastomeren gebruiken.
En als je meer wilt weten over Ellis-edelstenen, kun je hier of naar de blog van Christopher Ola
gaan.
Hij heeft een goede beschrijving van elastomeren of we praten ook over elastomeren in onze deep learning-tijdperken, natuurlijk kun
je het daar bekijken.
We hebben een hele sectie over terugkerende neurale netwerken, ook analistenparels.
Dus eigenlijk is dit het interne deel van het systeem.
En wat er gebeurt is alsof de brief erin gaat.
Dus we gaan hierover praten op een intuïtief niveau, op een heel basaal niveau en op een niveau
dat precies genoeg zou zijn om te begrijpen wat er gebeurt, waarom er geheugen is, en zodat
je ook beter kunt begrijpen waar Adlen het over heeft als hij dit implementeert.
Dus Alagoas in dit alles, er gebeurt hier iets fundamenteels, de laag gaat omhoog.
Wat moeten we echt zien?
Is dat deze delen, dan zijn er eigenlijk extra inputs in deze laag.
Dus onthoud dit, meestal heb je een invoer van een vorige laag, dan deze laag, en dan heb je
een uitvoer.
Als je denkt aan dat beeld dat we eerder hadden, het normale netwerk, dat niet op zijn kant ligt, dat is zoals van
links naar rechts nu, van boven naar beneden naar boven.
Maar tenzij je echt meer input hebt.
Dus ik weet dat het nog ingewikkelder wordt, maar deze dingen, we kunnen ze tenminste begrijpen.
Dus dit is je geheugencel?
Dit is de sleutel.
En dit is waar je Adlen over zult horen praten.
De geheugencel is dus iets dat in de LSM wordt opgeslagen.
Dus deze in- en uitgangen, ze zijn er eigenlijk.
Waar je naar kijkt is de tijdas.
Dit is dus ontrafeld in de tijd.
Dus in één specifieke iteratie gebeurt dit, maar dan wordt deze waarde
uit het verleden gehaald en deze waarde
wordt hierin doorgegeven. .
Dus zonder ons al te veel zorgen te maken over wat hier aan de hand is, hoeven we alleen
maar te begrijpen dat de letter erin gaat en hier hebben we al een waarde die uit het verleden kwam, die is opgeslagen
in de LSM, in het kortetermijngeheugen.
We hebben deze geheugencel en welke waarde hier ook was, hij blijft gewoon hier, zoals je kunt zien.
Het gaat er gewoon doorheen, het stroomt er vrijelijk doorheen, behalve voor deze Portnoy's operaties waar het ofwel kan worden
afgesloten of er iets aan kan worden toegevoegd.
Maar ongeacht dat, het is gewoon een waarde die vrijelijk doorstroomt.
Dus eigenlijk wordt het doorgegeven aan het volgende tijdstip, de volgende keer.
Dus je kunt het gewoon zien als een soort geheugen dat een flashdrive of iets dergelijks heeft dat
deze cel heeft.
En dus herinnert het zich gewoon de vorige waarde die dit hier was.
En dan kan het dat gebruiken om eraan toe te voegen of van die waarde te lezen enzovoort.
En deze waarde is de verborgen staat.
Het is de dus vandaar de H en de verborgen staat is in feite een andere waarde die uit het verleden komt en vervolgens
binnen het systeem wordt gebruikt.
En zoals je aan het einde kunt zien, nadat dit allemaal is gebeurd, krijg je een laag die eruit komt en
zo krijg je deze waarde die eruit komt en het is dezelfde waarde die wordt doorgegeven.
Dus eigenlijk onthoudt de L'Estang te denken dat er een constante waarde is die net als een verblijf in het
Elysium kan worden veranderd.
Alsof er een flashstation is voor een constante waarde.
Dus de geheugencel.
En dus kunt u de luxe hebben om iets op te slaan in die ruimte, in dat geheugen, en het zal
worden doorgegeven aan de toekomst.
Dus telkens wanneer in de volgende iteratie het algoritme zo in een omgeving was, zag het iets dat iets
deed, enzovoort.
En dan kun je in de LSM een bepaalde waarde opslaan en dan onthoudt hij deze waarde, zelfs als hij in de
volgende staat is.
En ook de andere waarde die ze zullen onthouden, zal de vorige uitvoer onthouden.
Het onthoudt automatisch de vorige uitvoer.
Dus de output gaat hier en gaat hier.
Dus dat is eigenlijk het zeer, zeer, zeer hoge niveau van wat er in een LSM gebeurt.
Nogmaals, als je meer details wilt, er zijn veel bronnen waar je kunt vinden en in dit stadium hoeven
we niet al te veel in detail te treden over al deze dingen.
We moeten gewoon begrijpen, weet je, wat een geheugencel is, wat een verborgen geheugencel is,
wat een hoofd en toestand is en hoe ze functioneren.
Geheugen voor de elastine en de vraag is, dus nu we een soort algemeen overzicht
hebben van dit alles om deze kennis te versterken of te verstevigen of zoiets, geef een reden voor deze kennis, laten we de vraag
stellen, waarom hebben we geheugen?
Waarom hebben we geheugen nodig in onze H3C of andere algoritmen?
Laten we eens kijken naar ons voorbeeld, de uitdaging die we aangaan in de V.S. S. Dus de uitdaging is
uitbraak en wat er gebeurt in uitbraak.
Nou, en uitbreken.
Je hebt deze omgeving, deze kleine blokken die je moet vernietigen als deze kleine bal en je
moet ervoor zorgen dat dit jouw soort raket of platform is dat in beweging is.
En het moet overal waar de bal vliegt, het moet de bal vangen en zal van het platform afkaatsen en teruggaan en
ook de muren raken of weerkaatsen en teruggaan, een blok raken en terugkomen.
En dat is dus de essentie van wat je moet bereiken.
Maar laten we nu naar deze bal kijken alsof je een en een H3C-algoritmekijker bent of een agent in een van die
agenten in H3C.
Je ziet deze foto.
Wat haal je hier uit?
Wat zouden je acties vanaf hier zijn?
Dus je kunt zien dat de bal vliegt, toch?
Dus.
Nou, het is vliegen, toch.
Dus het gaat ergens heen en misschien vliegt het naar je toe.
Rechts.
Kunt u deze conclusie trekken?
Zou je kunnen anticiperen dat dit op je afkomt?
Je zou waarschijnlijk kunnen en misschien ben je op de juiste plek om de bal te vangen.
Maar wat als de bal eigenlijk niet die kant op vliegt?
Wat vliegt dat?
Wat als het die kant op vliegt?
Het punt is dat je aan dit ene beeld niet kunt zien welke kant het op vliegt, omdat je niet weet
waar het was op het vorige moment.
Dus als het hier was, dan vliegt het deze kant op.
Dus als je de tijd van het vorige moment wist, als je wist dat het hier was, dan, weet je, hier is als een
mens, trek je gewoon een lijn voor deze afslag en je zou zeggen, oh, OK, goed, zo gaat het deze kant
op.
Maar als je neuro's hier, trek je een lijn, de beurt gaat deze kant op.
Bovendien, kijk hier eens naar.
Het had eigenlijk ergens kunnen zijn zoals hier.
Misschien gaat het omhoog, misschien gaat het echt die kant op.
Dus misschien was het hier en ging ik naar boven.
Dus alleen vanaf dat ene beeld is erg moeilijk.
Het is eigenlijk onmogelijk.
Het is net als geometrisch onmogelijk om te bepalen welke kant de bal op vliegt.
En daarom helpt het lsm het geheugen eigenlijk echt, echt om het geheugen te verwijderen.
Het kan nog steeds dat je het nog steeds goed kunt doen.
Het kan waarschijnlijk raden of, je weet wel, andere manieren vinden om te begrijpen waar je heen moet.
Maar als de LTM die maar eens die ene herinnering heeft.
Dus als we zelfs teruggaan naar die ene waarde, nou, dat was een beetje zoals de uitvoer van de vorige waarde of
misschien, je weet wel, misschien kun je het hier opslaan of op basis van deze waarde, zoals gebaseerd op
de informatie die het komt van het vorige punt in de tijd.
Dus laten we zeggen van wat hier zou zijn gebeurd.
Dus daar was je bal eerder.
Dus je kunt informatie over de omgeving van het vorige tijdstip via hier doorgeven, dan heb je
het nu.
Nu heb je niet alleen je informatie uit de afbeelding, laten we nog verder teruggaan, je zult die
informatie uit de afbeelding onthouden.
Nou, dit is Dhume, maar we werken eigenlijk met uitbraakinformatie van de afbeelding die hier,
hier, hier kwam, omgezet in deze afgevlakte waarden.
En dus is er informatie voor hen, beeld komt het Elysium binnen.
En nu ineens, zoals je je herinnert, niet van ergens vandaan, maar van het vorige punt in de
tijd.
Dus daarom kun je niet echt demonstreren van bovenaf of van de bal van links.
Rechts.
Het is eigenlijk gewoon dat het gewoon in het systeem blijft waar je die informatie hebt, gewoon door de
architectuur van de informatie over wat er eerder is gebeurd.
En dus gaan we terug.
Die informatie hier helpt je nu een beslissing te nemen over wat je moet doen, helpt het algoritme om een beslissing te nemen,
en nu weet het ineens dat, oké, dus de bal ligt er eigenlijk in, laten we zeggen dat hij in
deze richting vliegt of in deze richting.
Dus ik ben op de goede plek.
Ik zou hier moeten blijven.
De kogels komen in mijn richting.
Of als hij beseft dat de bal daar allebei ligt, moet hij naar links gaan bewegen, want als
hij wat langer wacht, is het te laat en mist hij de bal.
Dus eigenlijk helpt het Elysium daar echt in de kamer.
En dat is precies wat we zullen zien als je de praktische tutorials met Adlen doet.
Dus daar gaan we.
Zo werkt dit team.
En nog een extra opmerking.
Zoals we aan het begin al zeiden, zijn de teams van ELLIS niet 100 procent nodig.
Ze zijn niet compleet, alsof ze niet helemaal aan elkaar gehecht zijn.
Ze zijn naar Shalgam.
Misschien wilt u ze in het 3C-algoritme hebben.
U wilt ze misschien niet hebben, afhankelijk van de situatie, afhankelijk van de architecturen.
Er zijn tal van toevoegingen.
En we hebben het al gehad over de toevoeging of de wijziging waarbij het neurale netwerk wordt gedeeld tussen
actoren.
Er is geen show tussen agenten niet.
Nu Northerlies Elysium, er is er nog een die je zult zien in de praktische tutorials waar we entropie toevoegen,
die wordt berekend door een verlies van polis, en Adlen zal je daar doorheen leiden.
Dus eigenlijk zijn er veel verschillende wijzigingen die in een algoritme kunnen plaatsvinden.
Ik herinner me alleen dat het afhangt van wat je.
We willen bereiken, en het is ook iets dat we je aanmoedigen om te
onderzoeken of je veel van deze gaat implementeren en onze verschillende algoritmen gaat proberen, we hebben er al een paar
besproken en misschien kun je wat extra wijzigingen vinden die misschien interessant voor je zijn of misschien als je
deze tutorials bekijkt, misschien zijn er tegen die tijd meer wijzigingen verschenen, die erg interessant zijn.
Dus dat is zeker iets waar je naar zou kunnen kijken en dat je kennis van kunstmatige intelligentie en
het maken van deze algoritmen verder zou kunnen vergroten.
En wat dat betreft, ik hoop dat je genoten hebt van de tutorial van vandaag en ik kijk uit naar je volgende keer.
Tot dan, geniet ervan.