Hallo en welkom terug bij de cursus over kunstmatige intelligentie.
Vandaag vervolgen we onze reis naar de wereld van E3 en we hebben het over de asynchrone kant van
Athersys.
Dus ze hebben een afkorting, een synchroon voordeel, acteur, criticus.
En vandaag gaan we uitzoeken waar een Synchronoss hier voor staat, wat het betekent.
En laten we een stap teruggaan.
Laten we eens kijken waar we deze hele cursus mee zijn begonnen.
We zijn begonnen met versterkend leren en waar het allemaal om gaat dat de Aziaat zich in een bepaalde staat bevindt.
Ze observeren de staat.
Ze nemen bepaalde beslissingen.
Ze ondernemen acties in die staat, en dan wordt de staat veranderd.
Zo komen ze in een nieuwe staat.
Bovendien krijgen ze een beloning.
Dus ze krijgen een beloning voor het ondernemen van die actie of een soort beloning, wat ook een straf kan zijn.
En ze komen in een nieuwe staat terecht.
En op basis daarvan ondernemen ze nu weer een andere actie.
Ze krijgen een beloning en komen in een nieuwe staat terecht en doen verkiezingen en ga zo maar door.
En dat is dus de basis achter al het versterkende leren.
En dat is wat we hebben gebruikt bij het leren, bij diep leren, bij diep, convolutief Q-leren.
En dat heeft onze agenten in staat gesteld om geleidelijk complexere en complexere omgevingen te verslaan.
Maar nu gaan we een nog beter concept introduceren en dit nog verder naar een hoger niveau tillen.
Wat H3C via dit en Synchronoss-element introduceert, is dat in plaats van dat één agent de omgeving aanvalt,
ze drie agenten hebben of een willekeurig aantal agenten of meerdere agenten die dezelfde omgeving aanvallen.
En de sleutel hier is waarom het een synchronisatie wordt genoemd, omdat ze anders worden geïnitialiseerd.
Hun uitgangspunten zijn dus verschillend.
Dus, zoals u in de praktijk zult zien, stelt u bijvoorbeeld een willekeurige seed in en stelt u deze voor elk van
de agenten anders in.
En op die manier, omdat hun uitgangspunten anders zijn, gaan ze eerst op verschillende manieren door omgevingen
en dan gaan ze op verschillende manieren verkennen.
En in de volgende iteratie gaan ze ook op verschillende manieren verkennen.
En zo hebben we bijvoorbeeld drie agenten.
Je krijgt ineens drie keer zoveel ervaring in plaats van dat er slechts één agent
doorheen gaat en de omgeving verkent en probeert te begrijpen hoe je in die omgeving moet werken, je
hebt nu drie of hoeveel van hen die daar doorheen gaan , deze ervaring opdoen.
En dus zijn ze zo dat elk van hen leert van deze grotere ervaring, behalve dat ze gewoon
een breder scala aan ervaring geven.
Het verkleint ook de kans dat een agent vast komt te zitten in een lokaal maximum.
Dus, bijvoorbeeld, als een agent een manier vindt om de omgeving te verslaan, wat niet de meest optimale is,
want als hij van de gevonden oplossing naar links naar rechts wijkt, wordt hij altijd
meer gestraft.
Het kan vastlopen in dat lokale maximum.
Het kan dat gewoon blijven doen, denkend dat dat de optimale oplossing is, waar het dat eigenlijk niet is.
Welnu, de kans dat meerdere agenten vast komen te zitten in datzelfde lokale maximum, neemt af of toe met het aantal
agenten.
De kans dat een agent vast komt te zitten in een bepaald lokaal maximum kan dus groot zijn.
Maar of het misschien een bepaalde waarde is.
Maar de kans als je er drie hebt, dat ze alle drie vast komen te zitten in dat lokale
maximum is veel kleiner.
En zolang ze ervaringen met elkaar delen, kunnen ze elkaar helpen.
Als een van hen vastloopt, bijvoorbeeld, zit vast in een lokaal maximum, zou gewoon denken dat dat de
beste is.
Dat is het beste, dat is altijd de beste oplossing en blijft dat goed doen zolang het samenwerkt met
de andere agenten.
Dus laten we zeggen dat deze man vast komt te zitten in een local en zolang het met andere
agenten door de weg sleept, bouwen we ons hele algoritme door en zij zullen hem helpen.
Ze zullen hem kennis geven die eigenlijk, weet je, hey, je zou dit moeten onderzoeken, anders
is de kans groter dat hij eruit komt.
En ook, over het algemeen, zal de omgeving weten dat, hey, ook al is dit een geweldig maximum, deze andere
agenten hebben betere opties gezien en we moeten blijven verkennen omdat ze er zijn.
Het lijkt erop dat het betere opties zijn.
Dus in een heel kort, soort ruw, intuïtief begrip, dat zijn enkele van de voordelen van het
hebben van deze asynchrone agenten.
Allereerst heb je meer ervaring om uit te kiezen en van te leren.
Je zou sneller tot de oplossing kunnen komen.
En over het algemeen is de kans kleiner dat je vast komt te zitten in een bepaald lokaal maximum.
Dus laten we eens kijken hoe dit allemaal uitpakt in dit model dat we tot nu toe hebben gebouwd.
Dus zoals ik me herinner, is dit wat we tot nu toe hebben gekregen door de extra criticus.
En dit is alsof we allemaal tisane zijn.
Dit is voor zover u zich herinnert uit de procedure.
Dit hebben we wel geïntroduceerd.
Weet je, we hadden dit al in diepe staat.
V Leren.
Dus we noemden nu actie, maar nu hebben we criticus geïntroduceerd, maar tot nu toe is het niet echt logisch.
Wat heeft het voor zin om deze criticus te hebben en de waarde van de staat te meten
of de waarde van een podium te voorspellen met dezelfde neurale netwerken, dezelfde benadering.
Maar dit is nu het deel waar het logischer begint te worden.
Wat we gaan doen is dit repliceren omdat we nu meerdere agenten hebben.
Dus als er meerdere agenten zijn, is dit hoe het eruit zag.
Dus.
De eerste manier om je het voor te stellen is dat we nu deze drie dingen hebben.
Nou, onthoud wat we zeiden over het delen van de ervaring met elkaar.
Dus dit is nu eigenlijk, ze zijn allemaal onafhankelijk.
Je hebt een die het spel speelt, een andere die het spel speelt, een andere speler in het spel.
Het is alsof je je agent op drie verschillende computers start.
Je zet drie verschillende computers naast elkaar en je start ze op.
En weet je, dat is geweldig.
Zoals, inderdaad, als je het leuk vindt, krijg je meer ervaring.
Je krijgt meer variatie, vooral als ze eerder zijn geïnitialiseerd.
Dus vanaf hier gaan we ervan uit dat ze allemaal initieel zijn.
Ik heb altijd anders geïnitialiseerd, ook al hebben we hier dezelfde afbeelding, we zullen weten dat
ze eigenlijk anders zijn geïnitialiseerd.
Dus het zal niet hetzelfde zijn als identieke training, identiek leren van dit spel.
Dus zelfs als je wilt, zet je drie computers naast elkaar en start je ze op.
Ja, je zult meer ervaring hebben omdat er drie agenten spelen en je zult
ook een grotere verscheidenheid aan mogelijke oplossingen hebben.
Dus dat is waar.
Maar het probleem is dat ze die ervaring niet met elkaar delen, dus leren ze niet van
elkaar.
Die synergie hebben ze dus niet.
Ze hebben niet het voordeel of de extra macht die ze zouden krijgen als ze zouden samenwerken.
Weet je, als je een team van mensen hebt, werken ze beter samen dan
elk afzonderlijk.
Dus zoals in een team hier, heb je één plus één plus één.
Het is drie.
Maar in een team is één plus één plus één niet drie zoals 33, omdat ze gebruik maken van
elkaars sterke punten en elkaars zwakke punten verminderen.
En hier hetzelfde.
Dus als je dit naast elkaar door de computer zet.
Ja.
Je zult meer ervaring hebben, meer mooradian mogelijk met iemand om tot een betere oplossing te komen.
Nog een.
Dat is geweldig, maar het wordt nog beter als ze die ervaring gaan delen.
En hoe doen ze dat?
Wel, door deze film hebben we het berekend.
Dus deze V-waarde, dat is onze output van ons netwerk, is eigenlijk zo.
Dus ze hebben dezelfde V, dus elke keer dat al deze agenten bijdragen aan dezelfde criticus, hebben ze
geen aparte critici.
Ze hebben een gemeenschappelijke kritiek.
En dat is de sleutel tot hoe de acteurscriticus aansluit bij hun Synchronoss.
Er is dus één criticus die naar ons kijkt terwijl ze ervaring opdoen.
Dus hoe berekenen we de V, we noemen het de V, zoals je je herinnert, we berekenen V door de waarden
die we krijgen.
Dus de beloningen die we krijgen via de omgeving.
En terwijl de agenten hun omgeving verkennen, rekenen ze, voorspellen ze de V en hebben ze de V
die ze kunnen berekenen.
Dit is dit alles sluit weer aan bij wat we al hebben besproken in de vorige secties van de partituren.
Dus ze hebben al een V die ze kunnen voorspellen zoals ze verwachten door de beloningen waarvan ze weten dat ze
in dit doolhof bestaan en die ze al hebben verkend.
En als ze ze onderzoeken, kan die waarde natuurlijk veranderen.
Maar ze hebben ook de V dat deze V de output is van het neurale netwerk.
Dus terwijl ze dit doormaken, gaan ze hun neurale netwerken aanpassen om beter overeen te komen met
wat verwacht wordt.
Dus eigenlijk is dit het delen van het kritieke deel dat wordt gedeeld tussen de agenten, en dat is hoe ze de informatie met
elkaar delen.
Op die manier kunnen ze een beetje zien wat er in de omgeving gebeurt, met elkaar delen
en dat vervolgens gebruiken, zoals we in het volgende deel zullen zien, in hun voordeel om dat te gebruiken om te optimaliseren hoe ze zich
gedragen in die omgeving.
En het andere om op te merken is dat dit een Thrissur was.
Dit is tot hier de kern van H3C.
Dit is een type a-versie van A13, maar er is een nog betere implementatie van deze H3C, waarover je Adlen echt zult
horen praten in een van de eerste materialen in de praktische kant van de dingen.
En waar hij het over zal hebben, is hoe de maker van PI talk een aanpassing heeft gemaakt aan een van de
codes die op GitHub werd gedeeld, waar hij deze allemaal heeft meegenomen.
Zoals je nu kunt zien, hebben ze afzonderlijke neurale netwerken en vroeger zijn ze de V die de aanpassing
was die eigenlijk was om al deze neurale netwerken te nemen en ze in één te stoppen, ze te nemen en ze samen
te voegen.
Dus uiteindelijk is er hier maar één neuraal netwerk dat wordt gedeeld door de agenten.
Dus voordat ze hadden, had elk van hen één neuraal netwerk dat werd gedeeld voor de acteur en voor de
criticus.
Eén neuraal netwerk gedeeld.
Voor de acteur, voor de criticus, één neurale netwerkshow voor elektriciteit.
Nu hebben ze allemaal één neuraal netwerk dat wordt gedeeld voor de acteur, criticus,
werkelijke criticus, acteur, criticus, en dan is de criticus hier gemeenschappelijk.
Dus laten we eens kijken.
Laten we deze foto's hier naar links verplaatsen.
Dus maak wat ruimte.
En dit is eigenlijk de architectuur of de structuur die we gaan gebruiken in de praktische
tutorials.
Ik weet dat dit in dit stadium misschien wat overweldigend klinkt, maar we hebben nog een achttal om
over te praten, wat het voordeel is.
En daar zal het wat beter in actie te zien zijn, hoe dit gaat.
Dus.
We zullen het daar hebben over de intuïtie in actie, maar over het algemeen is dit wat het is.
Dit is dat er één netwerk is dat elk van de agenten gebruikt, dus ze delen eigenlijk alles wat betekent
dat ze de gewichten delen.
De gewichten van het netwerk worden gedeeld tussen agenten.
En toen ze de update updaten, het hele netwerk, niet alleen hun eigen netwerk.
En dan hebben ze uitgangen.
Ze hebben dergelijke acties voor elke agent en dan hebben ze de kritiek die wordt gedeeld, die zal worden
gecontroleerd.
Dus ik weet dat dit allemaal een beetje is alsof er veel dingen zijn op dit moment, maar hopelijk komt het
langzaam samen.
De belangrijkste conclusie van hier is dat de criticus, omdat het wordt gedeeld, de agenten er
zo voor kunnen zorgen dat ze samenwerken om veel sneller tot het resultaat te komen.
En dan in het volgende jaar, zullen we nog verder zien hoe dit alles optelt.
Dit komt allemaal samen.
En voor nu is er iets dat ik zou willen aanbevelen of we willen u een extra lezing aanbevelen.
Dit is dus een blog van Jaromir Janosch.
Het heet Laten we een 830 maken.
Implantaties is eigenlijk twee delen implementatie en theorie.
Daar is de link.
En het lijkt erg op wat Adlen zal implementeren in de praktische kant van de tutorial.
Het is dus niet specifiek voor deze tutorial, alleen niet specifiek alleen voor de, maar het is
voor deze hele sectie aanmoediging.
Er is wat extra informatie, wat extra inzichten.
En daarom brengen we het hier naar voren.
Maar niettemin, in het volgende materiaal, gaan we dit allemaal samenbrengen.
Alles wat we hebben besproken en ik kijk ernaar uit om je de volgende keer te zien.
En tot die tijd, geniet ervan.