Hallo en welkom bij de derde module van het discours, de H3C, asynchrone actieve agenten, en dus kan ik
nu echt welkom zijn bij de ultramoderne machine learning.
Op dit moment zeg ik dit omdat misschien sommigen van jullie de cursus over een of twee jaar zullen volgen.
Maar op dit moment zeg ik dit in zeventienentwintig.
Nou, je staat op het punt om te werken aan een van de krachtigste modellen in kunstmatige intelligentie, maar er
is meer dat niet het enige speciale is aan deze module.
We gaan niet alleen met het krachtigste model werken, maar we gaan ook de krachtigste versie van
dit algoritme implementeren, dat is de meest geoptimaliseerde versie, geïmplementeerde versie van het model, omdat je je kunt voorstellen dat er
het hart van de een weg door het algoritme.
Maar dan zijn er nog een heleboel tools die we kunnen gebruiken om het hele model te optimaliseren.
En dus ga je niet alleen het hart van het algoritme hebben, maar we gaan ook
al deze tools eromheen implementeren om het model superkrachtig te maken.
En waarom wilde ik dat doen?
Nou, dat heeft twee redenen.
De eerste reden is dat we het einde van het discours naderen.
Discourse is de cursus van het hoogste niveau tussen de drie cursussen van Emelle.
En dat is het, dus nu denk ik dat je klaar bent om het naar een hoger niveau te tillen.
En de tweede reden is dat het oplossen van een uitbraak eigenlijk een enorme uitdaging is.
Onthoud dat we in de promovideo breakouts als de eerste module wilden plaatsen omdat we dachten dat dit de
gemakkelijkste uitdaging zou zijn, maar helemaal niet.
Het was eigenlijk de moeilijkste uitdaging.
Een gemakkelijke manier om dit uit te leggen is dat, nou ja, in Doom, de monsters groot zijn en daarom gemakkelijker te
detecteren en daarom gemakkelijker te doden of te stemmen.
Maar bij een uitbraak hebben we deze kleine bal die de lucht ook moet detecteren, omdat de lucht hier nog steeds
ogen heeft.
We gaan nog steeds diepgaand leren.
Het is dus eigenlijk super uitdagend.
En daarom hebben we niet echt een keuze om de krachtigste versie van de actrice te implementeren.
Waarom zeg ik dat dit de krachtigste versie is?
Dat is om een bepaalde reden.
Het is niet zo dat ik zeg dat ik de krachtigste versie van de aarde ga implementeren.
Nu, dit is het niet.
De reden dat ik dit zeg, is dat de versie die we op het punt stonden te implementeren
en dit is iets heel speciaals dat we gaan doen, eigenlijk een versie van de 3C is die door iemand is geïmplementeerd, maar
is gecorrigeerd door een van de meest invloedrijke mensen in machine learning vandaag, die toevallig de maker is van PI
Torch.
Zijn naam is Adam Pascha.
Dus nu gaan we doen, we gaan op GitHub op de hoofdpagina van PI torch.
En als je naar het einde scrolt, naar beneden, zie je het team, het team van
fakkelmakers en bijdragers.
En je kunt hier zien dat PI torch momenteel wordt onderhouden door Adam Pascha.
Dat is de persoon voor wie we echt dankbaar moeten zijn, want er zijn maar heel weinig versies van de theorie die goed
werken om uit te breken.
En hij corrigeerde een van de codes voor het ABC om breakout perfect te laten werken.
Dus Adam Pascha onderhoudt niet alleen PI torch, maar hij is ook een van de creatieve PI torch.
En zoals ik vandaag al zei, hij staat in de top 10 van meest invloedrijke mensen in machines.
We kunnen er dus zeker van zijn dat de versie die we op het punt stonden te implementeren waarschijnlijk de krachtigste versie van de aarde is
die we vandaag zien.
En wat is deze implementatie dan?
Nou, oorspronkelijk komt het van een ontwikkelaar genaamd EYLEA Kusturica.
En dus, zoals je kunt zien, volgde hij een pad naar implementatie van de actrice, die oorspronkelijk niet goed
werkte voor Breakout.
Maar toen deed iemand een slecht verzoek.
Als we hier naar het zwembadverzoek gaan, kunnen we in de nabije zien dat we daar gaan.
We hebben deze, een schonere oplossing voor het probleem van Gretchen.
En raad eens van wie dit arme verzoek werd gedaan?
Het is gemaakt van Adam Pascha, gemaakt door Torch.
En dat loste het probleem op waardoor de aarde echt heel goed werkte bij uitbraak zonder dagen en dagen
te wachten.
En daarom, als we teruggaan naar deze implementatie, kunnen we de vier bijdragers van deze meest krachtige
implementatie zien en hier zijn de bijdragers.
Dus heel erg bedankt aan hen allemaal.
En we kunnen Adam Bashkim enorm en speciaal bedanken voor het oplossen van het probleem met het netwerk en het delen.
Hij begon met het maken van een fork, een subtak van de code, en deed vervolgens een pull-verzoek
aan de ontwikkelaar om dit probleem op te lossen.
Er zat in de code, wat een groot probleem is om te delen, en zo werd hij een belangrijke
bijdrage aan deze implementatie, waardoor het hele ding perfect werkte.
En geloof me, ik heb veel geëxperimenteerd met het model, ik heb zelfs vijf modellen geïmplementeerd.
Ik was zelfs wanhopig dat het niet goed werkte.
Dus maakte ik mijn eigen breakouts op Cavey om een grotere bal te hebben en dus een gemakkelijkere verwerking van de
afbeeldingen.
Toen ging ik terug om de bon te openen en maakte mijn eigen implementatie van de bon, maar dat duurde eeuwen om op een behoorlijk krachtige
computer te rennen en te trainen.
Dus ik wilde een betere manier vinden.
En zo is het.
Deze zeer krachtige uitvoering van de A3.
Eenvoudig.
Een van de belangrijkste bijdragers is de maker van door Torch.
Dus wat we in deze module gaan doen, ik denk dat je daar klaar voor bent, is deze code op het hoogste
niveau implementeren voor de implementatie van het ABC.
Dus we gaan eigenlijk al deze bestanden implementeren en we zullen vooral aandringen op de bestanden die direct gerelateerd
zijn aan de ATC voor alle delen die direct gerelateerd zijn aan het ABC, we zullen de code regel
voor regel implementeren voor de anderen.
Ik zal alleen de code uitleggen, zodat we dit moeten kunnen aanpakken zonder het te overweldigend te vinden,
zodat we een nogal speciale module gaan.
Niet alleen werken we aan het state of the art model van A. L. , maar ook op het moment dat ik
spreek, heb ik er alle vertrouwen in dat we de krachtigste versie van de actrice implementeren.
Dus laten we het doen.
Laten we teruggaan naar Python en laten we met dit alles beginnen voordat we beginnen, we gaan het meest eenvoudige doen wat
we in deze module gaan doen, het instellen van de werkmapmap.
Dus laten we naar onze A gaan. L. is een sjabloonmap, module drie, breek de meest uitdagende uit.
En dan gaan we, dat zijn al onze bestanden.
Dus laten we eens kijken welke direct gerelateerd zijn aan ATC.
Laten we dus eens kijken welke we regel voor regel gaan implementeren en onze energie daarop richten.
Er zijn dus eigenlijk twee bestanden.
De eerste is in de war, en dat is deze.
Dus we zullen regel voor regel opnieuw implementeren, want dat is het belangrijkste.
Daar maken we de H3C-hersenen.
En het belangrijkste om hier te begrijpen is dat we een gedeeld model zullen hebben met
dezelfde update van de gewichten voor de acteur en de criticus.
Dat is dus een onderdeel van de speciale versie van de H3C, het gedeelde model met de gedeelde update van de
gewichten.
En dan is het andere belangrijkste bestand dat we regel voor regel zullen implementeren de getrainde die is gevonden, natuurlijk
direct nadat we de hersenen van de C hebben gemaakt.
We moeten ze trainen en we trainen ze in deze trein die we hebben gevonden.
Dit is dus een behoorlijk lange code.
Maar dit is wat het hart van het ATC-model bevat, dat twee verliezen zal hebben om het waardeverlies
te verminderen, namelijk het verlies gerelateerd aan de voorspellingen van de criticus en het beleidsverlies, dat is het
verlies gerelateerd aan de voorspellingen van een ramp.
Dit is dus vrij nieuw.
Maar, weet je, dat komt omdat we in de jaren 80 eigenlijk met verschillende agenten werkten, elk met hun
eigen kopie van de omgeving.
Maar we hebben ook deze volledig verbonden laag die een waarde van de V-functie uitvoert, en dat is in feite een
algemene visie op wat er in het spel gebeurt.
Dit zal dus een behoorlijke uitdaging zijn.
Zorg dus voor een goede conditie.
En voor de rest van de bestanden, nou, ik zal ze gewoon in detail uitleggen, maar niet door er te veel tijd aan
te besteden.
Geloof me, hier wil je je energie voor houden.
Dit zal al veel zijn.
Deze bestanden zijn dus goedkoop, wat een verbetering is van de sportschoolomgeving dankzij Univers.
Dus eigenlijk verbeteren Phalangisten gewoon de sportschoolomgeving met het universum en dat stelt
ons in staat om een optimale voorbewerking van de beelden te hebben en ook om alle waarden
van de omgeving te normaliseren, zoals de kleurintensiteiten of de beloningsintensiteiten.
Nou ja, alle waarden van het milieu.
Dit bestand normaliseert al deze waarden en zorgt ook voor een optimale voorbewerking van de afbeeldingen.
En zoals je kunt zien, is dit afkomstig van deze open GitHub-pagina waar de universum-Storrar-agent.
We zullen hier dus niet al te veel tijd aan besteden.
We zullen hier echt stoppen.
Je hoeft alleen maar te begrijpen dat we met Univers de sportschoolomgeving verbeteren om een optimale voorbewerking van de beelden
te krijgen.
De rest is niet zo belangrijk, zeker niet voor het ABC.
Dan hebben we main die pivo, de code die het hele ding zal uitvoeren.
Dus, weet je, de code die het hele ding regelt, de hersenen creëert, de hersenen traint en de
video's uitvoert.
En dat komt omdat het al deze codes hier zal uitvoeren.
Dus model, we zagen wat het toen was.
Mijn upturned API is een speciale optimizer.
Dat is eigenlijk de atom-optimizer, maar aangepast aan dit gedeelde model dat we implementeren.
Dus we zullen al deze code in één tutorial uitleggen.
Dan hebben we de test die eigenlijk de laatste is om te testen API is in feite het bestand dat een testagent
zal implementeren.
Dat is dus een agent die doorbraak speelt zonder het model bij te werken.
Dat staat dus volledig los van de opleiding.
En we zullen deze code ook in detail uitleggen.
Trouwens, het goede nieuws is dat je twee codes zult hebben, één code, de code die we implementeren
en de tutorials, maar zonder commentaar.
En een van de code die een van de codemap is met alle codes, beveelt het.
Dus met al deze zes bestanden, zal ik het verwelkomen, zodat als je iets mist in een tutorial, je in staat zult zijn om naar
de opdrachtcode te kijken om te begrijpen wat er aan de hand is.
Dus daar gaan we.
Ik hoop dat je enthousiast bent om dit te implementeren.
Je bent nu echt op de top van de berg of net onder de top omdat je dit eerst moet
begrijpen.
Maar je komt er om een goede adem van zuurstof te nemen en daar gaan we voor deze super spannende reis.
Tot die tijd, geniet van I.