Hallo en welkom terug bij de cursus over kunstmatige intelligentie in het verhaal van vandaag, we hebben
het over de laatste A in een trilogie.
We hebben het over voordeel.
Dus daar is het, veel gesproken over acteur, een criticus en een Synchronoss die eerder en langzaam onze weg hebben gebouwd
naar waar we vandaag naar gaan kijken.
En met voordeel gaan we alles op een rijtje zetten.
Dit is dus wat we tot nu toe hebben.
We hebben een neuraal netwerk dat wordt gedeeld tussen de agenten, de asynchrone agenten, en dan hebben we de
criticus, die ook wordt gedeeld tussen agenten.
Dus hoe verloopt dit allemaal en waarom wordt deze criticus gedeeld tussen de agenten?
Laten we daar eens naar kijken.
Nou, begrijp dit beter.
We gaan een voorbeeld bekijken.
We gaan bijvoorbeeld naar deze agent kijken en zien wat er gebeurt als hij zich in een bepaalde staat bevindt en hij
moet beslissen welke actie hij moet spelen.
Dus deze agent is in een staat.
Hij ziet dit beeld.
En wat er dan gebeurt, is dat deze informatie in het neurale netwerk gaat.
Het gaat naar de convolutionele laag, dan gaat het in de poolende laag, dan gaat het in de
afvlakkingslaag.
En van daaruit gaat het naar de verborgen lagen van het neurale netwerk en is dan een output.
Hij krijgt al deze beleidswaarden, de Cucu-waarden van het beleid.
En ook hij krijgt de waarde, de kritische waarde.
En dus, zoals we weten, moeten neurale netwerken, om te kunnen functioneren, bepaalde fouten of verliezen terug door
het netwerk verspreiden.
Dus op deze manier om de gewichten bij te werken.
Dus wat weegt ook mee wat de verliezen hier te maken zullen hebben?
Nou, er zijn twee verliezen.
We hebben het waardeverlies en het polisverlies.
Het waardeverlies is dus gekoppeld aan het waardebeleid.
Verlies is gekoppeld aan beleid.
En het is zo waardevol verloren.
We hebben het al eerder behandeld.
We weten dat we beloningen hebben en we weten dat we een kortingsfactor hebben.
Dus eigenlijk lijkt dit erg op waar we het over hadden in de deep learning-tutorials.
Kortom, het netwerk voorspelt een bepaalde waarde.
En tegelijkertijd kunnen we inschatten wat er moet gebeuren op basis van wat we tot nu toe over het milieu
weten.
We kunnen inschatten wat de waarde van de staat zou moeten zijn.
En door de twee te vergelijken, kunnen we het waardeverlies berekenen en vervolgens het netwerk weer verspreiden, de gewichten
bijwerken.
Dus dat is nodig, want het nieuwe hier is het verlies van de polis.
En wat is dit beleidsverlies dan en hoe werkt het?
Welnu, dit is het deel waar deze hele situatie waarin de criticus wordt gedeeld tussen de
acteurs of tussen de agenten uiteindelijk zal ontstaan.
Dus om beleidsverlies te begrijpen, moeten we een waarde introduceren die voordeel wordt genoemd.
Vandaar de naam van dit deel van het verhaal over dit hele deel van het ethische algoritme.
Het voordeel en de voordelen worden berekend als wachtrij van Sandy minus V van S. Dus eigenlijk de sleutelwaarde die je koos om te spelen van de
actie die je koos om te spelen in de staat waarin je je bevond als minus de
waarde van die staat.
Dus dit is het verschil tussen de twee en dat heet die.
En dat voordeel wordt gebruikt bij de berekening van de polis.
Nu gaan we niet in op de formule van de berekening van het verlies van polissen, omdat deze vrij ingewikkeld is.
Het gebruikt entropie of het kan entropie gebruiken.
Dat hoeft niet, we gaan die formule niet ontleden, maar we gaan dit op een intuïtief niveau
begrijpen.
Waarom doen we dit?
Waarom berekenen we dit voordeel en hoe gaat het ons helpen?
Nou, laten we hier eerst even naar kijken.
De Q-waarde hier komt van wat het neurale netwerk voor deze agent voorspelde.
Dus het voorspelde in deze specifieke actie in deze specifieke staat voor de actie die het kan spelen.
Dus het heeft deze acties en het kan er een selecteren en het kan het goed spelen, terwijl de waarde
de waarde is die wordt gedicteerd door de criticus.
Het is de waarde die we hier in dit gedeelde deel hebben.
En dat is de sleutel hier, dat dit deel wordt gedeeld.
Dus de criticus, want dit is hoe de criticus in het spel komt, omdat we een waarde hebben die we kiezen of de actie die
we kiezen om te spelen voor deze agent in die staat.
Maar dan kan de criticus ons vertellen wat de bekende waarde van die toestand is, wat in het algemeen de bekende waarde
is voor deze hele groep agenten die samen optreden omdat ze delen, niet zo omdat ze Netrebko delen, omdat ze'
opnieuw delen van de criticus.
Ze dragen hier allemaal aan bij, want deze waarden worden berekend voor een andere staat.
Dus het hele H3C-algoritme zegt: OK, dus de criticus kent een waarde.
Hoeveel beter is de yoku-waarde die u selecteert in vergelijking met de bekende waarde?
Dat is wat het zegt.
Dus dat is het eigenlijk.
Dus dat OK, ik ga hier een Q-waarde selecteren op basis van mijn mijn beleid, gebaseerd op wat we
ook gebruiken als een softmax-functie of een epsilon hebzuchtig beleid of iets dergelijks.
En natuurlijk zal er exploratie en exploitatie gecombineerd zijn, maar we selecteren een Q-waarde.
En nu is de vraag, wat is de extra?
Wat doet dat.
Wil je die aanpakken?
Wat levert het voordeel van uw geselecteerde actie op ten opzichte van de bekende waarde van die staat?
En dat is de essentie van het voordeel.
En in feite wordt dat dan gebruikt om het polisverlies te berekenen en dan wordt het polisverlies dan terug gepropageerd via terug
via het netwerk.
Dus ze verspreiden zich allebei terug via een netwerk en de gewichten worden aangepast zodat het netwerk de
waarde van de criticus beter weergeeft.
En dat is ook het bovenste deel.
Maar dan is dit ook een deel van de sleutel hier dat de waarde, de gewichten
bakra zijn wanneer er de achter Perigord van deze bevolking is, de gewichten op zo'n manier worden aangepast zodat dit voordeel wordt gemaximaliseerd.
Dus dat is de intuïtieve kant van het intuïtieve begrip ervan dat we terug zijn met
betrekking tot, nogmaals, dit beleidsverlies via het netwerk om dit voordeel te helpen maximaliseren.
En wat dat betekent, is dat wanneer een agent slechte acties tegenkomt, zoals acties waarbij de cue
minder waardeert dan de bekende waarde voor de staat.
Dus eigenlijk de hele weg door, weet Shalgam dat de waarde voor de staat iets X is, en
toen kwam je ineens een heel slechte actie tegen en je koos voor actie.
En wat dat betekent voor het ethische algoritme is dat, nou ja, waarom zouden we zoiets doen als
het erger is dan we al weten wat we al weten over deze hele omgeving en wat we hadden kunnen
doen.
Dat moeten we dus niet meer doen.
En daarom zijn de gewichten gewoon op een bepaalde manier.
Dat komt dus zeldzamer voor.
Dus dat gebeurt minder zelden.
Dus dat komt minder vaak voor dat we voor die slechte actie kiezen.
Aan de andere kant, als je een zeer goede actie kiest waar je waarden groter dan
Võ of veel groter dan waar tijdens zijn achterwaartse verspreiding van het beleid
via het netwerk, de gewichten een update zullen zijn op zo'n manier om dat te versterken, aanmoedigen om dat weer te laten gebeuren, zodat de gewichten
zo worden aangepast dat de Shalgam zal denken, oh wauw, dat is echt gaaf.
Het voordeel was daar erg groot.
Ik zou daar meer van moeten doen en daarom zal het de gewichten op een zodanige manier bijwerken dat de kans groter is dat die actie
zich in de toekomst zal voordoen.
Dus en daarom is dat, weet je, dat is hoe het netwerk zich langzaam, langzaam gaat aanpassen en zichzelf
langzaam gaat construeren tot iets dat aan de ene kant de waarde correct berekent.
En dan aan de andere kant of zo snel mogelijk en aan de andere kant stimuleert of heeft het acties die
een groot voordeel hebben.
Dus daar gaan we.
Dat is dit deel.
En laten we nu eens naar een andere kijken om te versterken wat we zojuist hebben besproken.
Dus laten we naar de bovenste kijken.
Hier hetzelfde dus.
De topagent ziet een situatie, een staat bevindt zich in een staat en moet dan beslissen wat te doen.
Dus stuurt deze informatie naar de netwerken.
Dus dit beeld gaat in het netwerk, gaat naar convolutioneel.
Ze bundelen hun afvlakkingslaag.
Het gaat in de verborgen lagen.
En vanaf hier krijgen we een uitvoer.
We krijgen de AQ-waarden van de polis.
We krijgen de waarden weer.
Hetzelfde.
We hebben twee nederlagen.
We hebben het waardeverlies, dat hier is, een polisverlies dat hier is, waardeverlies.
We weten echt hoe het wordt berekend toen we dit in de Q Learning bespraken en zojuist ook
besproken.
Dus zo werd de waarde berekend.
En dan weer het polisverlies om te berekenen waar we niet voor gaan, maar op
een intuïtief niveau berekenen we het voordeel, dat wil zeggen, oké, dus we hebben een bepaalde actie ondernomen, we hebben gekozen
een bepaalde actie op basis van ons selectiebeleid, of het nu softmax of epsilon hebzuchtig is
of welk ander sociaal beleid we ook gebruiken.
En wat is dan de actie die we hebben ondernomen?
Laten we het nu vergelijken met de bekende waarde van de staat, die afkomstig is van de gedeelde critici.
Dus deze kritiek is zoiets als, als je erover nadenkt, al deze agenten tegelijkertijd observerend, hij
kijkt naar deze.
Kijk naar deze, deze.
Ze dragen allemaal bij aan een criticus om de criticus meer op de hoogte te
brengen van de omgeving, om ervoor te zorgen dat de criticus representatief is voor wat er in de
werkelijke omgeving gebeurt, zodat het gewicht dat dit is, dat is waar het waardeverlies komt in,
zodat de gewichten van het werkelijke neurale netwerk dat ze heel goed de werkelijke situatie van dingen in de omgeving weerspiegelen, zodat ze vervolgens op
deze waarde kunnen vertrouwen en deze dan hier kunnen gebruiken.
En dus eigenlijk.
Al deze agenten zijn dus al deze agenten dragen bij aan deze criticus, maar dan
tegelijkertijd door dit waardeverlies.
Maar tegelijkertijd observeert de criticus de beslissingen of het beleid van deze instanties.
Alsof het is alsof ik terugkijk op het soort dat ik als een pijl naar het beleid
probeer te trekken en pijl en pijl, terugkijkend op een beslissing die ze nemen, deze beslissingen bekritiseren
vanuit het voordeel.
Het zegt: OK, je hebt een beslissing genomen, je hebt dit gekozen, je hebt deze actie gekozen.
Dat is geweldig.
Laten we nu het voordeel of nadeel van de lanceringen als gelijk berekenen.
Weet je, de waarde van wat ik heb gemaakt, de beslissing die ik heb genomen of de keuze die ik heb gemaakt, de ik.
Ik heb ervoor gekozen om minus de bekende waarde te nemen voor de criticus, de niet-kiezer criticus, dus Chalco het verschil, als het een
klein verschil is, uw beleid, en wanneer uw beleidsverliezen zich terug verspreiden via het netwerk, zullen de gewichten
zijn aanpassen, gaat stimuleren dat de gewichten zodanig worden aangepast
dat dat niet meer gebeurt, dat die nieuwe waarde of die kernwaarde lager wordt.
Dus omdat ons beleid de acties selecteert op basis van de kernwaarden, hoe hoger de waarde, hoe groter de kans
dat deze wordt geselecteerd.
Dus als we een ARG max-beleid zouden gebruiken, dan zouden we altijd de hoogste selecteren.
Zoals ik me herinner, bespraken we dit en dan wilden we altijd degene met de hoogste waarde.
Maar we gebruiken eigenlijk een probabilistische benadering, terwijl we Softmax of Epsilon Grealy-beleid
gebruiken.
En dan zijn we dus eigenlijk aan het selecteren waar we een van hen kunnen selecteren.
Maar hoe hoger de sleutelwaarde, hoe beter.
Dus als we iets hebben geselecteerd en dan was het voordeel erg laag, en vervolgens gebombardeerd, zal het
netwerk op zo'n manier zijn dat de volgende keer deze waarde van die bepaalde actie minder zal zijn en misschien
iets anders meer.
Dus dat is hoe dat is opgesplitst.
En aan de andere kant, als we iets selecteren waar het voordeel groot zal zijn, dan gaat dit in op het verlies
van de polis en dan werken de netwerken het alleen bij.
Dus dat wordt vaker waargenomen als een scenario.
En dus helpt dit hele beleidsverlies het netwerk om zich aan te passen of te veranderen op een manier dat we meer van de goede dingen
doen of de goede acties en goede dingen goed doen en minder van de slechte dingen doen.
En dat is hoe deze twee verliezen in het spel komen en dat is hoe de rug zich voortplant.
Dus hopelijk wordt dat op een heel intuïtieve manier duidelijk.
Natuurlijk zijn we niet ingegaan op de formules, op de complexe wiskunde achter dit alles en graag
op de zeer ingewikkelde details, maar tegelijkertijd hopen we op een intuïtieve manier, op een intuïtieve
manier.
Dit alles maakt duidelijk waarom we de acteur en de criticus hebben en hoe ze met elkaar omgaan, weet
je, je hebt deze agenten, Cinquera.
Dus dit is dan een synchrone kant van de dingen.
Dit is je weet, dit is je acteur en je criticus en dit is je voordeel en hoe dat allemaal in het
spel komt.
Dit zijn dus synchrone agenten.
Ze gaan dit spelen of de omgeving verkennen en hun omgeving bewerken.
En ze dragen allemaal bij aan een criticus, die vervolgens hun beleid observeert,
observeert dat de acteurs, zoals dit heet, en door het voordeel.
En daarom, komend, dit beleidsverlies en dan beleid en waardeverlies zijn terugverspreiding, alleen het
netwerk om enerzijds de ware gang van zaken in de omgeving te vertegenwoordigen, anderzijds om de
prestaties van de acteurs te verbeteren .
Dus daar gaan we.
Dat is een korte samenvatting van de interesse.
En we hebben het er nog een keer over gehad.
Hopelijk komt dit allemaal samen op een intuïtief niveau.
En natuurlijk zullen we in de praktische tutorials meer vertellen over hoe dit allemaal werkt.
En Alan zal je hier doorheen leiden, het proces om dit te bouwen, maar als je dit beeld in je hoofd
hebt en dit als een soort routekaart van alles, hoe het samenkomt, zal goed zijn, zou moeten zijn,
ik hoop dat het erg nuttig zal zijn zodat u beter door de praktische kant van de dingen kunt navigeren.
En wat betreft aanvullende lectuur hebben we voor vandaag twee elementen.
Dus de eerste is in het voordeel.
Dus hier hebben we hoogdimensionale continuïteiten, controle met behulp van algemene voordelen.
Schatting door John Schulman.
En dit is een afbeelding van een stokfiguur die opstaat alsof hij opstaat.
En hier vind je nog meer over bevoordeeld en bevoordeeld.
U ontdekt de verschillende soorten voordelen.
Dus je hebt de algemene schatting van het voordeel.
Je hebt voordelen die je daadwerkelijk gebruikt in de formules, in de berekening.
Dus als je meer wilt weten over voordeel en precies hoe het werkt,
de formules erachter en enkele van de topelementen of formules en weet hoe gemakkelijk dit voordeel is dat we hebben besproken, dan
is dit het artikel om ga naar.
En nog een ander element, dat of een stuk werk waar we je aan wilden herinneren, is de blog, een serie blogposts van Arthur
Giuliani, die we al een paar keer hebben genoemd.
Dit is deel acht, dat specifiek over H3C gaat.
Dus hier kun je een andere uitleg krijgen.
Dus met wat meer wiskunde over wat er aan de hand is en misschien kun je hier wat extra dingen
oppikken.
Slechts twee dingen om in gedachten te houden.
Allereerst, zoals altijd, deze blog is Intenser Flowers.
We gebruiken een taartbrander.
Houd daar dus rekening mee.
En het tweede is dat de manier waarop we onze aanpak hebben gestructureerd, is dat we eerst
over actieve criticus spraken, daarna over asynchroon en daarna over voordeel.
Terwijl in zijn.
Blog Arthur vertelt eerst over een Synchronoss en voorspelt nauwkeurig een voordeel, dus houd daar rekening mee.
Dus hopelijk stoot dat je niet af.
Maar behalve dat is het natuurlijk een geweldig stuk inhoud dat we ten zeerste aanbevelen om het te bekijken
voor wat extra informatie.
Dus daar gaan we.
Hopelijk heb je genoten van de Statoil van vandaag en ik kijk ernaar uit om je de volgende keer te zien.
Tot dan, geniet ervan.