Hallo en welkom bij deze tutorial.
Dus nu heeft het bureau zijn verkenning gedaan en wat hij dan gaat doen, is het gedeelde netwerk bijwerken.
Dus het eerste wat we gaan doen is de cumulatieve beloning initialiseren.
We gaan het R hoofdletter R noemen en we zullen het initialiseren als een fakkel.
Tenzer, maar dat zal één voor één afmetingen hebben omdat het slechts een waarde is.
Maar we willen dat het een Tenzer wordt.
En dus gebruik ik hier nullen en dan één.
Dus in feite wordt de cumulatieve beloning geïnitialiseerd op nul.
Oké, dan hetzelfde als we nog niet klaar zijn.
Dat is als het spel nog niet voorbij is.
Wat we nu willen, is dat de cumulatieve beloning gelijk is aan de waarde van de laatste datum die is bereikt door
het gedeelde netwerk.
Dus we gaan de waarde-uitvoer krijgen, je weet wel, de waarde van de functie-uitvoer van ons model.
En dit is de waarde die we aan de cumulatieve beloning zullen geven.
Dus laten we eerst deze waarde krijgen.
We kunnen het op deze manier waarde krijgen, weet je, omdat we alleen de waarde willen die we hier kunnen toevoegen, onderstrepen en
dan weer onderstrepen, en dan krijgen we ons model omdat het deze waarde zal uitvoeren, maar alleen de eerste uitvoer van
de model dankzij deze dubbel op deze cursus hier en hier, kunnen we gewoon kopiëren en plakken wat we
hier hebben.
Dat is de invoer van het model met de invoerafbeeldingen en alle staten en de zuidelijke staten.
Dus dat plak ik gewoon.
En dan gaan we, we krijgen de waarde.
Wat we nu gaan doen, is deze waarde aan onze waarde geven, zodat alles gelijk is aan waarde en toegang heeft tot de waarde die
we hier aan de gegevens toevoegen.
Oke.
Nu, de if-voorwaarde is voltooid en nu wat we gaan doen, omdat we net een nieuwe waarde hebben gekregen door, je weet wel, de
uitvoer van het model te krijgen, de eerste uitvoer van het model, nou, laten we deze nieuwe waarde al
toevoegen naar de lijst met waarden.
Daarom kunnen we direct onze waardenlijst nemen, dan gewoon toevoegen en we voeren de variabele in.
Ah, omdat ah deze laatste waarde zo groot bevat, dat is nu gedaan, gaan we de
verliezen initialiseren en de intuïtie-lezingen onthouden.
Je hebt twee verliezen, je hebt het verlies van de polis.
Dat is het verlies gerelateerd aan de voorspellingen van de agent.
En dan heb je het verlies van de waarde, dat is het verlies gerelateerd aan de voorspellingen van de criticus.
We gaan deze twee variabelen dus introduceren en initialiseren op nul.
En daarom ga ik hier zeggen, beleid, allereerst over polisverlies, initialiseer het op nul en
dan waardeverlies, het verlies van de waarde en hetzelfde, initialiseer het op nul.
Laten we dan niet vergeten om de cumulatieve beloning in te stellen als een fakkelvariabele, omdat we het een
fakkelvariabele nodig zullen hebben omdat we er een gradiënt mee gaan berekenen, omdat de cumulatieve beloning
een term zal zijn van het waardeverlies .
Dus deze variabele is nu gekoppeld aan de dynamische grafiek met de gradiënt.
En nu eindelijk, het laatste wat we moeten doen voordat we aan de overwinningslus beginnen.
Weet je, als we stochastische gradiëntafdaling toepassen om deze laatste tussen
de voorspellingen en het doel te verminderen, moeten we de G-8 initialiseren, de algemene voordeelschatting, en deze niet uit de
encoder halen.
Wees voorzichtig met die jehadi.
De variabele die we nu gaan initialiseren is gegeneraliseerde voordeelschatting.
Dus ter herinnering: een algemene schatting van het voordeel is per definitie het voordeel van het spelen van de actie, eh,
door de toestand te observeren.
S dus het is een functie van de actie A en de toestand s en het is gelijk aan
het verschil tussen de kernwaarden en de waarde van de V-functie.
Dus eigenlijk kan ik het hier schrijven.
De gegeneraliseerde voordeelschatting is een functie a van de actie in de toestand s en die gelijk is
aan de kernwaarden van de actie a en de toestand s minus de waarde van de V-functie gelden voor de toestand.
S.
Dat is de algemene schatting van het voordeel.
En dat is wat we nu willen initialiseren.
En we zullen het op nul initialiseren.
Maar het moet richting Tenzer zijn, dus we gaan dezelfde truc gebruiken als wat we hier net
hebben gedaan, we gaan de fakkelbibliotheek nemen en de Xeros-functie toepassen om het in te stellen als een Tenzer met slechts één waarde,
die hier is.
En we gaan deze nieuwe variabele introduceren en die zal gelijk zijn aan die toorts die één één op nul zet,
zoals geïnitialiseerd op nul.
Dit wordt dus op nul geïnitialiseerd.
En daarom zullen de kernwaarden van het handelen in de staten gelijk zijn aan de waarde van de functie van
de staat.
S.
Oke.
En nu zijn we klaar om de volledige lus te starten.
Dus we gaan hier wat avontuur beleven.
Dus neem een goede pauze en ik zie je in de volgende tutorial om dat aan te vallen.
Tot dan, geniet ervan.