Hallo en welkom terug.
In de laatste lezing hebben we uiteindelijk de feitelijke definitie van onze omgeving, de representatie van onze
waarden, onze straf in beloningen en onze acties in de omgeving afgemaakt of afgerond.
In deze lezing wil ik de training introduceren, het idee achter het trainen van het model
en u op weg helpen.
En geef dan in de volgende lezing de oplossing en meer een uitsplitsing voor de betrokken stappen.
We moeten het model dus trainen wat nodig is voor training.
Dit is een benadering die we kunnen gebruiken voor de volgende stappen voor het trainen van het model.
We willen een willekeurige niet-terminale staat kiezen, wat het witte vierkant van onze agent zou zijn, en dat is hoe
we willen beginnen in onze aflevering voor de training.
We willen dan natuurlijk een actie kiezen voor de huidige stand.
We moeten ervoor zorgen dat onze agent zich door de omgeving kan verplaatsen.
Dus acties voor ons en onze agent in deze uitdaging zullen worden gekozen met behulp van Epsilon Grieks.
Dit algoritme kiest meestal de meest veelbelovende actie voor de agent, maar kiest af en toe voor een
minder veelbelovende optie.
Om de makelaar te stimuleren de omgeving te verkennen, willen we echt het optimale beleid vinden.
Vervolgens willen we de gekozen actie uitvoeren en overgaan naar de volgende toestand.
Ga naar de volgende locatie.
En waarom ik dit zeg, is dat ik wil dat jullie nadenken over hoe je dit kunt opsplitsen in functies
om dit probleem op te lossen.
Vervolgens moeten we een beloning ontvangen voor het naar een nieuwe staat gaan en dan het tijdsverschil berekenen.
We moeten de Q-waarde voor het vorige staat- en actiepaar bijwerken, en als de nieuwe valuta een eindstatus
is, gaan we naar een.
Anders zouden we naar stap twee gaan.
Dus het hele proces, we gaan ernaar streven om duizend afleveringen te trainen om te trainen.
Dit geeft ons voldoende gelegenheid of onze agent voldoende gelegenheid om dat kortste pad tussen
het artikelverpakkingsgebied en andere locaties in onze voorbeeldstad te berekenen.
Geweldig.
Dus denk alsjeblieft na over hoe je dit aanpakt en ik wil je helpen een idee te geven om dit op te lossen.
Dus we zouden in onze oplossing kijken, we gaan de volgende functies gebruiken.
Ik kan hier echt commentaar op geven, omdat het een code is, dus mijn excuses.
We willen geen dollarteken.
We willen deze becommentariëren en ik zal je helpen om met de eerste te beginnen.
Over het algemeen zullen deze functies onze stappen definiëren voor het trainen van het model en om u op weg
te helpen.
Laten we eens kijken hoe we de terminale toestand zouden benaderen bij het maken van een functie binnen python
hiervoor.
Allereerst willen we natuurlijk onze functie definiëren zoals deze is.
Eindstatus.
En dit zijn de namen van de functies die je zult zien om je een idee te geven dat je kan helpen het op
te splitsen.
Wat we willen doen is de huidige rij-index en de huidige kolomindex nemen.
Dit zal ons helpen de positie van onze agent te krijgen, en we kunnen hier voor onze beloningen een waar of onwaar
toevoegen.
Dus we hebben het nodig.
Dus laten we onze als onze beloningen instellen.
Van onze stroom.
Rij-index.
En actueel.
Kolomindex gelijk aan negatief als ze zich in die staat bevinden.
We zouden valse of anderszins of anders retourneren.
We zouden terugkeren.
WAAR.
Vrij eenvoudig genoeg.
En dit is hoe we ons idee krijgen van onze terminale staat, nadat we hebben, als deze in de terminale
staat bestaat, we dan de startlocatie willen krijgen.
Als hint kun je kijken naar het gebruik van de huidige rij-index in de huidige kolomindex en
numpy instellen met een willekeurig.
We willen dat willekeurig initialiseren in de kolommen van de omgevingsrijen.
Maar in de volgende lezing zie je een inzinking.
U ziet de rest van de functies met enkele opmerkingen om u een idee te geven.
Ik hoop echt dat jullie de kans grijpen om hiermee te experimenteren, want het is gewoon een geweldige manier om te leren
om je een idee te geven en dit is om je op weg te helpen.
Dus maak je geen zorgen, je krijgt de oplossing in de volgende lezing.
En dan gaan we de zaken afronden door daadwerkelijk een uitstekende kortingsfactor toe te kennen aan leren, dat soort dingen voor
training, het uitvoeren van de training en het bekijken van de resultaten.
Geweldig.
Laten we hier weer stoppen.
Probeer dit op te lossen.
Maar zo niet, als je gewoon verder wilt gaan, ga dan naar de volgende lezing en je krijgt de
oplossing voor de training voor het definiëren van deze functies.
Oké, ik zie jullie bij de volgende lezing.