Hallo allemaal, en welkom terug.
In deze lezing gaan we onze omgeving inrichten.
En ik wil dit meer overzicht op hoog niveau introduceren voor degenen die het zelf willen proberen op te
lossen.
En dit komt je misschien bekend voor in de laatste lezing dat je dit zag.
Dus als je het doorleest, mijn excuses.
We gaan er gewoon heel snel doorheen.
Eerste dingen eerst.
In dit project streven we ernaar om het zo eenvoudig mogelijk te houden, in die zin dat we niet te veel
bibliotheken hoeven te importeren.
We gaan daar eigenlijk gewoon NumPy voor gebruiken.
We hoeven alleen NumPy als en P te importeren, meestal de algemene referentie voor numpy.
En we willen ook onze omgeving inrichten, zoals je hier zult zien.
En we gaan dit nog eens heel snel doornemen als overzicht.
De eerste stap voor onze Q-learning is dat we een omgeving wilden vinden waarin de postbode moet navigeren.
We hebben die omgeving nodig, zodat we deze daadwerkelijk kunnen herhalen en doorlopen.
In deze lezing zal de omgeving bestaan uit toestanden, acties en beloningen.
Statussen en acties zijn inputs voor de Q-lerende agent, terwijl de mogelijke acties de agenten zijn, outputs
zijn staten waar we over kunnen nadenken en dit beeld als onze representatie kunnen beschouwen.
De staten in onze omgeving zijn alle mogelijke locaties binnen de stad die we deze voorbeeldstad kunnen noemen.
Sommige van deze locaties zijn de stadsgrenzen die onze zwarte vierkanten zullen zijn, terwijl andere locaties eilanden zijn die
de postbode kan gebruiken om door de stad te reizen.
Dat worden de witte vierkanten.
Het groene vierkant geeft de verpakking en het verzendgebied van het artikel aan.
De zwarte en groene vierkanten zijn wat we eindtoestanden gaan noemen.
Dus over het algemeen, ons doel of het doel van onze agent, willen we de kortste weg gebruiken.
We willen dat onze agent de kortste weg leert tussen het verpakkingsgebied, de pot, het groen en alle
andere locaties in de stad waar de postbode mag reizen.
In de bovenstaande afbeelding hebben we 121 mogelijke staten of locaties binnen de stad.
Deze toestanden zijn gerangschikt in een raster 11 bij 11.
Elke locatie kan worden geïdentificeerd aan de hand van de rij- en kolomindex.
Dus wat zou onze eerste stap zijn?
En dit is echt willen dat jullie gaan nadenken over hoe je het kunt definiëren.
We moeten onze omgeving definiëren.
Dit is een goed voorbeeld van ons imago en hoe we dat gaan aanpakken.
Dus hoe zou je dat modelleren?
Onthoud dat we NumPy gebruiken, dus we moeten deze grenzen definiëren en we kunnen een 3D numpy-array definiëren
om onze huidige Q-waarden voor elk staats- en actiepaar vast te houden zoals we onze weergave zien.
En voor degenen onder u die er niet bekend mee zijn, of misschien is dit
nieuw of u wilt gewoon een opfriscursus, het Air Z-handboek uit deze cursus is uiterst nuttig, een echte aanrader.
Dus wat moeten we hier doen?
We kunnen het eigenlijk wel.
Laat me dit heel snel voor ons uitbreiden, zodat we het een beetje gemakkelijker kunnen bekijken.
Laat me gewoon wat codecellen toevoegen.
We gaan ons 3D-imperium definiëren.
Hoe zou je dit aanpakken?
Dus we hebben wat opties.
Maar de meest voor de hand liggende en eenvoudige optie, laten we het omgevingsrijen noemen.
Rose en laten we het op 11 zetten.
Het is 11 bij 11.
Dan kunnen we ook de omgeving doen, kolommen onderstrepen.
En we zouden dit ook op 11 kunnen zetten.
Ten slotte kunnen we onze Q-waarden instellen, omdat we onze numpy moeten toevoegen aan de omgevingsrijen,
omgevingskolommen.
En we kunnen dit instellen als Q-waarden die gelijk zijn aan NumPy-nullen en we moeten onze omgevingsrijen, omgevingskolommen
gebruiken.
En we hebben onze 3D numpy array, onze 3D-omgevingsrepresentatie ingesteld met onze omgeving.
Geweldig.
We laten het hier achterwege, maar ik wil dat jullie gaan nadenken over hoe je dit kunt oplossen,
aangezien je je omgeving al hebt ingesteld.
Het volgende dat u als hint wilt doen, is uw acties instellen.
Uw agent moet zich door de omgeving kunnen bewegen.
Dus hoe zou je dat voorstellen?
Hoe zou je dat opschrijven?
Voor dit probleem laten we het hier achterwege.
In de volgende video gaan we terug naar die acties.
Geweldig.
Ik zie jullie in de volgende video.