Witam ponownie.
W ostatnim wykładzie zakończyliśmy lub sfinalizowaliśmy faktyczną definicję naszego środowiska, reprezentację naszych
wartości, naszą karę w postaci nagród i nasze działania w środowisku.
W tym wykładzie chcę przedstawić szkolenie, ideę, jak trenować model i
pomóc Ci zacząć.
A następnie w następnym wykładzie podaj rozwiązanie i opis poszczególnych kroków.
Musimy więc wytrenować model, co byłoby wymagane do szkolenia.
Jest to podejście, którego możemy użyć w następujących krokach do trenowania modelu.
Chcemy wybrać losowy stan nieterminalny, który byłby białym kwadratem naszego agenta i tak
chcemy rozpocząć nasz odcinek szkolenia.
Wtedy oczywiście chcemy wybrać akcję dla aktualnego stanu.
Potrzebujemy, aby nasz agent mógł poruszać się po środowisku.
Zatem działania dla nas i naszego agenta w tym wyzwaniu zostaną wybrane po grecku Epsilon.
Algorytm ten zwykle wybiera najbardziej obiecującą akcję dla agenta, ale czasami wybiera mniej
obiecującą opcję.
Aby zachęcić agenta do eksploracji otoczenia, naprawdę chcemy znaleźć optymalną politykę.
Następnie chcemy wykonać wybraną akcję i przejść do kolejnego stanu.
Przejdź do następnej lokalizacji.
I dlaczego to mówię, chcę, żebyście pomyśleli o tym, jak podzielić to na funkcje,
aby rozwiązać ten problem.
Następnie musimy otrzymać nagrodę za przejście do nowego stanu, a następnie obliczyć różnicę czasową.
Musimy zaktualizować wartość Q dla poprzedniej pary stanów i akcji, a jeśli nowa waluta jest stanem
terminalnym, przejdziemy do jednego.
W przeciwnym razie przeszlibyśmy do kroku numer dwa.
Więc cały proces zamierzamy uruchomić przez tysiąc odcinków do trenowania.
To da nam wystarczająco dużo okazji lub naszemu agentowi wystarczającą szansę na obliczenie najkrótszej drogi między
obszarem pakowania przedmiotów a innymi lokalizacjami w naszym przykładowym mieście.
Niesamowite.
Więc proszę zastanów się, jak do tego podchodzisz, a chcę pomóc Ci w rozwiązaniu tego problemu.
Więc przyjrzymy się naszemu rozwiązaniu, będziemy używać następujących funkcji.
Właściwie mogę to skomentować, ponieważ jest to kod, więc przepraszam.
Nie chcemy znaku dolara.
Chcemy je skomentować, a pomogę Ci zacząć od pierwszego.
Ogólnie rzecz biorąc, będziemy mieć te funkcje, które definiują nasze kroki w zakresie trenowania modelu i ułatwiają
rozpoczęcie pracy.
Rzućmy okiem na to, jak podeszlibyśmy do stanu terminala podczas tworzenia funkcji w pythonie.
Najpierw oczywiście chcielibyśmy zdefiniować naszą funkcję taką, jaka jest.
Stan terminala.
A to są nazwy funkcji, które zobaczysz, aby dać ci pomysł, który może pomóc ci to
rozbić.
To, co chcemy zrobić, to wziąć bieżący indeks wiersza i bieżący indeks kolumny.
Pomoże nam to dać nam pozycję naszego agenta i możemy dodać tutaj dla naszych nagród prawdę lub
fałsz.
Więc tego potrzebujemy.
Ustalmy więc nasze, jeśli nasze nagrody.
Z naszego prądu.
Indeks wiersza.
I aktualne.
Indeks kolumny równy minus jeden, jeśli są w tym stanie.
Zwrócilibyśmy fałszywe lub w inny sposób lub inaczej.
Wrócilibyśmy.
Prawdziwe.
Dość proste.
I w ten sposób zrozumiemy nasze wyobrażenie o naszym stanie terminalnym po tym, jak jeśli istnieje
w stanie terminalnym, chcemy uzyskać lokalizację początkową.
Jako wskazówkę możesz przyjrzeć się użyciu bieżącego indeksu wiersza w bieżącym indeksie kolumny i ustawieniu
numpy za pomocą losowego.
Chcemy zainicjować to losowo w kolumnach środowiska wierszy środowiska.
Ale w następnym wykładzie zobaczysz awarię.
Zobaczysz pozostałe funkcje z kilkoma uwagami, które pomogą Ci zorientować się.
Naprawdę mam nadzieję, że skorzystacie z okazji, aby z tym poeksperymentować, ponieważ jest to po prostu niesamowity sposób na
nauczenie się, aby pomóc wam w podsunięciu pomysłu i to jest dobry początek.
Więc nie martw się, rozwiązanie znajdziesz w następnym wykładzie.
A potem zamierzamy podsumować, przypisując doskonały współczynnik rabatowy na naukę tego rodzaju rzeczy
do szkolenia, prowadzenia szkolenia i przeglądania wyników.
Niesamowite.
Zatrzymajmy się tutaj ponownie.
Spróbuj to rozwiązać.
Ale jeśli nie, to jeśli chcesz tylko przejść dalej, przejdź do następnego wykładu, a
dostaniesz rozwiązanie do treningu definiowania tych funkcji.
Dobra, do zobaczenia na następnym wykładzie.