Jesteś gotowy?
Zróbmy to, zacznijmy od zainstalowania wszystkich zależności systemowych dla Vista, kliknijmy ten
przycisk odtwarzania, a teraz zainstaluje wszystkie zależności, jak widać, jak Pelo lub ZIPPI, a także kilka innych
zależności, które będą potrzebne do uruchom to pomyślnie.
Ale cała reszta, jak PLI w kierunku modułów siłowni, jest już zainstalowana.
Więc to jest naprawdę niesamowite.
To jest naprawdę piękno dobrego kulamu, dzięki któremu nikt z was nie będzie miał problemu
z wykonaniem kodu i wizualizacją końcowego wyniku.
W porządku.
Więc to zajmie właściwie jedną lub dwie minuty.
Więc zamierzam po prostu przewinąć do przodu tu i teraz.
Do zobaczenia wkrótce w dalszej części wykonania kodu.
W porządku, wydaje się, że jesteśmy na końcu instalacji zależności
systemowych, jak widać, pobiera je, instaluje je podczas zbierania z wszystkimi odpowiednimi wymaganiami.
Powinno to być zrobione w ciągu kilku sekund.
Dobrze.
Zobaczmy, trzy, dwa.
No to jedziemy.
Pomyślnie zainstalowano wszystko.
Nie martw się o te błędy tutaj.
Nie wpłyną one na wykonanie kodu, ale wszystko zostało pomyślnie zainstalowane tak, jak chcemy.
W porządku.
Więc teraz następny krok, bardzo ważny.
Spójrz na tę ważną notatkę.
Mówi się, że po zainstalowaniu wszystkich Benzów, w zasadzie po wykonaniu tej pierwszej komórki tutaj, musisz
ponownie uruchomić środowisko wykonawcze.
W przeciwnym razie pojawią się tutaj błędy wykonania.
Więc zróbmy to szybko.
To jest bardzo proste.
Wystarczy kliknąć tutaj środowisko uruchomieniowe, a następnie ponownie uruchomić środowisko uruchomieniowe, a następnie.
Tak.
W porządku.
Spowoduje to przywrócenie środowiska uruchomieniowego i teraz możesz po prostu wykonać wszystkie te komórki, klikając przycisk
odtwarzania.
Zróbmy więc to, zaczynając od wstępnego przetwarzania obrazu pierwszego pliku.
W porządku.
Więc najpierw zaimportujmy biblioteki, a następnie wstępnie przetwórzmy obrazy za pomocą klasy image pre-process.
A teraz przeszliśmy już do implementacji powtórki doświadczenia, czyli tej.
W porządku.
Więc zróbmy to.
Najpierw importujemy biblioteki, następnie definiujemy jeden krok środowiska.
Następnie tworzymy A. JA. postęp w kilku krokach i krokach z klasą postępu kroku końcowego
dokładnie taką samą, jak ta, którą mamy w folderze.
Następnie wdrażamy doświadczenie, w które gramy, budując tę klasę pamięci powtórek.
W porządku.
Wszystko dobrze.
A teraz przechodzimy do trzeciego faulu.
Ten A. JA. zakładam, że złożyłem wniosek i najpierw zaimportujemy biblioteki.
W porządku.
Zajmuje to trochę czasu, ponieważ importujemy wszystkie moduły latarki, a następnie importujemy paczki do
otwierania i robienia tego z siłownią i mądrością, Jim.
A opakowanie jest dobre.
A potem przechodzimy do części pierwszej, budynku II, gdzie zrobimy mózg, potem
ciało, a potem wszystko złożymy.
Więc najpierw zróbmy mózg z klasą CNN, następnie zróbmy ciało z klasą ciała softmax, a
następnie zróbmy sztuczną inteligencję z klasą.
W porządku.
Więc wszystko dobrze.
Teraz jesteśmy gotowi do przejścia do drugiej części.
Czy zamierzamy trenować sztuczną inteligencję z, oczywiście, głębokim splotowym Q Learningiem.
W porządku.
Więc wykonawczy, taki sam jak to, co tutaj mamy.
Najpierw otrzymujemy środowisko doom z naszymi nowymi modułami z doom.
Nie martw się tym.
To nie jest błąd.
Następnie zbudujemy A. JA. integrując różne przedmioty, aby wprowadzić CNN, ciała
Maxa i cały A. JA. zawierające mózg i ciało.
W porządku.
Wykonałem to?
Tak.
Następnie przygotowaliśmy doświadczenie.
Bawimy się Insteps i pamięcią jako obiektywną pamięcią powtórek, a następnie wdrażamy ślad
kwalifikowalności.
W porządku.
Aby poprawić wydajność.
Następnie robimy średnią ruchomą ze stu kroków z klasą M a.
I wreszcie, moi przyjaciele, jesteście gotowi?
Cóż, teraz jest czas na bardzo ekscytującą część, w której zamierzamy trenować A. JA. ponad dwadzieścia dolców.
W porządku.
Zobaczysz więc, że będzie to już trochę długie.
Wiesz, zajmie to może jedną lub dwie godziny, ponieważ zwiększę wymiary, nie krępuj się zredukować
emisji do osiemdziesięciu na osiemdziesiąt, jeśli uznasz to za zbyt długie.
Ale zaufaj mi, będziesz mieć znacznie lepsze filmy o tych wymiarach.
OK, więc jesteś gotowy?
Zróbmy to za trzy do jednego.
W porządku.
Więc to wykona kod szkolenia i za kilka sekund powinniśmy być w stanie zobaczyć pierwszą
epokę, która będzie miała oczywiście negatywną nagrodę.
Ale zobaczysz, że wiesz, w kolejnych epokach nagroda będzie rosła stopniowo, aż
do osiągnięcia pozytywnych nagród, a następnie do setek nagród.
Cóż, właściwie zmierzajmy do tego.
Miejmy nadzieję, że mając dwadzieścia osiem dolarów, będziemy mieli jakąś ostateczną nagrodę w wysokości około stu, wiesz,
na przykład 100, 200 lub 300, ponieważ z tymi nagrodami eksperymentowałem z nimi.
Tak.
Najpierw ujemna nagroda minus dziewięćdziesiąt osiem.
Mówiłem więc, że przy nagrodach w wysokości około 100, 200, 300 już osiągniemy świetne wyniki.
Wiesz, zobaczymy, jak AA udaje się albo zabić niektóre potwory, albo ich uniknąć, albo,
wiesz, zbliżać się do kamizelki.
OK, więc to pierwsza książka, jeden minus dziewięćdziesiąt osiem.
A potem wiesz, zobaczymy w książce numer dwa z może już lepszą nagrodą.
Ale wiesz, na początku, oczywiście, OOŚ nie jest szkolona.
To badanie środowiska.
Dobrze.
Pamiętasz ten kompromis między uczeniem się przez wzmacnianie, eksploracją a wykorzystywaniem?
Cóż, na początku pomysł jest czysto odkrywczy, a potem będzie trenował,
a potem będzie stawał się coraz mniejszy i wtedy osiągnie wysoką nagrodę.
Tak więc na początku można mieć negatywne nagrody.
Może to dostaniemy.
W ciągu trzech pierwszych epok, ale potem zobaczysz, że po numerze cztery, pięć lub sześć,
cóż, zaczniemy osiągać być może pozytywne nagrody, a następnie, miejmy nadzieję, nagrody w wysokości około 100, 200 lub 300.
OK, więc zajmie to trochę czasu, jak powiedziałem.
Więc nie zostaniemy tutaj przez dwie godziny, w przeciwnym razie zabraknie mi rzeczy do powiedzenia.
Więc zamierzam umieścić zabawną lub fajną muzykę teraz i zaczynamy, epoka numer dwa, minus
62.
Więc jest już pewna poprawa.
Dobre.
Ale zobaczysz, że będą jeszcze lepsze ulepszenia.
Im bardziej postępujemy w epokach.
OK, więc co ja mówiłem?
Tak, teraz włączę fajną muzykę i puszczę trening w trybie przyspieszonym.
I oczywiście do zobaczenia na koniec szkolenia, aby zobaczyć ostateczne wyniki.
W porządku.
Więc zaczynamy.
Trzy do jednego.
W porządku, a oto koniec szkolenia, gratulacje, wyszkoliłeś głęboki, konwolucyjny model uczenia się na
bardzo wymagającej aplikacji, jaką jest zagranie w grę zagłady.
Więc co powiedzieć?
Cóż, tak jak się spodziewaliśmy, osiągnęliśmy przeciętną nagrodę w wysokości ponad 100.
W takim razie ważne jest, aby powiedzieć, że im więcej epok, tym wyższe nagrody.
Więc jeśli jesteś gotowy, na przykład, trenować ten model przez więcej, wygląda na to, że 100 epok
lub nawet więcej, aby osiągnąć więcej nagród około 300, 400, 500 lub nawet 1000.
Cóż, nie krępuj się to zrobić.
Na przykład możesz pozwolić temu działać na noc podczas snu.
A kiedy budzisz się rano, osiągasz lepsze wyniki.
Zauważ, że możesz również użyć w wykonawczym GPU, prawda.
Jeśli zmienisz typ środowiska uruchomieniowego, czego nie powinienem robić, ponieważ w przeciwnym razie ponownie uruchomi notebook.
Ale w akceleratorze sprzętowym możesz wybrać GPU lub nawet Tipu, ale to tylko wtedy, gdy
chcesz, wiesz, zoptymalizować wydajność i zrobić super ciężki trening.
Ale tutaj użyłem tylko klasycznej rzeczy, ponieważ chcę tylko pokazać, jak to wszystko wykonać.
I gotowe.
Teraz mamy zamiar wykonać resztę skoroszytu z tym dodatkowym kodem specyficznym tylko dla tego kodu, tego notatnika,
w którym oczywiście zamierzamy zwizualizować AA w akcji.
W porządku.
Więc zróbmy to.
Najpierw zaimportujmy biblioteki.
Dobrze.
Wszystko dobrze.
Następnie wydrukujemy kształt wejściowy i szereg możliwych działań.
W porządku.
Więc tutaj rzeczywiście dojdziemy do tego, że mamy siedem możliwych działań, wiesz, w środowisku korytarza
zagłady.
Więc to są ruchy do przodu, do tyłu, w lewo, w prawo, strzelanie, a potem może się chronić
lub cokolwiek.
Nie wiem, jaka jest ostatnia akcja, ale coś w tym stylu, to są
wymiary ramki wejściowej.
Odpowiada to wysokości ramy.
Ma 240 pikseli wysokości.
Odpowiada to szerokości ramy, prawda?
Ma trzysta dwadzieścia dużych.
A to odpowiada, wiesz, faktowi, że pracujemy z kolorowymi obrazami, a te trzy tutaj
odpowiadają trzem elementom naszych kanałów.
W porządku, więc uruchommy następną komórkę wyświetlającą klatkę otoczenia, aby zobaczyć, jak to
jest.
I rzeczywiście, pamiętaj, że dobrze jest zobaczyć środowisko, w którym pracujesz.
Dobrze.
Więc tutaj widzimy, że jesteśmy w Dume Corridor.
Ale jeśli chcesz tutaj poeksperymentować z kilkoma innymi środowiskami, wiesz, pamiętaj, że są
one również tutaj na głównej stronie.
Tutaj.
Tak.
Masz wszystkie listy środowisk, z którymi polecam poeksperymentować.
Więc wiesz, jeśli chcesz rzucić okiem na inny, no wiesz, mogę ci
pokazać, że weźmy to, a potem wrócę do tego korytarza powiększania.
Dobrze.
Więc jeśli zastąpię to tym.
Racja, i wykonuję to dobrze, tym razem otrzymamy trzy akcje, oczywiście, jest to prostsze,
i jeśli wykonamy to dobrze, zobaczymy to środowisko, prawda.
Jest to więc tylko sposób, aby szybko zobaczyć, z czym pracujesz i uzyskać podgląd zasadniczo tego, co
ACA zrobi w środowisku.
W porządku.
Wróćmy więc do rogu.
Zróbmy to teraz, na wypadek gdybyśmy potrzebowali tego do następnej sprzedaży.
W porządku, idealna zagłada, Cawdor.
Teraz przejdźmy do ostatecznej sprzedaży.
Jest to funkcja pomocnicza, która będzie używana do wizualizacji.
Zrealizujmy więc sprzedaż, a teraz uruchommy pomysł na jednym odcinku.
I tutaj będziesz w stanie zrozumieć kod, ponieważ, wiesz, w zasadzie jest to proces,
wiesz, uruchomienie powietrza i pełny odcinek, w którym na każdym kroku jest w określonym stanie, będzie grał
w akcji w Stan.
Wtedy otrzyma nagrodę i dotrze do następnego terminu.
Dobrze.
To jest klasyczny proces MGP, prawda.
Proces podejmowania decyzji rynkowych.
A więc zaczynamy.
Zrobiono to na jeden odcinek.
I na koniec otrzymamy wideo przedstawiające grę naszego A. JA. , który był szkolony za dwadzieścia
dolców, był w stanie osiągnąć ponad 100 nagród, co przyniesie nam całkiem niezłe wyniki, ale może
nie najlepsze.
Ale jest ok.
Sam to eksperymentujesz.
A teraz chciałbym, abyś kliknął ten przycisk tutaj, ponieważ chcę ci pokazać, w jaki sposób wideo
jest zapełniane.
Więc to są foldery zawierające, wiesz, pewne elementy, takie jak ramki, wiesz, ramki wyników
lub niektóre pliki jasen.
Ale tak naprawdę to, co będzie interesujące, to końcowy film.
Aby to uzyskać, wystarczy kliknąć przycisk odtwarzania tutaj, a zobaczysz, że zostanie on umieszczony w
głównym folderze tutaj.
Nie przegap tego.
I jest OK.
Wiesz, wygląda na to, że komórka została już wykonana, co jest prawdą.
Ale zobaczysz, że za kilka sekund zobaczymy awatara, który jest wypełnionym tutaj plikiem wideo.
Pojawi się za jakieś dziesięć sekund.
Mogę nawet zrobić odliczanie, jeśli chcesz.
Więc zróbmy to.
I dziesięć, dziewięć, osiem, siedem, sześć, pięć, cztery, trzy, dwa, jeden, idź.
A teraz powinno naprawdę pojawić się za kilka sekund.
Tak, zaczynamy.
W porządku.
A więc rozgrywka agentów, ten pomysł, to twój film.
Więc pobierzmy go, a zostanie pobrany na twój komputer, który znajdę tutaj.
Dobrze.
To jest gra agenta wideo, którą Evia otwiera za pomocą odtwarzacza wideo, który ma kodeki takie jak
VLSI.
Dobrze.
Nie będzie działać z odtwarzaczem Quick Time, jeśli używasz komputera Mac, ale na pewno będzie działać z VLCC.
Więc spójrzmy.
A oto wideo.
W porządku.
Więc pozwól mi tylko nacisnąć pauzę.
W porządku.
Więc oto wideo.
Jak widać, jest to wymiary 256 na 256 ramki.
Jak więc widać, nie jest zbyt duży.
Dobrze.
Dlatego naprawdę chciałem pracować z tymi wymiarami zamiast 80 na 80.
Więc teraz spójrzmy na wideo.
Więc to jest A. JA. grając w Doom w jednym odcinku i musi unikać potworów, które nie zostaną zabite.
Aby osiągnąć najlepsze wyniki, musi iść do przodu.
Zobaczmy więc, jak to działa trzy do jednego.
W porządku, więc najpierw się zamyka, przesuwa do przodu, OK, a potem zostaje zabity przez potwory, ale
to nadal całkiem niezłe.
Wiesz, zrozumiał, że musi iść do przodu na zachód, ponieważ najwyższa nagroda jest dobra,
gdy dotrze do kamizelki.
I, oczywiście, wiesz, jeśli naprawdę chcesz zobaczyć wideo, w którym twoje powietrze dociera do kamizelki
i wygrywa w tej grze, w zasadzie będziesz musiał ćwiczyć oko przez więcej epok i być może zrobić jeszcze coś innego,
na przykład dostrojenie mózgu A. JA. lub dostrajanie parametrów, np. dostrajanie szybkości
uczenia się.
Cóż, masz wiele opcji, jeśli ktoś z was dostanie niesamowity film lub, wiecie, wideo A. JA. na przykład po
osiągnięciu nagrody w wysokości ponad 1000.
Cóż, możesz podzielić się nim z pytaniami i odpowiedziami.
Jestem pewien, że inni uczniowie będą bardzo szczęśliwi, gdy to dostaną.
W porządku.
Mam więc nadzieję, że spodobał Ci się model głębokiego, konwolucyjnego uczenia się.
Teraz przejdziemy do kolejnej części, która będzie dotyczyła implementacji modelu H3C
oraz jeszcze lepszego i mocniejszego modelu, który zaimplementujemy do gry w breakout.
Więc do zobaczenia w następnej części.
A do tego czasu ciesz się A. JA..