Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
W dzisiejszym tutorialu będziemy się dobrze bawić.
Będziemy wyglądać i sztuczna inteligencja przechodząca przez ten labirynt, o którym mówiliśmy od dawna,
i wykorzysta nauczanie typu "zabijanie", aby nawigować w jego kierunku i znaleźć wyjście, a my zobaczymy, co
stanie się z q wartości będą obowiązywały w polityce i tak dalej.
Więc spójrzmy.
Wykorzystamy materiały dostarczone przez Uniwersytet w Berkeley.
Więc jeśli idziesz do Nie birk tylko E R K E L E Dlaczego nie po prostu przejdziesz do tego linku ponownie.
Zobaczysz tę stronę internetową i usłyszysz, na co patrzymy, to trzeba iść, aby przejść
do projektów PacMan.
Myślę, że Pacman projektuje i tutaj, jeśli przewiniesz w dół i patrzysz na nie w pierwszej kolejności, to właśnie z tym
pracujemy.
Możesz pobrać archiwum zip.
Więc jeśli chcesz.
Więc nie musisz tego robić, nie zamierzamy wspólnie omawiać rozwiązania w tej próbie, tylko
informując Cię, skąd to wszystko, ponieważ jesteśmy bardzo podobni.
Naprawdę to doceniamy.
UC Berkeley udostępnił te materiały.
Ale jeśli chcesz eksperymentować z tym samemu.
Pamiętaj, że to nie jest część.
Nie będzie częścią naszych kursów w ramach kursu Berkeley.
Nie jestem pewien, jak to działa w celach ilustracyjnych, ale jeśli chcesz poeksperymentować z
tym, możesz znaleźć tutaj archiwum zip i wszystkie stare instrukcje.
I od razu przejdziemy do Pythona i pierwszą rzeczą, którą chciałem wam pokazać, jest to, że mamy
tutaj informacje o licencjonowaniu, więc o to mi chodzi.
Mamy szczęście, że powiedzieli, że możemy swobodnie używać lub rozszerzać te projekty do celów edukacyjnych, pod
warunkiem, że znasz dystrybucję rozwiązań publikacyjnych, których nie zamierzamy robić.
Zachowujesz to powiadomienie, które mamy i zapewnisz jasnego arcybiskupa UC Berkeley, w tym link, który
również mamy.
Więc jeszcze raz, jeśli chcesz dowiedzieć się więcej tam link.
Możesz rzucić okiem.
I dziękuję bardzo wszystkim tym, którzy pracowali nad tym projektem, więc tutaj jest świat siatki.
Będziemy działać, jeśli istnieje rozwiązanie.
Musiałbyś, aby to działało, musisz sam rozwiązać problem lub znaleźć rozwiązanie.
Może niektórzy z twoich ludzi, których znasz, mogą ci w tym pomóc.
Jeśli znowu to, czego chcesz, nie musisz, ponieważ będziemy teraz patrzeć na to na
tym ekranie.
Po utworzeniu wszystkich tych plików możemy po prostu uruchomić go tutaj.
Istnieją więc pewne parametry, które są zaangażowane w ten cały świat i nie zamierzamy po prostu pokazać, jak
to wygląda, jeśli uruchomimy go.
Więc spróbujmy uruchomić go w trybie ręcznym.
Więc jeśli odejdę, jedna z tych panoram jest ręczna, więc mogę polecić twojemu agentowi kontroli.
Tutaj widać wszystkie siatki, więc mogę iść w górę, aby zobaczyć, że zaczyna się akcja i zaczyna
się w stanach, w których byłem.
A potem zobaczyłeś, że zaatakowałem, podjąłem akcję Norfa i po raz pierwszy znalazłem się w punkcie zero, gdy tylko
podniosłem się.
Ale po raz drugi podjąłem działania Norf i skończyłem w tym samym smutku się nie ruszyłem.
Coś się wydarzyło, wiesz, że losowość się wydarzyła, albo poszedłem w lewo, albo w prawo.
Domyślnie parametry są ustawione.
Widać tutaj domyślnie, że są ustawione dokładnie na to, o czym mówiliśmy, że jak często faktycznie
skutkuje niezamierzonym kierunkiem.
20 procent czasu do 10 procent w lewo trochę po prawej.
Więc jeśli wstaję i mówię, że wstałem, idę w prawo.
Poszedłem właśnie teraz, tak się nie stało.
Racja znowu i prawo i jestem skończony.
Ale w tej implementacji trzeba kliknąć ponownie, aby wydostać się z tego ostatecznego wyniku, więc stamtąd wystarczy kliknąć
ponownie i gotowe.
To jest stan końcowy, więc możemy uruchomić naszą instrukcję.
Widać, że jeśli przejdę w prawo, w prawo, w lewo w górę.
A więc tutaj, co wcześniej widzieliśmy, że agent nie pójdzie prosto.
Jaki jest cel wzlotu, jeśli istnieje szansa, że wejdziesz do dołu.
Zobaczmy więc, co zrobiłby agent.
Pojedzie na lewo i na zachód pójdzie na zachód.
I widzisz, że kliknąłem w lewo, ale podniosło się i tutaj kliknąłem w prawo.
I kończę na końcowym etapie wyjścia i widzisz nagrodę Bożą równą jednej.
Tak to wygląda ręcznie.
A teraz podłączmy sztuczną inteligencję i pozwólmy temu przejść.
Zróbmy więc tutaj H i dodajmy Brandnera.
Po prostu zobaczmy, co tu wpisałem, więc mam nadzieję, że dzięki sieciowemu światu dowiesz się, dlaczego tutaj minus
nasze środki.
To jest nagroda za życie.
Więc mam ich dwóch, więc prawdopodobnie powinienem usunąć ten.
Tak minus k to liczba iteracji.
To zbyt wiele powtórzeń.
Zróbmy mniej Zróbmy tak, jak powinno 10 powtórzeń.
Minus a to Agent.
Jakiego rodzaju agent nie chce robić honoru i wizerunku, jakiejś wartości lub Q.
Q Więc chcę Q.
Q-learning agent robiący to minus s jest tym, co jest prędkością s, więc jest to zbyt duża siła,
która po prostu używa teraz pełnej prędkości minus R jest karą żywą, więc domyślnie jest równa zero.
Dlatego pamiętaj, że na samym starcie wznowić żywe pokuty, więc nazwijmy to również 0 0 i
możemy po prostu usunąć ten parametr, a D jest tym, co jest zniżką.
Więc po prostu taki czynnik, więc zatrzymajmy go w punkcie zerowym i bardzo podobnym
do tego, co zaczynamy w tej sekcji na temat kursu, więc uruchommy to tak szybko, zbyt szybko, wszystko tak całkiem w porządku, żebyście
mogli zobaczyć, jak on jest odkrywanie.
I tak jak dotąd trzykrotnie uderzył w wynik negatywny i widać, jak wartości q są aktualizowane
na tych polach.
Są to więc kluczowe wartości.
Są niczym zero.
Teraz możesz zobaczyć wartość Q.
Dowiedział się, że ten jest nieco innym narzędziem, ponieważ kiedy dojdziesz do końcowego etapu, musisz
się z niego wydostać.
Aby wyjść, wystarczy kliknąć jeszcze jeden przycisk.
I tak jest bardzo blisko jednego, ale nie dokładnie jednego.
Ale jednocześnie możesz zauważyć, że tutaj wiesz, że wartość powoli krystalizujących rąk to punkt, do którego
ex-kolega się gdzieśga, ale są one tak daleko, że są jakby zerami, ponieważ nie
ma wystarczających informacji, aby rozumiem, co się dzieje.
OK, zobaczmy, zobaczmy, co się tutaj stanie.
Odkrywanie odkrywania odkrywania tego, co się wydarzy.
Minęło trochę czasu.
I mamy tu do czynienia z pewną losowością.
Tak jest kilka dobrych rzeczy.
Teraz dostaje tylko 10 iteracji.
Więc musi się szybko nauczyć Ok, potrzebuję cię tam.
Zobaczmy, co się dzieje.
Daj spokój.
Wyjdź już z tego labiryntu.
I tak 10 odcinków tak średnio się to okazuje.
To naprawdę nie jest tym zainteresowane.
Więc zobaczmy.
Nigdy nie widziałem dość kliknięcia.
Dobrze.
No to jedziemy.
Więc widzisz, to jest polityka, którą wymyślił.
Nawet przez 10 odcinków ma już puls.
Zamierzam wznieść bombę i tutaj zamierzam zejść tutaj, zamierzam zejść tutaj, zamierzam wejść w ścianę,
a potem zamierzam odbić, że tu jesteśmy.
To fajnie.
DOBRZE.
Teraz zwiększmy prędkość.
Jakie były tam parametry.
I to jest jak podwójne bezprawie.
To jest czterokrotna prędkość i zwiększmy liczbę iteracji, więc tym razem powiedzmy 20 racji i zobaczmy,
czy uda się jej teraz trochę więcej.
Więc widać, że idzie trochę szybciej.
I on uczy się, że uczy się, że tak naprawdę nie wiesz, że z tego stanu nie ma
wielu dobrych uczynków Orio tych działań, które nie są dobre i proste.
Zdecydowanie nie było to dobre.
Wciąż musi się uczyć, że stąd też jest dobre.
Możesz zobaczyć, że ta akcja jest całkiem dobra.
W porządku.
Co dostał.
DOBRZE.
Tak interesująca polityka, w której decydujemy się pójść.
Po prostu za mało informacji.
Więc naprawdę to zróbmy.
I zwiększmy prędkość do 100.
Superszybki i liczba iteracji da mu 100 iteracji tym razem uruchamia tę scenę
jak szalone szybko i widać to, ponieważ jest o wiele więcej iteracji On ma więcej
informacji więcej możliwości eksperymentowania i faktycznie zbudować tę macierz lub matrycę te wartości dla każdego
stanu.
Teraz wie, że widzisz ten punkt zero osiemdziesiąt dziewięć.
Co powiedzieliśmy w naszym punkcie zerowym 86.
Jeszcze jedną rzeczą do zapamiętania jest wartość dowolnego stanu.
Pamiętaj, że formuła, którą mieliśmy, to maksymalna wartość kostki.
Pamiętaj o tym, że wymyśliliśmy formułę skrótu.
Więc co to za wartość tego stanu, to V tego.
Byłoby 0. 18.
Ponieważ jest to najwyższy z czterech tutaj, wartość tego stanu 0. 7 chcesz wartość tego dnia.
Czy jest punkt sześćdziesiąt jeden i tak dalej.
To jest coś do zapamiętania.
Pamiętam, że kiedy byłem na górze, myślę, że mieliśmy zero punktu 86 lub coś takiego, praecox.
Jeśli więc pójdziemy w przyszłym roku, po prostu zniknę lub znowu zniknę, a to może sprawić, że powrócą.
DOBRZE.
Powoli powoli powoli wypełniając niektóre przestrzenie.
Widzę.
Jest to również dość przypadkowe, ponieważ nie tylko środowisko ma losowość, ale także sposób,
w jaki odkrywa, że gwiazda naprawdę nie zna polityki, którą odkrywa losowo.
Po prostu znika.
Nie rozumiem, dlaczego.
W każdym razie zobaczmy, co się stanie, jeśli zwiększysz liczbę tutaj i tutaj
powinno to potrwać tyle samo czasu, jeśli prędkość nie ma ograniczenia.
OK, więc wygląda na to, że ma więcej okazji do odkrywania rzeczy.
OK, zobaczmy, jak to wszystko działa.
I widzicie, że wartości są zbieżne, idą w górę iw dół, w zależności od tego, że istnieje
pewna losowość, a on może skończyć jak w dole, nawet jeśli idzie w ten sposób.
Ale jednocześnie powoli zaczynają się zbiegać do pewnego rodzaju wartości i wartości cue.
OK, prawdopodobnie tysiąc to trochę za dużo czasu.
Wygląda na to, że prędkość nie wzrasta proporcjonalnie.
Więc może odciąć tę część.
Mam na myśli zmniejszenie prędkości.
Wiesz, podczas gdy jest to bardzo niska, nie musisz oglądać do końca tego samouczka. Po
prostu chcę trochę eksperymentować, żeby dać ci kilka przykładów tego, nad czym pracowaliśmy, ale masz rację,
że to przechodzi przez to wszystko.
Ma pewną losowość, taką jak Rambler wbudowany w jego zachowanie.
Więc nawet jeśli ma politykę, będzie nadal eksplorował, więc nie będzie tak jak kiedyś, gdy ma
podstawową politykę, nie będzie kontynuował swojej polityki.
Wciąż będzie eksperymentować z innymi odmianami od czasu do czasu w celu ulepszenia swojej polityki, może
od razu nie znalazł najlepszej polityki.
Może to może polepszyć politykę.
I dlatego nawet po tylu iteracjach wciąż można zobaczyć pewne losowe efekty, czasami wskakuje do losowych stanów nie tylko
z powodu losowości w środowisku, ale także dlatego, że istnieje pewien poziom, taki
jak parametr, który można kontrolować, który można ustawić dla twojego agenta mówiąc, że wiesz, że przez
większość czasu 80 procent czasu robi wszystko, co nakazuje twoja polityka, ale 20 procent
czasu po prostu masz zabawny eksperyment i widzisz, co się dzieje i wykorzystujesz
zebrane informacje do aktualizacji twoja polityka.
OK to trwa zbyt długo.
Spróbujmy jeszcze raz.
Tak, w ten sposób agent uczy się w różnych stanach.
Może po prostu uruchommy jeszcze jedną z czystej ciekawości.
Czy jest coś, co możemy zmienić na ten temat.
Iteracje.
DOBRZE.
OK, spójrzmy.
Tak, możemy na przykład zmienić dyskusję.
W tym przypadku możemy powiedzieć, że K minus sto minus Q minus dwa i minus to OK tys.
Więc nagroda.
Chcemy, aby to pozostało, zatrzymajmy go na 0. 04 Załóżmy jednak, że przeciwstawienie się temu utrzymuje nagrodę w moim pustynnym punkcie
zero za każdym razem.
I tutaj powiemy, że rabat nie jest punktem zerowym dziewiątym, ale jest jak punkt zero w punkcie
piątym.
Dzięki temu gra staje się coraz bardziej dyskontowana.
Tak więc teraz będzie się zachęcać do bycia bliżej końca, niż do dalszej drogi, kiedy stany bliskie ukończenia
uzyskają wysoką wartość, dzięki czemu można zauważyć, że wartości naprawdę spadają, a nie są tak
zielone jak przedtem.
Więc tutaj widać, że to jest teraz polisa.
Tak to wygląda tak, jak to bardzo podobne do tego, co widzieliśmy wcześniej, ale
tylko różnice tutaj skaczą tutaj.
To jeden.
I OK, po prostu uruchom jeszcze jeden.
To świetna zabawa.
Po prostu uruchommy jeszcze jeden, więc k minus k 100 a q odrzuć.
Zachowaj to tak, jak było oryginalne. Zacznijmy więc podstawową konfigurację wanilii ok ok.
Zobaczymy, czy pokaże nam zasady.
I tak, mamy politykę.
Tak.
Dobre wykończenie.
A więc mamy politykę.
Wiesz, że to jest znajome.
Pamiętaj, że kiedy zobaczyliśmy, że sztuczna inteligencja przechytrzyła ludzką bombę w ścianę, aby się tam dostać i uderzyła
w ścianę, aby pójść w ten sposób, aby zwiększyć problem.
Więc idziemy.
To przykład zaniechania sztucznej inteligencji bardzo prostych, prostych zarobków z zabójstw, więc nie ma głębokiego uczenia się na
tym etapie.
Ale jednocześnie jest już całkiem sprytny i mam nadzieję, że podobał Ci się dzisiejszy samouczek.
I jeszcze raz dziękuję UC Berkeley i mam nadzieję, że podobał się wam dzisiejszy tutorial i nie mogę się doczekać
scenariusza.
Do tego czasu ciesz się AI.