Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Dzisiaj mówimy o różnicach czasowych.
Teraz bardzo ważna jest próba, ponieważ różnica czasowa jest sercem i duszą algorytmu uczenia
Q.
W ten sposób wszystko, czego nauczyliśmy się do tej pory, łączy się w ramach kluczowej nauki.
Więc spójrzmy.
Przypomnij sobie czas, kiedy rozmawialiśmy o poszukiwaniu deterministycznym i niedeterministycznym.
I pamiętaj, jak powiedzieliśmy w tym przypadku, kiedy agent chce wstać, on i kiedy.
W tym przypadku chce się tam dostać 10% szansy, że uda mu się obniżyć lewy tempa i
szansę i pójść w prawo, a 80 procent szansa pójdzie dobrze.
Idź prosto.
Chociaż liczby te są oczywiście arbitralne i mogą być różne.
A cała ta koncepcja może być inna i inna, więc nie musi się martwić, w
którą stronę się porusza, że istnieje przypadek, coś, co nie ma wpływu
na działanie agenta w tym środowisku.
I jaki był efekt, jaki pamiętacie, to fakt, że w deterministycznym przykładzie bardzo łatwo było obliczyć
wartości Wii, niekoniecznie jednak zawsze bardzo łatwe.
Ale w naszym przypadku moglibyśmy po prostu obliczyć je za pomocą równania Belmana, a my mieliśmy dokładne
wartości.
A potem, jak pamiętacie, bardzo starannie wspomniałem, że te wartości dla niedeterministycznego przykładu wyszukiwania
znajdują się poza moim zasięgiem.
Nie jesteśmy Kalka, których znamy.
Ostatnim razem powiedziałem, że nie musimy po prostu ich obliczać, ponieważ jest to bardzo skomplikowane.
Ale komputer może to zrobić i po prostu podążamy za tymi wartościami, które są wartościami, które wymyśliłem.
Ale dostali robotę.
Pomogli nam zrozumieć tę koncepcję.
Teraz wrócimy do tego trochę i zrozumiemy, co dokładnie się tutaj dzieje.
Dlaczego tak trudno jest obliczyć te wartości w niedeterministycznym przykładzie lub ogólnie mówiąc w tych problemach w
tych środowiskach i że agent przechodzi przez nie.
Dlaczego tak jest.
Dlaczego tak trudno jest obliczyć te wartości.
Cóż, kiedy się nad tym zastanowić, ponieważ kiedy agent przesuwa się na
przykład z tego miejsca na prawo, niekoniecznie zawsze porusza się w tym kierunku czasami
jako szansa, że pójdzie wygrać, zamiast iść prosto, więc nazwijmy to północno-południowo-południowy zachód, trochę na zachód.
Agent może czasem udać się na południe i na przykład od tego momentu idzie na północ.
Czasami może iść na wschód.
Bardzo przepraszam.
A więc zamiast iść na wschód, czasami może jechać na południe i leci na północ.
Czasami może jechać na wschód lub zachód, a tu zamiast jechać na północ, czasami może jechać na zachód, wschód lub zachód
i tak dalej.
A więc i dlatego aby obliczyć tę wartość, musielibyśmy wiedzieć, jaka jest ta wartość, ale interesujące jest to,
że aby obliczyć tę wartość, trzeba wiedzieć, jaka jest ta wartość.
Tak więc dzieje się tu wiele rekurencji i dlatego nie można po prostu zdecydować, jakie są
wartości.
Poza tym ta rekursja nie jest deterministyczna.
Czasami zdarza się tak, że czasami czasami pod górę idzie się w prawo,
zamiast wstać i czasami w lewo.
Kiedy chce iść w górę.
On pójdzie w górę.
Jest więc podporządkowany przypadkowi, więc może wiele razy agent przejdzie tę ścieżkę, a on pójdzie do góry i pomyślisz,
że od tego momentu zawsze podnosisz się, a wartość państwa pójdzie
na całość. będzie dobrze, a potem nagle wpadnie do dołu i ta wartość spadnie.
A zatem można zobaczyć, jak istnieje pewna stochastyczna przypadkowość do tego całego obliczenia tych wartości, ponieważ wszystkie
one są ze sobą powiązane.
Plus na górze masz tę przypadkowość w tym nieodłącznym środowisku, ponieważ istnieje
ślad procesu decyzyjnego.
I tu właśnie wszystko się razem pojawia i tam właśnie wprowadzimy
pojęcie czasowej różnicy, która pozwoli agentowi obliczyć te wartości.
I tutaj mieliśmy do czynienia z wartościami.
Od tego czasu przeszliśmy już na wartości Q, więc właśnie to będziemy pracować.
Będziemy patrzeć na wielkie wartości.
Pamiętam, że to jest nasze równanie Belmana dla wartości q.
Tak więc wartość AQ lub wartość wykonania akcji A w stanie s równa się otrzymywanej
po wykonaniu tego działania nagrody zaraz po wykonaniu akcji plus otrzymujesz maksymalną
wartość gamma sumy wszystkich możliwych .
W ten sposób uzyskasz oczekiwaną wartość stanu, w którym skończysz.
Pamiętasz, że istniała formuła równania Beldona, a teraz dla uproszczenia powiedzmy, że zamierzamy przepisać
ją w staroświecki sposób i w taki sposób, jak mówiliśmy o równaniu bellmanów, zanim
dowiedzieliśmy się o sekwensie.
Więc pamiętaj, że było to nasze równanie Belmana w sensie deterministycznego przykładu wyszukiwania, ponieważ tutaj nie masz takiej
oczekiwanej wartości, że nie masz tego samego we wszystkich prawdopodobieństwach.
Po prostu masz to tak, jakby ustalono, że skończysz, jaki stan się skończy, a potem
powiesz Maxowi w tym jednym stanie.
Powodem, dla którego go przepisujemy, jest po prostu jedyny powód, ponieważ łatwiej jest go napisać i łatwiej
będzie wpaść wraz z formułą.
Pamiętajmy więc, że zastąpiliśmy tę część tego paska.
A także znajdziesz ten zapis w wielu literaturach, więc łatwiej Ci będzie podążać
za innymi źródłami, jeśli je studiujesz.
Ale pamiętajmy, że to, co mamy na myśli, jest tym probabilistycznym podejściem zamiast tego, że notacja jest dla
nas łatwiejsza w obsłudze i zrozumieniu, co się dzieje.
Po prostu lubię patrzeć na równania, żeby nie były zbyt zagracone, ale po prostu pamiętajcie,
że to, co mamy na myśli, to jest to podejście probabilistyczne.
I tak naprawdę wiemy, że Tom Silis rzuca okiem na to, co się dzieje.
Więc tutaj jest nasz pusty stan labiryntu, nie mamy żadnych q wartości, zobaczmy, albo kiedy możemy, ale po prostu zostawmy to
puste na teraz popatrzmy na jeden ze stanów lub jedną z komórek.
Ten konkretnie.
I tutaj mamy odpowiedzi na pytanie o akcję wznoszenia się.
Mamy wartość q, którą obliczamy.
Więc nie chodzi o to, że nie mamy żadnych wartości q, ale mamy to, co robimy.
Ale po prostu niczego nie ilustrujemy.
Po prostu trzymamy puste miejsce ze względu na prostotę.
Ale my mamy epokę chodzącą od jakiegoś czasu i powiedzmy hipotetycznie,
jakoś on obliczył wartość sześcianu wzrastania lub Norf z tego stanu z tej konkretnej komórki i wartości.
Q S i A, a więc teraz, co mamy.
Tak więc jest on obecnie z niebieską strzałką, a agent siedzi w tej celi.
A teraz musi dokonać wyboru gdzie on pójdzie.
I on zna wartość tej akcji idącej na północ i to jest q Senay i tutaj mówię wcześniej, a powodem tego jest
to, że on jest zanim on bierze Właściwie to nie podjął
jeszcze akcji, więc wciąż jest w celi i zanim podjął akcję, wartość tutaj to q i SNH, a teraz on faktycznie wykonuje
akcję.
Powiedzmy, że decyduje, że jest najlepszy.
Bierze akcję i podchodzi do celi.
Teraz to, co się dzieje, jest teraz po tym, jak po podjęciu działania możemy zmierzyć, jaka jest ta
wartość, po prostu obliczyć tę wartość, wartość nagrody za podjęcie tego działania plus gamma razy
maksimum tego nowego stanu, w którym właśnie dostał się jako główny.
A więc maksimum we wszystkich możliwych działaniach i aspirynie.
Tak więc mamy tutaj wartość sprzed tego działania.
Następnie obliczamy ten wskaźnik.
Ale jak pamiętacie z poprzednich czterech miesięcy, jeśli wrócimy bardzo szybko z poprzedniej formuły, którą właśnie obliczyliśmy, to
rzeczywiście jest to wartość Q. za. a jest obliczane.
A więc ta część Arite została obliczona osobno, ale po podjęciu działania.
Tak jak przedtem, zanim poznaliśmy Q S i wartość, którą obliczyliśmy w naszych iteracjach, Preuss
jest czymś.
Tak więc wartość, która jest przechowywana w naszej pamięci.
Tak jak numer, który znamy, a teraz po przeprowadzeniu akcji, wiemy, jaką nagrodę
otrzymał, jaką nagrodę otrzymał agent.
I możemy obliczyć tę nową wartość.
Zasadniczo przeliczamy tę wartość, ale teraz z nowymi informacjami nowe informacje są nagrodą,
którą otrzymaliśmy.
A także co pozostało nam się udało i jakie jest maksymalne w całym tym stanie, jaka
jest ta nowa wartość dla tych konkretnych danych.
Jaka jest wartość tej istoty w tym stanie.
Tak więc w zasadzie Cure Vanessa-Mae, ale dano nowe informacje, a teraz różnica czasowa jest zdefiniowana jako
sprytna jedna i druga z tych dwóch różnic między tymi dwoma.
Więc tutaj pierwszym elementem jest twoja wartość poza terra.
Więc trochę jak Q Esson trochę później obliczone.
I poprzednie quvenzhané A, które zapisałeś w swojej pamięci.
Pytanie brzmi, czy oni są inni.
Więc najlepiej powinny być takie same.
Idealnie powinno to być to samo, ponieważ jest to wzór do obliczenia tego.
Ale chodzi o to, że nie jest to coś, co my, Kalka, mamy z empirycznych dowodów, że
przechodzimy od samego labiryntu wiele razy i obliczamy.
To jest coś, do czego do tej pory doszliśmy.
Nie jest związany z bieżącą iteracją.
Jest to coś, co wymyśliliśmy dawno temu, ale w jednej z naszych poprzednich iteracji przechodzących
przez labirynt.
Chociaż to jest coś, co obliczyliśmy właśnie teraz i nie ma żadnej
gwarancji, że będą one takie same lub z powodu przypadkowości, która istnieje w labiryncie, ponieważ można to było obliczyć i
zobaczył, że niektóre zdarzenia losowe CRN zostały wywołane, a to można wywoływać różne zdarzenia losowe, które
zostały wywołane.
I tak teraz zapisujemy naszych bohaterów, po prostu przenieśmy to tam.
Więc jak tego używamy.
Pytanie jest w porządku, więc mamy tę czasową różnicę.
Jak tego używamy.
I dlaczego nazywa się to różnicą temporalną.
Powód jest nazywany różnicą czasową, ponieważ zasadniczo obliczasz to samo, co obliczasz
Q S i A, więc wartość Q tej akcji.
Twój Calcott tutaj i wyliczacie to tutaj.
Ale różnica to czas.
To jest Q S, a poprzednio to yo Q S i A.
Teraz twoje nowe lekarstwo jest wrodzone, a pytanie brzmi, czy zaistniała różnica.
Czy nastąpiło przesunięcie między nimi w czasie.
I jak możemy wykorzystać to na naszą korzyść, jeśli rzeczywiście nastąpiła zmiana w czasie.
Jedną rzeczą, którą moglibyśmy zrobić, to powiedzieć, że dobrze znacie nasze Q of s. za. a nie.
Ta nowa wartość nie jest równa starości, więc pozbędziemy się starych lub zapomnimy o starym, a
użyjemy tego, to wszystko nowa wartość.
Ale to nie byłoby mądre.
Powodem tego jest fakt, że czasami w naszych środowiskach zdarzają się przypadkowe zdarzenia.
A co jeśli nasze stare QSA s. za. to było coś, co konsekwentnie dzieje się w 80 procentach czasu.
A potem podobało się to, co dzieje się w 80 procentach czasu.
A potem to nowe, co stało się z powodu przypadkowości.
W takim przypadku wyrzucimy tę, która jest odpowiedzialna za większość sytuacji i zastąpimy ją czymś,
co dzieje się tylko 10 lub 20 procent czasu.
To nie byłoby najlepsze podejście i właśnie dlatego właśnie nie chcemy całkowicie zmienić
wartości Opu.
Chcemy ich użyć, jak krok po kroku trochę je zmienić.
I dlatego zamierzamy użyć tej doczesnej różnicy w określony sposób, więc powiemy, że oto
formuła, którą zamierzamy wziąć za wskazówkę SNH.
I zamierzamy to zaktualizować w taki sposób.
Weźmiemy starą wartość leku Senay i dodamy pięć razy różnicę
czasową.
A więc Alpha będzie się dobrze uczyć.
To jest nowy parametr, który wprowadzamy.
Tak szybko uczy się algorytm.
Zasadniczo przyjmujemy tę różnicę i cokolwiek to jest, dodajemy ją do naszego poprzedniego węża
KJo.
Teraz ta formuła prawdopodobnie nie ma żadnego sensu lub podoba się po prostu patrząc na nią nie ma sensu, ponieważ
masz tutaj Covisinta i dajesz nam A tutaj.
To jest to samo, więc prawdopodobnie powinniśmy negować się nawzajem, ale musieliśmy przerobić to na nieco inny
sposób.
Więc zamierzam wam jeszcze raz pokazać, więc dodaję czas na te formuły.
Więc tutaj jest q t minus jeden z poprzednich lat.
Q T minus 1 w poprzednich latach.
Q T New to powinno być również koło tutaj w kółku, ale nieważne i tutaj dostaniesz alfa czasową
różnicę.
Wtedy bieżąca różnica czasowa.
Więc możesz zobaczyć, co robimy, mówimy.
OK, weźmy nasz prąd.
Q będzie równe wszystkim poprzednim Q plus wszelka różnica czasowa, jaką znaleźliśmy Times Alfa.
Ta formuła jest tutaj sercem i duszą algorytmu uczenia sześcianu.
W ten sposób moduł jest lub aktualizacji.
I dobrze, że już nauczyliśmy się, jakie wartości q są tym, czym jest gamma i czym jest
to wszystko.
A teraz wszystko, co musimy zobaczyć, to to, że masz poprzednią wartość Q Tak, to dobrze.
I wtedy może się zdarzyć, że kiedy podejmiesz działanie, gdy podejmiesz działanie, gdy agent podejmie
działanie, będziesz wiedział, że dostanie nagrodę i skończy się w stanie.
Opierając się na tym, może obliczyć Aha.
OK, więc co jest, co miałoby być wartością Q tego ruchu, który zrobiłem.
A teraz to jest ta część równania.
Odejmij dawną wartość Q, a otrzymasz różnicę czasową, a teraz musisz wziąć różnicę próbki w
Alpher i tak dostaniesz regulację.
Q Masz to, co masz na myśli.
Po prostu myślę, że przechodzisz przez to i teraz, żeby to zakończyć.
Takie podejście wystarczy, aby zrozumieć, co się dzieje, ale po prostu wyjaśnić
sytuację jeszcze bardziej, a może nawet wprowadzić zamieszanie.
Co musimy zrobić, aby wziąć tę czasową różnicę lub tę prostą różnicę, lub tutaj, aby podłączyć ją
do tego formatu.
Więc weźmiemy całą tę część i podłączymy ją do tej formuły i skończymy z ogromnym równaniem.
Więc zaczynamy.
Oto nasze równanie.
Więc to jest pełne równanie z różnicą czasową wypisaną całkowicie.
I powód, dla którego go napisałem, przede wszystkim prawdopodobnie znajdziesz to w innej
literaturze, jeśli ją przestudiujesz.
Drugą rzeczą jest to, że sprawia, że niektóre rzeczy są nieco bardziej złożone i mają formuły dłuższe, ale także sprawiają,
że coś jest bardziej klarowne.
Na przykład widać tutaj rolę, jaką odgrywa Alpha.
Możesz to zobaczyć lepiej, ponieważ spójrz na to.
Tutaj.
Q T minus jeden i gotowe.
Q T minus jeden ze znakiem ujemnym.
Więc jeśli podłączysz Alpha równa się 1, jeśli umieścisz tutaj 1, to to neguje.
Więc zniszczą się nawzajem i wszystko, co pozostało, to ta część.
A to oznacza dokładnie taką sytuację, w której powiedzieliśmy Wszystko w porządku, więc masz nową wartość,
którą powinna być.
Zaktualizujmy naszą wartość Q o nową wartość i zapomnij o tym, co mieliśmy wcześniej.
A jak już mówiliśmy, nie jest to najlepsze podejście, ponieważ zdarzają się przypadkowe zdarzenia i chcemy aktualizować rzeczy
krok po kroku.
Z drugiej strony, jeśli powiesz, że Alpher jest równy zeru, to znaczy, że całkowicie zapominasz
o całej tej części i jesteś słodka, nowa lub aktualna będzie zawsze równa poprzedniej,
więc jesteś niczego się nie nauczysz.
A to oznacza, że wszystko, co dzieje się w labiryncie, nie ma znaczenia, ponieważ już dawno temu zdecydowałeś się
na wartości Kuchi i po prostu ją zatrzymasz.
Dlatego Alfas nie powinien być 0 lub powinien być tym, który powinien znajdować się gdzieś pośrodku.
I pozwoli ci powoli uczyć się krok po kroku i pozwoli ci, jako że twój lub
agent, przechodząc przez labirynt, dostrzeże różnicę w czasie.
I powoli, ale na pewno ta wartość zostanie zaktualizowana i zaktualizowana ibed, a co
się stanie w końcu, że w pewnym momencie zbiegnie się algorytm.
A to oznacza, że ta różnica czasowa zacznie zbliżać się do zera i
ostatecznie będzie bardzo bliska zeru lub nawet 0 0 0 0, a to oznacza, że za każdym
razem, gdy twoja nowa wartość cutesie lub twoja nowa obliczona wartość.
Co powinno być.
Więc to nie to, ale to, co hipotetycznie powinno wystarczyć, by zrobić krok, będzie równoznaczne z twoją
poprzednią wartością Q2.
A następnie jeden, który oznacza zero, a to oznacza, że gdy różnica
temperatur wynosi zero, oznacza to, że algorytm się zjednoczył i nie jest konieczne dalsze aktualizowanie tego, co się dzieje.
Wykonuje to wyszukiwanie, aby kontynuować aktualizowanie wartości kostki.
Ograniczeniem jest to, że jedyny raz prawdopodobnie jeden z jedynych momentów, w których nadal chciałbyś
kontynuować wykonywanie tej całości, wiesz, aktualizowanie wartości kolejki, jeśli środowisko stale się zmienia.
Jeśli nie tylko jej nie ma, to po prostu ma jakieś randki z wydarzeniami Kostica.
Ale samo środowisko modyfikuje się, ponieważ zmienia się wraz z upływem czasu.
Ciągle więc musisz się uczyć, ponieważ nie jest możliwe, abyś nauczył się wszystkiego i wymyślił
optymalną politykę, ponieważ optymalne zasady również zmieniały się w środowisku przez cały czas.
W takim przypadku będziesz musiał kontynuować CALKIN i różnicę czasową oraz wyliczyć wartości Q.
Ale poza tym to trochę jak dodatkowa komplikacja.
Poza tym jest to sposób aktualizacji wartości Q, więc jest to główna formuła algorytmu uczenia Q i
jest to trochę jak rozszerzona wersja tego, a teraz wszystko powinno się połączyć i
mieć sens, dlaczego mamy równanie Belmana, a nie tylko to, co reprezentuje gadulstwo, ale także
sposób, w jaki agent dąży do aktualizowania swoich wartości i znajdowania dokładnie tego, co dzieje się w tym środowisku, aby
mógł wymyślić optymalną politykę.
Więc wiem, że bardzo dużo do przyjęcia, ale mam nadzieję, że spodobał Ci się ten samouczek
i mam nadzieję, że zdołasz odjąć podstawowe koncepcje i intuicję kryjącą się za twoimi wartościami i jakie jest
znaczenie pojęcia czasowej różnicy i dlaczego jest ważne, dlaczego pomaga nam to w powolnym treningu agentów i zachęcić ich do
zrozumienia otoczenia, w którym działają.
A jeśli chcesz dowiedzieć się nieco więcej o różnicach czasowych, to bardzo
popularna gazeta uczy się przewidywać metodami różnic czasowych Richarda Suttona z lat osiemdziesiątych osiemdziesiątych.
Mieliśmy już referencje od Richarda Suttona, ale to jest tak samo
jak inne, a właściwie ma książkę, więc jeśli zrozumiesz jego styl pisania i styl komunikacji, to sprawdź także
jego książkę.
Jest to coś w rodzaju bardziej rozbudowanej wersji wszystkich tych rzeczy.
Nie czytałem książki, ale to właśnie wyobrażam sobie w tym samym czasie.
To będzie dodać do tego artykułu i możesz dowiedzieć się trochę więcej o lub prawdopodobnie dużo więcej
o różnicach czasowych.
I mam nadzieję, że ci się też podobało.
Do zobaczenia następnym razem.
Do tego czasu ciesz się AI.