Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Dzisiaj porozmawiamy o równaniu Belmana.
Jest to dość skomplikowany temat i zamierzamy wprowadzić go krok po kroku przez cały
ten odcinek kursu, więc nie zamierzam od razu przejść bezpośrednio do najbardziej
złożonej wersji równania Belmonta, ale zamiast tego zamierzamy wprowadzić go powoli, aby stopniowo
zrozumieć, jak to działa.
I mam nadzieję, że twój cel z tym podejściem, jeśli jesteś G. R. Przejdźmy od razu do tego.
Tak więc zamierzamy mieć kilka kluczowych koncepcji, z którymi będziemy pracować i te koncepcje
są.
S oznacza państwa, więc stan, w którym znajduje się nasz agent lub jakikolwiek inny możliwy stan, w
którym może być, reprezentuje czynność, jaką może podjąć agent.
Tak więc agent może mieć dostęp do pewnej listy działań, a działania są bardzo
ważne, gdy są oglądane w kombinacji stanów.
Kiedy jesteś w stanie swingu, a następnie patrzysz na działania i zaczyna
to mieć sens, jaki będzie rezultat tych działań, ponieważ sam będziesz
wyglądał działania lub stan nie ma sensu, ponieważ nie wiemy, gdzie jesteś i gdzie możesz
się skończyć, a potem otrzymamy nasze, co oznacza nagrodę, i to przez oddział, który dostaje agent za
wejście w pewien stan, a gamma jest czynnikiem dyskontowym.
A teraz porozmawiamy o współczynniku rabatu w jednym momencie, ale oni po prostu robią notatki.
Pamiętajcie, że będziemy mieli ten list Gamelin, który będzie działał później.
Tak więc osoba stojąca za równaniem bellmana to Richard Ernest.
Był matematykiem lotów i opracował koncepcje programowania dynamicznego, które teraz nazywamy uczeniem się
wzmacniania lub które nazywamy równaniem Belmana.
Teraz to właśnie nazywamy.
W 1953 roku wpadł na ten pomysł i wtedy przyszło mi do głowy równanie Belmonta Belmana.
Zobaczmy więc, jak to wszystko działa.
W lewym dolnym rogu znajduje się nasz uroczy agent, który znajduje się w labiryncie i jest to klasyczny
labirynt, w którym masz kilka bloków, których szerokie bloki są blokami, w których agent może wejść do szarego
bloku, to ten, który jest po prostu niedostępne mówi jak ściana w tym labiryncie.
Zielony jest tam, gdzie agent powinien dążyć do tego, aby zakończyć
proces.
A czerwony jest firepits lub silnik wpada do ognia.
Przegra grę.
Więc w ognisku, nagrodą, która jest R, jest minus 1.
To jest nasz sposób mówienia agentowi, że nie jest to coś, co chcemy, abyś zrobił.
Przypomnijmy sobie na przykład, że kiedy szkolimy psy, chcemy powiedzieć im, że to zły pies, jeśli nie robi się
to, co trzeba, aby zrobić to samo, to mówimy agentowi, że to nie jest coś, czym powinniście być.
robienie nie powinno kończyć się na placu, więc za każdym razem, gdy
się to nie zdarza, wiewiórka dostanie minus jedną nagrodę, więc zostaniesz ukarany minus jedną nagrodą.
Z drugiej strony, jeśli znajdzie się na Zielonym Rynku, otrzyma plus jedną nagrodę, co
oznacza, że chcieliśmy to zrobić.
Więc są to dwie nagrody, których agent nie może uzyskać.
A jak nauczy się działać w tym labiryncie.
Podobnie jak w tym przykładzie psów-robotów, które nauczyły się chodzić, co ma na to pozwolić, po prostu
powiedzą, że tutaj możesz zrobić akcję.
Możesz iść w górę w lewo lub w dół, to są cztery możliwe akcje, które możesz podjąć i to wszystko.
Baw się dobrze i zobacz, co wymyślisz.
Więc agent może pójść w prawo, a potem może pójść jeszcze dwa razy w prawo, mogą wrócić na
lewo, po prostu losowo naciskając przycisk, a oni próbują zobaczyć, co się dzieje i wracają tutaj.
Idą w górę, idą w górę, idą w górę, idą w prawo.
Na razie nie nauczyli się niczego, co do tej pory nic się nie wydarzyło.
Idą w prawo, a potem kończą na Zielonym Rynku.
Więc zdają sobie sprawę, że wow, mam plus jeden przypadek Więc tak szybko, jak wszedłem na Zielony Plac, dostali plus
jedną nagrodę.
A to powoduje, że algorytm mówi OK, to naprawdę fajne.
Jestem nagrodzony za to, że trafiłem na plac, więc chcę skończyć na placu.
Co to oznacza dla agenta?
Oznacza to, że zaczyna zadawać pytanie, w jaki sposób dotarłem do tego kwadratu.
Jaki był poprzedni stan, w którym się znajdowałem i jakie działania podejmowałem, aby dojść do kwadratu, a następnie
spojrzeć wstecz i powiedzieć OK, więc poprzedni stan był tym.
Okazuje się to cenne w tym stanie.
To ta iskra Czerwonej Strzały.
Ponieważ z tego stanu jesteś jestem, jestem tylko o krok od zdobycia maksymalnej nagrody, o jakiej
mógłbym pomarzyć, plus jeden herbatnik dla psa, gdy tylko się dowiem, że kiedykolwiek będę w tym stanie.
Ten kwadrat oznaczony czerwoną strzałką.
Wszystko, co muszę zrobić, to nacisnąć w prawo.
Więc jak mam sobie powiedzieć, że ten stan jest cenny.
Cóż, dla mnie nie ma żadnej różnicy jako agent.
Nie ma różnicy, czy jestem na Zielonym Rynku, czy na białym kwadracie na Zielonym Rynku.
Otrzymuję nagrodę jednego.
Więc mam zamiar zaznaczyć dla siebie, że Y Square jest dla mnie, ma wartość 1, ponieważ prowadzi dokładnie do nagrody jeden
wkrótce, gdy jestem w białym kwadracie Wiem, że wezmę jeszcze jedną akcję.
Będę na Zielonym Rynku, a ja dostanę nagrodę lub jedną, dlatego powiem, że wartość tego kwadratu jest
równa jednej, ponieważ prowadzi bezpośrednio do tego, jeśli na jakimkolwiek odejmowaniu, tak szybko jak to tylko możliwe. Chodzi mi o to, że
wiem, że moja nagroda będzie jedna, więc zamierzam oznaczyć ten kwadrat jako wezwanie do
tego, które jest wartością, która jest postrzeganą wartością bycia w stanie.
Następnie agent będzie w porządku.
Więc jak mam wejść na ten plac.
I wiesz, że może znowu chodzić i tak dalej.
I znowu na placu i bądź jak OK, jak przedtem trafiłem na ten plac.
A sposób, w jaki wszedłem na ten plac, pochodzi z tego kwadratu.
Ciekawy.
OK, gdy tylko wejdę na ten plac, wiem, że wszystko, co muszę zrobić, to iść w prawo.
I stąd już wiem, że zamierzam wygrać.
Wiem dokładnie, jak wszystko się stąd rozwinie i wiem, że wartość bycia w tym stanie
jest równa jednemu.
A ponieważ nie ma nic, co powstrzymałoby mnie przed dorastaniem stąd, wartość w tym idzie do wartości postrzeganej Jestem
wielką wartością będąc tutaj pojazdem, który również chce, ponieważ mam na myśli tutaj, że
wiem.
Bądź tutaj i będę tu dość szybko.
Więc zamierzam wygrać.
A potem, jak przedtem wejdziecie na ten plac.
Z tego kwadratu wszedłem na ten plac.
Tak więc wartość jest podobnym podejściem wartość bycia tutaj jest równy jeden i tak dalej, więc wartość bycia tutaj równa się
jednej wartości bycia tutaj jest równa jednej, ponieważ każda z nich prowadzi do
następnej, a ta do następnej. meta.
Na tym etapie jest to całkiem logiczne.
To właśnie teraz projektujemy równanie Belmana.
Więc możemy myśleć o zaprojektowaniu równania, które pomaga agentowi przejść przez labirynt.
Spójrz więc na nagrodę, a poprzedni stan daje jej wartość równą nagradzaniu postępowania, a więc są
one podobne do tworzenia ścieżki, wszystko jest świetne i dobrze, ale problem tutaj jest OK, co się dzieje,
gdy nasz agent z jakiegoś powodu zaczyna się w ten stan zamiast zaczynać tutaj i podejmować te działania i że faktycznie
zaczyna się w stanie.
Skąd wie, jak pamięta, jakie działania należy podjąć, czy powinien pójść w prawo, czy powinien spaść, czy może powinien pójść w lewo,
czy powinien pójść w górę.
Jak zapamiętuje, co jest następną kontynuacją stąd.
Jeśli jedynymi wartościami są te wartości, są one równe temu, gdy nie są w stanie zobaczyć, co jest dalej.
Widzi tylko.
W porządku.
Co mam tutaj i co mam tutaj.
Skąd wie, którą drogą iść.
Cóż, na tym etapie nie jest to tak samo identyczne z wiekiem i jaką drogą.
I dlatego to podejście tak naprawdę nie działa.
To bardzo uproszczone wyjaśnienie.
Oczywiście jest o wiele więcej.
Ale w intuicyjny sposób, dlatego nie możemy po prostu przypisać po prostu przenieść tę wartość do tyłu w ten sposób.
Ponieważ jednym z powodów jest, gdy Agent jest pomiędzy tymi dwoma wartościami, dokąd zmierza.
Nie może się tak pomylić.
Jak więc rozwiązać ten problem, co zamierzamy zrobić.
I to właśnie tutaj będziemy stopniowo wprowadzać równanie Belmana w jego rzeczywistej
formie.
Tak więc równanie Belmana wygląda mniej więcej tak.
Tak więc mówiliśmy już o wartości bycia w określonym stanie, tak jak jest to twój obecny
stan lub jakikolwiek dany stan, i jest również.
A jako Prime jest stanem następującym stanem, w którym staniesz się po państwie i
podejmujesz skoordynowane działania.
Ale wiemy, że istnieje wiele działań, które może podjąć agent, i dlatego mamy tutaj tego Maxa.
Tak więc, podejmując akcję, co stanie się z agentem, powiedzmy, że jesteśmy w stanie, wykonując akcję
w zasobach państwowych i podejmujemy działania.
To, co się stanie, natychmiast dostanie nagrodę, wchodząc w nowy stan.
I pamiętaj, że nagroda może wynosić jeden lub plus jeden lub minus jeden, jeśli jest na końcu gry lub może
wynosić zero, jeśli jest w trakcie gry, w tym przypadku nasza nagroda w grze wynosi zero.
Tak więc jest to nagroda Plus dostaniemy się do nowego stanu, który ma wartość s prime.
Taka jest wartość nowego stanu i gamma.
Porozmawiamy o tym za chwilę.
Ale punkt, który próbuję tu podnieść, albo punkt, który tu podnoszę, to to, że masz wiele różnych
działań, które możemy podjąć i dlatego mamy maksimum.
Tak więc, podejmując działania, otrzymujemy nagrodę Plus i kończymy w nowym stanie.
I tak za każdy ruch w naszym przypadku przed możliwymi działaniami na każde
z 4 możliwych działań będziemy mieli takie równanie.
Będzie to miało wartość, ponieważ będą one miały inną wartość dla każdego z czterech
działań, a my będziemy patrzeć tylko na maksimum, ponieważ oczywiście agent chce przyjąć optymalny stan.
Jeśli więc znajdzie się w stanie, w którym patrzy na te wartości, znajdzie maksimum na
podstawie działania i wykona to działanie, które wymaga maksymalnej wartości.
Miejmy nadzieję, że ma to sens, dlaczego wykorzystujemy maksimum tutaj.
Kiedy otrzymaliśmy nagrodę i wartość, która mówi, dlaczego mamy tutaj ten parametr Gabaa.
Jest dokładnie tam, aby rozwiązać problem, w którym agent nie wie, w którą stronę pójść, ponieważ nie
może.
Porównuje wartości dwóch stanów po obu stronach i są one takie same.
Dlatego gracze nazywają czynnik dyskontowy, więc przyjrzymy się temu i
lepiej zrozumiemy.
Weźmy formułę, którą umieściłem tutaj w prawym górnym rogu.
A teraz przeanalizujemy, jakie są wartości różnych stanów.
A każdy stan tutaj to kwadrat.
Nie.
Więc jeden z tych któregokolwiek z tych białych kwadratów jest stanem, o którym mówimy, że zamierzamy obliczyć
wartość bycia w tym stanie.
Zacznijmy od kwadratu.
Jaka jest wartość bycia w tym stanie.
Cóż, musimy wziąć maksymalną wartość tej wartości we wszystkich działaniach.
Wiemy, że wartość ta jest zmaksymalizowana, gdy zbliżamy się do linii mety i tak
się ją konstruuje, a po prostu patrząc na ciebie, możesz zobaczyć, ponieważ tutaj
jest nagroda i masz współczynnik dyskonta pomnożony przez wartość następnego stan.
I po prostu ma sens, że w ten sposób skonstruowalibyśmy to równanie, więc ma sens,
że stąd maksymalna wartość będzie, jeśli przejdziemy w prawo.
W ten sposób obliczamy wartości, że ta wartość tego stanu nazywa się maksimum lub jest
równa tej wartości.
Jeśli przejdziemy w prawo, jeśli podejmiemy akcję przejścia w prawo.
Jaka będzie ta wartość?
Cóż, nagroda za przejście w prawo jest równa 1.
I niezależnie od tego, jaki kolor ma gamma, nie mamy wartości w stanie, ponieważ jesteśmy już w
najlepszym możliwym stanie.
To jest ostatni etap.
Nie będzie mieć wartości, którą dostaniemy tutaj i to koniec gry.
Wartość tego maksimum będzie równa 1.
I dlatego wartość stanu, jak tutaj, jest równa 1.
Teraz rzeczy stają się interesujące, gdy poruszamy się w lewo, gdy cofamy się nieco.
Teraz obliczmy wartość tego, że jesteśmy w tym stanie i do tego potrzebujemy Gabaa.
Powiedzmy, że naszym czynnikiem dyskontującym jest zero dziewięć punktów i ma to sens, co jest czynnikiem dyskontującym,
kiedy to policzymy.
Stąd właśnie opiera się na naszej intuicji i opiera się, ponieważ wiemy, jak to działa, jak to działa.
Wiemy, że najlepsze możliwe działania idą w prawo, ponieważ od tego miejsca jesteśmy tutaj.
Oznacza to, że w tym stanie osiągniesz maksimum w prawo.
Zobaczmy więc, co się stanie, jeśli ją tutaj tutaj podłączymy.
Więc jeśli przejdziesz stąd, tutaj, nie dostaniesz nagrody, będzie zero.
Ale wtedy dostaniecie camis, którzy otrzymają zero punktów dziewięć razy więcej od wartości nowego stanu, który jest jeden.
Tak więc w tym przypadku wartość całego wyniku jest 1 razy równa 0. 9 razy jeden równa się 2. 9.
Więc to wszystkie wartości na.
Więc jeśli teraz to obliczysz, zobaczysz to stąd.
Wiemy, patrząc na labirynt, który znamy, ponieważ my jako ludzie, ponieważ rozumiemy, jak
to równanie działa, agent AI musiałby eksperymentować z tymi rzeczami.
Ale ponieważ mamy kryształową kulę, możemy zobaczyć cały ten labirynt.
Teraz lubimy widok z lotu ptaka.
Wiemy, że najlepsze działania idą w prawo.
Więc jeśli podłączymy to wszystko tutaj to będzie zero bez nagrody Plus raport dziewięć razy
wartość w stanie 0. 9 to zero osiemdziesięciu jeden i tak dalej.
Więc tutaj będzie 0. 23 i będzie 0. 66.
Możesz więc zobaczyć, że sposób, w jaki działa czynnik dyskontowy, obniża wartość stanu, ponieważ jesteś
dalej.
Więc jeśli znasz teorię finansów, to jest to coś podobnego do wartości pieniądza w czasie, jak na przykład to, co
byś o tym pomyślał. Co byś chciał mieć 5 USD dzisiaj lub 5 $ za 10 dni od teraz.
Jeśli ktoś miałby ci dać wybór, dam ci dzisiaj pięć dolarów za wszystkie 5 $ za 10
dni.
Oczywiście dzisiaj wybierzesz 5 USD.
Dlaczego.
Cóż, ponieważ możesz wziąć te 5 $ i możesz zainwestować je w pewną stopę procentową, która jest bardzo podobna
do gammy.
A twoje 5 USD za 10 dni faktycznie wzrośnie do 5 dolarów i 73 centów lub coś w tym stylu.
I tak działa wartość czasu w pieniądzu.
I bardzo podobna koncepcja tutaj.
Ważne jest, aby zrozumieć, że jest to tylko teoria, która jest sposobem uczenia się wzmacniania.
Tak więc Richard Belman wymyślił to równanie.
Odtąd tak właśnie z tego korzystamy.
Możesz więc iść do przodu i wymyślić inne równanie.
Nie musi mieć Gamli, może mieć jakiś inny czynnik, o którym nie wiesz.
Ale to podejście działa i dlatego używamy go i tak to wygląda, więc im dalej jesteś, tym
mniejsza jest jego wartość w państwie i pod względem czasu i pieniędzy.
Gdybym mógł powiedzieć ci, gdzie wolałbyś być, wolałbyś być tutaj.
Wolałbyś być tutaj?
Powiedziałbyś, że wolałbym tu być.
Tworzymy więc to samo zjawisko co wartość czasu, którą sztucznie kreujemy
poprzez gamma, aby zachęcić agentów lub zainspirować agentów do zbliżenia się do mety.
Gdyby więc zapytano agenta, wolałbyś być tutaj lub tutaj, ponieważ sposób działania tego równania
sprawił, że byłeś tutaj.
Nie ma w tym nic więcej.
To nie jest coś, co świat działa w ten sposób.
Nie, to jest coś, co sztucznie tworzymy, aby nasi agenci zrozumieli, że to jest dobre, to dobrze, to jest
dobre stare dobro, ale to jest lepsze od tego, a to jest lepsze od tego
i tego jest w tym.
W ten sposób widać, że cały agent może zobaczyć, w którym kierunku powinien iść.
Czyli widzę, że jeśli stoję tutaj, pamiętaj o tym problemie, który mieliśmy lub czy on tu stoi, więc jeśli stoisz
tutaj, to zejdę na dół, albo jeśli nagle będę tu, aby wstać, czy pójdę na dół.
Teraz już nie ma problemu, ponieważ widzi, że lepiej jest iść w górę, ponieważ
wartości są tutaj.
A potem musi iść w prawo, ponieważ wartość tutaj jest większa niż tutaj.
A potem Bertschi idzie w prawo, ponieważ wartość tutaj jest większa niż wiesz.
I stąd już wie, że musi iść w prawo, bo dostanie nagrodę od jednego.
Tak działa to całe podejście.
Teraz rzućmy okiem na resztę kwadratu.
Jak więc obliczyć wartość w tym kwadracie.
Tutaj jest sytuacja, w której sprawy stają się trudne.
Od tego momentu możesz nie iść prosto w prawo, możesz iść tak, żebyśmy mogli tak po prostu iść, ponieważ
może to być krótsze, aby przejść w ten sposób.
To, co mamy zamiar zrobić, to najpierw obliczyć wartość na kwadracie.
A ponieważ oczywiście stąd najlepsze sposoby, aby przejść, jest w górę.
Ponownie, ponieważ widzimy załogę, mamy kryształową kulę, którą widzimy, a zobaczysz dalej w
sekcji, w której zobaczysz, jak agent faktycznie odkrywa, rozumie to na swoich polach
poprzez eksperymenty.
Ale dla nas wiemy, że lepiej iść tą drogą, więc obliczymy tutaj
wartość i dlatego najpierw obliczymy wartość na tym kwadracie.
Mamy tutaj trzy możliwe działania.
W rzeczywistości mamy cztery, możemy też odejść.
Agent może hipotetycznie przycisnąć lewe i uderzenie w ścianę i zostać tutaj.
Ale dla zestawu prostoty, który będzie pokazywał działania, które znamy z tego, co wiemy i posiadające
kryształową kulę, wiemy, które z działań faktycznie prowadzą do czegoś innego niż ten
sam stan.
I tak tutaj znowu wiemy, że tylko dlatego, że mamy kryształową kulę, wiemy, że najlepszym sposobem na
to jest, aby agent oczywiście musiał eksperymentować i znaleźć najlepszy sposób, a zobaczysz, jak to
się dzieje.
W dalszej części sekcji zobaczysz, jak działa agent i jak eksperymentować, próbując
znaleźć te wartości.
Ale dla nas wiemy, że tak jest.
A więc, jeśli podłączymy wszystko do jednego, aby uzyskać maksymalną wydajność, gdy idziesz w górę.
A oto raport 9: 0 Więc to załóż.
Otrzymujesz zero dziewięć punktów.
OK, więc to Kalika to ta, która to oblicza.
To samo podejście.
To masz trzy sposoby, aby przejść.
Właściwie cztery dla agenta, ale dla nas widzimy, że to tylko trzy.
Tak więc punkt zero osiemdziesiąt jeden stąd masz punkt ZERO siedemdziesiąt trzy.
I rzeczywiście dobrze pasuje do tej wartości, ponieważ w tobie, jeśli ponownie obniżysz, wstawisz 66,
a tutaj masz 0. 23 ponieważ jest to optymalna trasa.
Więc idź.
To jest wartość wszystkich tych stanów.
Teraz możesz to zobaczyć, ponieważ stworzyliśmy to równanie lub stworzyliśmy syntetycznie tę całą koncepcję,
im bliżej jesteś do mety, tym bardziej cenny jest ten stan, ponieważ obawiamy się, że teraz jest to dość
oczywiste dla agent w którą stronę powinien iść.
A my porozmawiamy o tym więcej w przyszłości.
Mam nadzieję, że podobała ci się dzisiejsza sesja i wiem, że na tym etapie może to brzmieć nieco bardzo prosto,
ale kiedy przejdziemy tę sekcję, dodamy do niej nieco więcej złożoności.
W tym samym czasie, jeśli nie możesz się doczekać, jeśli chcesz w nie wskoczyć, jest papier, na który
możesz spojrzeć i jest to oryginalna praca Richarda Belmana.
Nazywa się teorią programowania dynamicznego od 1954 roku.
I możesz go znaleźć pod tym linkiem.
I tam idziesz, więc możesz wskoczyć prosto w to i przeczytać od autora równania Belmana.
Ale pamiętaj, że jest to dość matematycznie ciężki papier.
I w tej notatce będę szukać twojej następnej.
A do tego czasu ciesz się AI.