Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Dzisiaj w końcu mówimy o uczeniu się Kule.
W porządku, mamy już to równanie w równaniu dzwonników, do którego dodaliśmy wiele komponentów.
Mamy tutaj nagrodę, która nie może być na samym końcu, ale może być na każdym kroku.
Mamy czynnik rabatu.
Mamy prawdopodobieństwo, ponieważ teraz patrzymy na znak procesów decyzyjnych.
I tutaj mamy możliwość dotarcia do różnych stanów, bez względu na to, jakie działania
podejmujemy lub faktycznie podejmujemy.
Może być wiele stanów, w których możemy skończyć, a następnie otrzymujemy wartość następnych stanów,
ponieważ jest on podobny do funkcji rekursywnej i tak dalej, ale prawdopodobnie nadal masz jedno pytanie.
Pytanie, gdzie w tym wszystkim nie ma litery Q Dlaczego wszystko to nazywa się q.
Uczenie się.
Więc gdzie jest wskazówka.
I to jest pytanie, na które dzisiaj odpowiemy.
Do tej pory traktowaliśmy wartości jako wartość bycia w określonym stanie i teraz przyjrzymy się,
jak Q pasuje do tego wszystkiego.
Oto dwa przykłady po lewej, to, co robimy do tej pory analizował nasz agent.
Ok, jestem tutaj.
To jest znak procesu decyzyjnego, więc nie ma znaczenia, jak się tu dostałem.
Reszta środowiska nie dba o kroki, które zabrały mi od teraz.
Muszę podjąć optymalną decyzję, gdzie się udać tutaj lub tutaj.
W oparciu o obecny stan i wszystkie przyszłe stany, które pochodzą stąd, ale nie z przeszłości.
A więc widzi, że istnieją trzy opcje, że istnieje stan, w którym można podać trzy.
Opierając się na swoim doświadczeniu, obliczył wartości w tych stanach, a teraz użyje równania
dzwonnika.
Mimo że jest to klasyczne Proceso, wie, że pójdzie tutaj, ale jest szansa, że pójdzie
w prawo i tak dalej.
Opierając się na tych wartościach, podejmujemy decyzję o tym, co robimy do tej pory i jest to całkowicie zgodne
z prawem podejście.
Ale teraz jesteśmy trochę zmodyfikowani.
Zamierzamy przyjąć tę samą koncepcję dokładnie tego samego problemu, ale tutaj zamiast patrzeć
na wartości każdego stanu, w którym może on skończyć, będziemy patrzeć na wartości lub wartość każdego działania.
Więc nie zamierzamy używać litery V, ponieważ dla wartości
państwa użyjemy Q i możesz mieć pytanie, dlaczego litera Q Cóż.
P Niektórzy ludzie to spekulują.
Q Czy to przeczytam.
Myślę na Quora.
Ktoś wspomniał, że Q jest ze względu na jakość, ale jednocześnie nie mogłem znaleźć żadnych innych odniesień do tego, więc może nie być
tak dlatego, że może to być spowodowane tym, że ta litera była używana w
tym czasie, a teraz stała się bardzo popularna, ponieważ jest wszystkie z tego powodu są nazywane kluczowymi uczeniami.
Więc nie ma żadnego konkretnego powodu.
Q Niemniej jednak przynajmniej pomaga nam rozróżnić V i Q So Q tutaj.
Nie było prezenty, a wartość stanu, który reprezentuje, pozwala przejść na jakość.
Reprezentuje jakość działania, które reprezentuje.
OK, więc mam cztery akcje.
Jakie są różne cechy tych działań.
Jaka jest wartość akcji lub jakość działania, która jest bardziej lukratywna, więc potrzebuję metryki, która mówi
mi dokładnie, jak mogę kwantyfikować to działanie, a następnie mogę je porównać i to jest
dokładnie to, co jest Q.
I ma cztery możliwe akcje.
Jak zawsze idź w górę w prawo lub w dół.
A w oparciu o te działania będzie formuła, która mówi nam o kwantyfikowalnej wartości tego działania,
które nazywamy wartością Q q tego działania.
Zobaczmy więc, jak wyprowadzić tę formułę.
P Jak właściwie to się do nich odnosi?
Ponieważ, jak możesz sobie wyobrazić, ponieważ działania prowadzą do stanów, musi istnieć jakiś związek między
nimi.
Właśnie, że już ustaliliśmy, jak to obliczyć i jesteśmy w tym całkiem dobrzy.
Wiemy, jak wykorzystać równanie Belmana w bardzo różnych środowiskach z wieloma różnymi komplikacjami.
Cóż, wykorzystajmy tę wiedzę, aby zrozumieć, jak możemy teraz obliczyć.
P Aby wykonać te same prognozy, ponieważ, jak można sobie wyobrazić, środowisko nie zmienia się w zależności
od tego, z jakiego podejścia korzystamy, środowisko będzie takie samo niezależnie.
Dlatego też takie podejście i takie podejście zawsze powinny dawać taki sam wynik, dlatego jest to kolejny powód, dla którego te
dwa elementy powinny być ze sobą powiązane.
Więc spójrzmy.
Oto więc podejście, w którym postrzegamy wartość dowolnego stanu w tym stanie lub w jakimkolwiek
innym stanie.
I tutaj wchodzimy, używamy tutaj tylko wskazówki, ponieważ to jest obecny stan.
Tak więc terminologia będzie taka sama w obu równaniach i tutaj używamy q jako Q Jest
to stan i działanie.
A ponieważ akcja jest zakończona, ale w jakim stanie wykonujemy to działanie, wykonujemy to działanie w państwie.
OK, więc teraz wypuścimy równanie Belmana dla pierwszego podejścia, ponieważ
widać tutaj, że mamy wartość s lub wartość dowolnego stanu s jest maksymalną nagrodą, którą otrzymujesz na podstawie maksymalnego zakładu o działaniach,
które masz trzy.
W tym przypadku masz już cztery akcje, aby zmaksymalizować wszystkie możliwe działania tej części,
o których słyszeliśmy wiele razy, więc to jest nasza nagroda, którą otrzymujemy od wykonania tej
akcji w tym obniżeniu plazmy państwowej w rzeczywistości pomnożonej przez oczekiwaną wartość nowego stanu, że będziemy mieli oczekiwaną
wartość, ponieważ jest to proces stochastyczny.
Nie wiemy na pewno, że skończymy tutaj, możemy skończyć na lewicy lub
na prawym prawdopodobieństwie.
Właśnie dlatego te prawdopodobieństwa są w tobie.
W porządku, więc to jest nasza wartość.
A teraz spójrzmy.
Q Więc Q zostanie zdefiniowany.
Zamierzamy użyć tego do zdefiniowania Q Więc załóżmy, że agent z tej lokalizacji od tego stanu wykonuje
akcję w górę.
Do czego będzie wywoływana wartość q.
Przede wszystkim zobaczmy, co dostanie w zamian za wykonanie tej akcji.
Pierwszą rzeczą, którą otrzymasz, jest prawo do nagrody.
Nie ma co do tego wątpliwości.
Będzie to jakaś reguła lub może być zero, ale wiemy, że cały proces uczenia
się zbrojenia polega na tym, że niektóre miasta wykonują określone działania z danego stanu lub dwóch.
Więc dodam to tutaj.
A potem dodamy, co zamierzamy dodać.
Cóż, pomyślmy o tym.
Jaka jest następna rzecz, jaka się wydarza po tym, jak się tam wybiera.
Kolejną rzeczą, która się dzieje, jest to, że teraz agent jest w pewnym stanie, w którym może znaleźć się z prawdopodobieństwem
80 procent lub z pewnym prawdopodobieństwem.
Ale tak naprawdę tutaj, tutaj.
Ale gdziekolwiek się teraz znajdzie, mamy już dane ilościowe dla tego stanu, w którym się znajduje.
I to jest właśnie wartość tego stanu.
Ale ponieważ pojawił się w wielu różnych stanach i trzech różnych możliwych stanach, musimy
spojrzeć na oczekiwaną wartość państwa, w którym on będzie.
Dodamy więc, że dodamy.
Oczywiście czynnik zdyskontowany, jak mieliśmy wcześniej, ponieważ jest to gdzieś w przyszłości.
A potem dodamy niektóre z wszystkich możliwych stanów we wszystkich możliwych stanach, które może zakończyć,
wykonując to działanie.
Warunki prawdopodobieństwa.
Więc mówimy tutaj, że jest OK, więc wykonując akcję otrzymasz nagrodę Plus, która jest
kwantyfikowaną miarą Plus, którą dostaniesz.
Kończysz w stanie, w którym nie wiemy, który może tu być.
Może być tutaj, może być tutaj.
Ale tutaj jest oczekiwana wartość państwa, w którym się zakończysz.
A teraz pomnożymy przez współczynnik dyskontowy, ponieważ jest to jeden ruch.
Taka jest nasza wartość Q dla tego dla działu wydajności i to, co zauważysz tutaj od razu, jest
tym.
Q Wartość Q jest dokładnie identyczna z wartością zawartą w nawiasach.
A czemu to.
Jeśli myślisz o tym tutaj, przyjmujemy maksimum wyników, osiągniemy maksimum we wszystkich możliwych działaniach,
więc otrzymaliśmy maksymalną możliwą akcję we wszystkich możliwych działaniach
wyniku, którą otrzymamy, wykonując każdą z tych akcji i definiujemy kolejkę.
Ciekawy.
Co otrzymamy, wykonując określone działanie.
Jeśli więc się nad tym zastanowić, ma sens wartość stanu.
Na przykład ten stan jest maksimum wszystkich możliwych wartości Q.
Tak więc tutaj, w Stanach, będąc w stanie, agent ma jedną kluczową wartość, aby utrzymać wartość 3Q dla wartości
q.
Tak więc pozytywnie dla możliwych wartości Q, podczas gdy wartość pobytu ma
sens, wartość stanu jest maksimum wszystkich tych czterech kluczowych wartości.
Dokładnie to możemy zobaczyć tutaj.
To dobre potwierdzenie tej nowej formuły, którą czerpiemy.
Gdyby tak nie było, gdyby to nie pasowało, mielibyśmy pytania.
Dlaczego więc nie pasuje?
Dlaczego nie pasuje, jeśli.
Wartość Q to kwantyfikowana metryka wykonywania akcji, a V zależy od piętra.
Jest jak maksimum możliwych rezultatów czterech działań, które może wykonać, ponieważ ma to sens.
I to potwierdza formułę, którą właśnie wyprowadziliśmy, a teraz zamierzamy uczynić ją jeszcze bardziej interesującą.
Całkowicie pozbędziemy się Wii, ponieważ widzisz, że masz Wii, to funkcja rekursywna.
A więc masz mnie, potem B, potem B, potem B i tak dalej.
Możesz wyrazić ten pogląd za pomocą wszystkich poniższych rozwiązań Vee, które są najbardziej optymalne, jakie pojawią się
tutaj.
Oczekujemy, że Q Jako funk będzie funkcją rekursywną OR jako funkcją następnego V, a następnie będziesz musiał podłączyć to V,
a następnie wrócimy do B.
Więc, co zamierzamy zrobić, to zamierzamy wziąć to V, a zamierzamy zastąpić je
Q Right, więc spójrzmy na to.
Weźmiemy V tego następnego stanu, a my mamy zamiar podłączyć to do tej formuły tutaj.
I jak widać teraz, ta część się nie zmienia, to prawdopodobieństwo się nie zmienia.
Ale jak przedyskutowaliśmy, s jest maksimum przez wszystkie działania q S i prawa tutaj.
Więc to tutaj zamierzamy zastąpić.
Powiemy więc, że maksymalna rzecz jasna to nowa akcja, którą zamierzamy podjąć, ponieważ
tutaj mamy Wii jako najlepszy.
A więc mamy teraz maksymalną konsolę na poziomie podstawowym.
Tak więc działania, które zamierzamy podjąć z tego stanu, pochodzą
z dowolnego miejsca, w którym się znajdziemy, ale od działania, które podejmiemy od tego punktu, a Maxima do
wszystkich tych wartości, a maksymalna do wszystkich wartości kostek, które będą które są dla nas dostępne w tym nowym stanie jako prime comma a prime.
I to jest akcja.
Więc to jest.
Więc będą kolejne cztery.
Wartości Q tam.
Teraz, jak widzisz, przejdźmy ponownie.
Tak więc, z tego, co otrzymamy, słowo to byłoby tylko przyczyną logiki i intuicji, abyśmy
mogli zobaczyć, że VNS są w rzeczywistości widokiem AS, i są połączone.
S jest maksimum dla wszystkich działań Kuba S i widać tutaj, więc ta część jest
identyczna z tą częścią.
A potem zamierzamy to wykorzystać, a my zamierzamy zastąpić ten kawałek VNS, ale nie na
tej ścieżce, weźmiemy tę wewnętrzną część i zastąpimy ją zabijaniem niewinnych.
Więc mamy zamiar podłączyć to tutaj, a ta część ma być q of s primime, a maksimum kostki przez
Crucell Priam z Q As Prime a prime.
A teraz mamy naszą formułę.
Teraz mamy rekursywną formułę dla wartości q, więc teraz agent może pomyśleć, jaka jest wartość sekcji, jaka jest
jakość tej sekcji, była nowa wartość tego działania.
Cóż, zależy to od nagrody, którą otrzymam w następnym kroku, i zależy to
od zdyskontowanego współczynnika razy maksymalnego wszystkich możliwych działań Q w tym stanie.
Ale nie wiem, czy zamierzam przekonać ich stronę, aby również spojrzeli na ten stan
w tym stanie i dlatego mamy tę oczekiwaną wartość tutaj, więc mamy pewne prawdopodobieństwa razy maksymalne, które są wartością
oczekiwaną.
Tak więc bardzo podobna formuła, którą można zobaczyć, ale tym razem wyrażamy rzeczy
za pomocą wartości q, i dlatego cały ten algorytm nazywa się Kill learning, ponieważ właśnie na to patrzy się to, czego agenci faktycznie używają, nie
wyglądają na stanach przyglądają się ich możliwym działaniom, a następnie w oparciu o działania
na q wartości działań będą decydować, które działanie podjąć.
Więc po prostu patrzą na maksymalną wartość Q w tym zadanym stanie, w którym ma cztery akcje.
Jaka jest najlepsza akcja, aby porównać, porównać różne stany, które mogą się
skończyć, porównać bieżące działania, które obecnie posiada, poprzez znalezienie optymalnego, który podejmie takie działanie, a
następnie zaangażuje się powtórzyć ten proces powtórzyć ten proces i tak
dalej.
Teraz możesz zobaczyć, jak wszystko to razem, w jaki sposób nagroda dyskontuje fakty lub
stochastyczne procesy decyzyjne na rynku, a wartości i wartości q łączą się, aby
cueist to jedno potężne równanie Belmana dla q wartości, które możemy teraz zastosować i niech nasi agenci nauczą
się, jak pokonać środowisko.
To intuicyjne wyjaśnienie tego, co się dzieje.
Wiem, że przeszliśmy przez formuły, ale jest to konieczne, ponieważ jest to podobne do
naszej formuły, że przechodzimy przez cały ten rozdział i uważam, że jest to dobre przejście od To.
Q I ilustruje, w jaki sposób istnieją powiązania między Yishunem i jeśli chcesz uzyskać nieco bardziej rygorystyczne podejście matematyczne i
jak widzisz matematykę stojącą za nim i dowiedzieć się nieco więcej o wartościach
q i ich działaniu.
Potem mamy dla ciebie dodatkowe czytanie.
Dokument ten nazywa się koncepcjami i algorytmami procesów decyzyjnych Markowa autorstwa Martín von Autor low 2009.
Więc jak zwykle odcinasz link tutaj i tutaj możesz przeczytać nieco więcej szczegółów, aby zrozumieć wszystkie
wartościowe wartości Hugh i tak dalej, i teraz omawialiśmy wszystkie te
rzeczy związane z równaniem Belmana, teraz jesteśmy gotowi spojrzeć na coś bardziej złożonego, takiego jak
ten artykuł, jeśli chcemy uzyskać dodatkowe informacje na ten temat, aby uzyskać głębsze zrozumienie.
Ale nawet jeśli nie czytasz gazety lub radia, powinieneś mieć dobrą praktyczną wiedzę na temat tego,
czym jest nauka i jak agenci wymyślają działania, które muszą podjąć w określonym środowisku.
Mam więc nadzieję, że spodoba Ci się dzisiaj Statoil i czekam na kolejne.
Do tego czasu ciesz się.
JA.