Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
A dzisiaj mówimy o Mark procesów decyzyjnych lub M. RE..
Zobaczmy, co mamy dzisiaj.
Ostatnim razem zatrzymaliśmy się na koncepcji mapy.
Ponieważ obliczyliśmy wartości na podstawie równania Belmana, możemy wyprowadzić tę mapę dla naszego agenta w
tym labiryncie.
Zasadniczo oznacza to, gdziekolwiek ange się zaczyna agent, powiedzmy, że zaczyna się tam.
Dokładnie wie, jakie kroki podjąć, aby dostać się do mety, więc po prostu idzie w górę.
Dobrze i gotowe.
A więc pytanie brzmi: to.
Czy to naprawdę takie proste?
Czy uczenie się wzmacniania jest naprawdę tym, co znacie z braku lepszego nudnego słowa.
To jest tak.
Gdy już masz matematykę, to wszystko, co musisz zrobić, to zrobić to po prostu pełne.
W rzeczywistości nie jest to takie proste.
I to jest dobre, ponieważ sprawia, że kurs jest dla nas bardziej interesujący i że możemy rozwiązać
znacznie bardziej złożone problemy.
I tu właśnie nadchodzi znak procesu.
Ale najpierw porozmawiamy o dwóch rzeczach.
W grę wchodzi wyszukiwanie deterministyczne a wyszukiwanie niedeterministyczne.
Pomówmy więc o pojęciu deterministycznego wyszukiwania.
To jest nasz agent w labiryncie, a deterministyczne wyszukiwanie oznacza, że jeśli agent zdecyduje się pójść w
górę, to co się stanie to 100 procentowe prawdopodobieństwo, że się podniesie.
Dokładnie to się stanie.
Nie ma innych opcji.
Raz, gdy powiesz, idź w górę lub kliknij strzałkę w górę, a ona się podniesie.
Nie ma innych opcji.
Z drugiej strony, niedeterministyczne poszukiwania mają miejsce, gdy nasz agent mówi, że chce iść w górę.
W rzeczywistości są kilka opcji.
Na przykład mogą być trzy opcje, a my będziemy szukać przykładu, gdzie są
trzy opcje, ale nie musi to być granica do trzech, zanim będzie różna,
w zależności od problemu losowość może być inna, ale w naszym przypadku może to być trzy opcje, z 80-procentowym
prawdopodobieństwem, że pójdzie w górę.
Ale z 10-procentową szansą, kiedy chce się podnieść, w rzeczywistości pójdzie w lewo tylko dlatego.
Ponieważ tak działa środowisko, w którym żyje.
A przy kolejnej kontroli w 10 procentach szansa, że rzeczywiście pójdzie dobrze.
I w tym przypadku wpadnie do paleniska.
Tak to wszystko działa.
Jest to przykład niedeterministycznego, pewnego przeszukiwania procesu stochastycznego, a celem jest stworzenie
bardziej realistycznego modelu tego, co może się wydarzyć w prawdziwym świecie w prawdziwym świecie, ponieważ bardzo rzadko pojawiają
się takie sytuacje kiedy coś robisz i dzieje się dokładnie
tak.
Nawet jeśli myślisz o tym w kategoriach gier, powiedzmy, że masz agenta grającego Pac-Mana.
Nie zawsze jest tak, że jeśli stoi na placu, idzie w górę.
Za każdym razem uzyska taki sam dokładny wynik.
Cóż, on rzeczywiście pójdzie w górę, ale może tak być w jednym przypadku nie zostaniesz zjedzony przez ducha w obu przypadkach.
Zostanie zjedzony przez ducha.
Jak widać, jest w tym pewna losowość, ponieważ zależy to od tego, jak poruszają się duchy i nie zawsze poruszają
się w ten sam sposób.
Nie zawsze zaczynają się w tych samych lokalizacjach.
Więc bardzo logiczne jest bardzo uczciwe, że istnieje przypadkowość, jest coś, co nie jest pod kontrolą agenta i to
jest po prostu sposób, abyśmy to przedstawili, abyśmy mogli dowiedzieć się, jak sobie z tym
poradzić i jak wpływa to na równanie Belmana, w jaki sposób wpływa ono na cały
proces uczenia się zbrojenia.
Ale w tym samym czasie przypadkowość nie ogranicza się do tego, że jeśli pójdziesz w górę, masz 10 procent szans na to, że
pójdziesz w prawo lub na prawo i po prostu pójdziesz w lewo, lub jeśli zejdziesz do 10 procent szansy pójdziesz w prawo
lub w lewo, albo ty. W porządku, jest 10 procent szans, że subtelność w górę lub w dół ogranicza się
do miejsca, w którym skończysz, czasami możesz mieć problem, który jest dokładnie.
Czasami możliwości mogą być inne.
Czasami przypadkowość może sprowadzać się do czegoś innego, co można by sprowadzić tak jak ten przykład.
Duchy Pacmana jedzące cię nie jedzą lub może sprowadzają się do czegoś innego.
Na przykład, tak jak tam, jest tak, jakby agent grał Dooma, a potem jest coś takiego jak potwór,
który ma go zastrzelić w jednym przypadku, a w innych jest prawdopodobieństwo, że wszyscy
powinni zostać postrzeleni, a my nie zostaniemy zastrzeleni.
A więc coś, co jest poza kontrolą agentów, jest czymś, czego nie potrafię przewidzieć.
To właśnie tutaj modelujemy w poszukiwaniu niedeterministycznym i tutaj bezpośrednio podeszliśmy do dwóch nowych
koncepcji jako znaku procesów i / lub znaku procesu i znaku znacznika procesu decyzyjnego, więc spójrzmy
na nie.
I wiesz, jak bardzo nie lubię stawiać definicji i mnóstwa tekstu na boku.
Ale w tym przypadku musimy przejść przez to.
Spójrzmy więc, jak proces stochastyczny ma znak własności.
Jeśli warunkowy rozkład prawdopodobieństwa przyszłych stanów procesu jest warunkowy, a stan zarówno
przeszłych, jak i obecnych zależy tylko od obecnego stanu, nie od sekwencji zdarzeń, które go poprzedzały.
Proces z tą właściwością nazywany jest znacznikiem.
Bardzo złożona definicja i to, że wprowadzasz trochę, nie tylko jest sprzeczne z samym sobą, ale wydaje się być
sprzeczne z samym sobą, więc tutaj jest warunkiem pozytywnej obecności, która zależy od twojego punktu
widzenia.
Ale jednocześnie zależy tylko od obecnego stanu.
Więc nie wpadaj w to zbyt mocno.
Zrobię to w prosty sposób, więc cechą właściwości jest twoja przyszłość.
Więc nie tylko twój wybór, ale cała sprawa.
Twój wybór i środowisko, które podoba się tylko wynikom wszystkich działań, które podejmiesz w tym środowisku, będzie zależało
tylko od tego, gdzie teraz jesteś.
To nie zależy od tego, jak się tam dostałeś.
I to wszystko.
Jest to kwestia publiczna, a proces, który ma tę właściwość, nazywa się procesem rynkowym.
Tak więc, aby umieścić go w przykładzie, więc jeśli twój agent jest tutaj i jeśli pójdzie, jeśli zdecyduje się pójść, może
odejść.
On w naszym przypadku w naszym niedeterministycznym przykładzie wyszukiwania może faktycznie pójść w lewo i prawo.
W porządku.
Dzieje się tak dlatego, że mamy kij ten miasto w naszym środowisku, mamy przypadkowość wewnątrz
naszego środowiska.
Tak więc każda z tych rzeczy może się zdarzyć.
Ale kluczem jest to, że jest to oznaką procesu, ponieważ nie obchodzi nas, jak się tu dostałeś.
Mógł pochodzić z góry, tutaj skończył, mógł pochodzić z lewej strony i tu mógłbyś
przyjść od dołu i tu dotrzeć.
Mógłby grać tutaj przeniósł się jak 100 000 razy, a potem przyszedł.
Nieważne, co się wydarzyło wcześniej, tylko to, w jakim jest stanie, w jakim stanie jest teraz.
Tak więc prawdopodobieństwo pójścia w lewo, w prawo lub w górę, będzie zawsze takie samo, jeśli teraz jest w
tym stanie.
Tak więc po prostu mówię, że nie ma znaczenia, co się stało, zanim tu jesteśmy.
To jest stan, w którym się znajdujesz.
I nie zapominaj, że stan nie oznacza tylko tego, gdzie on stoi.
Stan jest stanem całego agenta w środowisku, tak jak potwory z prawej strony lub potwory po lewej
lub wiesz, że duch pochodzi z góry lub z dołu, niezależnie od tego, w
jakim jesteś stanie .
Nie ważne jak się tam dostałeś, nie ma znaczenia jak i jak to się stało, że jesteś w tym
stanie.
To, co stanie się w przyszłości, zależy tylko od tego, w jakim jesteś stanie.
Plus działania, które je wykonasz plus oczywiście losowość, która jest na nie nałożona.
Jest to więc znak procesu i procesu decyzji znacznika lub procesu decyzyjnego MVP lub znacznika.
Zapewnienie ram matematycznych do modelowania podejmowania decyzji w sytuacjach, w których wyniki są częściowo losowe
i częściowo pod kontrolą nad podejmowaniem decyzji.
Tak ważne, aby zrozumieć, że znak procesów decyzyjnych procesu decyzyjnego jest inny, a inny
cały proces oznaczania procesu jako oznaczenia procesu.
Są tak jak ramy matematyczne.
Ale jednocześnie uważałem, że ważne jest dla nas zrozumienie, co jest
oznaką procesu, ponieważ myślę, że nadal pomaga to w zrozumieniu markowania procesu decyzyjnego, a więc jest oznaką
procesu decyzyjnego.
Właśnie o tym rozmawialiśmy do tej pory, aby agent mieszkał w tym środowisku, w którym
wcześniej kontrolował go tak jak on i miał pełną kontrolę nad tym, co się dzieje, ale teraz ma
nieco mniej kontroli.
Może zdecydować się pójść w górę, ale tak naprawdę wie.
OK, więc jeśli pójdę na górę, mam szansę na małpę. Podejdę do tej próby i szanse się zmniejszą, a szansa
pójdzie dobrze.
Więc nie wszystko jest w pełni pod jego kontrolą.
W tym środowisku jest pewna losowość i właśnie to jest znak procesu decyzyjnego
i proces decyzyjny Markowa, który jest ramą, której użyje agent, aby zrozumieć, co robić w tym
środowisku.
Mamy więc pewną losowość jakiegoś toksycznego środowiska.
A teraz agent musi wybrać na przykład powinien iść w dół w lewo lub w prawo.
Musi podjąć tę decyzję.
On nie wie, co robić.
Aby ta decyzja mogła zostać zastosowana, struktura będzie korzystała ze znaku procesu
decyzyjnego, aby podjąć decyzję, co się wydarzy, dokąd zmierza.
Zasadniczo to środowisko, które stwarza ten problem, jest odnoszone do znaku procesu decyzyjnego, więc jest to środowisko, z
którego korzysta agent w tym samym czasie, gdy mówi się o środowisku, że agent
działa w środowisku procesu decyzyjnego na rynku.
Tak więc w zasadzie mamy dwie koncepcje, które mamy na oku procesu, to sposób, w jaki
to środowisko jest zaprojektowane, aby PA działała.
To, co dzieje się z miejsca, w którym teraz jesteś, nie zależy od przeszłości.
I w tym samym czasie mamy znak procesu decyzyjnego, który będzie wykorzystywany
przez agenta do rozwiązania tego środowiska.
Dobra wiadomość jest taka, że znakiem procesu decyzyjnego lub tej struktury, o której
mówimy, jest w istocie dodanie do naszego równania z równania Belmana równania Belmana, ale nieco bardziej wyrafinowanego.
Więc spójrzmy na to.
To jest nasze równanie Belmana do tej pory.
To maksimum wszystkich możliwych działań.
Tak więc wartość bycia w stanie to maksimum wszystkich możliwych działań, które można podjąć z
tego stanu.
Maksymalne jest brane z nagrody, którą otrzymasz, biorąc tę akcję w tym stanie plus współczynnik
dyskonta razy wartość następnego stanu, który jest jako główny.
Tak to było do tej pory.
Teraz, ponieważ mamy pewną losowość w całym naszym procesie, ta część się zmieni, ponieważ tak naprawdę
nie wiemy, który stan się skończy i nie wiemy, co będzie skazane, czy będzie, jeśli
będziemy podnosić się, to będzie w górę lub w lewo będzie mieć rację, więc musimy umieścić to z oczekiwaną
wartością następnej daty.
Tak więc zamierzamy to zastąpić, abyśmy mogli znaleźć się w trzech możliwych stanach.
I tak zastąpimy to pewną wartością, że stan ma wartość jako jeden główny.
Że ma widok na prime do premiery.
I ten stan ma wartość nas trzech Bryne.
Więc teraz zamierzamy pomnożyć stan, do którego faktycznie zamierzamy wejść przez 80 procent, ponieważ w
ten sposób prawdopodobieństwo osiągnięcia tego stanu plus prawdopodobieństwo osiągnięcia tego stanu wynosi
10 procent plus ludzie wchodzący w stan Więc to jest tylko nasza oczekiwana wartość, więc
jeśli ze statystyk, jeśli przyjmiemy oczekiwaną wartość wchodzenia w stan, w który wejdziemy, to trochę jak średnia. Jaka
jest średnia z tego, co otrzymamy, a następnie zastąpimy ją tutaj.
Wtedy dostajemy tę agresję i bardzo szybko skacze, ponieważ jest duża, ale jeśli spojrzysz
na nią uważnie, zobaczysz to samo, co powiedział Max tutaj, tutaj Max.
Potem masz r S i A R S i oni mają gamma, w której masz gamma.
I w końcu tutaj masz v.
Więc wiedziałeś dokładnie, że to deterministyczne wyszukiwanie, wiesz, do których stanów się dostaniesz.
Teraz nie wiesz, do jakiego stanu wejdziesz, odkąd przyjmiesz V.
Przyjmujesz oczekiwaną wartość stanu, w który wejdziesz, lub przyszłego stanu, lub po prostu w prostszych słowach, biorąc
pod uwagę średnią tego, co dostaniesz.
Więc wiesz, jakby to było dla 30 plus 3 procent szans, będzie to tak jak dzielenie przez Plus trzech w zasadzie.
Ale w tym przypadku nie jest to dokładnie tak, jak średnia.
Jest to średnia ważona z powodu prawdopodobieństw tutaj.
Tak więc masz prawdopodobieństwo, że jesteś na tym etapie, aby podjąć tę akcję dostania się do stanu jako najwyższego
czasu, wartości s prime, a niektóre do przekroczenia wszystkich tych liczb pierwszych, które możesz wnieść do
tego, kim jesteśmy.
Więc dokładnie to, co mieliśmy trzy tutaj jeden dwa trzy.
Dodaj je pomnożyć, dodaj je.
To samo tutaj.
Raz Dwa Trzy.
Pomnóż je przez prawdopodobieństwo i dodaj je.
I to jest twoje nowe równanie Belmana.
Gratulacje.
Właśnie z tym będziemy pracować.
I to jest struktura, która jest wykorzystywana w procesach decyzyjnych, więc jest to struktura, która
rozwiązuje to.
Agenci używali rozwiązania tego całego stochastycznego niedeterministycznego problemu wyszukiwania, w którym zdarzają się przypadkowe
zdarzenia, których nie mogą kontrolować.
Jest to o wiele bardziej skomplikowane.
Ale jak widać, powoli się do tego zmobilizowaliśmy.
Teraz już wiemy o tym, o czym wiemy.
Martwi się tym.
Wiemy o tym.
Wiemy, jakie one są.
Więc wszystko, co zrobiliśmy, właśnie wprowadziliśmy tę część tutaj, ponieważ istnieją prawdopodobieństwa
związane z działaniem lub konsekwencje twojego działania na nieokreśloność są oparte na prawdopodobieństwach.
I tak idziemy.
W ten sposób działa marker procesu decyzyjnego i leżące u jego podstaw równanie.
Po raz kolejny jest to coś, co bardziej przypomina rzeczywiste problemy rzeczywiste lub Sinatras, a
nawet scenariusze gry, ponieważ nie wszystko jest proste.
Istnieje pewna losowość wszystkich zaangażowanych i nie zawsze będzie podejmować działania w pewnym stanie zawsze będzie Nawal nie
zawsze doprowadzi do tego samego wyniku.
I tak będziemy mieli do czynienia z przyszłością, co sprawi, że sprawy
będą bardziej interesujące.
Mam więc nadzieję, że jesteście podekscytowani i podekscytowani, aby zobaczyć, co będzie dalej.
A w międzyczasie znalazłem naprawdę fajną gazetę, na którą możesz teraz rzucić okiem.
To bardzo stosowny papier.
Ten naprawdę jest naprawdę ciekawy do przeczytania.
Nazywa się to przeglądem zastosowań Mark procesów procesów decyzyjnych i został napisany przez biały w
1993 roku.
Jest link i Ill pokazują przykłady miejsc, w których procesy decyzyjne Markowa są używane do modelowania prawdziwych
Sinatras. Myślę, że byłem tym bardzo podekscytowany.
Byłem pod wrażeniem kilku przykładów zbioru populacji na przykład.
Powiedzmy, że masz trochę ryb i wiesz, jaka jest populacja ryb, aby zdecydować, ile
ryb możemy wyłowić w tym roku i jakie.
To jest twój obecny stan.
To jest akcja, którą robisz. Ilu możemy zastrzelić w tym roku.
Więc jakie są możliwe wyniki tego.
Ile ryb będziemy mieli w przyszłym roku.
Ile ryb będziemy mieli rok później i rok później i tak dalej.
I to nie jest deterministyczne, ponieważ nie jest tak, że jeśli weźmiesz to w godzinę, a 90 procent populacji
w przyszłym roku będziesz wiedział, że wrócisz do 100 procent, nie jest to dokładnie kazanie.
W grę wchodzą pewne czynniki losowe, które są poza naszą kontrolą i dlatego musimy
zrozumieć, co się wydarzy, musimy modelować, co się wydarzy, czyli
gdzie decyzja rynkowa przetwarza rolnictwo.
Jest taki przykład jak zbieranie plonów, ile plonów zbieramy, ile pieniędzy
nie zbieramy.
Kolejny, który przyjrzałem się finansom i inwestycjom, jak firma ubezpieczeniowa, musi zdecydować, ile ze swoich
funduszy zainwestuje w dowolny dzień, rok lub jakiś okres czasu i istnieją pewne czynniki, nad
którymi ma kontrolę.
Na przykład znasz ruchy rynkowe, nie wiesz, co może się zdarzyć, więc trzeba to
jakoś wymodelować.
Znak procesów decyzyjnych wykorzystanych do tego.
Tutaj możesz zobaczyć wiele przykładów.
I to jest liczba przykładów, które myślę dla każdego.
A więc wiesz nawet sportowe przykłady sportów i epidemii oraz przeglądów szkód komunikacyjnych i napraw
samochodowych, a także bardzo interesujące.
Spójrz na to.
Tylko po to, by dać ci zrozumienie hej, to nie jest po prostu wymyślony materiał hipotetyczny typu
Matrycy.
W rzeczywistości jest to scenariusz z prawdziwego świata, więc pozwolę ci lepiej zrozumieć
i to jest to, o czym rozmawialiśmy w teledysku do tych wyników lub opisu kursu,
który zainspirujemy Ciebie i twoja intuicja, by dać ci pomysły jak używać sztucznej inteligencji w prawdziwym życiu.
To jest twoja szansa.
Popatrz na ten artykuł, aby zrozumieć.
OK, więc zamierzamy postępować z marką procesu decyzyjnego.
To naprawdę fajne, jak oni wyglądają w prawdziwym życiu, a to może wywołać
dla ciebie kilka pomysłów, jak możesz zastosować w przyszłości, aby uczynić świat lepszym miejscem i bylibyśmy bardzo szczęśliwi z tego
powodu.
Będziemy szczęśliwi, jeśli wykorzystasz to, czego nauczysz się na tym kursie, aby uczynić świat lepszym.
Cóż za fantastyczny.
W związku z tym mam nadzieję, że podobał się wam dzisiejszy tutorial.
Nie mogę się doczekać Do zobaczenia następnym razem.
A do tego czasu ciesz się AI.