Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Wcześniej mieliśmy dość wyczerpujący i długi samouczek dotyczący procesów decyzyjnych Margrove'a i mam nadzieję, że dobrze się
z tym zgodziliście.
Mam nadzieję, że potrafię wyjaśnić wszystko w przystępny i angażujący sposób.
A dzisiaj porozmawiamy o polityce a planach.
Będzie szybki i zabawny samouczek, ponieważ teraz wkraczamy w nowy świat, w który wkraczamy
w świat stochastycznych poszukiwań, niedookreślonych poszukiwań, gdy po prostu nie przebrniesz przez labirynt, ale także uwzględnisz przypadkowe czynniki,
które mogą trafić ty w głowę, kiedy przechodzisz przez ten labirynt i
musisz być na to przygotowany.
To jest świat.
Nasz agent żyje i jest zabawniejszy, ale jest też niebezpieczniejszy, bardziej jest mniej przewidywalny.
Więc jak będzie się zachowywał nasz agent.
Spójrzmy.
Jest nasza cecha procesu decyzyjnego, która jest po raz kolejny naszym ulubionym równaniem Belmana.
Jednak bardziej zaawansowana wersja równania Belmana, z którym pracujemy.
Więc teraz nazwiemy to równaniem Beldona.
I tutaj mamy naszą maksymalną i Crucellową akcję, więc wartość stanu dowolnego stanu jest maksymalna dla wszystkich
działań, które agent może wykonać w tym stanie.
A maksyma została zaczerpnięta z nagrody, którą otrzyma agent, wykonując akcję A instate jako Plus, a
współczynnik dyskonta pomnożony przez oczekiwaną wartość nowego stanu, w którym się znajdzie.
I spodziewam się, że ci, których tu zabrano, ponieważ nie wiedzą dokładnie, w czym kończy się sadle.
Są to pewne efekty losowe, które występują w środowisku, które mogą zmienić stan i nie mogą skończyć
się pożądanym stanem.
To może skończyć się w innym stanie.
Dlatego właśnie tutaj przynosimy oczekiwaną wartość tutaj.
Przyjrzyjmy się temu jako naszemu przykładowi lub naszemu przykładowi labiryntu.
Tak było wcześniej, więc wcześniej mamy do czynienia z wyszukiwaniem deterministycznym na żywo.
Więc wiedzieliśmy o tym.
W porządku, więc jeśli tu jestem, zdecydowanie muszę tu iść, jeśli tu jestem.
Zdecydowanie muszę tu iść, jeśli tu jestem, zdecydowanie muszę tu iść, jeśli tu jestem, jestem tutaj.
Więc wszystko było całkiem proste.
Po uzyskaniu tej mapy i zapamiętaniu jej nazwiemy ją planem.
Kiedy już masz plan, jest to całkiem proste.
Tam są.
Więc to jest plan ze strzałkami.
I stąd było bardzo proste, że to są te trasy, które wezmą za każdym razem, gdy zaczniesz
na tej niebieskiej linii.
Tak właśnie poszedłeś.
Jednak teraz nie mamy już planu.
Nie możemy mieć planu, ponieważ wiesz, co planujemy, może się nie zdarzyć, nie jest pod kontrolą lub plan jest,
gdy wiesz dokładnie, co musisz zrobić dalej.
Znasz te kroki.
Masz więc punkt wyjścia, do którego masz cel i znasz każdy krok, więc możesz je zaplanować, tak jak
ja to zrobię. Zrobię to. Zrobię to tak jak w życiu, jak plan .
Ale w tym samym czasie dzieje się tak wiele losowości.
Możesz mieć plan, bo co by było, gdybyś tu był, a potem kliknąłbyś w prawo i faktycznie cię
zabił.
To nie jest częścią twojego planu.
Dlatego właśnie nazywa się to planowaniem.
I tutaj obliczymy, że wartości będą dotyczyć obliczonych wartości
dla tego samego problemu.
Ale w oparciu o to, że mamy tę przypadkowość wewnątrz.
Oto nowe wartości.
Dlaczego więc te wartości są inne, porównajmy więc to, co wcześniej.
Tak było wcześniej.
To jesteście wtedy.
Tak więc po raz kolejny mieliśmy wcześniej, ponieważ wygrał 3. 9 procent.
Był naprawdę 366.
I to jest to, co mamy teraz mniej niż raz i 1 6 3.
A tak przy okazji, nie są to dokładnie obecne wiece z mojej głowy, ale gdybyśmy mieli uruchomić agenta,
niektóre wartości byłyby podobne do tego, a wartości mogły ulec zmianie, ponieważ zależą
od hazardu, który wybrałby on 3. 9 lub inną wartość, ale mimo to ze względu
na argumenty są to wartości, z którymi mamy do czynienia teraz i są one przybliżone, przekazują całe pojęcie w prawidłowy
sposób, więc spójrzmy na nie.
Dlaczego się zmienili.
Cóż, dlaczego tu, tutaj, wartość była jedna.
Dlaczego to wszystko nagle 0. 26 Dlaczego jest to mniej niż jeden.
Po prostu idź stąd tutaj.
Tak naprawdę zadzwoniliśmy, ponieważ stąd, jeśli pójdziemy w prawo, co jest naszą intencją, jeśli pójdziemy w prawo,
moglibyśmy rzeczywiście mieć 10 procent szans, że skończymy tutaj.
Więc uderzyliśmy w ścianę i wrócimy w tym stanie.
I pamiętajmy, że mamy Gamlę, więc wartość zostanie zdyskontowana i albo będziemy wyłączeni lub wyłączeni o 10, a przypadek skończy
się tutaj w tym stanie.
Więc nie jest to 100-procentowe prawdopodobieństwo, że dostałbym się tutaj, więc nie może to być dana
wartość mniej, a jest 0. 26.
To jest przykład tego, dlaczego tak jest.
I możesz uzyskać dokładną wartość, jeśli obliczysz równanie Belmana jako pełne, ale moje pytanie, które
mamy teraz.
Jedynym problemem jest to, że będzie pewna rekurencja, ponieważ musisz znać wartość
tego, a następnie musisz znać wartość tego, co jest dość skomplikowane i dlatego
nie robimy tutaj ręcznie obliczeń.
Dlatego mogę to zrobić, ponieważ przechodzi przez to wszystko, to tak, jakby nie było to nic zbyt
skomplikowanego.
Nie możesz grać w te rzeczy.
Oto nasza wartość tutaj.
Ale z tego jest inny.
Więc tutaj jest 0. 9 tylko z powodu współczynnika dyskonta, pamiętajcie, że
tutaj znowu tu teraz, stąd kolegia skaczemy stąd do tego miejsca, ponieważ nawet jeśli skoczymy, jeśli tak pójdziemy, możemy wrócić
tutaj z powrotem tutaj.
To 20-procentowa szansa, która pozostanie na placu, ponieważ uderzymy w ścianę.
I znowu i tak dalej.
Tak więc wartość bycia tutaj wynosi zero siedemdziesiąt jeden.
Znowu to i czynnik dyskontujący.
Wiesz, że to może wydawać się dziwne, że jest to nawet z dyskontem w czynniku, który jest zbyt wysoki.
Może czynnikiem dyskontującym w tym przykładzie nie jest 0. 9 może to siedemdziesiąt dziewięć lub coś,
co nie martwi się tym.
Po prostu lubię to koncentrować.
Wartości rzeczywiście zmieniły się, że wartości są teraz mniejsze.
Głównie dlatego, że nie jest to stuprocentowe prawdopodobieństwo, aby dostać się do stanu, który chcesz zdobyć
i co znajdziesz.
Ciekawy jest tutaj, aby tutaj być 0. 9 w rzeczywistości bardzo spadło znacznie spadło.
Dlaczego.
Cóż, ponieważ jeśli odejdziesz stąd, co jest naszą intencją, istnieje 10 procent szans na
trafienie w ścianę, ale istnieje 10 procent szans na to, że trafisz w ognisku i stracisz minus jeden do
nagrody, a to oznacza dla agenta, że to koniec gry.
A więc jest to bardzo zły stan.
Więc nagle pamiętajmy, że mieliśmy punkt zerowy w odstępie dziewięciu lat, więc były one równoważne.
Nie ma znaczenia, że słyszysz, że są one prawie równe pod względem wartości bycia w każdym z tych stanów.
Ale teraz niespodziewanie ta randka jest prawie dwukrotnie lepsza od tej po prostu dlatego, że tutaj, jeśli idziesz prosto
do niej, idziesz tam, gdzie chcesz iść.
Wiesz, jakie są konsekwencje losowości, że po prostu tu zostajesz.
Tutaj jedną z konsekwencji jest 10-procentowa szansa, że trafisz do dołu.
Jak widać, nie jest to już tak dobry stan po prostu z powodu czegoś, co może
się zdarzyć.
Jak widać, ta jest również bardzo zła, ponieważ jest tak zła, jak ta pod względem tego, że masz tylko 10 procent
szans na trafienie w pit i 10 procent szans na trafienie w mur.
Ale w tym samym czasie jest czynnik dyskontowy. Przede wszystkim czynnik dyskontowy, a także po tym
trzeba się tu udać.
A nawet gdybyś tu hipotetycznie poszedł, mógłbyś znowu znaleźć się w dole.
Więc ta szansa również byłaby brana pod uwagę, ponieważ pamiętajmy, że te wartości pochodzą z
tej wartości, a ta wartość pochodzi z tej wartości.
Dobrze.
I dlatego jest mały, ale w rzeczywistości to, co powiedziałem, było złe.
Ta wartość nie pochodzi z Fed.
Jeśli więc rzucisz okiem teraz, zauważysz, że ta wartość jest większa niż ta.
Zauważysz, że dla agenta lepiej iść tą drogą niż ta i ma to sens.
Ponieważ w ten sposób go nie traci, nie ma szans na wejście do dołu.
Tak jest nieco dłuższy, a zatem współczynnik dyskontowania ma większy wpływ.
Ale w tym samym czasie, ponieważ istnieje szansa na dostanie się do dołu, jeśli pójdzie
prosto, będzie szansa na podskoczenie.
Więc trzeba trochę czasu, aby się rozejrzeć i po prostu obejść, ponieważ w ten sposób jest znacznie mniejsza szansa na
to. Ale wciąż jest.
Stamtąd idzie dalej.
Może potencjalnie dostać się do dołu, ponieważ może się tam skończyć i to może skończyć się rachunkiem.
Niemniej jednak jest to mniejsza szansa, więc tak dalej będzie.
Tak bardzo interesujące, aby zobaczyć, jak one wszystkie się zmieniają, pamiętajcie, że poprzednio stąd musielibyście tak pojechać.
Stąd tak byś poszedł i stąd właśnie tak.
A teraz nagle widać jego zmianę.
Rzućmy strzałami i zobaczmy jak teraz wygląda i voila.
Widzisz nawet bardziej przypadkową rzecz.
Więc tak, to prawda.
Ale spójrz, co tu się stało.
Patrz na to.
Oczekiwałeś tego.
To coś, co zdecydowanie lubię, kiedy zobaczyłem ten pierwszy raz, kiedy byłem pod dużym wrażeniem.
Nie byłem super, nie byłem zaskoczony i nie spodziewałem się tego w ogóle.
I to jest twój przykład, kiedy potrafię przechytrzyć człowieka.
To brzmi jak coś, co złapałeś, nawet gdybyś mógł przewidzieć, ale ja poprzez egzekwowanie uczenia się pamiętam,
że przykład psów może czasami działać lepiej niż normalne prawdziwe życie.
Psy to zaprogramowane psy robotów mogą grać w piłkę nożną tylko dlatego, że wymyślają te pomysły, których nawet my
nie widzimy.
I jako świetny przykład pewnie nie spodziewaliście się, że Azjaci zamiast iść
w górę, są jak ja.
Tak jakbym wstał, to istnieje 10 procent szans, że wskoczę do dołu.
Ale co to oznacza, wchodząc na wojnę.
Cóż, 80 procent czasu będzie spadać i pozostać w stanie.
Ale 10 procent czasu będzie tu i 10 procent czasu będę tu.
Tak więc nagle widać, że teraz jest to nowe podejście do skakania w ścianę.
Jest zero procent szans, że trafi do ognia, ale z tego miejsca tak.
Wygląda na to, że tak naprawdę nie chce się wchodzić do ognia, więc parę razy pod wpływem
narkotyków wbija się je w ścianę, a potem w pewnym momencie pójdzie w prawo lub w lewo, bo przypadek ma się stać.
I tak nauczyło się, że poprzez eksperymenty nauczyły się, że OK, kiedy idę do przodu, wyniki nie są tak dobre,
jak kiedy idę do ściany.
A jeśli o tym pomyślisz, to tak.
Ten robot, jeśli myślisz o tym, to jest palenisko, to jest to, że jest tak, jakby kwadrat
był jak maleńka półka, a potem jest jak góra jak klif.
A ten robot po prostu przytula się do urwiska i tak jak próbuje czekać, aż popycha się w prawo lub w lewo,
ponieważ podobnie jak człowiek, prawdopodobnie robisz to samo, w przeciwnym razie nie będziesz stał w tym kierunku, albo
będziesz przytulać się do urwiska w prawo.
Czy jakoś tak.
I mam nadzieję, że wiesz, że musimy skończyć, nigdy nie kończymy w takich sytuacjach.
Ale jak wizualnie wizualnie, jeśli myślisz o czymś tutaj.
I to jest bardzo intensywne, prawda.
Żeby AI wpadła na ten pomysł i to tutaj, to jest coś w rodzaju odejścia, a Riskin wchodzi w bójkę, ale
ja po prostu spróbuję kule ze ściany, tak jak wiesz, przytulaj ścianę, próbuj skoczyć do ściany
i w pewnym momencie wiem, że wiesz, że istnieje prawdopodobieństwo, że za każdym razem, gdy to zrobię, prawdopodobieństwo wynosi
10 procent, i coś się wydarzy, a ja skończę tutaj i będę bezpieczny,
a ja po prostu Idź tak.
Tak bardzo interesujące podejście, które podjęli tutaj i możecie zobaczyć trasy są takie, więc stąd może to pójść w prawo, a następnie
pójdzie w prawo do wyjścia lub tutaj lub w lewo w ten sposób.
I tutaj w pewnym momencie pójdziemy w lewo i znowu tak pójdziemy.
To jest ważne.
Nie jestem polityką, więc nawet jeśli skacze stąd, to będzie tutaj.
Może A potem stąd może padać prosto.
To może w rzeczywistości wrócić na prawo, a potem stąd, a ja pozwolę mi to naprawić.
Jest wiele różnych opcji dla facetów, którzy mogą nie podążać dokładnie za tym handlarzem żelazem w inny
sposób.
To tylko pożądane trasy, które zostały zaprojektowane dla siebie.
Ale sposób, w jaki to się uda, może być inny.
To zależy od prawdziwego świata.
Więc idziemy.
To świat sztucznej inteligencji.
Taka jest polityka wobec planu i mam nadzieję, że powoli zaczynasz się ekscytować tym, co sztuczna inteligencja
może zrobić, szczególnie biorąc pod uwagę to, co widzieliśmy tutaj.
Są to bardzo wirtuozowskie decyzje, które wymyślają AI.
A jak widzisz, kiedy grasz w AI nawet z tego małego przykładu, możesz
zauważyć, że nawet kiedy grasz w prawdziwym świecie, może wymyślisz pomysły i decyzje, które nawet czasami mogą wymyślić ludzie.
Dokładnie tak, jak w tych grach, w których gol Google
Alpha grał w porównaniu z mistrzem Lisa idoli w Korei w mistrzostwach świata.
A oni grali w Korei z powrotem na bakla w 2016 roku, myślę, że jest marzec 2016.
Wyszło kilka ruchów, których ludzie nigdy nie grali od 3000 lat, a ludzie nie byli przyzwyczajeni do grania.
I to właśnie jest tego przykładem.
Więc jeszcze raz mam nadzieję, że ekscytujecie się i pompujecie dyskurs i to, co możemy zintegrować.
I szukam tego.
Do zobaczenia następnym razem.
Do tego czasu ciesz się.
JA.