Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Dzisiaj mówimy o kary żywej.
W porządku, więc mamy tutaj równanie Belmana i gdy przechodzimy ten kurs,
powoli stajemy się coraz bardziej złożeni, więc do tej pory dodaliśmy już te prawdopodobieństwa.
A także dodaliśmy współczynnik dyskontowania.
Teraz przyjrzymy się bardziej szczegółowo po tej stronie pytania, w którym mamy teraz nagrodę.
Pamiętasz wcześniej, kiedy rozmawialiśmy o tym, jak działa uczenie się wzmacniające, powiedzieliśmy, że mamy
agenta, który wykonuje działania w środowisku i w wymianie, albo w wyniku czego otrzymuje nowy stan,
który jest teraz dostępny i nagrodę za to działanie.
Jak na razie w naszym przykładzie otrzymujemy nagrody tylko na samym końcu, jeśli dojdziemy do mety
lub jeśli agenci znajdą się w ognisku, dostaje on jedną lub minus jedną nagrodę.
Jest to jednak bardzo uproszczone podejście do uczenia się o wzmocnienie i bardziej realistyczne scenariusze, które zapewne zapewnią nagrody podczas
całej podróży, nie tylko na samym końcu, na którym możesz otrzymać nagrody w trakcie podróży.
Na przykład, jeśli jest to sztuczna inteligencja grająca w grę i jeśli na przykład to jak strzelanie do kogoś w
zagładę, może otrzymać punkty za zabicie tego wroga lub inną grę.
Jeśli wyprzedzi inny samochód lub coś podobnego tylko ze względu na zasady gry, nie
ze względu na sposób analizowania gry, ale w rzeczywistości gra jest tak skonstruowana, że wzmacnia jej punkty za
wykonywanie określonych czynności jeszcze przed rozpoczęciem gry. koniec.
Tak więc takie Sinatras są bardzo popularne, nie tylko w grach, ale także w prawdziwym życiu i
dlatego zamierzamy wprowadzić coś podobnego do naszego przykładu, uproszczoną wersję tego, ale jednak nagrodę,
która jest nieustannie przekazywana agentowi przez całą grę nie tylko na końcu i sposobem, w jaki
zamierzamy to zrobić, to patrząc na inne płytki.
Tak więc teraz mamy tylko nagrodę plus jedną przy końcowej płytce i nagrodę minus 1 przy drugiej
końcowej płytce w palenisku.
Ale teraz będziemy dodawać nagrody za każdym razem.
Dodamy bardzo małą nagrodę będzie minus 0. 04.
A jak widzisz, jest to ujemne, więc za każdym razem, gdy agent się porusza, otrzyma negatywną nagrodę i to jest
to, co nazywa się żywą karą, ponieważ bez względu na to, gdzie pójdzie, zawsze otrzyma tę negatywną nagrodę,
z wyjątkiem końcowych płytek, ponieważ to koniec gra.
I tak możesz zobaczyć nagrodę nawet na tym kafelku jest szaleństwo lub zagadka.
Ale to nie znaczy, że zaczyna od tej nagrody.
Otrzyma tylko tę nagrodę.
Ważne jest, aby pamiętać, że otrzymuje on nagrodę tylko wtedy, gdy wejdzie na kafelek, więc za każdym razem,
gdy obiecał akcję, którą podejmie, otrzyma tę nagrodę minus 0. 04, a potem wraca do tego stylu, dostanie inny
umysł i 0. 04 słowo.
Im dłużej chodzi, tym więcej nagromadza swoją negatywną nagrodę i dlatego jest dla niego zachętą do
zakończenia gry tak szybko, jak to możliwe.
Teraz przyjrzyjmy się, w jaki sposób nasza polityka lub polityka zmienią się w zależności
od tego, jaką ustawimy dla tej nagrody.
Oto cztery środowiska i w każdym z nich będziemy odkrywać inne.
Nie będziemy robić obliczeń.
Po prostu zamierzamy rzutować wyniki, a zobaczysz, że intuicyjnie mają one sens.
A więc mamy nagrodę za jakąkolwiek ofertę krokową za wejście w jakikolwiek stan.
Jest równa zero.
Podobnie jak to, co widzieliśmy wcześniej, nagrodą będzie 0 Mei. 0.
Za to, co właśnie zrobiliśmy, wiesz, że nagroda będzie wynosić minus 0. 5 lub poziom kary grzywny będzie mój, to
ogień otwarty, o tyle wyżej, że możesz zobaczyć je tutaj ponad 10 razy większe.
A oto żyjący Penhall będzie minus dwa.
Więc nawet więcej niż nagrody za skoki, a nawet mniej niż nagroda, że jesteś agentem dostaje się
do ognia.
Przyjrzyjmy się zatem, jak działania lub optymalna polityka przejścia tego środowiska ulegną zmianie w zależności
od tej nagrody.
To jest nasza oryginalna polityka.
A jak pamiętacie, mieliśmy dwie bardzo interesujące i nawet trochę dziwaczne decyzje agenta, ale
to ma sens, jeśli może żyć tak długo, jak mu się podoba.
Jeśli możesz po prostu podróżować tak długo, jak chce, nie ponosząc kary za pozostanie przy życiu
bardzo długo.
Dlaczego nie miałby po prostu wejść w kąt w ścianę i po prostu dalej to robić, dopóki to się nie
stanie.
Tak się składa, że idzie tą drogą, a potem będzie chodził.
I tu jest o wiele bezpieczniej wskoczyć do ściany mając nadzieję, że jeden z
nich ostatecznie się pojawi, a potem i tak dojdzie do mety, ponieważ wybierając te dwa działania, nie ryzykuje
dostania się do ognia .
Zobaczmy teraz, co się stanie, jeśli dodamy nagrodę za negatywną nagrodę za bycie życiem za zrobienie kroku.
Przenieś się tutaj, możesz zobaczyć, że natychmiast te dwie zmienione.
Teraz agent nie chce wskoczyć do ściany.
Bardziej prawdopodobne jest, że zaryzykuje dostanie się do paleniska, mając 10 procent szans na skakanie, ale
będzie jeździł dalej, ponieważ za każdym razem, gdy przyjedzie tutaj, jeśli będzie robił to tutaj, za każdym razem,
gdy wskoczy do zdrowia, wykonuje akcję, którą kończy w tym stanie z 80-procentową
szansą.
A to oznacza, że masz 80 procent szans na otrzymanie minus 0. 04 nagroda oznacza, że przez
większość czasu będzie on zbierał tę negatywną nagrodę.
To samo, jeśli wskoczy do ściany, czekając na tę chwilę, kiedy zostanie losowo przesunięty
w prawo.
Jeśli nadal będzie to robił, to zgromadzi tę negatywną nagrodę, a wynik tego,
jeśli wykonasz obliczenia, przekonasz się, że wynik tej oczekiwanej wartości tego podejścia
skaczącego do ściany jest gorszy niż ryzyko pójścia do przodu. i faktycznie ląduje w palenisku.
Więc zmienia swoje decyzje w tych dwóch blokach, aby zamiast tego ruszyć naprzód, a tutaj przesuń się w lewo, nawet wiedząc, że
istnieje ryzyko pożaru w palenisku po prostu dlatego, że teraz im dłużej żyje, tym dłużej
będzie on akumulował tę żywą karę w następnym środowisku.
Teraz zwiększamy żywego Pounceya do nawet większej liczby Meinzer punkt pięć i zobaczmy, co się
tutaj zmienia.
Teraz możesz zobaczyć, że w porównaniu do tego środowiska.
Zmieniło się tylko to, że strzałka skierowana jest w prawo.
A to oznacza, że teraz nie jest to już dobra opcja dla agenta, a właściwie to te
wskazujące strzałki wskazują lewy i dyszy nos skierowany w górę.
Więc teraz nie jest już dobrym pomysłem, żeby agent odszedł stąd lub obejrzał go do końca, ponieważ jeśli pójdzie źle,
tak, tak, jest bezpieczny lub istnieje mniejsza szansa, że nie ma szans na
zdobycie paleniska.
Ale w tym samym czasie, albo będzie mniejsza szansa, że się wydarzy.
Ale jednocześnie będzie gromadził dość znaczną, negatywną nagrodę, gdy będzie chodził.
Więc to tylko ta ścieżka jest za długa.
Więc to zmusza go do tego, czy jest tutaj, czy tutaj, aby obrać krótszą trasę, nawet jeśli ma o wiele większe
ryzyko dostania się do paleniska, ponieważ gdy tylko znajdzie się na placu, ma 10 procent
szans na dotarcie do ognia .
Według jego obliczeń.
To tylko oczekiwana wartość tego podejścia jest lepsza niż oczekiwana wartość chodzenia po prostu dlatego,
że zwiększyliśmy tę żywą karę.
I w końcu dochodzimy do przykładu z karą śmierci minus dwa punkty zero.
Dlatego zachęcamy do opublikowania filmu, gdy zobaczysz, jak zmieniła się polityka, gdy zwiększymy
karę za ładowanie.
Zachęcam do zatrzymania filmu i samemu zastanowić się, co się stanie w tym scenariuszu.
Jak myślisz, jaka będzie optymalna polityka, że kara życia jest tak wysoka, więc wszystko to rzekome wideo,
jeśli chcesz.
A teraz zamierzam pokazać ci rozwiązanie, więc w tym przypadku, jeśli zwiększysz
karę do minus 2. 0 jest tak wysoko, pamiętaj, że kara tutaj jest tylko minus 1. 0 jest tak wysoki, że agent po prostu
chce wyjść z gry w jakikolwiek sposób, nawet jeśli jest to po prostu wskoczenie do ognia.
On to zrobi.
Będzie jak za każdym razem, gdy robię krok za każdym razem, gdy znajdę się w nowym stanie w
twoim stanie lub za każdym razem, gdy podejmę działanie, otrzymam nagrodę minus dwie.
Więc o co chodzi, żeby dojść do mety, jeśli stąd zrobię dwa dodatkowe kroki.
Po prostu pójdę tutaj, a potem prosto do paleniska, ponieważ
w ten sposób moja nagroda będzie mniejsza niż ujemna, będzie tak źle, jak w przypadku robienia dodatkowych
kroków, więc widzisz, że dodanie tego życia Nagroda i zależnie od wartości żywej nagrody, że
dodamy wyniki, będą różne.
Agent wybierze różne polityki, a to w zasadzie, w jaki sposób wartość nagrody może zostać włączona przez równanie
Belmonta, nawet gdy nie jest to tylko na mecie lub na końcu gry, ale
nawet w trakcie gry.
I znowu nie musi być na każdym pojedynczym stanie w zależności od
samego środowiska.
Może zostać przekazane agentowi w określonych stanach, nie w każdym stanie, ale w naszym uproszczonym przykładzie
używamy jedynie nagród w każdym danym stanie.
Aby zilustrować tę koncepcję, mam nadzieję, że podobał Ci się dzisiejszy samouczek.
Jak już widzimy, nasze równanie Belmana zostało już dość wyrafinowane i teraz można je zastosować do wielu różnych scenariuszy
i nie mogę się doczekać, aby zobaczyć je w następnym samouczku.
I do tej pory ciesz się I.