Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
I w końcu jesteśmy na dobrej zabawie, na której uczymy się głębiej.
W porządku, więc spójrzmy.
Bruce mówiliśmy o zabójczym zarabianiu i o co w tym wszystkim chodzi.
I dowiedzieliśmy się o środowisku Agent i o tym, jak agent będzie patrzył na stan.
Lub ona jest w akcji, a otrzymasz nagrodę.
Wejdź w nowy stan i na podstawie tej pętli zwrotnej będą kontynuować działania, a oni się z
tego nauczą.
Dowiedz się, jakie są najlepsze działania.
I tak spojrzeliśmy na ten podstawowy przykład labiryntu.
Zrozumieliśmy, że jako środowisko odkrywające w Azji rozumie, czym są wartości państw.
Następnie przestaliśmy zajmować się wartościami stanów, aby radzić sobie z wartościami
działań z wartościami, a następnie z A-Basin, że rozumiemy, jak działają plany w środowiskach nie sarkazmowych i jak
zasady działają w środowiskach stochastycznych, a to jest przykład polityki.
To jest krótkie podsumowanie wszystkiego, o czym rozmawialiśmy podczas podstawowego uczenia się.
A teraz przyjrzyjmy się, jak można to osiągnąć na wyższy poziom poprzez głębokie uczenie się poprzez dogłębne
uczenie się.
DOBRZE.
Więc to jest nasze środowisko i to, co teraz zrobimy, to dodamy zamiast zwykłych
podstawowych obliczeń w tej macierzy, która jest dość prosta.
Zamierzamy dodać dwie osie, które dodają oś x i y lub określimy je jako
x1 i x2.
Tylko po to, aby sprawy były jeszcze bardziej ogólne.
I tutaj mamy liczbę rzeczywistą w wierszu kolumny 1 2 trzy 4 on będzie rządził liczbą wierszy od 1 do 3.
I tak teraz każdy stan można opisać za pomocą pary dwóch wartości x1 i x2, więc każdy z
tych kwadratów, w których agent może być obecny, można opisać za pomocą x1 x2.
Na przykład teraz jest na kwadracie z X1 równym 1, a x 2 równym 2.
I dlatego nie jest to sposób, w jaki możemy uciec w twoim kwadratowym znaczeniu, które możemy opisać w twoim stanie.
Oczywiście jest to bardzo uproszczona wersja środowiska opisu państw.
Ale mimo to działa w tym przypadku.
Oznacza to, że teraz możemy zasilić te stany w sieć neuronową.
A przy okazji, chciałbym tylko wspomnieć, że na końcu kursu dobrych załączników
mamy x numer jeden i wygłupy i dwa, aby pomyślnie przejść do tej sekcji.
Bardzo wskazane jest sprawdzenie, czy nie jest dostępny taki, który znajduje się na sztucznej
sieci neuronowej, abyś zrozumiał, jak działają, abyśmy nie musieli się w to zagłębiać,
i możemy wykorzystać korzyści płynące z wiedzy o tym, jak działają sztuczne sieci neuronowe i tak przekazujemy
tę informację na stan do sieci neuronowej, a następnie przetwarza te informacje X1 i X2 w zależności od struktury sieci neuronowej,
może mieć wiele ukrytych warstw i tak dalej.
Jest to coś, o czym dowiesz się w praktycznych tutorialach, ale na końcu skonstruujemy
w taki sposób, że wypluje wartości, a te cztery wartości będą faktycznie naszą wartością Q.
Tak więc wartości, które określają, jakie działania należy podjąć, a które nie w tym samouczku, zobaczą dokładnie, w jaki sposób
te kluczowe wartości są wykorzystywane do decydowania o tym, jakie działania zostaną podjęte.
Ale głównym punktem jest to, że nie patrzymy już tylko na ten labirynt z perspektywy uczenia się.
Teraz bierzemy stany labiryntu i karmimy je w głęboką sieć neuronową, aby uzyskać te
kabiny i.
Pod koniec dnia nadal będziemy wymyślać akcję, w której nadal będziemy
wiedzieli, jakie działania musimy podjąć, i omówimy to wszystko bardziej szczegółowo, ale teraz pytanie brzmi:
dlaczego są robimy to wszystko, dlatego nazwaliśmy to.
Po co to sprawia, że rzeczy są o wiele bardziej skomplikowane, kiedy to początkowe podejście do nauki działało
już dobrze.
Powodem tego jest fakt, że nauka działała w tym bardzo uproszczonym środowisku i nadal
zajmujemy się tym bardzo uproszczonym środowiskiem, aby lepiej zrozumieć pojęcia.
Ale jednocześnie proste nauczanie Kial nie będzie już działało w bardziej złożonych środowiskach i rozmawiamy
na przykład o samochodach, które będą samokonujące, które będą tworzyć lub grać Doom, gdy sztuczna
inteligencja będzie grała Doom lub inne gry Atari, takie jak breakout lub nawet samozasilające się
samochody i bardziej zaawansowane uczenie się wzmacniania, takie jak chodzenie po robotach i wykonywanie czynności we wszystkich tych
przypadkach, w zasadzie nauka jest niewystarczająca, nie jest mocna, nie jest wystarczająco mocna,
aby móc sprostać tym wyzwaniom.
I tak, jak widzieliśmy w kursie głębokiego uczenia się, jeśli byłeś w naszej dyscyplinie lub zrobiłeś sekcje załącznika
na x numer jeden i X-2, gdzie wiesz, że głębokie uczenie się jest o wiele lepsze niż każdy
rodzaj uczenia maszynowego, nie mówiąc już o prostej, fajnej nauce.
Właśnie dlatego wykorzystujemy tu moc głębokiego uczenia się, więc karmimy się
informacją o środowisku jako wektorem wartości.
W tym przypadku wystarczy użyć w głębokiej sieci neuronowej, a następnie używamy jej do wykonywania działań, które chcemy
podjąć, aby zdecydować, które działania będą podejmowane przez agentów.
To trochę jak ogólny przegląd tego, dlaczego to robimy.
A teraz przyjrzyjmy się dokładniej temu, co dzieje się z koncepcją fajnego uczenia się,
kiedy przenosimy się, kiedy dokonujemy transformacji lub przechodzimy od prostego uczenia się do głębokiego Killary.
Tak jak widzieliście w poprzednich tutorialach intuicyjnych, mieliśmy taki slajd, który jest podstawą uczenia się
różnic czasowych.
To jest formuła na różnicę czasową i zasadniczo Więc przejdźmy.
Więc w zasadzie mieliśmy agenta, który był tutaj w tym stanie, co oznaczono niebieską strzałką.
I zrozumieliśmy, jak działa różnica czasowa dla tej wartości, na przykład idącej w górę.
Więc to, co tu zobaczyliśmy, było wcześniej, niż w prostym Killary, a nie w głębokim uczeniu się w prostym
zabójcy.
To, co widzieliśmy, było przed tym, jak agent miał kolejną wartość barwy, której nauczył się o tym
działaniu.
I wtedy postanowił pójść na górę.
Zaraz po tym, jak podejmuje swoje działanie, otrzymuje nagrodę za podjęcie tej akcji w tym stanie.
I to jest nagroda, a teraz może ocenić wartość obecnego stanu, w którym jest
maksimum wszystkich nowych wartości q wszystkich sześcianów nowych działań, które może podjąć w nowym stanie
jako druk i odczyt pomnożony przez współczynnik DK gammy.
Tak więc jest to w gruncie rzeczy nowa wartość kostki lub rodzaj empirycznej wartości kostki, którą właśnie otrzymał
w celu wykonania tej akcji.
A najlepiej te dwie dwójki powinny być takie same.
Zatem faktycznie wartość Q, którą miał w swojej pamięci na temat tego działania w tym
stanie, powinna być równa rzeczywistej nagrodzie, a wartość gamma pomnożyć wartość stanu, w którym znalazł się.
I dlatego tak obliczamy czasową różnicę, którą bierzemy za to, co jest po
minusie, co dostał, co miał na myśli, czego się spodziewał.
Odejmowałbyś jeden od drugiego.
To jest różnica czasowa.
Następnie wykorzystujesz swoją szybkość uczenia się Alfa, aby dopasować wartość q swoją nową wartość q poprzez różnicę czasową,
ale ze współczynnikiem Alpha.
Taka jest esencja prostej nauki.
Zobaczmy teraz, jak się zmienia w głębokim Killary, więc nadal będziemy pracować nad
slajdem, ale zobaczymy dokładnie, co się dzieje.
Tak więc w głębokiej nauce sieć neuronowa będzie przewidywać dla Valisa, jak widzieliśmy w poprzednim i jak
zobaczymy.
Donna Citronelle, sieć neuronowa będzie przewidywać wartości lub może przewidzieć więcej wartości większej liczby
możliwych akcji w danym stanie.
Ale w tym przypadku wiemy, że pozostały tylko cztery czynności do zrobienia.
Tak więc sieć neuronowa przewiduje cztery z tych wartości, więc nie będzie końca w sytuacji głębokiego uczenia się, ważne jest
to, że nie ma przed ani po.
I w ten sposób dowiemy się o tym nieco lepiej.
Tak więc sieć neuronowa będzie przewidywać cztery z tych wartości i będzie porównywać nie do
tego, co będzie później, ale sieć neuronowa porówna się z tą dokładną wartością, ale była to wartość, która
została obliczona w poprzednim kroku.
Tak więc w poprzednim czasie, gdy agent był w tym dokładnie kwadracie.
Powiedzmy, że nie wiem, że jakiś czas temu agent był znowu w tym samym
kwadracie, i to jest obliczane wcześniej.
Wcześniej więc dawno temu agent obliczył tę wartość, a agenci zapisali tę wartość
na przyszłość, a teraz przyszła przyszłość.
Teraz znowu jest na placu, a teraz ma te wartości sześcianu, które są przepowiedziane, a jeden
z nich jest dla czterech.
Teraz więc zamierza porównać przewidywaną wartość Q z tą wartością, którą zapisał z poprzedniego kroku
i dokładnie zrozumie, dlaczego jest to ważne, więc po prostu ważne, aby
zrozumieć tutaj.
Nie ma żadnego oficera na tym konkretnym polu w tym konkretnym czasie.
Przyjmujemy wartość Q, którą on przewidywał, wykorzystując tym razem sieć neuronową i porównujemy ją do
tej wartości, którą miał od czasu poprzedniego, od poprzedniego czasu, kiedy znajdował się na tym polu,
oceniając całą sytuację i wiesz, jak poprzedni czas faktycznie wykonał tę akcję.
Więc idziemy.
Teraz przyjrzyjmy się, jak to wszystko działa w sieci neuronowej i dlaczego.
Dlaczego tak jest, bo wiem, że teraz brzmi to nieco skomplikowanie, ale za sekundę podzielimy je na
proste terminy.
Tak więc w sieci, którą karmimy w stanach środowiska, sieć neuronowa
przechodzi przez ukryte warstwy, które wychodzi z tymi wyjściami Q1 Q2 Q3 Q4.
W tym konkretnym stanie są to wartości kostek, które sieć neuronowa przewiduje dla możliwych działań.
To są kumulacje.
Tak więc wydajemy się celować i cele te istnieją dokładnie, więc jeśli wrócimy, to jest cel,
więc to jest wartość, która została przewidziana.
A potem, ale także wiemy, że mamy cel od ostatniego razu, kiedy byliśmy na placu.
Mamy cel dla tej samej akcji, która jest na przykład.
Tutaj mamy cel, a porównamy porównujemy Q1 z tym celem porównujemy Q2
z tym celem do celu, który mieliśmy z poprzedniego Q3 w porównaniu z docelowym Q4 w stosunku do celu.
I to jest właśnie ta część, w której sieć neuronowa lub agent obecnie uczy się poprzez głębokie uczenie
się, jak lepiej przejść.
A kluczową kwestią jest to, że wciąż stosujemy fajne uczenie się, ale odpowiedź na pytania jest prosta: uczysz się
przez czasowe różnice, które są dość proste, o których już wcześniej mówiliśmy
i dobrze wiemy, dlaczego nie.
Ale jednocześnie w głębokim uczeniu się, w jaki sposób sieci neuronowe uczą się sieci neuronowych, ucz się poprzez
dostosowanie wagi.
Musimy więc dostosować koncepcje zbrojenia do pojęcia prostego uczenia się zabijania, tak jak faktycznie działają
sieci neuronowe.
A to przez aktualizację ich ciężarów.
Dlatego właśnie próbujemy zrozumieć, w jaki sposób dostosowujemy
koncepcję różnic czasowych do własnej sieci, abyśmy mogli wykorzystać pełną moc sieci neuronowych.
Do tej pory dostaliśmy to, więc wchodzimy w stan naszego środowiska tutaj, gdy wektor przechodzi przez sieć neuronową
otrzymujemy prognozy kluczowych wartości, a następnie od poprzedniego czasu, gdy agent był w tym stanie.
Mamy nowy cel, do którego należy skierować jeden dwa trzy i cztery dla każdego z tych działań.
A więc teraz zamierzamy.
OK, porównajmy każdy z każdym.
Stąd staje się bardzo proste, jeśli masz dość prędkości z sieciami neuronowymi.
Znowu to na Anaksie.
Numer jeden, będziemy obliczyć stratę, która jest tutaj i zamierzamy być q celem tego minus
Q minus ten.
Zamierzamy to ukończyć, więc różnica kwadratowa każdego z nich i zamierzamy je
podsumować.
Więc bierzemy sumę kwadratów różnic tych wartości i ich celów, a my je wyślemy
i to będzie strata.
Idealnie, tak jak w przypadku różnic czasowych uczenie się, więc jeśli wrócimy na
chwilę pamiętajmy, że powiedzieliśmy Idealnie chcemy, aby to było równe, więc chcemy, żeby różnica czasowa
była zerowa, to znaczy, że to znaczy, że agent jest przewidywanie dokładnie tego, co wiesz, że wartość Q
jest taka, że agent przewiduje dokładnie to, co ma, a pamięć jest dokładnie opisowa dla środowiska,
a zatem agent nigdy nie będzie w stanie prawidłowo ocenić środowiska.
Nie ma niespodzianek, nie ma nie ma s. a tak długo, jak różnica czasowa jest pilotem wysoce pozytywnym
lub wysoce negatywnym.
A potem mamy niespodzianki.
Ale jeśli ogólne różnice są zerowe, to zna on tak dobrze środowisko, że
może przewidzieć, co się dzieje, a może i dlatego jego polityka będzie bardzo dobra i będzie mógł nawigować.
Więc tu.
To samo, więc chcemy, aby to prawo było tak bliskie zeru, jak przypuszczam, jak najmniejsze.
I właśnie dlatego teraz idziemy do tej części, w której zamierzamy wykorzystać prawdziwą prawdziwą moc sieci neuronowej, więc
weźmiemy tę stratę i będziemy używać propagacji wstecznej lub będziemy trzymać się jako
pochylenie gradientu aby wziąć tę stratę i przekazać ją przez sieć z powrotem lub w tył propagowaną przez
sieć i przez rzucenie wielkiej i przyzwoitej daty wagi.
Wszystkie te wzmianki w sieci, aby następnym razem przejść przez tę sieć, tak jak jest to już nieco lepiej opisujące
środowisko i to jest dokładnie to, czym jesteśmy.
Tak więc, jeśli wrócisz, to wyliczone są straty Kalka i domyślny propagator dla sieci, w której wagi
są aktualizowane.
Następnym razem, gdy tu dojdziemy, dzieje się to raz po raz, dzieje się to znowu, i tak
dalej, i tak dalej, i tak się dzieje. W ten sposób ten agent uczy się lub w zasadzie
teraz sieć neuronowa, która jest mózgiem agenta, staje się coraz bardziej bardziej opisowe dla środowiska, a zatem agent jest w
stanie poruszać się po środowisku.
Kiedy mówimy, że środowisko opisowe zasadniczo oznacza, że kiedy umieszczamy w stanach środowiska, w
których znajduje się ten agent, jesteśmy bardziej skłonni zbliżyć się do rzeczywistych wartości cue i dzieje się tak, ponieważ
wartości kostki, które chcemy znaleźć, są właściwe działanie i tak się dzieje,
ponieważ te nowe cele są w rzeczywistości wyprowadzane empirycznie, więc każdego dnia znajduje słodkie cele.
Tak naprawdę to jest, więc on faktycznie obserwuje.
OK, kiedy raz zrobię ten krok, jaką nagrodę otrzymam.
A jakie są wartości tego stanu.
To samo, co wcześniej widzieliśmy w nauce Q i prostej intuicji uczenia się.
Dowiaduje się o tym przez próbę i błąd, a następnie konstruuje swoją sieć lub
w taki sposób, że przewidywane wartości są bliskie i bliskie.
Doskonałość tego celu.
Wartości Q są bardzo podobne do pojęcia, które omówiliśmy tutaj w prostym uczeniu się różnic
czasowych prostego algorytmu uczenia umiejętności.
Więc idź.
Tak się uczy agent.
Więc jesteśmy tutaj.
I to jest część ucząca.