Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Dziś mówimy o pierwszej części A-3, zobacz część krytyka aktorów.
A więc dostaliśmy przewagę synchroniczną.
Krytyczny algorytm aktorski.
I będziemy mówić o tym, podkreślił Akrotiri.
Tam zaczniemy.
Technicznie można zacząć od dowolnego miejsca, ale o wiele bardziej sensowne
jest rozpoczęcie od krytyka, ponieważ w ten sposób będziemy bardzo konsekwentnie wyjaśniać intuicyjne rozumienie tego, co się dzieje, co
nam ułatwi.
Ale jeśli zaczniemy zaskakiwać jeszcze na końcu tej wady.
Jak dotąd, w tym kursie opracowaliśmy głębokie warunkowe nauczanie Kule'a, które jest tutaj ilustratorem, więc mamy
komputer, który widzi piksele, więc rzeczywisty obraz i piksele to nie tylko wektor.
Więc to nie jest oszustwo, że faktycznie widzi dokładnie to, co człowiek widzi,
widzi potwory, widzi zdrowie, widzi parametry na dole, widzi kartę lub widzi pistolet, to dokładnie to samo, co
człowiek zobaczyłby, grając w to gra.
Następnie obraz ten jest przesyłany przez splotowatą legowisko, a następnie przechodzi przez ciągnącą larę, spłaszcza się
i przechodzi w sieć neuronową, a następnie na wyjściu mamy akcje, które pamiętają, że mamy te wartości
kostki, a następnie stosujemy politykę wyboru akcji do nich.
Na przykład stosujemy miękkiego Maxa i dowiadujemy się, jakie działania chcemy podjąć.
Tak więc trwają poszukiwania i eksploatacja.
Istnieje połączenie tych dwóch.
Tak właśnie działa głębokie, splotowe, fajne uczenie się.
Ale teraz zobaczmy, co z tym zrobimy.
Więc dla uproszczenia, po prostu łatwiej nam z tym operować, ponieważ dostosujemy
ten obraz i poruszymy nim.
Zamieniamy kółka na kwadraty na te lub te prostokątne pudełka.
A my także pozbędziemy się tych linii i pomiędzy po prostu zmieniamy je na strzały, więc to
nie zmienia istoty.
To tylko reprezentacja na tym wykresie.
Nadal nawet ta reprezentacja jest nadal głęboko splotowa. Nauka Kule'a będzie dla
nas łatwiejsza do zmodyfikowania i pokazania, co to jest.
Tak właśnie będziemy tutaj reprezentować rzeczy.
I co zaczyna się lub co ta konkretna część.
Pamiętaj, że zaczynamy jak krok po kroku rozpoczynamy od aktywnej krytyki.
Zobaczymy, jak przejdziemy od głębokiego, kluczowego uczenia się Kule do A-3, krok po kroku i pierwszy krok, który zamierzamy
wprowadzić tutaj tego krytyka aktorów PARTOVI tutaj, więc porozmawiamy o tym.
Więc pierwszą rzeczą, która się wydarza, jest ten ostatni kawałek.
Wyjście jest tak, że właśnie tak przerysujemy to tak, że to dokładnie ten sam wynik,
dokładnie takie same wartości q to dokładnie ta sama akcja.
Jeśli więc miałbyś osiem możliwych akcji, nadal masz osiem możliwych akcji, które mają umieścić je na górze,
więc zajmują mniej miejsca, więc nic tak daleko nie zmieniło się tak daleko.
To i to jest dokładnie to samo.
Ale teraz jest to miejsce, w którym bierze udział aktywna krytyka.
Będziemy mieć drugie wyjście.
Będziemy mieć pierwszy jako zestaw wyjść i tutaj będziemy mieli oddzielne indywidualne wyniki,
więc technicznie będziemy używać naszej sieci neuronowej.
Więc raz na godzinę.
Albo obraz i wszystko jak wartości przechodzą przez sieć od lewej do prawej tutaj.
Nie wypluwają tylko jednego zestawu wartości, które wypluwają w rzeczywistości dwa zestawy.
Tak więc najlepsi powiedzieli, że naprawdę wiemy, jakie to możliwe, ale teraz będziemy mieli
kolejną dodatkową wartość, więc spójrzmy na to.
Jaka jest ta wartość.
Więc idziemy na szczyt.
Więc po prostu lubimy zmniejszać rozmiar tej ilustracji.
Najważniejsze dane wyjściowe to wartości kostek, o których mówiliśmy wcześniej dla działań.
Więc to jest to samo.
Wszystko jest takie samo.
Ale teraz ta dolna część i górna część jest rzeczywiście nazywana X lub zamierzamy
nadać jej nazwę, która jest aktorem, ponieważ jest to część, w której agent wybiera to, co chce, aby to
było tak, jakby działało to tak, jakby Występuje na scenie i będzie to miało więcej sensu, gdy będziemy mieć
również drugie imię na ekranie.
A następnie drugie wyjście jest jak jedna wartość, a jest to V S, więc jest to wartość stanu.
Więc jeśli q z S jest Q z A, jest wartością q pewnej akcji i jak widzisz, dlatego jest działanie jedna akcja, a druga akcja jest aż
do akcji szóstej lub wyższej, co oznacza, że akcje tam są prawdopodobnie w tym
stanie.
Tak więc w danym stanie s Jaka jest wartość q podjęcia działania, aby wykonać jedno działanie i tak dalej.
W tym miejscu przewidujemy również, że używamy sieci neuronowej do przewidywania, jaka jest wartość
sceny, na której się aktualnie znajdujemy, a ta część jest nazywana krytykiem.
I tak intuicyjne jest to, że nie jest w pełni intuicyjne, tak jak początek intuicji za aktorem
przewidują, że teraz są dwa wyjścia z sieci neuronowej, a nie tylko jeden.
P zanim po prostu mieliśmy ten w outbredu, który teraz nazywamy akcją.
Ale teraz mamy dwa wyjścia Akshary i krytyka.
I będzie między nimi dynamika, którą będziemy dalej badać.
Ale na razie ważne jest, aby zrozumieć, że przewidujemy nie tylko wartości działań, które agent może podjąć z
bieżącego stanu, ale także przewidują wartość bycia w tym stanie przy użyciu
tej samej, starej sieci.
To jest sedno pierwszego kroku do aktywnego krytyka.
A teraz będziemy musieli porozmawiać o synchronizacji, którą zrobimy w następnym tutorialu, aby dokładnie
zrozumieć, co się dzieje między obowiązkiem a ostatnią rzeczą na dzisiaj, jest to, że wszystkie te kluczowe wartości, które znamy,
są również nazywane Pulsami .
Więc w niektórych publikacjach na niektórych blogach i dyskusjach, które możesz znaleźć u aktywnego krytyka, możesz
znaleźć autora mówiącego o wartościach Cue po stronie aktora w niektórych innych publikacjach i na blogach oraz
w dyskusjach znajdziesz agrah autora Mówiąc o polityce tak i zazwyczaj używa się użytkownika
jak grecka litera P do reprezentowania polityki lub po prostu polityki państwa.
Tak więc jest to polityka państwa, ponieważ, jak pamiętamy, polityka polega na tym, że jeśli
wszystkie działania zostaną połączone razem, możliwe działania, a następnie podejmą decyzję o tym, jakie podjąć działania.
Tak więc będą one podobne do prawdopodobieństwa podjęcia każdego działania, więc jest to polityka.
Więc nie daj się wyrzucić, jeśli widzisz jedną lub drugą.
Zasadniczo oznaczają to samo.
Z jednej więc strony masz politykę lub wartości q, z drugiej strony masz
rzeczywistą wartość stanu i są one przewidywane z tego roku.
Tak więc początek aktywnego krytyka będzie kontynuowany w następnym samouczku, gdy
mówimy o synchronizacji i poszukaj tam.
Do tego czasu ciesz się.