Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
W dzisiejszej historii mówimy o finale a w 3C.
Mówimy o przewadze.
Więc tak jest.
Już wcześniej mówiliśmy o krytyku aktorskim i synchronicznym.
W ten sposób zbudował drogę do tego, na co dziś patrzymy iz przewagą, którą
zamierzamy połączyć.
Tak więc do tej pory mamy sieć neuronową, która jest dzielona między agentami agentów asynchronicznych, a następnie
mamy krytyka, który jest również dzielony między wiekiem i tak.
Jak to wszystko się dzieje i dlaczego ten krytyk dzieli się między agentami.
Rzućmy okiem na to.
Dobrze rozumiemy, lepiej przyjrzymy się przykładowi, na który zamierzamy spojrzeć na przykład na tego agenta i zobaczyć,
co się dzieje, gdy jest w określonym stanie i musi podjąć decyzję, jakie działania należy podjąć.
Więc ten agent znajduje się w stanie, w którym widzi ten obraz, a następnie, co dzieje się, ta informacja
trafia do sieci neuronowej, która trafia do legowiska splotowego, następnie trafia do legowiska gromadzącego,
następnie trafia do spłaszczającego się legowiska, a stamtąd przechodzi do ukryte warstwy
sieci neuronowej, a następnie jako wynik uzyskuje wszystkie te wartości polityki, które są wartościami.
A także dostaje wartość krytyka.
Ponieważ wiemy, że sieci neuronowe muszą działać, muszą propagować pewne błędy lub straty przez
sieć.
Tak więc, aby zaktualizować wagę, więc co czeka, a więc jakie straty będziemy tu rozwiązywać.
Cóż, mamy dwie straty.
Mamy utratę wartości i postals.
Strata wartości powiązana z wartościową stratą częściową jest powiązana z pulami i jest tak cenna.
Już wcześniej zajmowaliśmy się tym.
Wiemy, że mamy nagrody i wiemy, że mamy czynnik rabatowy, więc w zasadzie jest to bardzo podobne
do tego, o czym mówiliśmy podczas konwersji w samouczkach do głębokiego uczenia się.
Zasadniczo sieć prognozuje pewną wartość V i jednocześnie możemy oszacować, co powinno być oparte na tym, co wiemy o środowisku, do
tej pory możemy oszacować, jaka powinna być wartość w stanie i porównując te dwie wartości,
możemy obliczyć wartość strata, a następnie sieć propagatorów wstecz aktualizują wagę.
A więc to jest ostrze dla nowej rzeczy tutaj jest utrata polisy.
A więc, co to jest utrata polityki i jak działa.
Cóż, to jest ta część, w której ostatecznie ujawni się cała ta sytuacja, w której krytyk
jest dzielony między aktorów lub między agentów.
Aby zrozumieć stratę palsu, musimy wprowadzić wartość o nazwie Advantage, stąd nazwa tej części
historii na całej tej części Salyuta przewagę i przewagę oblicza się jako Q
jako A minus V s.
Tak więc, w zasadzie, wartość Q lub wybrana do odtworzenia wszystkich akcji, które wybrałeś grać w stanie, w którym
jesteś w stanie S minus wartość tego stanu.
Taka jest różnica między tymi dwoma i to się nazywa.
A korzyść jest wykorzystywana przy obliczaniu pulsu.
Teraz nie weźmiemy pod uwagę formuły obliczeń beztapowych, ponieważ jest ona dość złożona, ponieważ używa entropii
lub można użyć entropii nie musi.
Nie będziemy analizować tej formuły, ale zamierzamy to zrozumieć na intuicyjnym poziomie.
Dlaczego to robimy, dlaczego obliczamy tę przewagę i w jaki sposób nam to pomoże.
Cóż, spójrzmy na to założenie na chwilę.
Wartość Q pochodzi tutaj z tego, co sieć neuronowa przewidziała dla tego agenta i dlatego jest przewidywalna w tej konkretnej akcji
w tym konkretnym stanie dla akcji, którą może grać, więc ma
te akcje i może przesuwać jedną z nich i może ją odtwarzać cóż, wartość Wii jest wartością dyktowaną przez
krytyka.
Jest to wartość, którą mamy tutaj w tej wspólnej części, i klucz do tego, że ta część jest
dzielona, więc krytyk ulega zerwaniu, ponieważ w ten sposób wchodzi kredyt.
Ponieważ mamy wybraną przez nas wartość lub akcję, którą wybierzemy dla tego agenta w tym
stanie.
Ale wtedy krytyk może nam powiedzieć, jaka jest znana wartość tego stanu, co jest ogólnie znaną wartością dla całej grupy
agentów, którzy występują razem, ponieważ ich dzielenie się nie odpowiada, ponieważ początkowe B, ponieważ dzielą krytykę wszyscy
oni przyczyniają się do tego do tych wartości v, które są obliczane dla innego
zestawu, a więc całego a. z algorytmem mówi OK.
Tak więc krytyk zna wartość v, o ile lepsza jest twoja wartość q, którą wybierasz w porównaniu do znanej
wartości v.
Tak to mówi.
Więc to w zasadzie to.
Tak więc wybieram tutaj wartość q opartą na mojej mojej polityce opartej na tym, czy cokolwiek używamy jak funkcję
maksimum miękkiego, czy na zasadzie Epsilon Grealy lub coś podobnego.
I oczywiście będziemy tam razem eksplorować plus eksploatację, ale wybraliśmy wartość Q, a
teraz pytanie brzmi: co to jest dodatek.
Co to zbeształo, co jest zaletą, jaką daje ci wybrane działanie w porównaniu ze znaną wartością tego
stanu i która jest istotą przewagi, a w zasadzie to, co jest używane do obliczenia utraty polityki,
a następnie utrata polityki jest następnie propagowana z powrotem przez powrót do sieci.
Oboje są więc z powrotem propagowani przez sieć, a wagi są korygowane, aby sieć
lepiej reprezentowała wartość krytyka, a więc jest to najważniejsza część.
Ale to także część klucza tutaj jest to, że wartość wag to bakra.
Kiedy to biuro pocztowe z powrotem zapomni, że stawki są dostosowane w taki sposób, aby ta
przewaga została zmaksymalizowana, tak jak to jest intuicyjna strona intuicyjnego zrozumienia
tego, że wracamy do tej zasady przez sieć w celu maksymalizacji ta zaleta.
Oznacza to, że gdy agent napotka złe działania, takie jak akcje, w których wartości
q są mniejsze od znanej wartości dla stanu.
Więc zasadniczo cały algorytm ATC wie, że wartość dla stanu jest czymś X, a potem nagle natknąłeś się
na bardzo złą akcję, a ty i zrobiłeś to, co wybrałeś w akcji.
A co to oznacza dla entuzjazmu, to dobrze, dlaczego mielibyśmy robić coś takiego, gdy jest gorzej,
niż to, co już wiemy o tym całym środowisku i co mogliśmy zrobić.
Więc nie powinniśmy robić tego więcej.
I dlatego ciężary są po prostu w pewnym sensie, więc zdarza się to rzadko.
A więc dzieje się to mniej rzadko.
To rzadsze zdarzenie, które wybieramy jako złe działanie.
Z drugiej strony, jeśli wybierzesz bardzo dobrą akcję, w której q wartość jest większa niż V
lub znacznie większa, to gdzie podczas tego zacofania polskiej straty przez sieć
wagi będą uaktualniane iw taki sposób, aby naprawdę wzmocnić to do Zachęcam do upewnienia się, że to się powtórzy, aby wagi zostały dostosowane
w taki sposób, aby algorytm atrezji pomyślał, że to naprawdę fajne, że Wantage
było tam bardzo wysokie.
Powinienem zrobić więcej tego i dlatego będziesz aktualizował wagi w taki sposób, który będzie bardziej prawdopodobny w
przyszłości w tym działaniu.
Tak więc, to znaczy, że wiecie, że sieć powoli powoli dostosowuje się i powoli ma zamiar skonstruować się
w coś, co z jednej strony oblicza wartość poprawnie, a następnie z drugiej strony lub tak
poprawne, jak to możliwe.
Z drugiej strony zachęca lub ma działania, które mają dużą przewagę.
Więc idziemy, to jest ta część.
A teraz spójrzmy na inny, aby wzmocnić to, co właśnie omówiliśmy na pierwszym miejscu.
To samo tutaj.
Najważniejsze agencje to sytuacja, w której państwo jest w stanie, a następnie musi zdecydować, co zrobić, ponieważ ta informacja
do sieci tego obrazu korzysta z Internetu, który odradza się do
splotu, ściągają spłaszczoną Lehre do ukrytych warstw, a stąd otrzymujemy wynik, otrzymujemy ostre wartości polityki,
otrzymujemy wartości V ponownie to samo, co mamy dwie straty.
Mamy stratę wartości, którą jest tutaj polska strata, czyli strata wartości.
Już wiemy, jak jest obliczane.
Kiedy rozmawialiśmy o tym w głębokim Q uczeniu się i właśnie dyskutowaliśmy właśnie teraz.
Tak więc obliczono wartość, a następnie ponownie polisę, aby obliczyć to, czego nie zamierzamy dla
niego zrobić.
Ale na poziomie intuicyjnym obliczamy tę przewagę, która jest w porządku, więc podjęliśmy pewną akcję, którą wybraliśmy w
oparciu o naszą politykę selekcji, czy jest to miękki Max, czy też sprzedajemy chciwość
lub jakąkolwiek inną politykę społeczną, której używamy.
A więc jaka była akcja, którą teraz zrobiliśmy Porównajmy ją ze znaną i wartością stanu, która pochodzi od wspólnych krytyków, więc ten
krytyk jest trochę podobny, jeśli myślisz o tym, że obserwujesz wszystkie te
czynniki w tym samym czasie, kiedy patrzysz w tym jednym spojrzeniu na ten jeden wszyscy
przyczyniają się do krytyki, aby krytycy bardziej przyspieszyli z otoczeniem, aby upewnić się, że
krytyk jest reprezentatywny dla tego, co dzieje się w rzeczywistym środowisku, tak aby wagi.
W tym miejscu dochodzi do utraty wartości, tak aby masy rzeczywistej sieci neuronowej
odzwierciedlały bardzo dobrze aktualną sytuację rzeczy w środowisku, aby mogły następnie polegać na tej wartości, a
następnie wykorzystać ją tutaj.
I tak w zasadzie.
Tak więc wszyscy z tych agentów przyczyniają się do tego krytyka.
Ale jednocześnie poprzez tę bezwartościowość, ale jednocześnie krytyk obserwuje decyzje
lub politykę tych agencji.
To tak, jakby to było jak przeglądanie tego, co próbuję narysować jak strzała do biegunów
i strzały.
Patrząc na nich z góry na decyzję, którą podejmują, krytykujecie te decyzje w ten
sposób i mówicie, że OK podjęliście decyzję, że wybraliście tę akcję.
To wspaniale.
Teraz obliczyć przewagę lub wadę rancha jest równa, wiesz, że wartość
Q może podjął decyzję, którą podjąłem, lub wybór, który podjąłem, że zdecydowałem się wziąć minus znaną wartość
do krytyka.
Nie o krytyku.
Tak więc Kalika różnica, jeśli jest to niska różnica, którą jesteś Polakiem, to wtedy, kiedy polerujesz swoje
straty, propagowane przez sieć w sposób, w jaki zostanie to skorygowane, zachęci wagę do
dostosowania w taki sposób, aby to się nie stało. ponownie, że ta wartość Q lub ta
wartość Q będzie niższa, dlatego, że nasza polityka wybiera akcje oparte na wartościach q, im wyższa wartość Q, tym większe prawdopodobieństwo,
że zostanie ona wybrana.
Więc jeśli używaliśmy zasady arc max, to po prostu zawsze wybieramy jeden z najwyższych, o ile
pamiętacie, że to omawialiśmy, wtedy zawsze wybieramy ten, który ma najwyższą wartość.
Ale faktycznie używaliśmy podejścia probabilistycznego, w którym używałem jak miękkiego Maxa lub w górę sprzedaży chciwej
polityki.
A potem w zasadzie wybieraliśmy, gdzie możemy wybrać dowolne z nich, ale im wyższy moduł, tym lepiej.
Jeśli więc wybraliśmy coś, a wtedy przewaga była bardzo niska to bombowa sieć zostanie
dodana w taki sposób, że następnym razem wartość tego określonego działania będzie mniejsza i może coś jeszcze
będzie więcej.
Tak więc to jest podzielone, az drugiej strony, jeśli wybierzemy coś, w czym ta przewaga będzie
wysoka, to będzie to podlegało prawom politycznym, a następnie sieciom i aktualizujemy je
tak, aby było to częściej obserwowane wydarzenie, takie jak scenariusz.
I tak w zasadzie cała ta polska strata pomaga sieci adaptować się lub zmieniać w taki sposób, w jaki robimy.
Morał z dobrych rzeczy dobrych dobrych uczynków i dobrych rzeczy i rób mniej złych rzeczy.
I w ten sposób te dwie straty wchodzą w grę i tak powracają.
Miejmy nadzieję, że oczyściły się w bardzo intuicyjny sposób, oczywiście nie weszliśmy w formułę do złożonej matematyki,
która kryje się za tym wszystkim i podoba się bardzo skomplikowanym szczegółom.
Ale jednocześnie mam nadzieję intuicyjnie w intuicyjny sposób.
Wszystko to wyjaśnia, dlaczego mamy aktora i krytyka oraz jak współdziałają ze sobą,
wiedząc, że masz te asynchroniczne lub synchroniczne strony.
W takim razie to jest twój aktor i krytyk, a to jest zaleta i jak to wszystko wchodzi w grę.
Są to więc czynniki synchroniczne.
Oni idą.
Grają to lub badają środowisko i pracują przez środowisko, a oni wszyscy
w sumie przyczyniają się do krytyki, która obserwuje ich politykę obserwowania aktorów, jak to się
nazywa.
A przez to, że widok, a przez to zbliżający się, powoduje stratę, a następnie utratę polisy i wartości
lub propagację wsteczną do samej sieci w celu.
Z jednej strony reprezentują prawdziwy sposób rzeczy w środowisku.
Kolejna ręka, aby poprawić występy aktorów.
Więc idziemy.
To jest krótkie podsumowanie intuicji, o której mówiliśmy.
Ponownie, mam nadzieję, że wszystko to będzie odbywało się na poziomie intuicyjnym i oczywiście w
praktycznych tutorialach. Porozmawiamy o tym, jak to wszystko działa w Atlancie, przeprowadzimy Cię przez ten proces właścicieli
budynków.
Ale mając ten obraz w umyśle i to jak coś w rodzaju mapy drogowej wszystkiego, w jaki
sposób się razem wzejdzie, powinno być, mam nadzieję, że będzie bardzo pomocne dla lepszego poruszania się po praktycznej
stronie rzeczy.
A jeśli chodzi o dodatkowe czytanie na dziś, mamy dwa elementy, więc pierwszy z nich ma przewagę.
Mamy tutaj wysokie ciągłe kontrolowanie demencji przy użyciu uogólnionego oszacowania przewagi przez Johna
Shulmana i jest to obraz postaci kija, która wstaje jak wstanie.
A tutaj możesz znaleźć jeszcze więcej o zaletach i zaletach, a znajdziesz wszystkie
różne zalety.
Masz ogólną przewagę w oszacowaniu i masz zalety, których używasz w formularzach w
obliczeniach, więc jeśli chcesz dowiedzieć się więcej o zaletach i jak
działa to formuły za nim i niektóre z nich górne górne elementy lub formuły i brak dziur w przestrzeni
tej przewagi.
Omówiliśmy je.
To jest artykuł, do którego należy przejść.
I jeszcze jeden element, o którym chcemy wspomnieć, jest blogiem serii postów na blogu Arthura Giulianiego,
o których wspominaliśmy już kilka razy.
Jest to część ósma, która dotyczy szczególnie morza A-3.
Tutaj możesz uzyskać dodatkowe wyjaśnienie.
Więc z odrobiną matematyki na temat tego, co się dzieje, a ty możesz stąd odebrać dodatkowe
rzeczy.
Tylko dwie rzeczy, o których należy pamiętać przede wszystkim, ponieważ zawsze ten blog jest obserwatorami intense, używamy pi
latarka.
Miej to na uwadze.
Drugą rzeczą jest to, że sposób, w jaki ustrukturyzowaliśmy nasze podejście, najpierw rozmawialiśmy o aktywnym krytyku, a
następnie mówiliśmy o synchronizacji.
A potem rozmawialiśmy o korzyściach, podczas gdy w pierwszych relacjach dziennika Arthura o Synchronossie aktor krytykuje przewagę, więc miej to
na uwadze, więc mam nadzieję, że to cię nie wyrzuci.
Ale poza tym oczywiście jest świetny kawałek treści.
I bardzo zalecamy sprawdzenie go pod kątem dodatkowych informacji.
Więc mamy nadzieję, że skorzystamy z dzisiejszego samouczka.
I nie mogę się doczekać, aby zobaczyć cię następnym razem.
Do tego czasu ciesz się.
JA.