Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Dzisiaj kontynuujemy naszą podróż do świata, co trzy widzimy, i mówimy o synchronicznej stronie
albo C, więc mamy nasz skrót przewagi synchronicznej.
Aktywny krytyk.
A dzisiaj dowiemy się, co oznacza synchronizacja w tym miejscu.
I wróćmy o krok.
Spójrzmy na to, co zaczęliśmy przez cały ten kurs, aby dowiedzieć się, co to jest, że azjatycki
jest w pewnym stanie.
Obserwują stan.
Podejmują określone decyzje, podejmując działania w tym stanie, a następnie państwo zostaje zmienione, aby wejść w nowy
stan i uzyskać nagrodę.
A więc nagroda za podjęcie tej akcji lub jakąś nagrodę, która może być karą, a skończy się w
nowym stanie.
W oparciu o to teraz podejmują kolejną akcję.
Dostają nagrodę i kończą w nowym stanie, podejmują kolejne działania i tak dalej, i to
jest podstawą całego uczenia się o wzmocnieniu.
Właśnie tego używamy w uczeniu się w głębokim uczeniu się i głębokim splataniu, uczymy się, a to
pozwoliło naszym agentom pokonać coraz bardziej złożone i bardziej złożone środowiska.
Ale teraz zamierzamy wprowadzić jeszcze lepszą koncepcję, a nawet osiągnąć ten jeszcze wyższy poziom.
To, co widzi A-3 poprzez ten element synchroniczny, zamiast atakować środowisko przez
jednego agenta.
Mają trzech agentów lub dowolną liczbę agentów lub kilku agentów atakujących to samo środowisko.
Kluczem jest to, że nazywa się to synchronizacją, ponieważ są one inicjowane inaczej, więc
ich gwiazdy są różne.
Na przykład, jak zobaczysz z praktycznych źródeł, ustaw losowy materiał siewny i ustawiasz go inaczej dla
każdego z agentów.
I tak, ponieważ ich punkty początkowe są różne.
Będą najpierw przechodzić przez środowiska na różne sposoby, a następnie będą eksplorować na różne sposoby,
a następnie w kolejnych iteracjach będą również eksplorować na różne sposoby.
I tak na przykład mamy trzech agentów.
Nagle uzyskujesz potrójne doświadczenie, a nie tylko jeden wiek,
przechodzenie i badanie środowiska oraz próbowanie zrozumienia, jak obsługiwać to środowisko.
Masz teraz trzy lub wiele z nich przechodzących i zdobywających to doświadczenie, tak aby
każdy z nich uczył się dla tego większego doświadczenia, a oprócz tego, że daje
szerszy zakres doświadczenia, zmniejsza także szanse jednego agenta utknięcie w lokalnym maksimum.
Na przykład, jeśli jeden z agentów znajdzie sposób na pokonanie środowiska, które nie jest najbardziej optymalne, ponieważ jeśli odejmie
lewe na prawo od tego rozwiązania, okaże się, że zawsze będzie wyglądało, że zostanie ukarany,
może utknąć w lokalnym maksimum.
Może dalej to robić, myśląc, że jest to optymalne rozwiązanie tam, gdzie tak naprawdę nie jest.
Cóż, prawdopodobieństwo, że kilku agentów utknie w tym samym lokalnym maksimum, zmniejsza się wraz ze wzrostem liczby agentów, więc
prawdopodobieństwo, że jeden agent utknie w pewnym lokalnym maksimum, może być wysokie,
ale może to być pewna wartość.
Ale prawdopodobieństwo, że trzy z nich wszystkich utknie w tym lokalnym maksimum
jest znacznie niższe.
I dopóki dzielą się doświadczeniami między sobą, mogą sobie wzajemnie pomagać, więc jeśli któryś z nich utknie, na przykład w
lokalnym maksimum i po prostu myśl, że to jest najlepsze i to najlepsze, które jest najlepszym rozwiązaniem
przez cały czas i wciąż to robi.
Dopóki współdziała on z innymi agentami Powiedzmy, że ten facet utknął w spokojnym
działaniu, dopóki współdziała z innymi agentami poprzez sposób, w jaki budujemy cały algorytm przez
komórkę, a oni mu pomogą.
Dadzą mu wiedzę, że tak naprawdę wiesz, że powinieneś to zbadać, bo prawdopodobnie
z tego wyjdzie.
A także ogólnie środowisko będzie wiedzieć, że hej, mimo że jest to wspaniałe maksimum, że te inne grupy wiekowe
widziały lepsze opcje i powinniśmy dalej je badać, ponieważ wygląda na to, że są lepsze opcje.
Tak więc w bardzo krótkim, szorstkim, intuicyjnym zrozumieniu jest to, że są to niektóre z
zalet posiadania synchronicznych agentów, więc masz więcej doświadczenia do wyboru i uczenia się.
Możesz dostać się do rozwiązania szybciej i ogólnie mówiąc, jeśli istnieje mniejsze
prawdopodobieństwo utknięcia w lokalnym maksimum CRN.
Zobaczmy więc, jak to wszystko się dzieje.
W tym modelu, który stworzyliśmy do tej pory, pamiętajcie, to jest to, do czego dotarliśmy tak daleko poprzez faktycznego krytyka
i to jest tak, jakbyśmy wszyscy drażniali się z tym, o ile pamiętasz od pierwszego do żółwia, który wprowadziliśmy
to wiesz, że mieliśmy to już nawet w głębokim oceanie.
Q learning's Więc właśnie nazwaliśmy X, ale teraz wprowadziliśmy krytykę, ale jak dotąd nie ma
sensu, jaki jest sens posiadania tego krytyka i mierzenia wartości stanu lub przewidywania wartości
sceny przy użyciu tego samego układu nerwowego? sieci lub takie samo podejście.
Ale teraz to jest to, że partner zacznie mieć więcej sensu.
Zamierzamy to powtórzyć, ponieważ teraz mamy wielu agentów, więc jeśli jest wielu agentów, to
właśnie tak wygląda.
Tak więc pierwszym sposobem na wyobrażenie sobie tego jest, że mamy te trzy dni dobrze pamiętamy, co mówiliśmy o nich dzieląc się
swoimi doświadczeniami między sobą.
Więc tak jest teraz, wszyscy są niezależni.
Masz jedną grę i inną niż grę w inną grę w grze.
To tak, jakby to było jak uruchomienie agenta na trzech różnych komputerach, w których umieszczasz trzy różne komputery obok
siebie i uruchamiasz je i wiesz, że to świetnie.
Jak naprawdę chcesz, dostaniesz więcej doświadczenia, dostaniesz więcej różnorodności, zwłaszcza jeśli zostaną
zainicjowane.
Możemy więc przypuszczać, że są one źle sformułowane, ale zawsze mamy
ten sam obraz.
Czy dowiemy się, że są one inicjowane inaczej, więc nie będzie
to jak identyczne szkolenie z tej gry.
Nawet jeśli zechcesz, umieścisz trzy komputery obok siebie
i uruchomisz je tak, będziesz miał więcej doświadczenia, ponieważ będziesz miał trzech agentów grających, a także będziesz
mieć większą różnorodność możliwych rozwiązań .
To prawda.
Problem polega jednak na tym, że nie dzielą się między sobą naszym doświadczeniem ani nie uczą się od siebie
nawzajem.
Więc nie mają takiej synergii.
Nie mają przewagi ani dodatkowej siły, którą otrzymywaliby, gdyby mieli komplementy.
Wiesz, jak masz, jeśli masz zespół ludzi, z którymi pracują lepiej niż każdy z nich osobno.
Tak jak w zespole, masz jeden plus jeden plus jeden.
To trzy, ale w zespole jeden plus jeden do odrodzenia, a nie trzy są jak trzy,
ponieważ wykorzystują swoje mocne strony i łagodzą słabości innych i to samo tutaj.
Więc jeśli umieścisz te dwa komputery obok siebie, będziesz miał więcej pamięci i być może
ktoś dostanie lepsze rozwiązanie.
Kolejny, który jest świetny, ale będzie jeszcze lepszy, jeśli zaczną dzielić się tym doświadczeniem.
I jak oni to robią.
Cóż, przez to Wii obliczamy to, więc ta wartość Wii, która jest wynikiem naszej sieci,
jest właśnie taka.
Więc mają to samo za każdym razem.
Wszyscy ci agenci przyczyniają się do tego samego krytyka.
Nie mają oddzielnych krytyków, mają wspólnego krytyka i to jest klucz do tego, w jaki sposób krytyk
aktor jest związany z synchronizacją.
Więc jest jeden krytyk, który obserwuje nas, kiedy mają doświadczenie.
Jak więc obliczyć Wii.
Musimy przejść przez Wii.
Jak pamiętacie, możemy uzyskać TV dzięki wartościom, które otrzymujemy, dzięki czemu otrzymujemy nagrody za
środowisko.
W związku z tym, że agenci badają otoczenie, są kalkulowani i przewidują Wii.
Plus mają Wii, które mogą obliczyć.
To wszystko wiąże się z tym, o czym już mówiliśmy w poprzednich
punktach wyników.
Więc już mają Wii, które oni mogą przewidzieć, jak oczekują od nagród, które wiedzą, że istnieją w tym
labiryncie i że już odkryli i gdy odkrywają je oczywiście, że ta wartość może
się zmienić.
Ale również mają Wii, że jest to wyjście sieci neuronowej,
ponieważ będą przez to dostosowywać swoje sieci neuronowe, aby lepiej pasowały do oczekiwanych.
Więc w zasadzie jest to wspólne, część krytyczna jest dzielona między agentami i to jest, w jaki sposób dzielą się informacjami między sobą,
tak, że są w stanie zobaczyć, co się dzieje w środowisku współdzielonym ze sobą,
a następnie użyć tego jako że zobaczą dalej w następnej części na korzyść.
Wykorzystaj to, aby zoptymalizować zachowanie środowiska.
Inną rzeczą, o której warto tutaj wspomnieć, jest.
Więc to było przez C.
To jest jak rdzeń A-3 do tej pory.
To jest wersja wersji 08:30. Ale jest jeszcze lepsza implementacja tego.
Od A do C, o którym usłyszysz, o czym chciałbym porozmawiać w jednym z pierwszych tutoriali i praktycznej strony
rzeczy, a także o tym, o czym będzie mówił, to w jaki sposób twórca Pi Torche w rzeczywistości dostosował kodów,
które zostały udostępnione i zdobyć koncentrator w miejscu, w którym zabrał wszystkie te elementy, jak
widać teraz mają oddzielne sieci neuronowe i pokazały Wii, że dokonane dostosowanie było
w rzeczywistości przeniesieniem wszystkich tych sieci neuronowych i umieszczeniem ich w jednym weź je i połącz je.
Tak więc ostatecznie istnieje tylko jedna sieć neuronowa dzielona między agentów.
Zanim więc każdy z nich miał jedną sieć neuronową, która była wspólna dla aktora i dla krytyka, jedna
sieć neuronowa Shelfer była dla krytyka jedną z sieci neuronowych dla dokładności.
Teraz wszyscy mają jedną sieć neuronową, która jest wspólna dla aktora lub krytyka rzeczywistego krytyka x lub krytyka.
A potem krytyk jest tutaj wspólny.
Zobaczmy, Let's.
Przesuńmy te zdjęcia w lewo, aby zrobić trochę miejsca.
I to jest w zasadzie architektura lub struktura, której będziemy używać w praktycznych
tutorialach.
Wiem, że to może brzmieć nieco przytłaczająco na tym etapie, ale mamy jeszcze jedną rzecz do omówienia, która
z nich jest zaletą i że zobaczymy ją lepiej w akcji.
Jak to się dzieje, porozmawiamy o intuicji w działaniu.
Ale ogólnie rzecz biorąc to jest właśnie to.
Jest to jedna sieć, z której korzystają każdy z agentów lub z których korzystają.
Zasadniczo oznacza to, że dzielą one wagi, które wagi sieci są dzielone w różnym wieku,
a kiedy je aktualizują, aktualizują całą sieć, nie tylko własną sieć.
A potem mają wyjścia, które podobają się tym działaniom dla każdego agenta, a następnie mają wspólnego krytyka,
który będzie monitorowany.
Tak więc wiem, że to wszystko jest jak teraz, ale mam nadzieję, że powoli zbliża się
do siebie.
Głównym powodem jest to, że krytyk, ponieważ jest wspólny.
W ten sposób agenci są w stanie upewnić się, że współpracują ze sobą, aby uzyskać wynik znacznie
szybciej.
A w następnym samouczku zobaczymy jeszcze, jak to wszystko się składa.
Wszystko to razem.
I na razie jest coś, co chciałbym polecić lub chcielibyśmy polecić ci dodatkową lekturę.
To jest blog Jaromira Janscha.
Nazywa się, Zróbmy implantację typu A3, to w rzeczywistości implementacja dwóch części i teoria.
Jest link i jest bardzo podobny do tego, co Adlon będzie implementował w praktycznej stronie
samouczka, więc nie jest specjalnie dla tego tutoriala, nie tylko dla Sutro, ale dla całej
tej sekcji.
Zachęcam tam pewne dodatkowe informacje, aby uzyskać dodatkowe informacje.
I dlatego właśnie to tutaj wprowadzamy.
Niemniej jednak w następnym samouczku zaczniemy wyciągać to wszystko razem.
Wszystko, o czym rozmawialiśmy.
I nie mogę się doczekać, aby zobaczyć cię następnym razem.
I do tego czasu ciesz się.