Witam i zapraszam do opowiadania.
Teraz zrobimy pętlę for, aby obliczyć utratę polisy i utratę wartości, a kiedy już
zdobędziemy te dwie lekcje, będziemy mogli użyć naszego optymalizatora, aby umieścić papierosa w piasku,
aby zmniejszyć straty.
W porządku, więc idziemy.
Zaczynamy tutaj nawiasem mówiąc, w poprzednim tutorialu zaimplementowaliśmy tę sekcję i zapomniałem usunąć wcięcia
z tego powodu.
Tak więc od tego początku nie ma jesieni.
A teraz zaczynamy nową pełną pętlę, więc zaczynam tutaj od czwórki.
A teraz zrobimy, że zaczniemy od ostatniego kroku, który został zrobiony podczas eksploracji, a my
cofniemy się w czasie.
Właśnie dlatego robię to za siebie w nagrodach w odwrotnym zakresie, a największe nagrody są najmniej.
A ponieważ każdy krok eksploracji wiąże się z miejscem, w którym pracujemy, ponieważ na każdym kroku otrzymujemy nagrodę, gdy
wtedy będziemy słowami.
Czy jest to liczba kroków i ten rewers tutaj jest używany, abyśmy mogli cofnąć się w czasie, abyśmy poszli.
A teraz zrobimy aktualizację skumulowanej nagrody, która jest daleko i zamierzamy ją zaktualizować w ten
sposób.
To w zasadzie to samo, co zrobiliśmy dla Dooma.
Jest równa gammie, którą otrzymujemy z naszych parametrów i biorąc od pierwszych programów, które nie są
daleko, plus nagrodę, którą możemy uzyskać, biorąc najniższą nagrodę i biorąc indeks.
Tak więc dla nas będzie to dzieło ostatniego, a potem będzie to nagroda poprzedniego dnia itd.
i za każdym razem aktualizujemy naszą By pomnożyć ją przez gamma, a następnie dodając tę nagrodę na planie.
A więc robiąc to pamiętajmy, że dojdziemy do końca.
Tak więc napiszę to, gdy nadejdą, a my otrzymamy nagrodę dla naszej społeczności, która będzie
chłodna na końcu pętli do naszego zera.
Nagroda kroku zerowego plus czasy gamma to jeden.
Byliśmy pierwsi, a czasy gamma do kwadratu odpowiadają słowu.
Drugi krok plus to plus gamma o mocy i minus jeden raz nagroda osiągnięta w kroku i minus 1, gdzie każda
liczba kroków, ale potem uważaj na końcu, będziemy mieć gammę o sile liczby
kroków.
Times dewaluuje wartość funkcji zastosowanej do ostatniego stanu.
Do tego powinniśmy się jeszcze dostać.
I dostaniemy to, ponieważ pamiętajmy, że mamy tę wartość i ostatni krok, ponieważ zostało to zrobione na końcu
tej pętli for tutaj.
I tak dostaliśmy wartość i ustawiliśmy ją na równą tej wartości.
Tak więc teraz na początku drugiej pełnej pętli tutaj będzie równa tej wartości ostatniego
dnia.
Ale dzięki temu to, co otrzymamy w końcu, będzie równe lub zerowe lub jeden lub dwa korty
tenisowe plus może dodać moc i minus jeden raz, że jesteśmy w krokach i minus jeden
plus gra z siłą liczby kroków razy wartość tej trwałości.
Więc to jest najważniejsza rzecz do zrozumienia, a to może być akcja skumulowanej nagrody.
I dlatego ważne jest, aby zacząć od tego, inicjując lub z tym i wykonując tę
odwróconą pętlę, aby uzyskać idealne równanie końcowe.
A teraz, gdy mamy odpowiednią wartość do skumulowanej nagrody Dobrze obliczymy przewagę, a przewaga
tutaj jest tylko zaletą otrzymania tej nagrody w stosunku do nich.
Tak więc zamierzam wprowadzić ewolucowalną przewagę i dlatego będzie równa tej skumulowanej nagrodzie minus
wartość funkcji V uzyskanej na tym etapie.
Więc to jest nasze wartości ujemne.
Idealny.
A teraz, gdy mamy społeczność, w której działamy i przewagę, możemy uzyskać utratę wartości.
To jest pierwsze, które możemy teraz uzyskać.
Dlatego chcemy, aby nasza wartość była bardzo dobra i zostanie zaktualizowana w następujący sposób.
Pamiętaj, że do tej pory zdewaluowało nas to, że zostało zainicjowane do zera.
I tak znowu przyjmujemy utratę wartości o wartości 0. 5 razy kwadrat na przewagę, więc możemy to zdobyć w ten
sposób.
Zaleta przemyślana również.
Oznacza to po prostu wyrównywanie przewagi mocy i to jest właśnie wartość
plus strata generowana przez przewidywania wartości funkcji wyprowadzanych przez potok.
I dlatego ma sens, że jest to zdewaluowane tylko dlatego, że pamiętaj o korzyści działania w
stanie s jest różnica między wartością Q a wartością funkcji B.
Tak więc, gdy gramy optymalną akcję, otrzymujemy stan stacjonarny z Q optymalnym dla optymalnego działania,
który jest gwiazdą w stanie, jako wartość optymalna.
Vistar państwa s.
Więc intuicyjnie jest zrozumieć, że gdy przewaga nie jest równa zeru, będzie różnica
między tymi dwoma.
I dlatego tak mierzy się ostatni.
DOBRZE.
Tak więc ostatnia obliczona ostatnia w dół.
Mamy teraz jeszcze jedną.
To jest strata polityki i właśnie to będziemy obliczać już teraz
i aby ją obliczyć, musimy ponownie rozważyć uogólnione oszacowanie przewagi, ponieważ aby obliczyć stratę polityki potrzebną
do uogólnionej oceny korzyści i uzyskać ogólne korzyści, naród potrzebujemy najpierw czasowej różnicy
zaworów scenicznych.
Mamy tutaj wiele rzeczy do obliczenia i zaczniemy od tej doczesnej różnicy, kiedy
otrzymamy czasową różnicę.
Otrzymamy uogólnione oszacowanie przewagi i gdy tylko dostaniemy ogólne korzyści, o których
wspomnimy, otrzymamy półwyspy.
W porządku.
Zacznijmy więc od tymczasowej różnicy T. SOL. DD jest równe wynagrodzeniu kroku I
plus Ghana, do którego dostajemy listę programów, więc Bromstad gamma pomniejsza wartość tego długu plus jeden i
dodajemy te dane, aby uzyskać do niego dostęp, pomniejszając wartość kroku I i tego samego, który dodamy dane.
W porządku.
Taka jest formuła temporalnej różnicy i wartości państwowych.
A teraz możemy zaktualizować uogólnione oszacowanie przewagi i jak jest datowane.
Cóż, bierzemy R-GA i mnożymy go przez gamma parametrów gamma razy, więc mamy dostęp z naszymi parametrami, jak
również.
Więc bierzemy komórki programów i dodajemy tę czasową różnicę wartości stanu.
Więc uważaj.
Jesteśmy w pętli.
I za każdym razem pomnóżmy i pomnóżmy i dodamy tymczasową różnicę.
Więc ważne jest, aby zrozumieć, że na końcu tej pętli Cóż, to
uogólnione oszacowanie przewagi będzie równe sumie na wszystkich etapach czasów gamma, tak, że siła i razy różnica czasowa na kroku jest tak
ważna, aby utrzymać to na uwadze.
A teraz, gdy mamy uogólnione oszacowanie przewagi i ogólną różnicę, możemy
wreszcie obliczyć politykę.
Zróbmy to.
Zamierzamy zaktualizować nasze prawa polityczne w następujący sposób, biorąc za nas starą politykę i odejmujemy
prawdopodobieństwa LUGG uzyskane na etapie, który mnożymy przez to ogólne oszacowanie korzyści, które musimy umieścić w
zmiennej, ponieważ wtedy obliczymy gradienty.
Musimy więc dołączyć do gradientów na wykresie, a następnie dodać minus 0. 1-krotność entropii.
Entropia uzyskana na etapie upadku.
I znowu.
Teraz bądź ostrożny.
To jest wewnętrzna pętla, która oznacza, że na końcu grypy dostaniesz polisę plus
minus kilka razy na podstawie luggin produktu polityki w czasach kroku do uogólnionego oszacowania
przewagi.
Plus to 0. 01 razy entropia robi tak, że dostajemy.
A teraz jaka jest polityka I.
Cóż, to są miękkie maksymalne prawdopodobieństwa działań i entropia tego, że będę wiedział, co
to jest, gdzie wcześniej obliczyliśmy.
I co zamierzamy zrobić na liście.
Więc już to mamy.
Ale w tym roku słyszę, że jest to maksymalne prawdopodobieństwo działania.
I dlaczego umieszczamy tutaj minus.
To dlatego, że szczęście prawdopodobieństwa i entropii są wartościami ujemnymi.
A ponieważ chcemy zminimalizować ich bezwzględną wartość, musimy traktować to jako prawdopodobieństwo LUGG w przeciwieństwie
do odległości.
Nie, chcemy zmaksymalizować prawdopodobieństwo działania, które zmaksymalizuje przewagę.
Taki jest cały pomysł.
Chcemy zmaksymalizować prawdopodobieństwo odgrywania akcji, która zmaksymalizuje przewagę i dla tych z Was,
którzy zastanawiają się, jaki jest cel tej entropii skutecznej.
Jest ten współczynnik 0. 01 tutaj.
Cóż, celem tego jest uniknięcie zbyt szybkiego wpadnięcia w pułapkę, w której mamy rozkład prawdopodobieństw
z zerami dla wszystkich działań oprócz tego, który ma prawdopodobieństwo jednego.
A jeśli tak się stanie, to zminimalizuje entropię.
Dlatego właśnie dodajemy te małe wersje 0. 01 rok, który spowoduje wzrost entropii w
Wielkim w tym sensie.
OK, więc teraz dobra wiadomość jest taka, że najtrudniejsza część została wykonana.
Mamy dwie straty i dlatego to, co musimy zrobić teraz, a już wiemy, jak to zrobić, to wykonać,
aby uzyskać ocenę w takim sensie, aby zmniejszyć te dwie klasy.
Teraz zrobimy to, aby wyjść z tej pętli, a my zajmiemy się optymalizacją.
Ten, który zrobiliśmy osobno, potem pamiętamy, że pierwszą rzeczą, którą musimy zrobić, to zainicjować
wszystkie parametry skarpy do zera, a aby to zrobić, dodajemy to do zera i nazywa się to metodą grad.
W porządku, więc to zrobione.
Teraz będziemy odtwarzać wsteczną propagację, ale dwa razy większe znaczenie będzie mieć
dla polityki niż utracona wartość, ponieważ polityka jest mniejsza.
Aby to zrobić, wprowadzimy zasady nawiasów i wynik plus 0. 5 utraty wartości, więc 0. 5-krotność wartości dla nas, a my dodamy
tutaj, że stosujemy metodę wsteczną, aby wykonać propagację wsteczną i dzięki tej sztuczce tutaj
z polisą pomniejszoną o połowę wartości, którą mamy dwa razy większe
znaczenie dla polityki niż Vaness.
OK, użyjemy kolejnej sztuczki, która uniemożliwi gradientowi uzyskanie wyjątkowo dużych
wartości, a zatem wygeneruje algorytm.
I na tym polega przede wszystkim zdobycie pierwszej biblioteki pochodni, a następnie
jej końca i modułu z biblioteki pochodni, a następnie modułu użytkowego utils, a teraz użyjemy funkcji podkreślenia CLEP
w normie wyników, a my wprowadzimy parametry modelu z drugim wejściem, które będzie wynosić 40.
I ta sztuczka w zasadzie zapewni, że gradienty nie przyjmą ekstremalnie dużych wartości i
nie wygenerują algorytmu.
I dla tych z was, którzy mogą się zastanawiać, czy te 40 lat.
Dokładnie.
Cóż, oznacza to, że używamy tych wartości, więc jest to norma gradientu między
0 a 40, a zatem w ten sposób zapobiegamy przyjmowaniu gradientu do dużych wartości.
OK, już prawie skończyliśmy.
Pamiętajmy, że stworzyliśmy tę i pewną wspólną funkcję Gretz na początku jesieni, co ma zapewnić, że agent
i model współdzielony dzielą te same gradienty i zrobić to, aby upewnić się, że możemy zastosować
tę funkcję tutaj.
A więc dodamy i na pewno podzielimy absolwentów, aby upewnić się, że moralny i wspólny model mają te
same gradienty.
W porządku, więc to tylko środek ostrożności.
Nie jestem pewien, czy jest to absolutnie konieczne, ale przynajmniej wiesz, że nie dostaniemy tutaj problemu.
W porządku.
I na koniec ostatnia linia kodu oczywiście wykonamy krok optymalizacyjny, aby zmniejszyć straty
i wiesz jak to zrobić oczywiście bierzemy optymalizator i dodamy ten krok z nawiasami, a potem
idziemy na trening naszych mózgów koniec.
Gratulacje.
Mam nadzieję, że nie było to zbyt przytłaczające.
Nie martw się, podam kod ze wszystkimi komentarzami.
Więc jeśli przegapiłeś jakiś szczegół, możesz rzucić okiem na komentarze.
I nie martw się, jeśli nic nie zrozumiałeś, to jest bardzo zaawansowane.
Zapewniamy jednak, że jest to również najpotężniejsza pamiątkowa wizyta od twórcy pi.
Tak więc pracujemy z najlepszymi tutaj.
Stan techniki jest całkowicie normalny, jeśli nie dostałeś wszystkiego za pierwszym razem, ale pracując nad nim
wiele razy, na pewno będziesz czuć się coraz bardziej komfortowo.
Teraz skończyliśmy szkolenie.
Zasadniczo stworzyliśmy wszystkie najważniejsze rzeczy, o których wiemy, że stworzyliśmy mózg, budując architektury sieci
neuronowych za pomocą splotów LCN i całkowicie połączonych warstw.
Przeszkoliliśmy jego mózg, robiąc ten kod pociągu tutaj.
Zasadniczo serce algorytmu jest gotowe.
Zrobiłeś A3, aby zobaczyć gratulacje.
Teraz mamy jeszcze kilka rzeczy do zrobienia, ale to tylko po to, żeby się zabawić.
Wiesz, że musimy wykonać test, który znaleźliśmy, który przetestuje agentów i dostarczy filmy wideo i
samolot wybuchnie.
Będzie to bardzo zabawne, gdy będziemy obserwować, że nie zakodujemy wszystkich linii tego testu, ponieważ upadliśmy, ponieważ, jak
powiedzieliśmy, zrobiliśmy najważniejszą rzecz.
Wszystkie związane 23C, ale oczywiście wyjaśnię kod i ostatecznie mamy to stworzone znalazłem, który
wykona kod.
Od momentu uruchomienia tego kodu generowany będzie cały kod.
Więc mózg zostanie stworzony.
Szkolenie odbędzie się, a oko zagra w nowe gry o wybuchu, a my dostaniemy wszystkie filmy.
Nie mogę się doczekać, aby je wreszcie obejrzeć.
Zobaczymy, czy jest wystarczająco inteligentny, by złapać piłkę.
Więc teraz zobaczę w następnym samouczku tego interfejsu komputerowego, abyśmy mogli przetestować sztuczną inteligencję w
nowych grach.
A do tego czasu ciesz się AI.