Witam i zapraszam do Statoil.
Tak więc agent wykonał eksplorację, a kiedy ma zamiar zrobić to zaktualizować udostępnioną sieć.
Pierwszą rzeczą, którą zrobimy, jest zainicjowanie skumulowanego, nazwijmy to, naszego kapitału R i zainicjujemy
go jako tensor pochodni, ale będzie on miał wymiary jeden po drugim, ponieważ jest to tylko wartość,
ale chcieliśmy być tensorem.
Używam tutaj zer, a następnie 1 1.
Więc zasadniczo nagroda skumulowana jest inicjowana do 0.
OK, mówiąc, że nie skończyliśmy, jeśli gra się nie skończyła.
Teraz chcemy uzyskać skumulowaną nagrodę równą wartości ostatniego handlu osiągniętego przez
wspólną sieć.
Więc uzyskamy wynik wartości.
Znasz wartość funkcji wyjściowych naszego modelu i to jest wartość, jaką damy społeczności, w której
pracujemy.
Najpierw zdobądźmy tę wartość, którą możemy uzyskać w ten sposób.
Wartość Więc wiesz, ponieważ chcemy tylko wartości, którą możemy dodać tutaj podkreślenia, a następnie podkreślimy ponownie, a następnie otrzymamy nasz
model, ponieważ wyprowadzi on tę wartość, ale tylko pierwszy wynik moralnej rzeczy do zrobienia jest podwójny na jej
kurs tutaj i tutaj możemy po prostu skopiować wkleić to, co mamy tutaj.
To jest dane wejściowe modelu z obrazami wejściowymi i ciągiem stanów i stanów południowych.
Więc właśnie to wklejam i zaczynamy.
Dostaniemy wartość.
A więc teraz to, co zamierzamy zrobić, to dać naszej wartości, więc wszyscy będą równi wartości i dostępowi do wartości,
którą my tutaj zaczynamy.
W porządku.
Teraz, jeśli warunek jest spełniony i teraz to, co zrobimy, ponieważ otrzymaliśmy nową wartość, wiemy, że
otrzymujemy wyjściowy model pierwszego wyjścia modelu dobrze, który już dodaje tę nową wartość do
listy wartości.
Dlatego możemy wziąć bezpośrednio naszą listę wartości, a następnie w kierunku namiotu, a zmienną stawiamy, ponieważ nasza.
Ta ostatnia wartość jest tak wielka, że teraz jest zrobiona.
Będziemy inicjować straty i pamiętać wykłady intuicyjne.
Masz dwie straty.
Masz ostatnią z zasad, która jest ostatnia związana z przewidywaniami agenta.
A potem masz ostatnią wartość, która jest mniej związana z przewidywaniami krytyka.
Tak więc zamierzamy wprowadzić te dwie zmienne zainicjowane do zera, a oni
przyjmą tutaj politykę dotyczącą nas, strasznej utraty polityki.
Zainicjuj go do zera, a następnie wartość straciła dużo wartości i powiedz, że została zainicjalizowana do zera, nie zapominajmy
o ustawieniu skumulowanej nagrody jako zmiennej palnika, ponieważ będziemy potrzebować go jako pochodnię Roybala, ponieważ
będziemy obliczać gradient za pomocą w związku z tym, że skumulowana nagroda
będzie terminem utraty wartości.
Więc jest to możliwe, jest teraz dołączony do dynamicznych wykresów z gradientem.
A teraz wreszcie ostatnia rzecz, którą musimy zrobić przed uruchomieniem wielkiej pętli trendów, którą znamy, kiedy zastosowaliśmy się
do rozkładu gazu w słońcu, aby zmniejszyć to ostatnie między przewidywaniami i celami.
Cóż, musimy zainicjować GAAP, aby uogólnić oszacowanie przewagi, a nie uzyskać ani niepowlekane.
Bądź ostrożny z tym GAAP, że zmienna, którą właśnie zainicjujemy, jest uogólnionym oszacowaniem
przewagi.
Dla przypomnienia, uogólnione oszacowanie przewagi jest z definicji zaletą odgrywania akcji a
przez obserwację stanu s.
Jest więc funkcją akcji i stanu s i jest równa różnicy między wartościami
q QS i wartością funkcji V.
Więc właściwie mogę to napisać tutaj.
Uogólnione oszacowanie przewagi jest funkcją działania i stanu s i równe q wartościom
działania A i stanu S minus wartość funkcji V zastosowanej do stanu
s.
Oto ogólne korzyści, o których warto wspomnieć, i właśnie to chcemy teraz zainicjować.
I zainicjujemy go do zera.
Ale to musi być w stosunku do tancerzy, którzy zamierzali użyć tej samej sztuczki, co właśnie
zrobiliśmy, tutaj mamy zamiar wziąć bibliotekę pochodni i zastosować do funkcji zebry, aby ustawić ją jako tensor z tylko jedną wartością,
która wynosi zero.
I użyjemy tej nowej zmiennej g, która będzie równa tej latarce, która zeruje 1, tak jak nas
inicjalizuje.
Zostanie to zainicjowane do zera, a zatem wartości q akcji stanu s będą
równe wartości funkcji V stanu s.
W porządku.
Teraz jesteśmy gotowi do uruchomienia pętli for.
Więc mamy tu przygodę.
Więc zrób sobie przerwę, a zobaczę cię w następnym samouczku, aby to zaatakować.
I tak ja.