Cześć i witamy w tutorialu Python.
Zróbmy to dla pętli zaczynając od prawej strony i idąc w lewo, a
do tego dodamy cztery.
To jest wielokrotny VAR, który będzie naszym krokiem, ponieważ przejdziemy od ostatniego kroku do
pierwszego kroku serii przejść i tak dalej.
A następnie lewą ręką, aby przejść od prawej do lewej, jest użycie do kroku odwróconego w odwrotnym kierunku.
A teraz wystarczy wprowadzić sekwencję, a ta sekwencja będzie oczywiście naszą serią.
Możemy więc umieścić naszą serię, ale jak widać w artykule, zaczynamy od T minus 1.
Tak więc nie przechodzimy od ostatniego kroku, który jest końcowym etapem, ale krok przed tym jest do minus jeden,
ale aby rozpocząć, jest to pierwszy krok.
I tak dalej, aby nie robić tego kroku, zanim będziemy musieli dodać kolumnę nawiasów minus jeden.
Jestem pewien, że dla tych z was, którzy podążali za maszynową nauką w
głębszym kursie, znacie tę sztuczkę Kollin minus jeden oznacza, że podchodzicie do pierwiastka przed ostatnim elementem, ale nie
do ostatniego elementu, a zatem otrzymujemy kolejność, którą chcemy.
To właśnie przejdziemy od elementu przed ostatnim elementem do pierwszego elementu i że wykonujemy odwrotne
czynności, aby przejść od prawej do lewej.
W porządku, więc jesteśmy gotowi, aby wprowadzić pętlę for.
Wewnątrz tej pętli, co zamierzamy zrobić.
Gdzie będziemy robić dokładnie tak, jak w gazecie.
Zamierzamy zaktualizować łączną nagrodę poprzez pomnożenie jej przez Ghanę i dodanie słowa uzyskanego w bieżącym
kroku, który jest na etapie obserwacji.
W porządku, zróbmy to wracając do Pythona.
Chcąc zaktualizować nasze skumulowane, pracujemy w następujący sposób, najpierw pomnażając je przez gamma.
No to jedziemy.
Tutaj pomnożymy go przez gamma, a następnie chcemy dodać nagrodę tego, do którego możemy uzyskać dostęp w ten sposób ze
specjalną strukturą.
Pamiętaj, że słowo jest atrybutem obiektu.
I tak tutaj oczywiście dodajemy plus.
W porządku, to skumulowana nagroda.
Czy chcemy tego kroku?
Jesteśmy teraz w pętli plus Gahanna razy poprzedniej skumulowanej nagrody, zanim będzie.
Idealny.
Więc teraz myślę, że jesteśmy dobrzy.
Dokładnie podążamy za algorytmem.
A teraz czas na kolejne kroki.
Teraz stanie się całkiem łatwe.
Wracamy do pierwszej obserwacji, ponieważ ta pętla for służy jedynie do obliczenia skumulowanej nagrody, nie przechodząc od
prawej do lewej poprzez aktualizację w ten sposób.
Podążając za algorytmem, a teraz, gdy pamiętasz, celem jest to, abyśmy przygotowali nasze dane wejściowe i
nasze cele, abyśmy mogli zminimalizować kwadratową różnicę między nimi dla treningu.
A więc w tej chwili jedyną rzeczą, którą musimy zrobić, to uzyskać gotowe wkłady i toaletę.
Zróbmy więc najpierw to, co musimy zrobić, to dodać pierwszą datę serii na liście części.
Jak dotąd ten stan leży w tym w części naszego celu.
To było po prostu do obliczenia wyniku.
Tak więc otrzymamy ten stan wejściowy pierwszego kroku osobno, ponieważ dokładnie to musimy
zrobić na naszej liście.
Zróbmy to osobno.
Dlatego nazwiemy to stanem.
I tak dokładnie tak samo jak tutaj możemy uzyskać to w ten sposób, biorąc pierwszy indeks z serii, która
zawiera pierwszą zmianę, a następnie dodając ten stan, aby uzyskać stan tego pierwszego przejścia.
Więc to jest ta strona, której potrzebujemy, mówiąc, że otrzymamy osobno cele związane z
tym etapem wejściowym przejścia.
A więc interesująca nowa zmienna tutaj docelowa, która będzie równa wartości pierwszego kroku.
A ponieważ wartość Q jest zwracana przez sieć neuronową oraz jej zawartość i wynik, a ponieważ dane
wyjściowe są danymi wyjściowymi związanymi z tym sygnałem wejściowym, który zawiera pierwszy z odwiertu przejściowego, możemy uzyskać tę wartość
q pierwszej daty, po prostu biorąc dane wyjściowe tutaj i biorąc indeks zero.
Następnie dodajemy te dane, które po prostu dostarczą nam wartość Q stanu wejściowego pierwszego przejścia i to jest
dokładnie czas.
Q W ten sposób, weźmiemy to, a następnie zaktualizujemy tę zmienną docelową, ale tylko dla akcji, która została wybrana
w pierwszym etapie serii i aby uzyskać dostęp do tego pierwszego kroku serii.
Cóż, musimy wykonać pierwszą serię 0, ponieważ jest to dokładnie pierwszy krok w serii 3 0.
Aby uzyskać dostęp do akcji odpowiadającej temu pierwszemu krokowi serii, musimy jeszcze raz dodać tę
akcję, która jest strukturą atrybutu, z której korzystamy, wiesz, że akcja jest atrybutem pierwszego
kroku serii.
Jest to pierwsze przejście serii, ponieważ każde przejście w szeregu ma następujące strukturalne
słowo akcji i zostało wykonane, więc akcja tutaj to działanie atrybutów oznacza tutaj, że po
prostu otrzymujemy akcję pierwszej randki.
Dlatego celem tego konkretnego działania z pierwszego kroku jest to, co musi zostać zaktualizowane przez
społeczność światową.
Więc w zasadzie tutaj zamierzamy zapisać ten cel związany z wykonaną akcją.
Pierwszym krokiem serii jest skumulowana nagroda, którą właśnie obliczyliśmy.
W porządku, a teraz jesteśmy w końcu gotowi, aby zaktualizować nasze dane wejściowe, dołączając ten pierwszy pobyt tutaj i to pierwsze są
tutaj przez pierwszą godzinę.
Wystarczy zaktualizować pierwszy krok serii, ponieważ wiesz, że szkolimy SI na 10 krokach, a zatem
wejście jest pierwszym krokiem dziesięciu kroków.
A także otrzymujemy cel w tym pierwszym kroku, ale potem nie dostajemy żadnych danych wejściowych ani
żadnych toalet w kolejnych krokach 10 kroków, ponieważ zasadniczo uczenie się następuje po 10 krokach.
Właśnie dlatego otrzymujemy tylko stan i cel pierwszego etapu serii.
Tak więc ważne jest, aby to zrozumieć, a zatem jeśli zrozumiemy, że teraz rozumiemy, że musimy
wprowadzić je do naszej listy danych wejściowych i naszej listy celów.
Zróbmy to.
Najpierw dołączmy stany do naszych danych wejściowych.
Więc bierzemy listę wejść i używamy funkcji dodawania, aby dodać stan, który zapamiętuje stan wejściowy pierwszego etapu
serii, a następnie dodamy cel na pierwszym etapie do naszej listy celów i do
tego bierzemy listę celów i mówimy, że używamy funkcji append do dołączenia
tego pierwszego celu.
No to jedziemy.
Prawie zrobione, a teraz musimy zwrócić ostatnie rzeczy, które są oczywiście tym, czego potrzebowaliśmy, jak powiedzieliśmy
na początku tego samouczka, dane wejściowe i cele, które są teraz aktualizowane.
Więc dodamy tutaj w każdej turze, a my najpierw zdobędziemy nasze dane wejściowe,
ale to jest to, czego potrzebujemy, aby najpierw przekształcić je w tablicę liczbową, a następnie dokonać konwersji typu,
aby upewnić się, że mamy jeden typ z typem jesteś równy i ten pływa 32 tak samo.
A potem przekształcamy to w tensor pochodni, ponieważ oczywiście pracujemy z pochodnią, która jest całkowicie
obowiązkowa.
Dlatego ponownie używam latarki z funkcji innej niż tajlandzka.
I to daje nam nasz wkład.
Idealny.
A teraz zróbmy to samo dla celów.
Teraz możemy użyć tej sztuczki, która jest szybsza.
Zbierzemy cele razem i aby to zrobić, musimy najpierw wziąć naszą
bibliotekę pochodni, ponieważ zamierzamy użyć funkcji stosu za pomocą latarki, aby ułożyć cele.
W porządku.
Tak więc ta linia kodu w zasadzie zwraca dane wejściowe i toalety, które zostały właśnie
zaktualizowane za pomocą tego algorytmu Sarsour.
Lub możemy to nazwać i wkroczyć i wysłać nasze gratulacje.
Byliśmy gotowi na ostatnie szkolenie, ponieważ zasadniczo szkolenie polega na minimalizowaniu
kwadratowych różnic między przewidywaniami naszych wejść a toaletami.
Więc miejmy oczy mądre.
Stanie się sprytny, a następny jego.
A więc do tej pory ciesz się AI.