Cześć i witaj w tym schemacie to horror.
W porządku, więc właśnie zaktualizowaliśmy pamięć po osiągnięciu nowego stanu.
A teraz zajmijmy się następnego dnia.
Według ciebie teraz, co będzie następną aktualizacją.
W zasadzie skończyliśmy z jednym przejściem, z którym zetknęliśmy się z ostatnim elementem przejścia, jakim jest
nowy stan.
Teraz zaczynamy od nowa.
A kiedy zaczynaliśmy wszystko od nowa.
To tak jakbyś wiedział, że jesteśmy w nowym stanie środowiska i co teraz musimy zrobić naturalnie.
Oczywiście, że to gra, ponieważ mamy już obserwację wiadomości.
Teraz rzeczą, którą musimy zrobić, jest odgrywanie akcji i dlatego musimy teraz
użyć funkcji wyboru akcji, aby zagrać akcję.
Zróbmy zatem nową akcję wojewodzie i zagrajmy w akcję z wybraną akcją, więc
biorę.
Cóż, pierwsze ja, aby określić, że funkcja wyboru akcji jest metodą obiektu klasy, która
zostanie utworzona.
Więc jaźń, która wybiera akcję.
No to ruszamy.
To kolejna akcja.
I oczywiście, ponieważ funkcja wyboru działania przyjmuje stan jako dane wejściowe, ponieważ oczywiście
funkcja wyboru działania zwróci wynik sieci neuronowej, gdy bieżący stan wejściowy wejdzie do sieci
neuronowej.
Musimy więc wprowadzić tutaj etap wejściowy i ponieważ to są stany, które właśnie osiągnęliśmy w środowisku,
w którym obecnie znajduje się stan wejściowy, ponieważ stanem, który właśnie osiągnęliśmy w chwili,
w której teraz jesteśmy, jest Newstead.
Więc w tej funkcji wyboru zaznaczam wstawianie nowych patyków.
W porządku, w tej linii kodu po prostu zagrywamy nową akcję po osiągnięciu nowego stanu.
OK, a teraz graliśmy akcję. Cóż, otrzymujemy nagrodę i dlatego otrzymujemy informację zwrotną z nagrodą.
I dlatego, jeśli mamy więcej niż 100 elementów w pamięci, to nadszedł czas, aby się uczyć.
A zatem to, co musimy teraz zrobić, jest tym, co logicznie wynika po wybraniu działania, które oczywiście ma na celu
obniżenie potrzeb w zakresie sztucznej inteligencji, aby rozpocząć naukę.
Jeśli robi to we właściwy sposób.
A teraz, ponieważ po prostu dobrze grało akcję, zamierzamy sprawić, by sztuczna inteligencja uczyła się na podstawie swoich działań w
ciągu ostatnich 100 wydarzeń.
Zanim jednak zastosujemy tę wyuczoną funkcję, musimy spełnić ten warunek, aby upewnić się, że osiągnęliśmy już
ponad 100 zdarzeń, ponieważ wiesz, że uczymy się na losowych próbkach pamięci.
Wiesz, że mamy ogromną pamięć 10000 elementów.
Pobieramy losowe próbki z pamięci 100 elementów, a AI uczy się na podstawie informacji zawartych
w tej próbie 100 losowych przejść.
Zróbmy to, jeśli warunkiem jest upewnienie się, że liczba elementów pamięci tej pamięci, a następnie
ostrożność, to mała sztuczka pamięci samouków, która jest przedmiotem klasy
pamięci powtórzeń, ale klasa pamięci powtórek ma atrybut, który jest pamięcią.
W rzeczywistości musimy wziąć część pamięci, że pamięć pierwsza jest przedmiotem klasy pamięci powtórzenia,
a druga pamięć jest tutaj atrybutem tej pamięci.
Więc jeśli liczba elementów w pamięci jest dobra, chcemy, żeby była większa niż 100, następnie Cullin A potem co się
stanie.
Cóż, możemy się nauczyć, ale aby nauczyć się, musimy pobrać tę losową próbkę 100 przejść i to możemy
uzyskać za pomocą prostej funkcji.
A ponieważ prosta funkcja zwraca różne partie do stanów w czasie t te dane 20 plus jedno
działanie czasu t i mieliśmy 20.
Cóż, musimy teraz zrobić kilka nowych przebudów, które będą serią
stanów w czasie t partia kolejnych datuje partię słów i grupę
akcji i możemy po prostu podać te same nazwy jak daliśmy argumenty tutaj i są tutaj.
A te zmienne będą równe temu, co zwraca funkcja prosta, ponieważ zwraca dokładnie te partie, a
następne państwo bierze słowa i akcje.
Więc to, co musimy teraz zrobić, to najpierw nasz obiekt pamięci, a następnie z tego obiektu
pamięci użyjemy prostej metody, która przyjmie jako dane wejściowe.
Cóż, liczba przejść, których chcemy nauczyć się z naszej sztucznej inteligencji, wynosi 100.
Dlatego upewniliśmy się, że mamy ponad sto przejść.
Więc będzie się uczyć od 100 przejść pamięci.
Tak więc nauka będzie znacznie lepsza.
A więc teraz sprawmy, żeby to się naprawdę stało.
Cóż, odkąd metoda uczenia się jest metodą naszej klasy.
Cóż, musimy uzyskać dostęp do tej metody uczenia się z przyszłych obiektów, które zostaną utworzone z innej klasy,
a zatem to, co musimy zrobić, to self.
Self odnosi się do tego celu, aby zrobić podczas zajęć, a następnie nauczyć się, jak ta metoda nauczyłem
się metody, do której po złożeniu Oczywiście ci goście tutaj złe państwo belgijskie naturalny świat i
akcja Bachche.
To są nasze partie pobrane z naszej pamięci i otrzymujemy ich 100, ponieważ mamy 100 przejść z tych
100 przejść, które przyjmujemy 100 państw 100 kolejnych państw 100 nagród i 100 działań, stójmy twarzą w twarz tu
i tam, gdzie teraz pójdziemy, nauka się wydarzy.
Stanie się tak ze wszystkich tych losowych partii.
Idealny.
A teraz musimy zrobić ostatnie aktualizacje, po tym jak poznasz nowy stan i grasz w
akcji.
Dobrze, że mamy grać, ale wciąż nie mieliśmy takiej reakcji.
To jest nasza ja, wojewoda ostatniej akcji.
Upewnijmy się, że tego nie zapomnimy.
Zróbmy to teraz.
Zaktualizujemy ostatnią akcję, że ostatnie działanie jest równe i oczywiście działamy akcją, w której po prostu pozostajemy z
tą funkcją wyboru akcji.
W tej chwili ostatnia sekcja jest aktualizowana.
To samo dotyczy nowego stanu.
Doszliśmy do nowego stanu, ale nie zaktualizowaliśmy jeszcze ostatniej daty, ponieważ oczywiście ostatnia była przed stanem w
chwili t.
Ale od teraz osiągnęliśmy nadwyżkę stanu, kiedy nadejdzie czas, aby ją przekroczyć.
Cóż, ostatnia staje się tym, co tu powiedziałeś.
Dlatego potrzebujemy również aktualizacji.
Jaźń tego ostatniego stanu równa się naszemu nowemu państwu.
No to jedziemy.
A teraz, czego potrzebujemy do tej pory.
Zostało tylko jedno.
To oczywiście słowo i słowo jest dokładnie tym słowem, które otrzymujemy w rzeczywistości.
Tak więc będzie to argument tej funkcji, który, jeśli zrobimy połączenie z naszą mapą, będzie
ostatnim słowem.
To jest słowo, które otrzymujemy zaraz po zagraniu akcji w tym nowym stanie.
Więc jeśli przejdziemy do jakiegoś dźwięku, to ostatnie słowo będzie takie, że minus jeden, jeśli przejdziemy dalej od
tego, otrzymamy nieco złe słowo minus 0. 2, jeśli zbliżysz się do celu.
Otrzymamy niewielką nagrodę 0. 1.
A jeśli znajdziemy się zbyt blisko krawędzi mapy, to będzie to kara.
Otrzymamy minus jeden za każdego.
To ostatnie słowo, które otrzymujemy.
W rzeczywistości dzieje się tak naprawdę na mapie.
I to będzie argument funkcji.
Ostatnie słowo tutaj.
Właśnie to.
I dlatego, że jest to argument funkcji aktualizacji, która odpowiada
temu, czego nie było tutaj, a zatem nasza jaźń, ta zmienna ostatniego słowa zainicjowana na początku w tej funkcji
staje się nowym słowem, które otrzymujemy w rzeczywistości, to jest słowo lub to to samo ostatnie słowo.
W porządku.
Teraz zaktualizowaliśmy nasze ostatnie słowo.
A teraz, odkąd dostaliśmy ostatnie słowo.
Cóż, możemy teraz umawiać się na randki z całym światem.
Pamiętasz wojnę, kiedy zainicjowaliśmy ją tutaj jako jedną ze zmiennych obiektu naszej klasy.
To okno, które będzie śledzić przebieg tego pociągu, biorąc średnią z
ostatniej 100 nagrody.
Więc wiesz, że to będzie jak przesuwane okno pokazujące nam, jak rozwija się średnia świata.
I dlatego, że właśnie dostaliśmy nasze ostatnie słowo.
Cóż, możemy zaktualizować nasze okno, w jaki sposób możemy je zaktualizować.
Cóż, po prostu musimy dodać to ostatnie słowo do okna i dlatego to, co
zamierzam zrobić, to wziąć moje okno wojenne, o którym mówimy, kiedy to usłyszą i zamierzam użyć funkcji dopisywania.
Wewnątrz funkcji otwartej musimy wprowadzić element, który chcemy dołączyć do tego, co
robiliśmy, oczywiście, gdy chcemy.
Wszystko w porządku.
A ponieważ okno wojny będzie miało ustalony rozmiar, wiesz, że nie będzie to rosnące okno, będzie
to okno o stałej wielkości przesuwające się z czasem, aby pokazać ewolucję świata.
Teraz musimy zdecydować o wielkości tej zimy.
I to po prostu liczba środków nagrody, jaką będziemy mieli w tym oknie.
Na przykład poznajmy ostatnie 1000 słów z ostatnich 100 słów.
Aby się upewnić, że dodamy, jeśli następnie zaplanujemy, to zajmiemy się naszym oknem roboczym i po
prostu dodamy tutaj, jeśli liczba elementów w oknie jest większa niż 1000.
Cóż, chcemy usunąć pierwszy element tego, który naszemu okno i pierwszemu elementowi
tego okna musi być zero.
W porządku.
Teraz upewniamy się, że to okno wojny nigdy nie otrzyma więcej niż 1000 elementów.
Jest tysiąc środków z ostatnich 100 słów, które są idealne, to będzie okno o stałym rozmiarze,
abyśmy mogli zobaczyć, czy średnia słowa rośnie.
A zatem, jeśli szkolenie idzie dobrze, a zatem sąd robi to, co chcemy.
Idealny.
A teraz jedna drobna rzecz do zrobienia w lewo według ciebie, co to będzie.
Pamiętajcie, że ta funkcja aktualizacji nie tylko aktualizuje różne elementy przejścia w oknie wojny,
ale także zwraca działanie, które zostało wykonane po osiągnięciu tego nowego stanu.
To dlatego mamy i wtedy to działanie równa się tej dacie, że jesteśmy mniejszym sygnałem i
dlatego ma coś zwrócić, a to, co ma powrócić, jest oczywiście działaniem.
Tak więc ostatnią rzeczą, którą musimy tutaj zrobić, to po prostu powrót do akcji, która została właśnie zagrana po osiągnięciu
nowego etapu.
I to jest nasza funkcja aktualizacji jest gotowa.
Wykona wszystkie wymagane aktualizacje i zmieni działanie po osiągnięciu nowego etapu.
To idealne.
To była ostatnia trudna czynność, aby zrobić to wszystko.
Teraz reszta będzie dobra.
Zrobimy tylko podstawową funkcję zwracania środków, które chcemy w oknie.
Wtedy stworzymy bezpieczną funkcję, aby uratować mózg samochodu, kiedy tylko chcesz wyjść z aplikacji i
wrócić do niej.
I oczywiście, ponieważ chcesz mieć możliwość załadowania mózgu twojego samochodu, gdy wrócisz do niego, wróć
do aplikacji.
Cóż, skończymy, tworząc funkcję ładowania, która załaduje twój model po zapisaniu modelu z tą
samą funkcją.
Tak więc trzy funkcje do tego, ale będzie to proste.
A potem będziemy mieli najbardziej ekscytującą sekcję tego pierwszego modułu, czyli demo, które zobaczymy, jeśli
działa powietrze.
Zobaczymy, czy samochód osiągnie cele, a my zobaczymy, jak możemy to poprawić, a potem w końcu
trzeba będzie zbudować swoją pierwszą sztuczną inteligencję.
Nie mogę się doczekać rozpoczęcia demo.
Zróbmy najpierw te trzy funkcje i do tego czasu I.