Cześć i witamy w tym samouczku.
W tej chwili mamy naszą sztuczną inteligencję, gotową do treningu.
Pierwszym krokiem szkolenia jest ustawienie powtórki doświadczenia.
Więc powoli się tam dostaniemy.
Szkolenie i dobra wiadomość jest taka, że mamy wdrożoną wersję powtórki doświadczenia.
Poza tym jest przystosowany do śladu kwalifikowalności, który przypominam, jest techniką, która zamiast uczyć się wartości q,
każde przejście uczy się go co 10 przejść.
Więc w zasadzie to jest dokładnie to samo co poprzednio.
Zamiast pojedynczego celu dla pojedynczego słowa dla każdego kroku będziemy mieć łączny cel dziesięciu kroków
i łączną nagrodę 10 kroków, a za każdym razem nauczymy się 10 kroków.
Tak więc uczymy się na przejściach 10 kroków zamiast jednego jak poprzednio.
I dzięki temu będę zdziałać cuda i to uczyni cuda dla procesu szkolenia.
Wiesz, że szkolenie zajmie znacznie mniej czasu.
Dzięki tej technice musimy jednak określić powtórkę niedoświadczenia, którą uczymy się co 10 kroków.
Dlatego powtórka tego doświadczenia nie jest klasyczną implementacją powtórki doświadczenia.
Jak zrobić dla samochodu do samodzielnego prowadzenia.
Jest to implementacja powtórki doświadczenia uwzględniająca te 10 etapów uczenia się, dlatego też w tym pliku powtórzenia
doświadczenia znajdziesz dwie klasy, jedna klasa, która sprawia, że twój postęp w sztucznej inteligencji wykonuje dziesięć kroków,
dzięki czemu można podsumować nagrody obserwowane na tych 10 krokach.
To jest pierwsza klasa i potrzebujemy tej klasy, ponieważ musimy uwzględnić te 10 kroków w klasie
pamięci powtórek, która jest klasowym narzędziem dla doświadczenia, w którym gramy, iw ten sposób upewniamy się, że
pamięć bierze również pod uwagę to, że jesteśmy uczenie się na 10 krokach.
Dlatego właśnie w tej implementacji powtórek doświadczeń znajdziesz dwie klasy, ale to
tylko wziąć pod uwagę, że uczymy się w 10 krokach i które należy uwzględnić również w pamięci.
Mówiąc o naszej pamięci, stwórzmy to.
Zamierzamy nazwać naszą pamięć pamięci, a pamięć stanie się obiektem odrzutu pamięci powtórzenia, a klasa pamięci
powtórek jest klasą tego odtworzenia wrażeń już teraz.
I tak biorę najpierw to doświadczenie powtórzenia doświadczenia i tam biorę klasę pamięci powtórek.
Idealny.
A teraz widać, że musimy podać dwa argumenty, pierwszy argument i kroki, które dokładnie
odpowiadają liczbie etapów, na których poznamy kluczowe wartości.
Więc znasz liczbę kroków, na których gromadzimy cel i chcemy.
Będziemy mieć łączny cel i łączną nagrodę, a drugim argumentem będzie
pojemność, która jest wielkością pamięci.
Na przykład tutaj widzimy dziesięć tysięcy.
Jeśli więc pojemność jest równa 10000, oznacza to, że będziemy mieli
wielkość 10000, a więc oznacza to, że otrzymamy pamięć 10000 kroków wykonanych przez oko.
Ale znowu nie będziemy uczyć się każdego przejścia.
Będziemy uczyć się co dziesięć kroków w ciągu ostatnich 10000 kroków pamięci i to jest właśnie
ta nowa funkcja, którą tutaj wprowadzamy w porównaniu do wcześniejszych.
Zanim mieliśmy tylko tę sztuczkę z pamięcią powtórki i tutaj mamy tę sztuczkę z pamięcią powtórzenia plus tę sztuczkę nauczyłem
się co dziesięć kroków i zamierzamy uczyć się co dziesięć kroków, a my
zrobimy to w pamięci złożonej z ostatnie 10000 kroków.
I to jest doświadczone powtórzenie połączone z cechami nieumiejętności z 10 krokami znacznie poprawi
wydajność treningu.
Zakończmy więc tymi dwoma argumentami.
Pierwszy to i kroki, które będą równe.
Ale na razie załóżmy, że kroki i kroki określą, który krok jest właściwy, po tym, że będzie to
rzeczywiście podupadnięcie drugiej klasy tego pliku powtórki doświadczenia, który jest końcową klasą postępu i
pozwala robić postępy w dziesięciu krokach.
I pamiętaj, że podczas 10 kroków usłyszymy słowa na dziesięciu krokach, aby uzyskać skumulowane nagrody
w 10 krokach.
I to jest właśnie test kwalifikowalności.
Teraz musimy zrobić te kroki tutaj i tworzymy je z drugą klasą, którą mamy w tym
pliku powtórzenia doświadczenia, który jest krokiem do przodu.
Teraz zamierzamy to zrobić, a to będzie przedmiotem krokowej klasy postępu, którą podejmujemy
ponownie z naszego doświadczenia, w którym gramy.
No to jedziemy.
Tak więc jest to klasa anty-postępowa, a teraz musimy przedstawić trzy argumenty, ponieważ, jak
widzicie, musimy umieścić środowisko, które jest środowiskiem, które tutaj zaimportowaliśmy.
Drugim argumentem jest nasza sztuczna inteligencja, a to oczywiście sztuczna inteligencja, którą
zbudowaliśmy tutaj w U. S. a ostatni argument jest krokiem w tym, w którym określimy,
że chcemy 10 kroków, które znasz, aby uczyć się co 10 kroków, czyli co 10 przejść.
Pomóżmy więc z tymi argumentami.
Pierwszym z nich jest środowisko i to jest katastrofa i wszystko w porządku.
Druga to nasza sztuczna inteligencja i to my policzyliśmy ai ai.
To tutaj.
Jest to po prostu nazwa argumentu kroku postępu i tego ai ai.
Oto nasza ai ai.
Ten, który zbudowaliśmy, a następnie ostatni argument, jest ustawiony i jest równy 10.
W porządku.
W tej chwili właśnie uwzględniamy w pamięci, że uczenie się odbywa się na 10 krokach, a to
uczenie się na 10 krokach nosi nazwę śladu kwalifikowalności.
Więc pracujemy tutaj nad zaawansowanymi materiałami.
Ale pamiętajcie, że to dlatego, że próbujemy być Dume'em, a to nie jest jak robienie kawałka ciasta.
Potrzebujemy tych zaawansowanych technik, aby to zadziałało.
Teraz jesteśmy prawie gotowi.
Zanim przejdziemy do następnego etapu, który będzie faktycznie na temat wdrażania tacek LGBT,
jedyną rzeczą, którą musimy uwzględnić, jest oczywiście pojemność, a to powiedzmy, że 10000 mężczyzn będzie mieć rozmiar
10000, co oznacza, że pamięć będzie zawierała ostatnie 10000 kroków wykonanych przez sztuczną inteligencję, które
pozwolą nam wygenerować kilka.
Jak pamiętam, była to prosta funkcja.
Wiesz, że pamięć zawiera 10000 przejść, ale aby wytrenować oko, będziemy próbować tyle partii dziesięciu przejść,
a nie jednego, przed 10 przejściami tym razem, a my spróbujemy tych
mini partii 10 przejściowych w pamięci złożonych ze 10000 kroków .
W porządku, więc teraz myślę, że jesteśmy gotowi przejść do następnego kroku, który dotyczy wdrażania
śladu kwalifikowalności.
Więc mamy tu trochę przygody.
To nie będzie prosta implementacja.
Więc zrób sobie przerwę i kiedy będziesz gotowy, możemy zaatakować to.
I wtedy ciesz się.