Cześć i witamy w tutorialu Python.
W porządku, więc właśnie budujemy architekturę sieci neuronowej z funkcją naszej klasy sieciowej,
a następnie stworzymy drugą funkcję, która będzie funkcją naprzód i
która będzie aktywować neurony.
To jest funkcja, która będzie działać dla propagacji.
Zróbmy to, zróbmy tę funkcję, nazwijmy ją naprzód, tak jak właśnie powiedzieliśmy, a ta funkcja
będzie wymagać dwóch argumentów.
Najpierw, tak jak zwykle, wiesz, że możesz używać zmiennych obiektu, ponieważ
zamierzamy użyć SE1 NFC.
Więc potrzebujemy jaźni, aby móc używać tych zmiennych, a wtedy potrzebujemy drugiego argumentu,
który jest naszym wkładem i będziemy go nazywać stanem, ponieważ stan jest dokładnie wkładem naszych sieci
neuronowych.
Wiesz, że to są Stany.
Są inne wejścia wchodzące do sieci neuronowej, a następnie jako wyjścia będą miały q wartości trzech możliwych
działań idących w lewo, idź prosto lub idź w prawo.
Ale nie musimy tu podawać tego jako argumentu, ponieważ właśnie to chcemy przywrócić do
tej funkcji, która nie tylko aktywuje neurony, ale także i przede wszystkim zwróci wartości
kostek dla każdej możliwej akcji w zależności od tutaj wprowadź stan.
W porządku.
Oto dwa argumenty, których potrzebujemy.
A teraz przejdźmy do funkcji i określmy, co chcemy zrobić.
OK, więc pierwszą rzeczą, którą zrobimy, jest aktywacja ukrytych neuronów, a my nazwiemy
ukryte neurony zmienną x, dzięki czemu x reprezentuje ukryte neurony.
A więc jak je aktywować.
No cóż, oczywiście weźmiemy nasze neurony wejściowe.
Zamierzamy użyć naszego pierwszego pełnego połączenia, jeśli chcemy uzyskać ukryte neurony, a następnie
zastosujemy na nich funkcję dezaktywacji, która będzie rektyfikowaną funkcją.
Jak zamierzasz to zrobić?
Pamiętaj, że sprowadziliśmy pochodnię.
I to jest ten moduł funkcjonalny, który zawiera wszystkie funkcje potrzebne do wdrożenia sieci neuronowej.
I daliśmy mu skrót.
Tak więc to, co teraz zrobimy, to wykorzystanie jednej z tych funkcji z
modułu funkcjonalnego, a ta funkcja naprawdę działa.
Tak więc istotna jest funkcja prostownika, którą zobaczyliście w wykładach intuicyjnych.
To jest właśnie, a następnie przekazywane do funkcji prostownika.
Ale skoro ta funkcja jest wzięta z tej funkcji, która otrzymała skrót, musimy najpierw wpisać
tutaj pierwsze f myśli, a wtedy możemy skorzystać z tej funkcji.
A tak naprawdę, jeśli piszę, to jesteśmy tutaj, mamy prawdziwą funkcję.
Więc jest to sterowane przez funkcję, która aktywuje ukryte neurony, które są x.
W tej właśnie funkcji rozumiemy doskonale, co musimy wprowadzić, to neurony, które
chcemy aktywować.
To są ukryte neurony, a więc aby uzyskać te ukryte neurony, wezmę
pierwsze pełne połączenie, które zastosujemy do naszych neuronów wejściowych, aby przejść od neuronów wejściowych do neuronów.
Weźmy więc pierwsze pełne połączenie.
Ale nasze pierwsze pełne połączenie jest zmienną naszego obiektu.
Dlatego musimy wpisać tutaj pierwsze ja.
FC jeden tutaj.
To pierwsze pełne połączenie naszej sieci neuronowej.
Wewnątrz tego osobistego połączenia będziemy wprowadzać nasze stany wejściowe, aby przejść od neuronów wejściowych do
ukrytych neuronów.
I dlatego, że nadaliśmy mu nazwę STATE Cóż, tutaj mamy dwa stany wejściowe i zaczynamy.
Teraz aktywujemy ukryte neurony.
W porządku.
A teraz, gdy mamy ukryte neurony, zwrócimy neurony wyjściowe.
Więc następny wiersz i jak zrozumiałeś, neurony wyjściowe odpowiadają naszym działaniom.
Ale to nie są działania bezpośrednio.
Są to wartości q, ponieważ budujemy model cyfrowy, który łączy głębszy model z uczeniem się Q, a zatem
używamy tutaj q learningu, aby uzyskać wartości q dla każdej z naszych akcji, a później
używając soughed Max lub w naszym Maxu będziemy uzyskać ostateczną akcję, więc tutaj wojewoda, który zamierzam wprowadzić, będzie
odpowiadał niuansowi APA, a neurony wyjściowe są kluczowymi wartościami.
Cóż, nazwę tę zmienną.
Q Oznacza to, że idziemy do wartości q, a teraz bezpośrednio przyjmujemy nasze połączenie żywnościowe, które jest zmienną.
Aby wstawić zmienną z naszego obiektu.
Więc bierzemy tutaj samouk F C i oczywiście tutaj wprowadzamy neurony po lewej stronie tego
połączenia.
To właśnie otrzymaliśmy z pierwszej linii, która jest x.
Więc x Tam idziemy.
Otrzymujemy teraz nasze wartości Q.
To neurony wyjściowe naszej sieci neuronowej.
DOBRZE.
A następnie ostatnia linia kodu oczywiście ta funkcja forward jest używana do zwracania tych wartości.
Musimy więc dodać zwrot i po prostu wartości Q, które zwrócą kluczowe wartości dla każdej możliwej akcji, idąc w lewo,
idź prosto lub idź w prawo.
W porządku.
Gratulacje.
Skończyliśmy z naszą pierwszą klasą i faktycznie skończyliśmy tworzyć architekturę sieci neuronowej.
Pamiętaj, że to nie jest zakończona praca.
Zawsze możesz ulepszyć architekturę sieci neuronowej, próbując różnych.
Więc możesz to zrobić, dodając więcej neuronów.
Na przykład, jeśli chcesz dodać 50 ukrytych neuronów, możesz po prostu zastąpić tutaj
30 i 30 tutaj 50 50 i 50, a następnie dodać kilka ukrytych warstw, tworząc przydatne połączenia.
Cóż, to naprawdę jest praca artysty.
Nie ma ogólnej zasady, jaka byłaby najlepsza architektura w każdej sytuacji.
Dlatego musimy eksperymentować.
Spróbujemy z tym, że zobaczysz, że w końcu dostaniemy całkiem niezły samochód do samodzielnego prowadzenia.
W porządku.
A teraz zamierzamy stworzyć następną klasę, która będzie dotyczyć powtórki z doświadczenia, a zrobimy to w ciągu najbliższych
trzech do dwóch godzin.
Do tego czasu ciesz się AI.