Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
W dzisiejszym tutorialu porozmawiamy o dodatku, który będziemy implementować dla naszego
algorytmu 8: 3.
Nazywa się to krótką pamięcią krótkoterminową lub LSD.
Spójrzmy więc na to, co mamy do tej pory, a potem omówimy, dlaczego potrzebujemy LSD
i co jeszcze jest dla niego, o czym rozmawialiśmy.
Rozmawialiśmy o wszystkich trzech literach A w 3C i oczywiście widzieliśmy, że jest on nieco bardziej kompletny lub
znacznie bardziej złożony niż to, co mamy na tym obrazie, że w rzeczywistości mamy trzech lub
więcej agentów przechodzących przez środowisko i komunikują się między sobą i tak dalej.
Ale dla uproszczenia dzisiejszej historii zamierzamy po prostu zilustrować wszystko tym jednym agentem, a na
końcu mamy ten raport, część krytyczną.
Więc w zasadzie, kiedy już mamy stan, powiedzmy, że ten obraz przechodzi przez splot, przechodzi
przez ciągnącą Lego tasowanie spłaszczenia warstwy.
I w tym momencie mamy wartości lub liczby, które są następnie propagowane przez sieć i przechodzą
do ukrytych warstw, a następnie jako wynik uzyskujemy politykę lub części aktora i otrzymują
wartość państwa lub dostajemy krytykę i co dziś zrobimy, to porozmawiamy o tej ukrytej części w
ukrytych warstwach, którą możemy przenieść na wyższy poziom i możemy dodać
powiadomienie.
I już widzieliśmy, że istnieje wiele powiadomień, ponieważ będą się poruszać, gdy zobaczysz
jedną z nich, którą widzieliśmy, w niektórych przypadkach możesz mieć tę główną część sieci, która jest osobna dla każdego agenta.
Lub możesz mieć tę główną część sieci, która jest wspólna i to właśnie widzieliśmy, że w naszych
poprzednich próbach intuicyjnych mieliśmy wspólną część sieci.
Ta sieć była dzielona między agentów i jak Adlon powie więcej w praktycznych samouczkach,
które naprawdę pomagają w wyzwaniu rozpadu.
Istnieje wiele innych sposobów modyfikacji algorytmu.
Wiele innych dodatków, które można wdrożyć.
I jeden z nich omówimy, ponieważ faktycznie będziemy mieli
w praktycznych stronach trolli tutaj, zanim uderzysz, a Lares, do którego możesz dodać elfi Himmler, sieć
neuronową Klare, która pozwala ci mieć algorytm wyceny pamięć, która pozwala algorytmowi zapamiętać, co działo się wcześniej, a teraz omówimy
LACMA w bardziej szczegółowy sposób.
Ale w zasadzie możesz dodać dodatkową warstwę, która jest mu podobna do Lehre'a i ulepszyć twój
algorytm z dodatkowym Nimerem o innej funkcji, a które faktycznie zobaczysz w praktycznych
Sorrelach, że nie potrzebowaliśmy nawet żadnych ukrytych warstw po tym, jak wszystkie są podobne. Zobaczycie to w implementacji w Atlancie.
Od razu ma spłaszczanie.
Potem dostał kieliszek W zasadzie to pudełko reprezentuje elistycznego hazardzistę.
A potem, po tym, masz już wyjście, więc nie potrzebujesz żadnych innych ukrytych Laresów
po tym, ponieważ właśnie tyle mocy dodaje legenda LSM do algorytmu.
I znowu algorytm lub architektura twojej własnej sieci to bardzo wizualna rzecz, to
osobiste preferencje.
To bardzo kreatywna rzecz, więc możesz chcieć wymyślić graczy, z których możesz mieć dobrze wyuczonego analityka,
Jima Lehrera.
Jest ich kilka jak pięć ukrytych warstw po ich liście.
To zależy od ciebie i ciebie, abyś eksperymentował i eksplorował.
Ale to właśnie wymyśliliśmy w praktycznych tutorialach, więc zobaczysz, że mamy spłaszczoną
płaską warstwę, a potem mamy lair dam, a następnie wyjście.
Więc teraz rozmawialiśmy o innych podobnych do tego, co to jest obsługa.
Cóż, legowisko LACMA dodaje pamięć, dzięki czemu pozwala sieci neuronowej mieć pamięć o
tym, co działo się w poprzednich iteracjach i często jest symbolizowane lub pokazywane z symbolem, który wygląda
tak.
To dopiero zaczyna się w tym, a ja po prostu tutaj.
Wiem, że wygląda bardzo krzywo, ale umieszczam to tutaj, abyś mógł zobaczyć, kiedy dalej omawiamy ten obraz.
Możesz zobaczyć, co się dzieje, więc to wyjście z tego listu idzie tutaj i to jest nasze.
A więc jest to cała warstwa, która się tutaj pojawia, więc jest to wektor wartości x, a wektor wraca do łodygi, a
my po prostu odrzucimy komórkę.
A potem jako wyjście dostajesz inny wektor, który znasz na łączenie się z tym sklepem
lub w jakiś sposób wiąże się w naszym przypadku z wyjściem, który dostajesz i dostajesz to.
Spójrzmy więc na to bardziej szczegółowo.
Więc skupi się na tej części.
W rzeczywistości wchodzimy w to, co zapewne zauważyliście, gdy litery są na boku, a my obrócimy je
na bok.
Tak więc, podobnie jak całość, cała ta okoliczność, na którą można się natknąć, była po prostu powtórzeniem faktu, że choć
wygląda na to, że tak naprawdę się dzieje, jest to warstwa wartości, w którą wchodzi cały wektor
wartości.
Coś się dzieje, co spowoduje właśnie teraz, a potem cały wektor się wywraca.
Tak więc jest to warstwa, w której nie jest tylko jednym elementem tej warstwy.
Wróćmy więc ponownie, by powtórzyć, że Lehre idzie do tego, gdzie coś się wydarza. Lehre wychodzi.
Więc to jest właśnie LACMA jest po jego stronie.
Po prostu jest to łatwiejsze w ten sposób i jest to powszechna reprezentacja.
W tej chwili zgadzamy się, dlaczego ten obraz był po jego stronie i jak zamierzamy to kontynuować.
Zacznijmy jeszcze bardziej zagłębiać się w tę sytuację LACMA.
Co dzieje się w Ellis Jim Lehrer.
Tak to wygląda.
I oczywiście wygląda to bardzo skomplikowanie i na pewno nie przejdziemy przez to teraz
tylko dlatego, że jest dużo do omówienia.
Chodziło o mądre operacje Operacji Xolair i po prostu wiele się dzieje, lub wiele skomplikowanych szczegółów, których nie zamierzamy
omijać, bo inaczej to by się zdmuchnęło i nie jest to celem, o
którym nie rozmawiamy o Elsie. tam, które zamierzają wykorzystać LACMA.
A jeśli chcesz dowiedzieć się więcej o systemach Ellis, możesz albo przejść, albo jesteśmy tutaj.
Blog Krzysztofa Oli.
Ma dobry opis swoich pędów lub też mówimy o LACMA w naszym głębokim wieku uczenia się, oczywiście, że
możesz to sprawdzić.
Mamy całą sekcję o powtarzających się sieciach neuronowych i systemach.
Zasadniczo jest to wewnętrzna część systemu.
A to, co się dzieje, to tak, jak wchodzi noga, więc będziemy mówić o tym na intuicyjnym poziomie
na bardzo podstawowym poziomie, właśnie to, co wystarczy, abyśmy mogli zrozumieć, co się dzieje i dlaczego
jest pamięć.
Abyś mógł lepiej zrozumieć, o czym Atlanty mówi, kiedy to wdraża.
Więc Largo w tym wszystkim jest czymś, co zasadniczo się tu dzieje, Larry idzie w górę.
To, co musimy zobaczyć, to to, że istnieją te części, w rzeczywistości istnieją dodatkowe dane
wejściowe do tego Lehre.
Więc pamiętaj, że zazwyczaj masz dane wejściowe z poprzedniego Lehre, to ten list, a potem masz wyjście,
jeśli myślisz o tym obrazie, że mieliśmy wcześniej normalną sieć, która nie jest po jego stronie, która jest jak od
lewej do prawej od góry do dołu do góry.
Ale jeśli nie masz więcej wejść.
Wiem, że robi się jeszcze bardziej skomplikowana, ale te rzeczy przynajmniej możemy zrozumieć.
Więc to jest twoja komórka pamięci.
To jest klucz i to właśnie usłyszycie o Heidel Atlancie.
Tak więc komórka pamięci jest czymś, co jest zapisane w elist on, więc te wejścia i wyjścia są w rzeczywistości tutaj,
na co patrzysz, to oś czasu.
Więc jest to rozwiązane w czasie, więc w jednej konkretnej iteracji tak się dzieje, ale wtedy ta wartość jest pobierana od posiadanych i te wartości są
przekazywane do tych wartości, które te wartości są pobierane z przeszłości i te wartości są
przekazywane do przyszłości i jak przekazują bogactwo przez sposób, w jaki pracujemy w zespole, więc
śledzimy niepokój o to, co się tutaj dzieje.
Wszystko, co musimy zrozumieć, to to, że kiedy list się pojawia i tutaj
naprawdę mamy wartość, która pochodzi z przeszłości, która jest przechowywana wewnątrz LSD w pamięci długotrwałej.
Mamy tę komórkę pamięci i jakakolwiek wartość tu była, zanim ją po prostu pozostanie tutaj, jak widać, po prostu przechodzi przez
nią swobodnie przepływa, z wyjątkiem tych operacji, w których może być albo zamknięta albo
coś można dodać do to.
Ale niezależnie od tego, jest to tylko pewna wartość, która przepływa swobodnie, więc w zasadzie jest przekazywana na następny
punkt w następnym punkcie.
Można więc pomyśleć o niej jak o pamięci przypominającej pamięć flash lub coś podobnego, jaką
ma ta komórka, a więc po prostu pamięta poprzednią wartość, która była tutaj, a potem
może to zrobić, aby dodać do niej lub czytaj z tego przywiązania.
A ta wartość jest stanem ukrytym.
Stąd H i ukryty stan są w zasadzie.
A teraz wartość, która pochodzi z przeszłości, jest wykorzystywana w systemie.
I jak widzisz na końcu, po tym wszystkim, co się dzieje, dostajesz list, który wychodzi i jest to, że
dostajesz tę wartość, która wychodzi i jest tą samą wartością, która została przekazana dalej.
Więc w zasadzie zespół Ellisa pamięta dwie rzeczy, że istnieje stała wartość, która jest jak pozostanie na
liście i którą można zmienić tak, jak to jest napęd flash dla stałych wartości.
Więc komórka pamięci.
A więc możesz pozwolić sobie na luksus przechowywania czegoś w tej przestrzeni i pamięci, która zostanie
przekazana na przyszłość, tak jak w następnej iteracji.
Tak jak algorytm znajdował się w środowisku, w którym coś działo się i tak dalej.
A potem w LACMA możesz zapisać pewną wartość, a potem zapamięta tę wartość, nawet jeśli jest
w następnym stanie.
A także inne wartości, które będą pamiętać, źle zapamiętują poprzedni wynik.
Automatycznie zapamięta poprzednie wyjście, więc dane wyjściowe będą tu przesyłane.
Jest to więc bardzo bardzo wysoki poziom tego, co dzieje się w LSM.
Jeszcze raz, jeśli chcesz więcej szczegółów, ponieważ wiele zasobów możesz znaleźć i na tym etapie po prostu nie musimy
wdawać się w tak wiele szczegółów na temat wszystkich tych rzeczy.
Musimy tylko zrozumieć, że wiesz, co to jest komórka pamięci, co przywiązanie
do komórki pamięci jest tym, czym jest głowa państwa i jak bardzo ułatwia mu pamięć.
Pytanie jest takie, że teraz mamy ogólny przegląd tego wszystkiego, aby wzmocnić lub
umocnić tę wiedzę, jakbyś chciał podać powód tej wiedzy.
Zadajmy sobie pytanie, dlaczego potrzebujemy pamięci.
Dlaczego potrzebujemy pamięci w naszym A-3 lub innych algorytmach.
Cóż, spójrzmy na nasz przykład na wyzwanie, które podejmujemy w tej sekcji.
Tak więc wyzwaniem jest przełom i to, co się dzieje, i złamanie woli i wybicie masz to środowisko,
te małe klocki, które musisz zniszczyć za pomocą tej małej kulki i musisz upewnić się, że
jest to twój rodzaj rakietki lub platformy, która się porusza. na około.
I musi tam, gdzie leci piłka, musi złapać piłkę i odbija się od platformy, a następnie wrócić i
uderzyć piłkami w ściany.
Wróć do bloku i wróć.
I to jest esencja tego, co musisz osiągnąć.
Ale teraz spójrzmy na tę kulę, jak wyobraź sobie, że jesteście algorytmem 83C i agentem wewnątrz jednego z tych agentów
w środku godziny 08:30.
Widzisz to zdjęcie, co wy wyprowadzacie stąd.
Jakie byłyby twoje działania dla ciebie.
Więc możesz zobaczyć piłki lecące w prawo.
Tak dobrze, że leci w prawo.
Więc gdzieś idzie i może leci w prawo, jak możesz.
Czy mógłbyś dojść do takiego wniosku, czy możesz przewidzieć, że zbliża się on do ciebie?
Prawdopodobnie możesz i być może jesteś we właściwym miejscu, by złapać piłkę.
Ale co, jeśli piłka faktycznie nie leci w tę stronę, ale leci tak, jeśli leci w ten sposób.
Rzecz w tym, że nie można powiedzieć z tego jednego obrazu, który leci, ponieważ nie wiesz,
gdzie był w poprzednim momencie.
Więc jeśli to tutaj, to leci w ten sposób.
Więc jeśli miałbyś, gdybyś znał poprzednią chwilę, gdybyś wiedział, że to tutaj jest, to byłbyś teraz, wiesz,
że tutaj jest jak człowiek, po prostu narysujesz linię dla tych dwóch i powiesz, że idziesz tą drogą.
Ale jeśli wiesz o tym tutaj, rysujesz linie tak samo, jak w ten sposób.
Ponadto spójrz na to.
Mogło to być gdzieś tutaj.
Może to idzie w górę, może to faktycznie idzie w tę stronę, więc może
to było tutaj, a ja się rozwijałem, dlatego, że jeden obraz jest bardzo trudny, jest właściwie niemożliwy.
To tak, jak geometrycznie niemożliwe jest określenie, w którą stronę leci piłka.
I dlatego pamięć LSD naprawdę naprawdę pomaga naszemu Mfatowi pamięci, że nadal może wykonać dobrą robotę, ale prawdopodobnie zgadłaby
lub wiesz, że możesz znaleźć inne sposoby na zrozumienie, dokąd się udać.
Ale z trzpieniem przesuń nawet jedną pamięć, więc jeśli wrócimy nawet z tą jedną wartością, która była podobna
do wyjścia poprzedniej wartości, czy może wiesz, że możesz ją zapisać tutaj lub na podstawie
tej wartości lub na podstawie na podstawie informacji uzyskanych od poprzedniego punktu w czasie.
Powiedzmy więc, co się tutaj wydarzyło.
To tam była twoja piłka, więc możesz przekazać informacje o środowisku z poprzedniego punktu
w tym momencie.
Teraz masz to teraz, wiesz, że nie tylko twoje informacje pochodzą z obrazu.
Jeśli wrócimy jeszcze dalej, zapamiętasz te informacje z obrazu.
Cóż, to jest skazane na porażkę, ale pracujemy nad przełamaniem informacji.
Obraz pojawił się tutaj, tutaj, zamieniony w te spłaszczone wartości.
A więc informacje dla nich.
Obraz wchodzący do całego systemu.
A teraz nagle, tak jak pamiętasz, pochodząc z nie skądś, ale z poprzedniego punktu w
czasie.
Więc to, gdzie faktycznie demonstrujesz, pochodzi z góry lub z kulki od lewej prawej strony.
Właściwie to po prostu pozostaje w legacie.
Masz te informacje tylko przez architekturę.
Powiedzą, że masz informacje o tym, co wydarzyło się wcześniej.
Wracamy więc do informacji, które pomogą ci teraz podjąć decyzję, co zrobić.
Pomaga algorytmowi w podjęciu decyzji.
A teraz nagle to wie.
DOBRZE.
Tak więc piłka faktycznie leży w jednym.
Powiedzmy, że leci w tym kierunku lub w tym kierunku, więc jestem we właściwym miejscu, w którym powinienem
się tu trzymać, piłka podąża w moim kierunku, albo jeśli się zorientuje, że piłka leży tam, powinna
zacząć przesuwać się w lewo bo jeśli poczeka trochę dłużej, będzie za późno.
I będą tęsknić za piłką.
Tak więc w zasadzie to właśnie im pomagają algorytmy i dokładnie to
zobaczymy podczas praktycznych ćwiczeń z Atlanty.
Więc tak to działa w tych zespołach.
I jeszcze jedna dodatkowa uwaga, o której wspomnieliśmy na początku, zespoły Ellisa nie są w 100 procentach potrzebne.
Nie są kompletne. Nie są całkowicie przywiązani do algorytmu.
Możesz chcieć je mieć w algorytmie C, którego możesz nie chcieć mieć w zależności od
sytuacji, aby wybrać Arctic, który wybierzesz.
Istnieje wiele dodatków i już omówiliśmy dodanie lub modyfikację, w której sieć neuronowa jest dzielona między
aktorami, nie są dzielone między agentami, czy nie.
Mimo to, elist Jim jest jeszcze jeden, który zobaczysz w praktycznych tutorialach, gdzie dodamy entropię,
która jest wyliczana za pomocą polityki lösen Adlon przeprowadzi cię przez to.
Zasadniczo istnieje wiele różnych modyfikacji, które mogą się zdarzyć w algorytmie A-380.
Pamiętaj tylko, że to zależy od tego, co chcesz osiągnąć, a także jest to coś, co
zachęciłoby Cię do zbadania, czy zamierzasz wdrożyć wiele z nich i próbować różnych algorytmów.
Już rozmawialiśmy o parach i być może możesz znaleźć dodatkowe modyfikacje, które mogą Cię
zainteresować, a może kiedy oglądasz te tutoriale, może kupisz więcej
modyfikacji, które są bardzo interesujące.
Na pewno jest to coś, na co można popatrzeć i które może jeszcze bardziej zwiększyć twoją wiedzę
o sztucznej inteligencji i jak stworzyć te algorytmy.
I w tej notatce mam nadzieję, że podobał ci się ten samouczek, a następnym razem cię poszukuję.
Do tego czasu ciesz się.
JA.