Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
W porządku, więc mam nadzieję, że podoba Ci się tutorial, a do tej pory prawie skończyliśmy z intuicją,
wkrótce niedługo dojdziesz do praktycznej strony rzeczy, które mamy właśnie kilka drobiazgów, które musimy pokryć.
W porządku, więc wcześniej rozmawialiśmy o tym, w jaki sposób dodajemy sieci neuronowe do tego całego równania uczenia
CULE i przechodzimy do następnego etapu i przekształcamy go w głęboką naukę.
A dziś dodamy jeszcze jedną ważną cechę, która będzie kodować w praktycznej stronie rzeczy, tak więc nagłówek i zdecydowałem,
że ważne jest, abyśmy często ją pokrywały w intuicyjnej stronie rzeczy, abyś był lepiej przygotowany
do tego, gdy przychodzi po stronie kodowania rzeczy.
Więc kiedy rozmawialiśmy, że mamy sieć, są dwie części, które się zdarzają.
Przede wszystkim jest to nauka, więc sieć faktycznie uczy się z każdym nowym stanem.
Powoli aktualizuje swoje oczekiwania, aby lepiej i lepiej radzić sobie z tym środowiskiem.
A potem następuje działanie wewnątrz stanu, więc po tym, jak wartości q zostały policzone w stanie, to
po wybraniu.
Więc dzisiaj nadal będziemy rozmawiać o części do nauki, którą zamierzamy wymyślić z
interesującą funkcją, która pomoże nam w przygotowaniu tej funkcji, ale
porozmawiamy o funkcji, która jest bardzo ważna dla głębokie, fajne uczenie się i ta funkcja nazywa się powtórzeniem doświadczenia.
W porządku.
Oto nasza sieć, więc skopiowaliśmy ją tutaj.
Mamy zgubę, że Calcott na dole jest propagatorem w sieci.
Przyjrzyjmy się przykładowi tego, co dzieje się, aby lepiej zrozumieć problem, z którym mamy
do czynienia.
Oto przykład z wyników.
To jest zrzut ekranu z tego kursu, który będziesz programować.
Jest to samochód samojezdny, który jedzie przez to wzdłuż tej drogi i musi nauczyć się
poruszać tą drogą.
I tak jak to omówiliśmy wcześniej. Co to jest w tym stanie?
I oczywiście stan nie będzie X1 x2 Lundell po prostu opisać go w dużo bardziej
szczegółowo, jaki jest stan, to będzie kilka parametrów, które odnoszą się do kąta samochodu i niektórych względnych parametrów, co
czujniki są czytanie i tak dalej.
Więc będzie więcej parametrów niż to, aby opisać stan.
Niemniej jednak będzie to wektor wartości przechodzących przez sieć neuronową, a następnie na
wyjściu będziesz miał pewne wartości ACU.
Znowu będzie różnica w zależności od środowiska.
Mogą to być różne liczby możliwych działań.
Ale po prostu idziemy dla uproszczenia, zostawmy to tylko dla nas, abyśmy mogli lepiej zrozumieć, co
tu się dzieje.
Więc w tym przypadku, jakie jest pytanie, co do tej pory, co to jest.
To wejście do tej sieci neuronowej lub dokładniej jak często uruchamiamy tę sieć neuronową.
Jak często następuje ten wzrost sieci neuronowej.
Za każdym razem, gdy samochód kończy się w nowym stanie, samochód wykonuje ruch, który kończy się w nowym stanie, a
potem wszystko idzie.
Wszystkie dane, które wszystkie informacje z państwa przekazują przez sieć, dają Alice obliczone
błędy.
Ten błąd jest obliczany na podstawie tego, co omówiliśmy w poprzednich samouczkach.
Ta funkcja jest ponownie propagowana, a jej wagi są aktualizowane.
Następnie samochód wybiera, którą akcję podjąć, sprawia, że ten ruch kończy się w nowym stanie w nowym stanie.
Wszystko zaczyna się od nowa.
Zasadniczo dzieje się tak za każdym razem, gdy samochód jest w samochodzie i powiedziałeś, że dobrze się przyjrzeć na tym przykładzie.
Specjalnie wykonałem zrzut ekranu, ponieważ wygląda na to, że bardzo dobrze ilustruje problem, który jest rozwiązywany poprzez powtarzanie
doświadczeń i powtórki wydatków, a nie tylko coś, czego używamy w tym kursie lub w
tym konkretnym problemie.
To jest coś, co zobaczysz w całym tekście.
W kółko i ciągle w algorytmie sztucznej inteligencji, ponieważ jest tak potężny i jest tak
ważny.
Spójrz więc na ten samochód w tym problemie, lub w tym środowisku, w którym jego celem jest odejście stąd
do tego miejsca.
Jego celem jest poruszanie się tutaj, bez przekraczania tych ścian, które są wykonane z piasku.
I tak samochód zaczął tutaj i spadł, a jego nagroda jest oparta na tym, że wiesz, jak blisko jest
zacząć.
Samochód przejechał stąd, a potem jechał dalej i tak dalej, tak jak to, albo wzdłuż
tej ściany wzdłuż wybrzeża.
I co będzie dalej robić, to się zmieni.
Cóż, chcieliśmy zrobić to tutaj.
Ale pomyślmy o tym przez chwilę.
Po dotarciu do tej ściany za każdym razem, gdy porusza się do przodu, porusza się do przodu.
Porusza się do przodu, porusza się do przodu porusza się do przodu Porusza się do przodu porusza się do przodu i tak dalej porusza się do przodu.
Więc może być tak, że w zależności od struktury środowisko może być jak sto ruchów tutaj
lub 50 ruchów tutaj.
Po prostu porusza się do przodu naprzód i nic się nie zmienia.
Niezbyt się zmienia, gdy robi się coraz dalej od tego, co zaczęło się bliższe tej historii.
To cudowne.
Ale jeśli chodzi o otaczające środowisko, niewiele się zmienia, to wciąż ta sama ściana.
Jeśli siedzisz w samochodzie, prawdopodobnie widziałeś sytuację, w której jeździsz w tym, co
widzisz, tak jak środowisko jest tak monotonne, że po prostu widzisz, że to samo przechodzi
obok.
Ale jak wyobrażam sobie, że jedziecie przez pustynię i widzicie to samo, to jest ten sam dźwięk,
to taki sam dźwięk, nic się nie dzieje.
Nic się nie zmienia.
Oparte na tym, ale za każdym razem stawiamy ten stan w tym nowym stanie.
Tak, oczywiście, coś może się zmienić dla nas, gdy prowadzisz samochód, a twój GPS pokazuje,
że jesteś bliżej celu.
Tak więc jedno z tych wejść jest dziwne, ale wiele z tych innych sygnałów wejściowych to
czujniki na przykład w samochodzie, które się nie zmieniają, a zatem, gdy w tym dniu jedzie się wolno,
aby wprowadzić tutaj własne dane wejściowe. tutaj, tutaj, tutaj, tutaj i tutaj, cały czas dane wejściowe są prawie
takie same.
Jeśli więc nadal będziesz wprowadzał te same dane wejściowe w wektorach lub bardzo podobnych wektorach do
twojej sieci, ponieważ nie ma odmiany.
Samochód nauczy się bardzo dobrze.
Jedną z rzeczy, którą nauczysz się bardzo dobrze, będzie jechać wzdłuż tej ściany, która znajduje się po jej prawej stronie,
a więc to, jak sieć się zaktualizuje, a zostanie nagrodzona, powoli zacznie być nagradzany za jazdę tak dobrze, jak
to będzie.
OK, więc stąd będę się uczył wszystkiego, co robię tak dobrze, że robię lepiej, robię to lepiej.
To wszystko.
Będzie to miało ten fałszywy pogląd, że w rzeczywistości robi się bardzo dobrze, chociaż uczy się tylko jeździć wzdłuż, a inne
sieci neuronowe staną się bardzo przystosowane do jazdy wzdłuż tej studni, a potem nagle pojawia się
ta krzywa, a samochód robi Nie wiem, co robić.
I zupełnie nie pasuje do tej sieci neuronowej.
I nawet jeśli tak jest, to po prostu hipotetycznie powiedzmy, że mija punkt, a potem kończy się na tej
ścianie.
To samo stanie się z tutaj tutaj.
OK, teraz sieć neuronowa sama się restrukturyzuje, aby dostosować się do tej ściany, a potem wszystko się dzieje.
A nawet jeśli jakoś to minie, to przejedzie obok tej rzeczy, a potem to
samo.
Zasadniczo jest to bardzo żywy przykład problemu, że jesteśmy tym, co mamy, ponieważ sposób, w jaki używamy
sieci neuronowej, aktualizuje ją w każdym pojedynczym stanie, gdy mamy wiele kolejnych rzeczy,
których nawet nie muszą być to samo, ale w środowiskach normalnych, że kolejne stany są
w jakiś sposób skorelowane lub w jakiś sposób współzależne i nie chcemy, aby ta współzależność wpływała na naszą
sieć.
Nie chcemy, aby samochód po prostu nauczył się jeździć wzdłuż linii prostej lub zakrzywionej linii,
lub jak cokolwiek, co myślisz, że możesz myśleć w życiu, w którym agent byłby środowiskiem nawigacyjnym,
w którym moglibyśmy myśleć o korelacji lub współzależne stany, które pojawiają się po innych, które mogą naprawdę zepsuć twoją
sieć neuronową.
Jeśli tylko pozwolisz agentowi uczyć się na tym.
I tu pojawia się powtórka doświadczenia.
To, co dzieje się w powtórce doświadczenia, to te doświadczenia, więc te stany twierdzą, że w jednym neuro stanie się
to w jednym z dwóch, jakkolwiek wielu z 50 stanów, które nie od razu trafiają do sieci.
W rzeczywistości są zapisywane w pamięci agenta.
I tak na przykład zapisuje to wszystko i zapisuje wszystkie te, a niektóre w pewnym momencie, gdy osiągnie pewien
próg, który będzie można kodować, a Atlanta pokaże ci, jak to zrobić.
Po osiągnięciu pewnego progu agent sam decyduje o sobie, że nadszedł czas na naukę.
Mam tę partię doświadczeń, z których nie mam zamiaru się uczyć, więc losowo wybiera
się równomierną dystrybucję, a jednolitość jest kluczowa, tutaj jest ważna, ponieważ o tym będziemy
rozmawiać na następnym slajdzie.
Będziemy o tym wspominać.
Ale wymaga równomiernie rozłożonej próbki.
Zasadniczo wszystkie doświadczenia są uważane za równe.
To wymaga równomiernie rozłożonej próbki z tej serii doświadczeń, którą posiada, a następnie przechodzi przez nie i uczy się od nich,
więc nie wymaga to całego doświadczenia lub po prostu bierze je w
równomierny sposób do dystrybucji próbek, co może wymagać kilku tutaj para stąd i to,
a każde doświadczenie charakteryzuje się stanem, w jakim znajdowało się w akcji, że zajęło stan, w którym się znalazło,
i nagrodą, jaką osiągnęła dzięki tej akcji w tym konkretnym stanie, więc cztery elementy w każdym doświadczeniu oznaczają jeden akcja
stan dwa i nagrody, a więc bierze wszystkie te doświadczenia, a następnie przechodzi je przez sieć i
uczy się.
I w ten sposób łamie wzór tej stronniczości, która pochodzi z sekwencyjnej natury tego doświadczenia, tak jakbyś miał je przepuścić
przez sieć jeden po drugim.
Więc to jest główny temat naszych doświadczeń.
Właśnie na tym polega problem i adres, a kolejną korzyścią wynikającą z powtórki doświadczenia jest
to, że czasami w takim środowisku możesz mieć bardzo cenne rzadkie doświadczenia.
Więc na przykład nie wiem, powiedzmy, spójrzmy na ten zakątek w prawo, to jest ten prawy róg.
Dobrze.
A bardzo ostry jest ostry.
Więc będzie stąd, zakładając, że będzie przytulony do tego zakrętu.
A więc mając w tym momencie ostre zakręty, mamy w tym miejscu
jeden prawy róg i jeden prawy róg.
Właśnie tak, kiedy nadchodzi w ten sposób, to jest właściwy róg.
A potem, kiedy wraca, jest tu ostry prawy róg.
Tak więc i ten nie jest ostry w ten sposób w sklepie, więc istnieje tylko jedna
możliwość w całym środowisku, aby uczyć się od ostrego kąta.
To bardzo ważne doświadczenie, ponieważ może naprawdę dobrze jeździć po liniach prostych, robi się
naprawdę dobrze, robiąc tak miękkie zakręty jak to, ale.
A potem cały czas zepsuje ten ostry prawy róg, ponieważ po prostu dlatego, że nie ma tak wiele okazji, aby się z
niego uczyć, i dlatego nauczy się wszystkiego bardzo szybko, ale to zajmie dużo
czasu, aby nauczyć się właściwego kierunek.
To bardzo uproszczony przykład jest bardzo uproszczonym wyjaśnieniem, ale ilustruje koncepcję, że czasami
są to rzadkie doświadczenia, które mogą być cenne.
A jeśli po prostu robisz prostą sieć neuronową, w której umieszczasz swoje wartości tutaj i wiesz,
że one przechodzą i wiesz, nawet jeśli zapomnisz o problemie sekwencyjnego charakteru doświadczeń i
jak mogą one być współzależny i wszyscy skorelowani Thimphu nawet o tym zapominają
na sekundę.
To, co się dzieje, gdy raz włączysz w to doświadczenie, przechodzi przez sieć danych, a potem natychmiast zapominasz, ale
zapominasz o tym doświadczeniu.
Przejdź do następnego.
Tak właśnie działa sieć neuronowa.
Następnie przechodzisz do następnego stanu, w następnym kroku, następnym kroku doświadczania X doświadczenie,
doświadczenie i tak dalej.
Więc ten prawy róg, gdy tylko przejdzie przez sieć, zniknął i nie masz żadnej pamięci o
tym cennym doświadczeniu.
Podczas, gdy doświadczyliśmy powtórki, ponieważ wkładasz te doświadczenia w partie, możesz uporządkować bash jako kroczące
okno, na przykład możesz mieć 100 partii. Więc setki doświadczeń w twojej
partii, więc kiedy wrócisz, to tak szybko, jak tylko ma to zapisane to doświadczenie
w swojej partii.
Wtedy, jak w pewnym momencie, bierze swój równomierny rozkład ze swojej serii doświadczeń, a potem pojawia się ruchome okno,
które zapomina o tych doświadczeniach, ale potem utrzymuje te doświadczenia.
A potem znowu się uczy, skoro już tu jest, to uczy się z tej partii, a kiedy już tu jest, to zapomina
aż do tego miejsca.
Ale potem ma grupę takich doświadczeń, więc nie uczyć się z tych doświadczeń.
I w ten sposób otrzymujesz to, że ten prawy róg może pojawić się kilka razy w procesie uczenia się, ponieważ
był on w tej partii, gdy partia była podobna do tej, która była
tam w partii tutaj, więc pojawiła się w kilku partiach, ponieważ abash może
zostać zaktualizowany jako kroczące okno doświadczenia.
Tak więc starsze doświadczenia zostają wyrzucone, a nowe doświadczenia są dodawane, a następnie
starsze doświadczenia.
Tak więc i doświadczyć, że pozostanie w partii przez dłuższy czas, a samochód lub agent może uczyć się z tego
doświadczenia kilka razy.
Jest to kolejna zaleta powtórki doświadczenia.
I oczywiście ostateczną zaletą jest powtórka z doświadczenia, która daje możliwość uczenia się z większej ilości
doświadczeń, niż gdy uczysz się tylko dla jednej osoby, ponieważ masz tę partię
i dlatego jest to krągłe okno, a zatem nawet jeśli twoje środowisko jest ograniczone aby doświadczyć doświadczenia, podejście do odtwarzania
może pomóc Ci szybciej się uczyć.
Zamiast powtarzać wiele razy, możesz wiele się nauczyć, ponieważ nie musisz tego powtarzać.
Masz zapisane te doświadczenia.
Są to więc główne zalety doświadczenia.
Podsumujmy, że mamy.
Przełamujemy ten schemat ponad niezależność i korelację kolejnych doświadczeń, oszczędzając rzadkie doświadczenia, które mogą być ważne,
dlatego możemy uczyć się z nich częściej, a my możemy się uczyć w środowiskach,
w których możemy się nauczyć środowisk Fosler, które są doświadczeniem.
Mamy niedobór doświadczeń, które nie mają tak wielu doświadczeń, przez które przechodzi agent, a mimo to
możemy się tego nauczyć.
Więc to jest to, co przeżywa doświadczenie.
Jeśli chcesz przeczytać nieco więcej.
W 2016 r. Opublikowano interesujący artykuł opublikowany przez głęboko myślącą osobę, który nazywa się priorytetowym
powtórzeniem i opowiada o tym, dlaczego.
Dlaczego używamy jednolitej dystrybucji, aby wybrać nasze doświadczenia z doświadczenia Bachche, dlaczego nie znajdziemy lepszego sposobu
na wybranie naszych doświadczeń i nadanie priorytetu niektórym z doświadczeń, które uważamy
za ważne.
To bardzo interesujące, ale w tym przypadku będziesz w stanie nie tylko wzmocnić lub
nie tylko wzmocnić swoją wiedzę na temat powtórki doświadczenia, ale będziesz w stanie poruszać się z najnowocześniejszą
technologią.
Jest to 2016 i opublikowane przez głębokie umysły.
Jest to bardzo aktualny bardzo potężny papier, dzięki któremu będziesz mógł zbadać ograniczenia lub odkryć jeszcze bardziej ten
algorytm i przenieść go na wyższy poziom.
Pozostawiam to tobie, aby dowiedzieć się, dlaczego i jak możemy zmienić uniform na inne podejście do odtwarzania
powtórzeń z tego artykułu, jeśli chcesz.
I mam nadzieję, że ci się to podoba.
Tauriel, a teraz wiemy, czym naprawdę jest doświadczenie i możemy z przekonaniem używać go w naszych praktycznych kręgach i chcę
cię zobaczyć następnym razem.
Do tego czasu ciesz się AI.