Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Mam nadzieję, że jak dotąd cieszycie się z tego kursu.
A dzisiaj mówimy o działaniu polityki selekcji.
W porządku, przejdźmy od razu do tego.
Wcześniej rozmawialiśmy o dodaniu sieci neuronowej do naszego prostego uczenia się i do tej pory
wciągamy się do głębokiego uczenia się.
Rozmawialiśmy trochę o części uczącej się, w tym dodaniu do niej pewnych elementów.
A dzisiaj mówimy o tej części, o której mówimy o aktorstwie.
Więc spójrzmy.
Mamy tutaj to, o czym mówiliśmy, że po wprowadzeniu wartości, które są parametrami, wektor opisujący agenta stanu jest
wyraźnie w tym środowisku, to znaczy po tym, jak cała nauka się skończyła, albo jeszcze
zanim nauka się skończy.
Zasadniczo otrzymujemy wszystkie wartości q, więc nie jesteśmy zainteresowani nauką, teraz nalegamy
na działanie, więc gdy tylko otrzymamy te kluczowe wartości, zrozumiemy, które z nich musimy użyć.
Cóż, jeśli o tym pomyślisz.
Wartości Q są po prostu przewidywaniami dla kostki.
Tak jak zrobiliśmy w prostym algorytmie uczenia się, co zrobiliśmy, właśnie wybraliśmy ten, który ma najlepszą z
najwyższej wartości.
Kiedy już mamy ten, który ma najwyższą wartość IQ, po prostu bierzemy tę akcję, ponieważ ona
właśnie przynosi nam najwyższą wartość i że wiemy, że natychmiastowa nagroda Duval's kalkulator, że oczekujemy
otrzymać Plus współczynnik DK razy wartość następnego dnia.
I to jest rekurencyjne obliczenie, więc dlaczego nie miałbyś wziąć najlepszej wartości i na
tym koniec.
Ale jak widzisz, tutaj nie jest tak prosto, że używamy funkcji miękkiego maksimum i
tutaj będziemy mówić o rzeczywistych zasadach wyboru.
Tak więc w rzeczywistości nie musimy mieć tylko funkcji oprogramowania.
Możemy mieć różne strategie wyboru działań, na przykład mamy Epsilon chciwy Epsilon jest miękki i mamy miękkie komputery
Mac i to jest trochę jak najczęściej stosowana polityka wyboru działań, oczywiście, że
są inne.
Na przykład najbardziej podstawowa jest bardzo prosta akcja towarzyska, po prostu wybierz najlepszy.
Ten o najwyższej wartości Q.
Ale dlaczego ten impuls działania nie działa i dlaczego mamy różne typy polityki wyboru akcji pulsu
działania.
Wszystko sprowadza się do poszukiwań a eksploatacji.
I to jest rdzeń uczenia się przez wzmocnienie, ponieważ mówiliśmy o tym trochę, że twój agent działa w
środowisku, w którym może przewidzieć pewne wartości kolejki, które mogą być dobre i
może się okazać, że może się okazać, że są one dostępne i będą zmuszeni do eksploracji.
Jeśli więc na przykład w tym przypadku przewidujemy, że Q2 jest najlepszy, a następnie zajmiemy się Q
Aby podjąć akcję i to.
A więc do Sekcji 2, a potem dostaje bardzo negatywną nagrodę.
Wtedy środowisko zmusza agenta do działania i eksploduje, ponieważ teraz dowie się, że tak
naprawdę myślałem, że Q2 będzie bardzo dobre, ale okazało się bardzo złe.
Więc wyniki nie są bardzo złe.
Tak więc sieci mogą się aktualizować, więc następnym razem, gdy będzie w stanie, że prawdopodobnie zjem moją duszę, po
prostu się do tego zabierz.
Wiesz, że jeśli jest to bardzo korzystne, możesz pomyśleć, że to tak, jakbyś wiedział,
że możesz potrzebować paru razy kilku kar lub kar, aby dowiedzieć się, że chodzi o działanie.
Ale może już wkrótce dowie się, że zamierzam podjąć inną akcję i podjąć akcję nadgarstka,
ponieważ teraz ma najlepszą wartość.
Czasami środowisko zmusza agenta do podjęcia różnych działań w celu zbadania różnych działań, ale czasami
agent może je utknąć w lokalnym maksimum, może odkryć, że podąża za jego początkową eksploracją i odkrył,
że to całkiem fajne działanie, takie jak Mam zamiar iść tutaj.
I ta kolekcja d'esprit.
Ale problem polega na tym, że uważa, że jest to najlepsze działanie, po prostu dlatego, że nie odkrył, że jest badane,
gdy idzie w górę, albo idzie w lewo, to badać, idąc w prawo, ale nie zbadał, idąc w dół od tego konkretnego stanu,
w którym się znajduje i teraz, trochę jak uprzedzeni do tego działania i myślą, że myśli, że dobre
działanie będzie kontynuowało branie tego, co będzie dalej.
On będzie nadal brał, a on wciąż otrzyma dobrą nagrodę.
Ale co by było, gdyby ta akcja była jeszcze lepsza, gdyby ta akcja była o wiele lepsza, gdyby
wiedziała o tym akcie, faktycznie przerzuciłaby się na tę akcję, ale ponieważ utknęła
w lokalnym maksimum, otrzymała te dobre nagrody być wzmocnionym.
Będzie to nadal wzmacniało to, lub przemoc, aby wzmocnić to, że jest to dobre
działanie, aby dalej to robić.
Ale tak naprawdę rzeczywistość jest taka, że jest jeszcze inna akcja, której jeszcze nie odkryto lub jeszcze nie zbadała.
Byłoby znacznie lepiej.
Chcemy więc wymyślić rzeczywistą politykę wyboru, która pozwoli naszemu agentowi utknąć
w lokalnym maksimum.
Tak, ważne jest, abyś wiedział, że nadal wykonuje dobre działania, które są częścią eksploatacji.
Nie wykorzystamy tego, co znaleźliśmy.
Ale jednocześnie wciąż chcemy odkrywać, że nigdy nie chcemy przestać odkrywać, tak jak w życiu, że nigdy nie
chcesz przestać się uczyć, przestać uczyć się umierać.
Takie rzeczy sprawiają, że gdy nie rośniesz, umierasz lub coś się dzieje, chcesz kontynuować naukę,
a twój agent chce się uczyć.
I tu właśnie pojawiają się te zasady wyboru działań.
Mamy tu trzy wymienione tutaj, więc pierwszy jest chciwy Epsilon, jest bardzo prosty,
brzmi dość skomplikowany w tym sensie, że ma fajne imię i zazwyczaj ma chirurgiczne nazwy.
W rzeczywistości tak nie jest.
Zasadniczo to, co robi, wybierze tę z najlepszą wartością Q i epsilon, jak Epsilon, gdzie możesz
usłyszeć inne miejsca, tak jak polityka wyboru.
Tak więc w tym przypadku używamy go do gładzenia, więc nasze wartości Al-Q są sprzedawane tak jak te
z najwyższą wartością Q przez cały czas, z wyjątkiem procentu czasu Epsilon.
Na przykład, jeśli ustawisz epsilon na 10 procent, to będziesz miał albo 0. 1 więcej niż 10 procent czasu, w
którym akcja zostanie wybrana losowo.
Tak więc 90 procent czasu nadal wybierasz najlepsze działanie oparte na najwyższej wartości.
Ale 10 procent czasu będzie wybierać losową akcję.
Jednolite, będzie to absolutnie przypadkowe podjęcie działania lub jeśli powiesz epsilon
do zera punkt pięć za 0. 05 oznacza to, że 95 procent czasu, w którym agent podejmie działanie z
najwyższą wartością.
Ale 5 procent czasu to wciąż będzie wybór i losowe działanie.
Więc będzie tam chodzić i odkrywać.
Miękkość Epsilon jest więc bardzo podobna do tego, w jaki sposób
nazywana jest chciwością FCL, ponieważ wtedy zachłannie wybiera akcję jako dobrą akcję, z wyjątkiem tego małego epizodu.
Trochę czasu.
Im niższa stawka EPS obniży Epsilon Lepp, tym bardziej wybierzesz taki rodzaj działania,
który jest optymalnym działaniem, a im mniej opuszczasz, tym mniej masz szans na eksplorację.
Miękkość Epsilon jest odwrotna.
Zasadniczo wybierasz losowo, wybierając jeden minus centa epsilon czasu.
Jeśli więc epsilons lubią 0. 1 do 10 procent, a następnie tylko 10 procent czasu, w którym wykonujesz to działanie.
I przez 90 procent czasu wybierasz losową akcję.
Tak bardzo proste, po prostu odwrócone algorytmy i miękki Max są czymś w rodzaju następnego kroku od lub jest
to bardziej zaawansowana wersja, którą powiem przez epsilon algorytmu chciwości epsilon, chociaż obaj mają wartość
i obaj mają swoje miejsce.
Będziemy wykorzystywać samofinansowanie w naszym kodowaniu w praktycznych rzeczach.
Więc o tym będziemy rozmawiać nieco bardziej szczegółowo o miękkim maksimum.
Więc spójrzmy.
Przejdźmy więc do następnej nadziei.
Jasne jest, że Ebsen zgadza się, że jest to dość prosty algorytm.
Wybierz ten.
Przez większość czasu, z wyjątkiem czasami udać się na zwiedzanie.
Teraz widzimy także, dlaczego ważne jest, aby przeprowadzić tę eksplorację, abyśmy nie znaleźli się w lokalnych maksimach
w naszym procesie optymalizacji, więc teraz porozmawiamy nieco więcej o miękkich komputerach Mac.
Na końcu kursu znajduje się samouczek dotyczący miękkich znaków.
Myślę, że jest to załącznik numer dwa, w którym mówimy o koncepcji Maxima, ponieważ odświeżysz się trochę
tutaj, więc mówimy o sieciach neuronowych, a przy okazji wszyscy będziemy spowijać
splot.
Nie omawiamy ewolucyjnych sieci neuronowych w tej sekcji.
Oczywiście w tej sekcji wciąż używamy wektora.
Ale w następnej części kursu, kiedy będziemy tworzyli sztuczną inteligencję do gry w Dooma, użyjemy splotowej
sieci neuronowej, więc może to być korzystne dla ciebie w relacyjnych sieciach neuronowych,
a następnie we własnym zakresie. funkcja lub możesz dowiedzieć się więcej o miękkim Max.
Po pobraniu splotowych sieci neuronowych i oczywiście później.
Ale tutaj jest szybki odświeżacz Więc tutaj mamy naszą splotową sieć neuronową, która decyduje, czy to pies
czy kot.
Tak więc mamy proces głosowania między tymi neuronami, a ten mówi, że ma cechy,
które znasz, puszyste uszy. Co to jest spiczasty typ twarzy, a rodzaj cech to rodzaje oczu
i oczu? oczy wyglądają wszystkie te cechy, które należą do psa.
Więc to 95 procent szans, że to pies, a 5 procent szansa, że to kot.
Ale pytanie brzmi: w jaki sposób dotarliśmy do tego Tauriel, o którym mówimy, w jaki sposób możemy uzyskać te wartości, aby
dodać do jednego.
Cóż, niezależnie od splotu, wszystkie nasze sieci neuronowe to splotowa sieć neuronowa oraz w pełni połączone Lares, niezależnie
od tego, czy jest źle, niezależnie od tego, jakie wartości stosujemy do funkcji miękkiego
maksimum.
Tutaj wprowadziliśmy formułę funkcji "miękka następna".
Jest jak to wygląda.
A potem mamy te wartości.
A więc w zasadzie to jest szybkie odświeżenie.
To jest wzór na miękki Max.
To, co robi, wymaga jednak wielu wyników, które masz, nie ma znaczenia.
Potrwa je i zmiażdży je wszystkie na wartości od 0 do 1, bez względu na to, jak duże są po
prostu przez to, że widzę, że na dole jest całkowita suma, więc te urządzenia będą
miały zero.
A także wszystkie te wartości będą zawsze dodawane do jednego.
Jest to bardzo korzystne dla nas, ponieważ kiedy używamy funkcji miękkiego maksimum, co się dzieje, to
otrzymujemy te wartości, wybieramy tę najlepszą wartość widoku.
Ale tak naprawdę to te wartości, które otrzymujemy, są prawidłowe.
To jest liczba liczb.
Nie muszą wszystkie sumować do jednego i nie muszą zawierać się między 0 a 1.
Tylko kilka liczb.
Ale kiedy stosujemy miękki Max, nie wybieramy tego, co najlepsze, tak naprawdę otrzymujemy liczby
takie, więc otrzymujemy nasze liczby w zakresie od 0 do 1, i które również dodają do 1.
I co jeszcze wiemy, co daje jeden.
Prawdopodobieństwo, że wiemy, że prawdopodobieństwo zawsze musi wynosić do 1, dlatego możemy powiedzieć, że
mamy wartości q, ale tutaj nagle mamy miękkie lub mamy prawdopodobieństwa.
Możemy więc powiedzieć, że prawdopodobieństwo, że jest to najlepsza akcja, wynosi 90 procent.
Ta sekcja lesbijek 5 procent 2 procent 3 procent, ponieważ wiemy, że im wyższa wartość, tym lepsze
działanie.
Więc jeśli zmiażdżymy je na 0 do 1, stają się one możliwościami i możemy sobie z nimi poradzić.
I dlatego teraz jest, gdy akcja jest wybrana i tak właśnie wymyślamy Q2.
Ale jeśli przyjrzysz się temu uważnie, nie jest to ścisłe 100 procent, a nie są to Saroo 0 procent.
To jest 5 procent do 3 procent.
Zatem najbardziej naturalnym sposobem zastosowania miękkiego Maxa w celu zachowania eksploracji w algorytmie jest użycie tych
dokładnych prawdopodobieństw, jak często będziemy podejmować takie działania.
Więc te prawdopodobieństwa faktycznie przedstawiają dystrybucję tych działań, które stosujemy, więc w zasadzie miękki
Max bardzo ułatwia nam znalezienie sposobu na połączenie wyzysku i eksploracji.
Tak więc najlepsza najlepsza akcja zawsze będzie miała wysokie prawdopodobieństwo, ponieważ ma najwyższą wartość Q i dlatego
zamierzamy po prostu użyć ich jako naszej dystrybucji lub powiemy, że przyjmiemy Q2
90 procent czasu, ale 5 procent czasu, w którym wciąż mamy do czynienia z Q1
i 2 procentami czasu, kiedy dostaniemy 3 i 3 procent czasu, w którym zamierzamy zająć Q4.
Piękno jest tu również tym, że ponieważ wartości te aktualizują się, a agent
przechodzi przez sieć coraz więcej i więcej, staje się bardziej obeznany ze środowiskiem, a zatem te aktualizacje, więc ta wartość
na przykład może się wydawać taka, ta wartość jest w rzeczywistości mniejsza lub faktycznie jest
wyższa, a więc te prawdopodobieństwa również ulegną zmianie w miarę przechodzenia agenta.
Nawet jeśli mamy tutaj Choo-Choo.
Nikt nie mówi, że czasami 5 procent czasu, aby być bardziej precyzyjnym, wybieramy
Q1 jako akcję, a czasem lub akcję, którą podejmiemy.
Czasami podejmowane są działania przez dwie akcje trzy dwa procent czasu, a akcja za
około 3 procent.
Każde działanie ma szansę zagrać w tym procesie, o ile mamy wystarczającą liczbę iteracji, których agent przechodzi
wiele razy przez te stany, w których się znajdują.
I właśnie tak funkcjonuje jakikolwiek algorytm głębokiego uczenia się, który chcesz zrobić tak
wiele razy, abyś uczył się z doświadczenia i dlatego, jak widać, jest to
bardzo naturalne przejście.
Nie jesteśmy po prostu przypadkowo podobni do rozgniewanego algorytmu firmy Epson, a nie tylko losowo wybieramy
działania, które wybieramy na podstawie ich wartości maksymalnych, co sprawia, że ma ono pewną logikę, nie tylko nie przypadkowe
10 procent czas, w którym wybieramy losową akcję, ale jest pewna logika stojąca
za tym, jak to robimy i na podstawie kluczowych wartości, które zbadaliśmy.
Taka jest polityka wyboru działań, której będziemy używać w tym kursie.
Jeśli chcesz, to z pewnością skorzystaj z sekcji "Zachłanny akcja" Ebsena, ale zamierzamy
w przeważającej mierze korzystać z zasady "miękkich maksimum akcji" i mam dla ciebie interesującą
lekturę.
Jest to nazywane chciwą eksploracją intelektualnej adaptacji Epsilon w uczeniu się wzmacniania opartym na różnicach w wartościach, to jest
artykuł z 2010 roku.
I to jest interesujące, ponieważ Mike Michel nie jestem pewien, jak wymówić Michelle i Miquel toxic
wprowadza inny typ Algren i dostosowany algorytm chciwy Epsilon i nazwał algorytm VDB VDB lub algorytm VDB chciwy
epsilon, który można zobaczyć tutaj.
I faktycznie porównuje się do chciwego i miękkiego Maxa Ebsena i jest
to absolutnie chciwy algorytm, którego podstawową ideą jest dostosowanie wartości epsilon w zależności od stanu, w jakim znajduje się
agent.
Jeśli więc agent jest bardzo pewny co do stanu, wówczas Epsilon powinien być mniejszy, więc powinny one być
mniej eksplorowane, jeśli agent zostanie odebrany. Epson powinien być wyższy, powinien być bardziej eksplorowany.
To jest artykuł z 2010 roku.
Nie jestem pewien, czy to jest, czy ten nowy proponowany algorytm jest powszechnie stosowany, czy też jest akceptowany w społeczności
lub lub jeśli sztuczny Times ma coś w rodzaju tej sugestii.
Niemniej jednak z pewnością pomoże ci to wzmocnić swoją wiedzę o polityce doboru działań, którą omawialiśmy
w Epsom Ingredion, a także o tym, jak
łagodna pomoc dla naksyntów daje ci szansę na zmotywowanie strony Subha, a także
zobacz, w którym kierunku ludzie faktycznie myślą, kiedy chcą ulepszyć sztuczną inteligencję więc jeśli kiedykolwiek planujesz stworzyć
naprawdę ciekawe algorytmy, które przesuwają granicę sztucznej inteligencji Elche i przesuwają kopertę w tej
przestrzeni, to może to być dobry sposób, abyś zobaczył, w którym kierunku ludzie czasem myślą, kiedy próbują udoskonalić normy
sztucznej inteligencji lub normy, które istniały w 2010 roku.
Więc idziemy.
Mamy nadzieję, że podobał Ci się dzisiejszy samouczek dotyczący zasad wyboru akcji i dowiedzieliśmy się
o chciwej soli Epsona i miękkich komputerach Mac, a teraz jesteś jeszcze bardziej przygotowany na praktyczną stronę rzeczy.
I w tej notatce czekam z niecierpliwością na następny krok.
A do tego czasu ciesz się AI.