Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Mam nadzieję, że jesteś podekscytowany dzisiejszym tutorialem, ponieważ robimy pierwszy krok w świat
I.
A dzisiaj mówimy o uczeniu się wzmacniania.
Jest to bardzo ważna historia, ponieważ będzie stanowić podstawę wszystkiego, co ma się wydarzyć w tym kursie.
Zacznijmy tutaj.
Mamy mały labirynt, a ten labirynt jest naszą reprezentacją środowiska i właśnie z tym będziemy mieli
do czynienia w tym kursie.
Będziemy mieli do czynienia z pewnymi środowiskami, w których nasza sztuczna inteligencja będzie
działała, że będzie podejmować działania, których będzie szukała, aby pokonać te w moim zamierzaniu, że będzie
szukała wygrać w tych środowiskach.
I tu mamy agenta.
Agent to nasza sztuczna inteligencja.
To jest osoba lub umysł, który będzie poruszał się w tych środowiskach i uczył się na podstawie informacji
zwrotnych, które ich umysły będą przekazywać w celu wykonania określonych czynności.
Tak więc działa w taki sposób, że agent wykonuje określone działania w tym środowisku.
W rezultacie stan, w którym się znajduje, zmieni się, więc może być dalej lub bliżej, lub bardziej w lewo, bardziej
w prawo.
Może mieć inne parametry, które opisują stan i te parametry.
Tak więc stan zmieni się z powodu działania akcji, a także otrzyma nagrody w oparciu o akcję.
Za każdym razem, gdy podejmuje działanie, państwo się zmieni i otrzyma nagrodę.
Pamiętaj, że czasami może się zdarzyć, że nie zmieni to stanu, w którym działanie
nie zmieni pobytu, lub że nie będzie nagrody za podjęcie tego działania.
W tym sensie było.
Niemniej jednak agent będzie nadal robił to, podejmując działania oszukując
państwo otrzymując nagrody zmieniające działania podejmujące działania zmieniające stan i otrzymujące nagrody.
A dzięki temu procesowi będzie się uczyć o tym, co będzie badać
środowisko, zrozumienie, jakie działania prowadzą do dobrych nagród i sprzyjających stanów oraz jakie działania
obaj nagradzają niekorzystnym stanem.
A to bardzo uproszczony reprezentacyjny, bardzo globalny problem.
Więc jeśli myślisz o tym, środowiska wcale nie muszą być po prostu labiryntami.
Nie chodzi tylko o wydostanie się z labiryntu lub odnalezienie skarbu w labiryncie.
Środowisko może być praktycznie wszystkim w życiu.
Więc wyobraź sobie, że budzisz się rano i gotujesz omlet.
Aby zrobić omlet, musisz przejść przez pewne kroki, aby uzyskać sól, aby jajka dostały patelnie,
do których można strzelać i tak dalej. Brzmi to jak zwykła, przyziemna rzecz.
Ale stało się to rutyną, ponieważ robiłeś to tyle razy.
Ale w rzeczywistości jest to środowisko, w którym wykonujesz określone czynności, które wkładasz,
kładziesz na siebie ogień, kładziesz patelnię na ogniu, wkładasz wszystkie jajka na patelnię i wkładasz sól
do jajek i odwracasz się i tak dalej.
Tak więc, jak widać, są one działaniami CRN, które podejmują pewne stany, a te działania prowadzą do pewnych
innych stanów, a czasem do nagrody.
Tak na przykład, kiedy włożysz ogień i poczekasz, poczekaj, czekaj, czekaj, aż podejmiesz decyzję:
czekaj, czekaj, poczekaj zbyt długo, a następnie włóż jajka na patelnię.
Nagrody będą bardzo negatywne.
Wszystko spłonie.
Z drugiej strony, jeśli wykonasz wszystkie właściwe działania we właściwym czasie, ważne jest również
zrozumienie, że działania powinny być podejmowane we właściwych momentach.
Na przykład umieszczenie soli na patelni przed włożeniem jaj może nie być najlepszym
pomysłem.
Możesz wziąć tę akcję wkładania soli do patelni po tym, jak jaja są
tam, w innym stanie.
Ważne jest, aby o tym pamiętać.
A jednocześnie, jeśli weźmiesz wszystkie właściwe działania w prawidłowej kolejności we właściwych
stanach, ostateczną nagrodą może być otrzymanie omletu, który możesz zjeść.
Jest to bardzo podstawowa czynność w twoim życiu, ale jeśli o tym pomyślisz, to jest to środowisko, a
ty jesteś agentem przechodzącym przez to środowisko i wykonujesz zadanie, którego naprawdę nie musisz się uczyć,
ponieważ już to dobrze znasz .
Ale w tym samym czasie możesz się nauczyć, że możesz nauczyć się, jak zrobić lepszy omlet, a
zwłaszcza jeśli to twój pierwszy omlet, który robisz, prawdopodobnie go spieprzysz.
Ale nauczysz się z tego, ponieważ zrozumiesz, jakie działania prowadzą do stanów i szlaków oraz
cokolwiek innego w życiu.
Na przykład nawet handel na giełdzie i wiesz, kupując i sprzedając i uzyskując pewne informacje
zwrotne od rynku w sensie zwrotu pozytywnych lub negatywnych zysków.
To także środowisko, w którym uczestniczycie w tym środowisku jako starzejący się.
Prowadzenie samochodu to także środowisko, w którym można obrócić kierownicę, którą można przyspieszyć, aby się zepsuć
i tak dalej, a otrzymujesz informacje zwrotne od otoczenia i wiesz, że jedną
z tych reakcji jest policjant, który daje ci mandat za przekroczenie prędkości, jeśli " przekraczanie dopuszczalnego lub dozwolonego ograniczenia prędkości
na tej autostradzie.
A zatem stamtąd dowiadujesz się, że nie należy tego robić, ponieważ prowadzi to do
negatywnej nagrody.
Więc nagrody nie muszą być po prostu na samym końcu procesu.
Mogą być w trakcie całej podróży przez cały proces.
Oto kilka przykładów.
I w kategoriach I najprostszy sposób myślenia o uczeniu się wzmacniania jest jak trening psa, kiedy trenujesz psa, abyś
dał mu pewne polecenia i jeśli spełnia te polecenia, to dajesz mu zasięg, który dajesz mu jak biszkopt
czy coś takiego. jeśli nie Abeles Kamaz, powiesz mu, że to zły pies, albo po
prostu nie dajesz mu przyjemności.
I dzięki temu procesowi uczy się, jakie określone polecenia lub czego potrzebuje, aby zrobić to, co trzeba,
aby podjąć pewne stany, a stany to polecenia, które dajesz.
I na tej podstawie otrzyma pewne pewne korzyści w świecie sztucznej inteligencji.
To nie jest takie skomplikowane.
Nie musisz dawać smakołyków.
Nie musisz mieć przy sobie torby z herbatnikami za każdym razem, gdy dajesz jej
plus lub minus, więc to ogromna zaleta, że w świecie sztucznej inteligencji sami stworzyliśmy te sztuczki.
Więc nagrodą, którą im dajemy, jeśli myślisz, że to naprawdę fajne nagrody, dajesz im,
że tak naprawdę nie istnieją, to tylko plus lub minus jeden lub plus jeden, zero lub coś.
Wszystko to jest nieistnieniem wszystkich wymyślonych rzeczy.
Ale jednocześnie prowadzi to do doskonałych rezultatów, ponieważ możemy stworzyć te niesamowite rzeczy, te
niesamowite sztucznej inteligencji, jak ta niesamowita sztuczna inteligencja, dostarczając tylko nagród, których tak naprawdę nie ma.
Plus i minus jeden nie kosztuje nic, ale wyniki w tym samym czasie wydania.
Tak bardzo podobny do prawdziwego świata.
I wiesz na przykład Dokes Ale tutaj nagrody są cyfrowe i tylko liczby.
Mając to na uwadze, możemy porozmawiać o robotach, które uwielbiam ten przykład, więc to jest właśnie
na zdjęciach, niekoniecznie ten dokładny pies-robot, który znasz, który został przeszkolony przez uczenie się wzmacniania,
niektóre z psów-robotów, zwłaszcza te starsze, które miałbyś tam jest algorytm.
I to jest rzeczywiście dobry przykład różnicy między zaprogramowanymi agentami i agentem uczenia się zbrojenia,
więc możesz mieć psa robota, który jest zaprogramowany do tego, jak chodzić, powie.
Tak więc w algorytmie znajdującym się za psem w oprogramowaniu będzie napisane OK, więc aby chodzić, musisz przesunąć lewą nogę
do przodu, lewa przednia noga do przodu, a następnie tylną prawą nogę do przodu, a następnie przednią prawą nogę do przodu,
a następnie tylną lewą nogę do przodu. i powtórz to działanie i wiesz, że to
jest definicja chodzenia jest funkcją wewnątrz tego psa.
A potem może wiesz, jak siedzieć, jak stać i takie rzeczy.
Podczas gdy u psa-robota, który jest wyszkolony w uczeniu się wzmacniania, to, co się dzieje, nie jest zaprogramowany.
Jest to kluczowa koncepcja dla wszystkiego tutaj, że nie masz żadnego algorytmu w środku, który jest mocno zakodowany
w psie.
Zamiast tego masz to, o czym będziemy dyskutować w przyszłości.
Masz ten algorytm uczenia się zbrojenia, o którym mówiono, że jest OK, więc celem jest uzyskanie z miejsca,
w którym nie wiesz nic na ten temat do końca pokoju.
A oto niektóre działania, które możesz podjąć.
Możesz poruszać prawą stopą, możesz przesunąć lewą stopę, możesz przesunąć prawą tylną stopę, a ty masz z powrotem
stopę, więc tutaj wszystkie stopnie swobody, które możesz zrobić, możesz przesunąć to tak, że możesz
poruszać się w ten sposób, tak jak lista Działania, które możesz wykonać, a twoje nagrody są za każdym razem, gdy robisz krok do przodu,
otrzymujesz plus za każdym razem, gdy się przewrócisz.
Dostajesz minus jeden i to wszystko.
A potem po prostu zostawiają psa i pozwalają mu samemu się zorientować.
Więc pies próbuje wstać, a potem zdaje sobie sprawę, że nie powinienem robić tego, co doprowadziło mnie do upadku, ponieważ za
każdym razem, gdy padam, dostaję minus, który nie jest dla mnie dobry.
Tak samo jak inne działania, które pomogły mu wstać, a następnie dane liczbowe są
po prostu eksperymentami eksperymentów eksperymentuje losowo na rzeczach tri, a następnie odkrywa, że może zrobić
krok naprzód, przesuwając prawą przednią stopę i dostaje plus jeden i uświadomić sobie, że powinienem zrób więcej tego.
Świetnie, więc teraz dowiaduje się, że powinna zrobić więcej tego i mniej tego.
Dzięki temu procesowi uczenia się szybko bardzo szybko rozumie, jak może chodzić.
A te psy, które same wyruszyły na własną rękę, mogą czasami chodzić lepiej niż psy, które są zaprogramowane,
ponieważ naprawdę zaprogramowane rzeczy patrzymy na prawdziwe psy i czy wiesz, że
używamy własnej wyobraźni, jak to zrobić, podczas gdy pies uczący się wzmacniający może optymalizować rzeczy samemu.
A ponieważ w Sztucznej Inteligencji czasami może uzyskać jeszcze lepsze wyniki.
I w ten sposób mogą szkolić tego robota.
Te same roboty do gry w piłkę nożną.
Możesz wyszkolić normalnego psa do gry w piłkę nożną, ponieważ wiesz, że całe podejście jest inne.
I nie jest to coś, o czym wiesz, że prawdopodobnie normalny pies został przeszkolony do zrobienia lub kiedykolwiek zrobił
w swoim procesie ewolucji.
Podczas gdy pies uczący się ze wzmacniacza może bardzo łatwo zrozumieć, jak grać w piłkę nożną,
o ile powie im, jakie są nagrody, jakie są cele, jakie mogą podjąć.
Tak właśnie działa uczenie się wzmacniania.
Ogólnie istnieje krótki przegląd uczenia się wzmacniania.
Mam nadzieję, że bardzo się cieszymy, że będzie następny, ponieważ jest to zupełnie inny świat
w porównaniu do preprogramowych rozwiązań twardych programów zakodowanych na twardym dysku, gdzie masz warunki, jeśli chcesz.
To jest zupełnie inne.
I będziemy mówić o tym więcej.
W międzyczasie mamy dla ciebie dodatkowe czytanie, więc jeśli chcesz mieć jakieś materiały pomocnicze Oto świetny
artykuł, który możesz obejrzeć i obejrzeć.
Nazywa się to prostym uczeniem się wzmacniania z przepływem tensorowym.
Ma dziesięć części.
Link znajduje się tutaj, a znajdziesz pełny link, który można kliknąć.
W trakcie zasobów artykułu Arthura Giulianiego z 2016 r. Możesz śledzić ten kurs, a także uzyskać dodatkowe
informacje z tego artykułu.
Pamiętaj jednak, że ten artykuł ma tendencję do przepływania tam, gdzie, jak
w tym kursie, używamy wielu różnych implementacji, ale implantów, ale jednocześnie możesz wybrać kilka
rzeczy, które mogą uzupełnić twoje uczenie się, że jesteśmy będzie robić w tym kursie.
Świetne artykuły podążają za Tobą, jeśli z pewnością myślisz o tym.
Wciąż na wszelki wypadek.
Sprawdź tę pierwszą część i sprawdź, czy podoba Ci się, czy chcesz ją przeczytać nieco więcej.
A potem mamy specyficzne dla tego tutoriala uczenie się egzekwowania granic jest dokument Richarda Suttona, który
nazywa się uczeniem się wzmacniania.
Jednym ze wstępów jest to, że artykuły z 1998 roku są dość stare, ale jednocześnie można się trochę nauczyć o wzmacnianiu,
ucząc się niektórych przykładów takich jak ten przykład omletu i innych przykładów, gdzie można zastosować uczenie
się wzmacniające i ogólny przegląd uczenia się o wzmocnieniu.
Jeśli szukasz dodatkowej lektury i tej notatki, podsumujemy ten samouczek.
Nie mogę się doczekać, aby zobaczyć cię następnym razem.
A do tego czasu ciesz się AI.