Cześć i witam z powrotem na kursie na temat sztucznej inteligencji.
Więc rozmawialiśmy o równaniu Belmana i przeanalizowaliśmy nasz mały labirynt.
Rzućmy okiem na plan.
Jaki jest plan.
Oto nasza główna analiza.
I wiemy, że faktycznie widzimy stany, w których wartości każdego stanu możemy zobaczyć, jaka jest
wartość bycia w każdym stanie.
Dlatego sztuczna inteligencja może lub agent może poruszać się po labiryncie.
Jaki jest plan?
Plan jest po prostu jak mapa skarbów dla sztucznej inteligencji zamiast patrzenia na te wartości, które
po prostu zastępują je strzałkami, które wskazują, w którym kierunku powinien iść agent.
Z powodu tych, ponieważ zna te wartości.
Idealny scenariusz po zbadaniu tego środowiska.
Zna wartość bycia w każdym stanie i dlatego możesz wymyślić tę mapę.
Spójrzmy raz jeszcze.
Wiemy, że twoje wartości są jedno, więc jeśli jesteś tutaj z dwóch, tym lepiej jest to, gdy dojdziesz stąd,
z tych dwóch jest lepszy, tym lepszy jest jeden.
Ten jest lepszy.
A właściwie stąd masz dwie opcje.
Więc był trochę jak krawat, więc wybierz jeden losowo, nieważne, który z nich, ponieważ wartość w obu przypadkach jest
taka sama i więcej, nawet jeśli spojrzysz przez nią, wykonasz tę samą liczbę kroków, tyle
samo kroki, aby dojść do końca.
Stąd masz trzy opcje, ale ta jest lepsza z tego miejsca.
Ta jest lepsza z tego miejsca.
Oczywiście była to lepsza wartość, ponieważ wiesz, że otrzymujesz od razu minus jedną nagrodę.
A stąd masz trzy, ale ta jest najlepsza z najlepszych wartości państwa.
Dlatego też, jeśli zastąpimy je strzałkami, ma to sens, że w ten sposób agent odejdzie, jeśli tu się pojawi,
lub rozwiąże z jakiegoś powodu, który kończy się na tym kwadracie.
Wie, jak się stąd wydostać.
Gwiazdy i ten kwadrat wiedzą, jak się tu dostać i tak dalej.
A więc taki jest plan.
Nie należy mylić planu z polityką, ponieważ będziemy mówić o polityce dla Iranu, która jest
bardzo podobna do planów, ale mają dla nich trochę sztuczki, ponieważ środowisko będzie nieco
inne.
To będzie stochastyczne i właśnie o tym porozmawiamy w następnym samouczku.
Więc Conway do ciebie na następnym.
A do tego czasu ciesz się.