Bună ziua și bun venit la acest model este groază.
Așa că am actualizat memoria după ce am ajuns la noua stare.
Și acum să ne ocupăm de a doua zi.
În opinia dvs., acum ce va fi următoarea actualizare.
În principiu, am terminat cu o tranziție pe care am dat-o ultimul element al tranziției, care este
noul stat.
Deci, acum este ca și cum am începe din nou.
Și când începeam din nou.
Este ca și cum știți că suntem în această nouă stare a mediului și deci ce trebuie să facem acum în mod natural.
Bineînțeles că este vorba de o acțiune, pentru că am primit deja observația Statelor de știri.
Acum, lucrurile pe care trebuie să le facem este să jucăm o acțiune și, prin urmare, ceea ce trebuie să facem acum
este, bineînțeles, să folosim funcția de selectare a acțiunii pentru a juca acțiunea.
Deci haideți să facem să creăm o nouă acțiune Voivode și să jucăm acțiunea cu acțiunea selectată, așa că
o iau.
Ei bine, primul sine pentru a specifica faptul că funcția selectivă de acțiune este o metodă a obiectului clasei care va
fi creată.
Deci, un sine care selectează acțiunea.
Începem.
Deci asta este următoarea acțiune.
Și apoi, bineînțeles, deoarece funcția de selectare a acțiunii ia starea ca intrare, desigur, funcția
selectivă de acțiune va returna ieșirea rețelei neuronale atunci când starea curentă de intrare a intrat în
rețeaua neurală.
Așa că trebuie să introducem etapa de intrare aici și din moment ce acele stări pe care tocmai le-am atins în
mediul înconjurător chiar acum, unde starea de intrare este, bineînțeles, statul pentru că această stare pe care tocmai am
atins-o în momentul în care noi acum este Newstead.
Deci, în această funcție de selectare de acțiune mă refer la introducerea de bastoane noi.
În regulă, cu această linie de cod, purtăm pur și simplu noua acțiune după ce ajungem la noua stare.
OK si acum ca am jucat o actiune Ei bine primim recompensa si de aceea primim feedback cu recompensa.
Și, prin urmare, dacă avem mai mult de 100 de elemente în memorie Ei bine, ar fi timpul să învățăm.
Și, prin urmare, ceea ce trebuie să facem acum este ceea ce vine în mod logic după selectarea unei acțiuni
care, bineînțeles, va reduce nevoia AI de a începe învățarea.
Dacă face lucrurile așa cum trebuie.
Și acum, deoarece a jucat bine acțiunea, vom face AI să învețe din acțiunile sale în ultimele
100 de evenimente.
Dar, înainte de a aplica această funcție învățată, trebuie să facem această condiție pentru a ne asigura că am ajuns deja
la mai mult de 100 de evenimente deoarece știți că învățăm din eșantioanele aleatoare ale memoriei.
Știi că avem o memorie imensă de 10000 de elemente.
Luăm câteva eșantioane aleatoare ale memoriei a 100 de elemente și AI învață din informațiile conținute
în acest eșantion de 100 tranziții aleatorii.
Deci, haideți să facem această condiție dacă doriți să vă asigurați că numărul de elemente din memoria acelei memorii și
apoi să fiți atenți doar un mic truc aici, memoria auto-învățată este obiectul
clasei dvs. de memorie replay, dar atunci clasa de memorie replay are atribut care este memorie.
Deci, de fapt, trebuie să luăm o parte din memoria că memoria, prima memorie este obiectul clasei de memorie
replay, iar cea de-a doua memorie este atributul aici de sine în memorie.
Deci, dacă numărul elementelor din memorie este bine, dorim să fie mai mare de 100, atunci Cullin Și apoi ce
se întâmplă.
Ei bine, putem învăța, dar pentru învățare trebuie să obținem acest eșantion aleatoriu de 100 de tranziții și acest lucru
se poate obține cu funcția simplă.
Și din moment ce funcția simplă returnează diferitele loturi în state la momentul t aceste date 20 plus una acțiunile timpului
t și am fost la 20 de ani.
Ei bine, ceea ce trebuie să facem acum este să creeze niște revivaluri
noi, care vor fi lotul statelor la momentul t lotului următoarelor date lotul cuvintele și
lotul acțiunilor și putem da pur și simplu aceleași nume așa cum am dat pentru argumentele de aici și sunt aici.
Iar aceste variabile vor fi egale cu ceea ce se întoarce prin simpla funcție, deoarece returnează exact aceste loturi,
iar următorul stat ia cuvinte și acțiuni.
Deci, ceea ce trebuie doar să facem acum este să primim mai întâi obiectul nostru de memorie și apoi din acest
obiect de memorie vom folosi metoda simplă care va lua ca intrări.
Ei bine, numărul de tranziții pe care noi trebuie să le învățăm din AI este de 100.
De aceea ne-am asigurat că am avut mai mult de o sută de tranziții.
Deci, va învăța din 100 de tranziții ale memoriei.
Deci învățarea va fi mult mai bună.
Și acum să facem să se întâmple asta cu adevărat.
Ei bine, deoarece metoda de învățare este o metodă a noastră în clasă.
Ei bine, trebuie să accesăm această metodă de învățare din obiectele viitoare care vor fi create dintr-o clasă diferită și,
prin urmare, ceea ce trebuie să facem este sine.
Sinele se referă la acest obiectiv de a face în timpul clasei și apoi să învețe cum această metodă învățată a
învățat metoda la care, atunci când a pus Bineînțeles, acești tipi aici starea proastă a statului belgian lumea naturală
și acțiunea Bachche.
Acestea sunt loturile noastre prelevate din memoria noastră și le obținem 100 din cauză că avem 100 de tranziții din aceste 100
de tranziții pe care le luăm 100 de state 100 de state următoare 100 de recompense și 100 de acțiuni să ne confruntăm
aici și acolo vom merge acum învățarea se va întâmpla.
Se va întâmpla din toate aceste loturi aleatorii.
Perfect.
Și acum ceea ce trebuie să facem este ultima actualizare după ce știi că ajungi la un nou stat și joci
în acțiune.
Ei bine, te-am făcut să jucăm, dar încă nu am avut acea reacție.
Asta este sinele nostru care a fost ultimul voievod.
Deci, să ne asigurăm că nu uităm asta.
Să o facem chiar acum.
Vom actualiza ultima acțiune de sine pe care ultima acțiune este echivalentă și, desigur, vom acționa acțiunea pe care o vom rămâne aici cu
această funcție selectată de acțiune.
Acum, ultima secțiune este actualizată atunci.
Același lucru pentru noul stat.
Am ajuns la noul stat, însă nu am actualizat ultima dată, deoarece, bineînțeles, ultima a fost înainte de stat
în momentul t.
Dar de când am ajuns la noul surplus de stat când e timpul să trecem unul.
Ei bine, ultimul devine acest lucru pe care l-ai spus aici.
Prin urmare, avem nevoie de actualizare, de asemenea.
Eul care ultima stare este egal cu noua noastră stare.
Vom merge acolo.
Și acum ce avem nevoie până acum?
Ei bine, a rămas doar un singur lucru.
Acesta este, desigur, cuvântul și cuvântul este exact cuvântul pe care îl obținem în realitate.
Deci, acesta va fi argumentul acestei funcții care, dacă am face legătura cu harta noastră, va fi
ultimul cuvânt.
Acesta este cuvântul pe care îl obținem imediat după ce am jucat acțiunea în aceste state noi.
Deci, dacă vom merge la un sunet, ultimul cuvânt va fi acela de minus unul dacă vom merge mai departe de la drum
vom primi un cuvânt ușor rău minus 0. 2 dacă ne apropiem de obiectiv.
Vom primi o recompensă ușor bună 0. 1.
Și dacă ne apropiem prea mult de o margine a hărții, care se va referi la pedeapsă.
Vom primi minus unul pentru fiecare.
Deci acesta este ultimul cuvânt pe care îl primim.
În realitate, atunci când acest lucru se întâmplă real pe hartă.
Și acesta va fi argumentul funcției.
Ultimul cuvânt aici.
Exact asta este.
Și așa că din moment ce acesta este argumentul funcției de
actualizare care corespunde cu asta nu am fost aici și, prin urmare, sinele nostru ca ultima variabilă de cuvânt inițializată la
început în această funcție devine cuvântul nou pe care îl obținem în realitate, adică cuvântul sau același ultim cuvânt.
In regula.
Acum am actualizat ultimul nostru cuvânt.
Și acum, de când am primit ultimul cuvânt.
Ei bine, acum putem cunoaște lumea.
Vă amintiți războiul când am inițializat-o aici ca una dintre variabilele obiectului clasei noastre.
Aceasta este fereastra care va urmări modul în care trenul merge, luând media
ultimelor 100 de recompense.
Deci știi că va fi ca o fereastră glisantă care ne arată cum evoluează mediul lumii.
Și din moment ce tocmai am primit ultimul cuvânt.
Ei bine, putem să actualizăm fereastra despre modul în care o actualizăm.
Ei bine, pur și simplu trebuie să adăugăm ultimul cuvânt la fereastră și, prin urmare, ceea ce am
de gând să fac este să-mi iau fereastra de sine pe care o spunem când aud acest lucru și voi folosi funcția de adăugare.
Și în interiorul funcției deschise trebuie să introducem elementul pe care dorim să-l anexăm la ceea ce eram
atunci când facem acest lucru, desigur, dorim.
În regulă.
Și atunci când această fereastră de război va avea o dimensiune fixă, știți că nu va fi o fereastră în creștere,
va fi o fereastră de dimensiuni fixe care alunecă cu timpul pentru a arăta evoluția lumii.
Și acum trebuie să decidem pentru o dimensiune a acestei iarnă.
Și este pur și simplu numărul de mijloace ale recompensei pe care o vom avea în această fereastră.
Și, de exemplu, să vă cunoaștem ultimele 1000 de mijloace din ultimele 100 de cuvinte.
Și astfel, pentru a ne asigura că vom adăuga dacă atunci vom planifica apoi să luăm fereastra de lucru și pur
și simplu adăugăm aici dacă numărul de elemente din fereastră este mai mare de 1000.
Ei bine, ceea ce vrem să facem este să ștergem primul element al acestei ferestre, iar primul element al
acesteia a fost fereastra trebuie să indice zero.
In regula.
Acum ne asigurăm că această fereastră de război nu va primi niciodată mai mult de 1000 de elemente.
Există o mie de mijloace din ultimele 100 de cuvinte care sunt perfecte, aceasta va fi o fereastră de dimensiune fixă, astfel
încât să putem vedea dacă media cuvântului este în creștere.
Și, prin urmare, dacă antrenamentul merge bine și, în consecință, instanța face ceea ce vrem.
Perfect.
Și acum, un mic lucru mic de făcut în stânga în funcție de tine ce va fi.
Amintiți-vă bine că această funcție de actualizare nu numai că actualizează diferitele elemente ale tranziției în fereastra
de război, dar, de asemenea, returnează acțiunea care a fost jucată la atingerea acestei noi stări.
De aceea avem și atunci acea acțiune este egală cu aducerea acelei date că suntem mai puțin semnal și prin urmare
ar trebui să întoarcem ceva și ceva care ar trebui să se întoarcă este, desigur, acțiunea.
Deci, ultimul lucru pe care trebuie să-l facem este doar să întoarceți acțiunea care a fost jucată atunci când a ajuns
la noua etapă.
Și asta este funcția noastră de actualizare este gata.
Ea va face toate actualizările necesare și va transforma acțiunea la atingerea noii etape.
Este perfect.
Aceasta a fost ultima acțiune dificilă de făcut pentru toate acestea un proces.
Acum restul va fi bun.
Vom face doar o funcție de bază pentru a returna mijloacele pe care le dorim în fereastră.
Apoi vom face o funcție sigură pentru a salva creierul mașinii ori de câte ori doriți să renunțați la aplicație și să
vă întoarceți la ea.
Și, bineînțeles, din moment ce vrei să poți încărca creierul mașinii tale când te întorci la ea,
întoarce-te la cerere.
Ei bine, vom ajunge prin a face o funcție de încărcare care vă va încărca modelul după ce salvați
modelul cu aceeași funcție.
Deci, trei funcții pentru a face acest lucru, dar va fi simplu.
Și atunci vom avea cea mai interesantă secțiune a acestui prim modul, care este demo-ul pe care îl vom vedea
dacă aerul funcționează.
Vom vedea dacă mașina atinge obiectivele și vom vedea cum putem să o îmbunătățim și, în cele din
urmă, va trebui să construiți primul dvs. AI.
Așa că nu pot să aștept să încep demo-ul.
Să facem aceste trei funcții mai întâi și până atunci.