Hallo en welkom terug bij de cursus over kunstmatige intelligentie, ik hoop dat je de cursus tot nu toe leuk
vindt.
En vandaag hebben we het over actie, het selectiebeleid.
Oké, laten we er meteen in duiken.
Eerder hadden we het over het toevoegen van een neuraal netwerk aan ons eenvoudige leren.
En tot nu toe zijn we behoorlijk bezig met diep leren.
We hebben het al vaak gehad over het leergedeelte, inclusief het toevoegen van enkele elementen.
En vandaag hebben we het over dit deel.
We hebben het over het acteerwerk.
Dus laten we eens kijken.
Dus hier hebben we wat we hebben besproken over het acteren dat als je eenmaal de waarden, de parameters of de vector hebt ingevoerd voor
het beschrijven van de staat waarin de agent zich momenteel bevindt, in die omgeving, dat wil zeggen, nadat al het leren
is gedaan of zelfs voordat het leren is voltooid.
Kortom, we krijgen alle kernwaarden.
Dus we zijn nu niet geïnteresseerd in het leren.
We zijn geïnteresseerd in acteren.
Dus als we deze kernwaarden eenmaal hebben, hoe begrijpen we dan welke we moeten gebruiken?
Welnu, als je erover nadenkt, zijn sleutelwaarden gewoon dit zijn de voorspellingen voor de sleutelwaarden.
Dus wat hebben we gedaan, zoals we deden in het eenvoudige Q-leeralgoritme?
We hebben zojuist degene met de beste van de hoogste Q-waarde geselecteerd.
Zodra we degene met de hoogste waarde hebben, ondernemen we die actie omdat het ons gewoon de hoogste
waarde oplevert en we weten dat waarden worden berekend als onmiddellijke beloning die we verwachten te ontvangen.
Plus de vervalfactor maal de waarde van de volgende toestand.
En het is een recursieve berekening.
Dus waarom niet?
Waarom zou je niet de beste Q-waarde nemen?
En dat is een beetje het einde.
Maar zoals je hier kunt zien, is het hier niet zo eenvoudig.
We gebruiken een softmax-functie en hier gaan we het hebben over actieselectiebeleid.
Dus hier in werkelijkheid hoeven we niet alleen een softmax-functie te hebben.
We kunnen verschillende beleidsmaatregelen voor actieselectie hebben.
We hebben bijvoorbeeld Epsilon greedy, epsilon soft en we hebben de softmax.
En dat zijn een beetje zoals het meest gebruikte actieselectiebeleid.
Natuurlijk zijn er anderen.
De meest elementaire is bijvoorbeeld een heel eenvoudig actieselectiebeleid.
Selecteer gewoon de beste, die met de hoogste Q-waarde.
Maar waarom vliegt dat actiebeleid niet en waarom hebben we verschillende soorten actie, beleid, actie,
selectiebeleid?
Nou, het komt allemaal neer op exploratie versus exploitatie, en dat is de kern van versterkend leren, omdat we hier al een
beetje over hebben gesproken, dat je agent, wanneer hij in een omgeving opereert,
bepaalde sleutelwaarden kan voorspellen die zou goed kunnen zijn, en het zou geweldig kunnen en
kunnen worden.
Het kan zijn dat die waarden slecht zijn en zullen worden gedwongen om te verkennen.
Dus als we, bijvoorbeeld, in dit geval voorspellen dat Q2 de beste is en dan
moet je actie twee ondernemen, en vanaf hier onderneemt het actie en dan krijgt het een zeer negatieve beloning.
Dan dwingt hun omgeving de agent om te gaan verkennen, want nu gaat het dat leren, oh
eigenlijk dacht ik dat Q2 heel goed zou worden, maar het bleek erg slecht.
Dus de resultaten zijn niet erg slecht.
Dus het netwerk gaat zichzelf updaten.
Dus de volgende keer dat hij in de staat is, zal hij er waarschijnlijk nog steeds voor kiezen als het,
weet je, alsof het een heel, heel gunstig was.
Dus je zou kunnen denken dat dat zoiets is als, weet je, je hebt misschien een paar keer een paar
straffen of straffen nodig om een toekomst over actie te leren.
Maar misschien zal hij dat al snel leren, oké, ik ga een andere actie ondernemen en de actie ondernemen omdat
het nu de beste Q-waarde heeft.
Dus soms dwingt de omgeving de agent om verschillende acties te ondernemen om verschillende acties te onderzoeken, maar soms kan
de agent het krijgen, vast komen te zitten in een lokaal maximum.
Het zou kunnen vinden dat het door zijn eerste verkenning valt.
Het ontdekte dat, oh, dit is een behoorlijk coole actie, alsof ik hierheen ga.
En dat is best coole actie.
Maar het probleem is dat het denkt dat het de beste actie is, simpelweg omdat het nog niet verkend is verkend, omhoog
gaan wordt verkend, naar links gaan zoals verkend, naar rechts gaan, maar het heeft niet onderzocht om af te dalen vanuit
die specifieke staat waarin het zich bevindt.
En nu het een beetje bevooroordeeld is ten opzichte van deze actie en denkt dat het een goed is
om te blijven nemen, zal blijven krijgen, zal blijven nemen, zal deze actie een goede
beloning blijven krijgen.
Maar wat als deze actie nog beter zou zijn geweest als deze actie zo veel beter zou zijn geweest, dat als het van
deze actie op de hoogte was, het daadwerkelijk naar deze actie zou overschakelen.
Maar omdat het vast kwam te zitten in een lokaal maximum en deze goede beloningen krijgt, wordt het
alleen maar versterkt.
Dit zal zichzelf blijven versterken.
Dat of de manier waarop ik het wilde versterken, dat dit een goede actie is om te ondernemen, blijf dat doen.
Maar echt, de realiteit is dat er een andere actie is die het nog niet heeft gevonden of die zelfs niet is onderzocht en die
veel beter zou zijn geweest.
En dus willen we een actieselectiebeleid bedenken waarmee onze agent niet vast komt te
zitten in een lokaal maximum.
Ja, het is belangrijk om, weet je, de goede dingen te blijven doen.
Dat is het exploitatiegedeelte.
We willen uitbuiten wat we hebben gevonden.
Maar tegelijkertijd willen we nog steeds verkennen.
We willen nooit stoppen met ontdekken zoals in het leven.
Je wilt nooit stoppen met leren.
Als je stopt met leren, ga je dood.
Dat is.
Er is een gezegde dat zegt dat als je niet groeit, je doodgaat of iets dergelijks,
dus je wilt blijven leren en je agent wil blijven leren, en dat is waar deze acties en dit beleid van pas
komen.
Dus we hebben er drie die u hier vermeldt.
Dus de eerste is Epsilon Greedy.
Het is een heel eenvoudige.
Het klinkt behoorlijk complex in die zin dat het een coole naam heeft en meestal zijn dingen met
namen complex.
Het is eigenlijk niet.
Dus wat het eigenlijk doet, is dat het degene selecteert met de beste Q-waarde en absoluut zoals Epsilon Gry.
Misschien hoor je het op andere plaatsen.
Het is net een selectiebeleid.
Dus in dit geval gebruiken we het om uit onze Q-waarden zijn actie te selecteren.
U selecteert dus altijd degene met de hoogste Q-waarde, behalve voor Epsilon procent van de tijd.
Dus als je bijvoorbeeld Epsilon tot tien procent zei, dan ga je naar of nulpunt één, dan zal 10 procent
van de tijd de actie willekeurig worden geselecteerd.
Dus 90 procent van de tijd selecteert u nog steeds de beste actie op basis van de hoogste waarde.
Maar 10 procent van de tijd zal een willekeurig actie-uniform selecteren, dat absoluut willekeurig
een actie zal ondernemen.
Of heb je absoluut nul punt vijf vier nul punt nul vijf ingesteld.
Dat betekent dat de agent 95 procent van de tijd de actie met de hoogste waarde zal ondernemen.
Maar vijf procent van de tijd is het nog steeds selecteren en een willekeurige actie.
Dus het wordt eropuit gaan en verkennen.
Dus Epsilon Soft is een zeer vergelijkbare manier.
De manier waarop dat een beetje lijkt op waarom het epsilon hebzuchtig wordt genoemd, omdat je dan
gretig de actie selecteert, de goede actie, behalve die kleine subset van de tijd.
Dus hoe lager hoe lager de epsilon, hoe gretiger je dat soort actie selecteert dat de
optimale actie is.
En hoe minder je weggaat, hoe kleiner de kans dat je vertrekt voor verkenning.
Epsilon Soft is het tegenovergestelde.
Dus eigenlijk selecteer je willekeurig, je selecteert één minus Epsilon procent van de tijd.
Dus als je epsilon zo is als nul komma één tot 10 procent, dan onderneem je slechts 10 procent van de
tijd deze actie.
En een tijdje en 90 procent van de tijd selecteer je een willekeurige actie.
Dus heel, heel eenvoudige, alleen omgekeerde algoritmen en een softmax is een soort van de volgende stap van of het is een
meer geavanceerde versie, zou ik zeggen, van Epsilon van het Epsilon hebzuchtige algoritme, hoewel ze allebei verdienste
hebben en ze allebei plaats hebben , we gaan softmax gebruiken in onze codering en onze praktische kant van
de dingen.
Daarom gaan we wat dieper in op Softmax.
Dus laten we eens kijken.
Dus laten we verder gaan met Softmax.
Hopelijk is het vrij duidelijk over Epsilon hebzuchtig.
Het is dus een vrij eenvoudig algoritme.
Selecteer deze meestal, behalve dat je soms gaat verkennen.
En nu zien we ook waarom het belangrijk is om die verkenning te doen, zodat we in ons optimalisatieproces
niet in lokale maxima terecht komen.
Dus nu zouden we wat meer over Softmax kunnen praten.
Er is een tutorial over softmax aan het einde van de cursus in Ik denk dat het een bijlagenummer is waar we het
hebben over het concept achter Softmax.
Ik ga me hier even een beetje opfrissen.
Dus daar hebben we het over convolutionele neurale netwerken.
En trouwens, we gaan allemaal convolutioneel behandelen.
We hebben het niet over neurale netwerken van coalities in dit gedeelte van de cursus.
In deze sectie gebruiken we nog steeds een vector.
Maar in het volgende gedeelte van de cursus, wanneer we een acht maken om Dhume te spelen, gaan we
een convolutief neuraal netwerk gebruiken.
Het kan dus nuttig voor je zijn om naar convolutionele neurale netwerken te kijken en dan de softmax-functie te nemen.
Of je kunt wat meer leren over softmax nadat je de convolutionele neurale netwerken hebt gevolgd, die later bij
de cursus hoort.
Maar hier is een snelle opfrissing.
Dus hier hebben we een convolutief neuraal netwerk dat beslist of het een hond of een kat is.
Dus hier hebben we het stemproces tussen deze neuronen en deze die zegt dat het de kenmerken
heeft, je weet wel, de pluizige oren, wat is dat puntige, puntige gezicht.
En ze zijn een beetje zoals de kenmerken die de soorten ogen zijn zoals de ogen eruit zien, al deze kenmerken
zijn van honden.
Dus de kans van 95 procent dat het een hond is en de kans van vijf procent dat het een kat is.
Maar de vraag is, hoe zijn we in die Taurel gekomen waar we het over hebben?
Hoe hebben we deze waarden opgeteld tot één?
Welnu, wat de convolutionele of onze hele neurale netwerken van het convolutionele neurale netwerk ook zijn, plus de volledig
verbonden Lares, wat het Baroud ook is, wat de waarden ook zijn die we hier toepassen
op de Softmax-functie, hier hebben we de formule voor de softmax-functie geïntroduceerd.
Dit is hoe het eruit ziet.
En toen kregen we deze waarden.
En dus eigenlijk is dat een snelle opfriscursus.
Dit is de formule voor de softmax.
Het is wat het doet, er zijn echter veel outputs nodig die er niet toe doen.
Het zal ze nemen en het zal ze allemaal verpletteren in waarden tussen nul en één, ongeacht hoe groot ze
zijn.
Zojuist.
Als je ernaar kijkt, kun je zien dat er onderaan een totaalbedrag is, dus deze waarden worden nul omdat
ze in één zijn.
En ook al deze waarden zullen altijd optellen tot één.
En dat is dus erg gunstig voor ons, want als we de softmax-functie gebruiken, krijgen we
deze nieuwe waarden, we selecteren deze beste waarde.
Maar in werkelijkheid, wat er gebeurt, zijn deze kernwaarden die we daar krijgen, hun werkelijke aantallen.
Rechts.
Dit zijn dus een soort cijfers.
Ze hoeven niet allemaal op te tellen tot één.
En ik moet antwoorden in één, slechts enkele cijfers.
Maar als we softmax toepassen, selecteren we niet zomaar de beste.
Zulke cijfers krijgen we eigenlijk.
Dus we krijgen onze getallen in het bereik tussen nul en één.
En dat zijn ook die optellen tot één.
En wat weten we nog meer dat opgeteld één is?
Welnu, waarschijnlijkheden, we weten dat kansen altijd moeten optellen tot één.
Daarom kunnen we hier zeggen dat we sleutelwaarden hebben, maar hier hebben we ineens
software of waarschijnlijkheden.
We kunnen dus zeggen dat de kans dat dit de beste actie is 90 procent is.
Dit op basis van hun beste acties, vijf procent, twee procent, drie procent.
Omdat we weten hoe hoger de yoku-waarde, hoe beter de actie.
En als we ze dus platdrukken tot nul op één, dan worden dit waarschijnlijkheden en kunnen we er als zodanig mee
omgaan.
En daarom is nu de actie geselecteerd.
En zo komen we op Q2.
Maar als je het goed bekijkt, is dit geen strikte 100 procent en dit is geen strikte nul procent.
Dus dit is vijf procent, twee procent, drie procent.
Dus de meest natuurlijke manier om de softmax toe te passen om verkenning in het algoritme te behouden, is door deze
exacte kansen te gebruiken voor hoe vaak we die actie gaan ondernemen.
Dus deze kansen vertegenwoordigen eigenlijk de verdeling van deze acties die we ondernemen.
Dus eigenlijk maakt Softmax het ons heel gemakkelijk om een manier te bedenken om exploitatie en exploratie te combineren.
Dus de beste actie heeft altijd de grootste kans omdat het middelbare schoolwaarde heeft.
En daarom gaan we deze hier gewoon gebruiken als onze distributie.
We gaan zeggen: oké, we nemen je mee naar 90 procent van de tijd.
Maar vijf procent van de tijd nemen we nog steeds Q Een en twee procent van
de tijd krijgen we drie en drie procent van de tijd dat we Q4 doen.
En het mooie hier is ook dat naarmate deze waarden updaten, naarmate de agent
door het netwerk gaat, meer en meer en meer, hij meer en meer vertrouwd raakt met de omgeving en dus deze updates.
Dus deze waarde zou bijvoorbeeld kunnen worden alsof ze zou kunnen vaststellen dat deze waarde eigenlijk lager is of dat
deze juist hoger is.
En dus zullen deze kansen ook veranderen als een agent er doorheen gaat.
Dus ook al hebben we je hier voor dat niemand zegt dat soms vijf procent van de
tijd, om precies te zijn, Q1 zal selecteren als de te nemen actie en soms of actie die men zal ondernemen.
Men zal wel eens in actie komen.
Er zijn twee acties, drie, twee procent van de tijd en actie vier duurt ongeveer drie procent.
Dus elke actie heeft een kans om in dit proces te spelen.
Zolang we genoeg herhalingen hebben, doorloopt een agent heel vaak deze toestanden waarin ze
zich bevinden.
En zo werkt elk soort deep learning-algoritme, dat je dit vele, vele, vele keren
wilt doen, zodat je uit ervaring leert.
En daarom, zoals je hier kunt zien, is het een heel natuurlijke overgang naar we zijn niet zomaar willekeurig een
absoluut grijs algoritme.
We selecteren de acties niet zomaar willekeurig.
We selecteren ze op basis van hun softmax-waarden, waardoor het lijkt alsof er enige logica achter zit, niet alleen niet alleen een willekeurige 10 procent
van de tijd dat we een willekeurige actie selecteren, maar er is enige logica achter hoe
we' opnieuw doen en op basis daarvan de belangrijkste waarden die we hebben onderzocht.
En dat is dus het actieselectiebeleid dat we in deze cursus gaan gebruiken.
Je bent van harte welkom om ABSOL Greedy Action Selection Policy te bekijken, als je wilt, maar
we gaan voornamelijk het sociale beleid van softmax action gebruiken.
En ik heb een interessante lezing voor je.
Dit wordt dus Adaptive Epsilon genoemd.
Geweldige verkenning van versterkend leren op basis van waardeverschillen.
Het is een artikel uit 2010.
En het is interessant, want Mike Michel, ik weet niet zeker hoe ik het moet uitspreken.
Michelle en Toxic introduceren een ander type algoritme.
Dus een aangepast epsilon greedy algoritme en genaamd het video Whedbee algoritme of Epsilon greedy igby algoritme dat je hier
kunt zien.
En hij vergelijkt het eigenlijk met de ingrediënten softmax.
En het is een absoluut hebzuchtig algoritme, waarvan het belangrijkste idee erachter is om de waarde van Epsilon aan te passen, afhankelijk
van de staat waarin de agent zich bevindt.
Dus als de agent zich grote zorgen maakt over de staat.
Daarbinnen zou die van Epsilon kleiner moeten zijn, dus er zou minder exploratie moeten zijn als de agent onzeker is, de afwezigheid
zou hoger moeten zijn, zou meer exploratie moeten zijn.
Het is dus een artikel uit 2010.
Ik weet niet zeker of dit nieuwe voorgestelde algoritme veel wordt gebruikt of is geaccepteerd in de gemeenschap
of dat kunstmatige intelligentie enigszins is afgeweken van deze suggestie.
Maar desalniettemin zal het u zeker helpen uw kennis over het actieselectiebeleid, dat we hebben besproken, te
vergroten.
Absol groet de softmax zal je helpen.
Het geeft je de mogelijkheid om ze naast elkaar te vergelijken en ook te zien in welke
richting mensen daadwerkelijk denken als ze kunstmatige intelligentie willen verbeteren.
Dus als je ooit van plan bent om echt interessante algoritmen te maken die de grens van kunstmatige intelligentie verleggen en de
grenzen verleggen in deze ruimte, dan zou dit een goede manier voor je kunnen zijn om te zien in welke
richting mensen soms denken als ze proberen om de normen van kunstmatige intelligentie of de normen die toen
in 2010 bestonden te verbeteren.
Dus daar gaan we.
Hopelijk heb je genoten van de tutorial van vandaag over het actieselectiebeleid.
We leerden over Epsilon greedy, Epsilon soft en de softmax, en nu ben je nog beter voorbereid op de praktische
kant van de dingen.
En wat dat betreft, ik kijk ernaar uit om je de volgende keer te zien.
En tot die tijd, geniet ervan, ik.