Hallo en welkom bij deze Python-tutorial.
Oké, dus nu gaan we de voorwaartse functie maken die de uitgangssignalen van onze hersenen naar het
ooglichaam zal verspreiden, zodat het de juiste actie zal uitvoeren om het Westen te bereiken.
Maar er is nog geen actie omdat er nog niet getraind wordt.
We hebben de lucht nog niet getraind.
Maar dit is precies wat we gedeeltelijk zullen doen om deep convolutioneel leren te implementeren,
wat ik trouwens de AI-training zal hernoemen met diep convolutioneel leren.
Maar nu moeten we het signaal van de uitgangslaag van de hersenen naar het lichaam doorsturen.
En dat is precies wat we gaan doen met deze voorwaartse functie, de laatste functie van ons
lichaam.
Dus laten we dit doen.
We beginnen met Jeff Ford en volgens u, welk argument gaat het kosten?
Wel, er is eerst een kracht voor nodig, en dan is er nog een?
Nou ja, die is er.
En wat gaat het worden?
Nou, heel natuurlijk willen we het uitgangssignaal van de hersenen naar het lichaam sturen en daarom zal de
ingang het uitgangssignaal van de hersenen zijn.
En dus moeten we deze uitgangssignalen nu een naam geven.
En dus ga ik hier het argument toevoegen.
Oke.
Dat komt overeen met de uitgangssignalen van de hersenen nadat de invoerbeelden door alle hersenen zijn gepropageerd om de uitgangslaag
te bereiken, wat X hier is, keert terug door de voorwaartse functie van de hersenen.
En nu zal dit uitgangssignaal van de hersenen naar het lichaam worden doorgestuurd met deze nieuwe voorwaartse functie
die we in de volgende les maken.
Dus laten we dit doen.
Laten we hier wat kleur aan toevoegen.
En nu, zoals je hebt begrepen, gaan we een softmax-methode gebruiken om de actie te spelen.
Dat betekent dat het lichaam van onze A. L. , zal na ontvangst van de uitgangssignalen van de
hersenen de acties spelen met de softmax-techniek.
Dus eigenlijk moeten we nu precies hetzelfde doen als wat we deden voor de zelfrijdende auto.
We krijgen onze kansverdeling.
Dat is de eerste stap.
En dan gaan we een actie bemonsteren volgens deze kansverdeling.
Dus wat we nu eigenlijk zouden kunnen doen, is ons bestand met zelfrijdende auto's ophalen en kopiëren en plakken wat we hebben
geïmplementeerd voor de functie Select Action in de zelfrijdende auto.
Maar laten we het nog een keer doen.
Het zal een goede oefening zijn en eigenlijk kun je proberen het voor mij te typen.
Oké, dus eerst, wat we gaan doen is onze kansen krijgen.
Dus ik stel me voor dat dit een verdeling van kansen is voor elk van de kernwaarden die afhankelijk zijn van
de invoer, het beeld en elke actie.
We hebben dus één sleutelwaarde voor elk van de zes of zeven mogelijke acties en daarom krijgen we de
verdeling van zeven kansen.
Ik zeg zeven omdat ik denk dat er zeven acties zijn in plaats van zes, want
naast links, rechts of schieten kunnen we ook rennen.
Dat maakt zeven mogelijke acties en daarom krijgen we een verdeling van zeven kansen, één voor elke
waarde die aan elke actie is gekoppeld.
Dus rekwisieten zijn gelijk aan.
En onthoud nu wat we moeten doen.
Nou, eigenlijk moeten we de softmax-functie van de functionele module gebruiken.
Dus dat is heel eenvoudig.
We nemen eerst onze functionele module, dan DOUT, en dan onze softmax-functie.
Hier is het.
We drukken op enter en nu voeren we de argumenten van de softmax-functie in, waarvan ik eraan herinner dat het de
elementen zijn waarvoor je een kansverdeling wilt maken.
En dat zijn natuurlijk de kernwaarden, dat zijn de uitgangen van het neurale netwerk, dat zijn de
uitgangen van het neurale netwerk waarvoor je een kansverdeling wilt maken.
En ik herinner eraan dat we deze kansverdeling willen creëren om de verschillende acties te kunnen onderzoeken
in plaats van direct degene te kiezen die de maximale waarde heeft.
Als we direct degene kiezen die de maximale waarde heeft waar we niet veel onderzoeken, de
andere acties en we misschien iets missen, maar met de softmax-methode, kunnen we wat meer verkennen en daarom misschien
wat verborgen oplossingen in de patronen vinden dat kan veel beter.
Dus nogmaals, ik raad softmax ten zeerste aan en daarom moeten we nu de waarden invoeren die hier
onze output zijn, de output van onze hersenen.
Dus uitgangen die we gaan.
Maar dan hebben we deze temperatuurparameter die we kunnen gebruiken, die we kunnen configureren om de verkenning aan
te passen.
Onthoud dat hoe hoger we de temperatuur instellen, hoe minder verkenning van de andere acties die we
zullen doen, omdat de beste actie met een hogere waarschijnlijkheid zal worden geselecteerd in tegenstelling tot de andere
acties die met lagere waarschijnlijkheden zullen worden geselecteerd.
Dat is precies hetzelfde als voor de zelfrijdende auto en daarom moeten we de output hier
vermenigvuldigen met onze temperatuurparameter.
Salvati.
Dan gaan we.
Perfect.
Nu krijgen we een kleine waarschuwing omdat we nog geen rekwisieten hebben gebruikt, maar we staan op het punt het nu te gebruiken.
En dat brengt ons bij het volgende dat we moeten doen.
Hoe gaan we deze kansen gebruiken?
Welnu, we gaan een voorbeeld nemen van de laatste actie die moet worden gespeeld uit deze kansverdeling.
En daarom moeten we nu de multinomiale functie gebruiken om de actie te bemonsteren
volgens deze kansverdeling.
Dus nu zijn we klaar om onze acties te ondernemen.
Dus ik maak hier een nieuwe variabele omdat dat de acties worden die door de body van onze A worden
gespeeld. L..
En dus nemen we nu onze verdeling van kansen, probs waaraan we punten toevoegen en dan
de multi Gnomeo-methode.
Oke.
En nu krijgen we onze laatste acties om te spelen.
Ze zijn samengesteld uit onze rekwisietendistributie.
Oke perfect.
Dus nu zijn we klaar om terug te geven wat we willen.
Dat zijn de acties om te spelen.
En dat zijn natuurlijk acties.
En nu zou de waarschuwing moeten verdwijnen.
We gebruiken alles wat we willen.
Daar gaan we.
Perfect.
Dus nu is de voorwaartse functie klaar en gefeliciteerd.
Het lichaam is er ook klaar voor.
Dus nu hebben we onze hersenen, we hebben ons lichaam, en daarom zijn we klaar om ze te assembleren om de toekomstige A
te maken. L. onze toekomst.
Ik zal uit niets anders bestaan dan een brein, wie dan ook.
En dus zal het intelligentie en een lichaam hebben om de acties uit te voeren, wat de juiste acties zullen
zijn om te spelen dankzij zijn intelligentie.
Maar onthoud, voordat we zijn intelligentie moeten trainen en dat is wat we gedeeltelijk zullen doen om de AI
te trainen met diep, convolutief en lerend.
Oke.
Dus laten we in de volgende tutorials maken dat het weer een klasse van twee functies wordt, denk ik.
En dus vereist deze twee of drie tutorials.
Dus ik kan niet wachten.
Dit wordt spannend.
En tot die tijd, geniet van I.