Instructeur: Hallo,
mijn vrienden, en welkom bij deze nieuwe data science use case
met ChatGPT, die deze keer zal gaan over reinforcement learning.
Dus we gaan ChatGPT nu vertellen
dat we een virtuele zelfrijdende auto hebben geprogrammeerd
zonder enige AI.
Dus we hebben net de mogelijkheid ingevoerd om vooruit te gaan, linksaf te slaan,
rechtsaf te slaan en te stoppen.
En we gaan zeggen dat deze zelfrijdende auto wordt beloond als hij
erin slaagt een bepaalde bestemming te bereiken,
en wordt bestraft als hij van deze bestemming afwijkt,
of als hij obstakels tegenkomt.
Oké, en dan gaan we ChatGPT vragen welk
AI-model geïmplementeerd moet worden
voor de zelfrijdende auto en hoe.
Oké?
Dus laten we dit doen.
Ik ga hier een nieuwe chat openen.
En binnenin gaan we
precies zeggen: "Hé, ik heb een
virtuele zelfrijdende auto geprogrammeerd
met als acties vooruitrijden,
linksaf slaan, rechtsaf slaan en stoppen.
En dan wordt deze auto beloond
als hij een bepaalde bestemming bereikt,
en gestraft als
hij verder weg gaat van deze
bestemming, of als hij
op obstakels stuit. Oké, nu, laten we gulziger zijn.
Ik wilde alleen wat aanbevelingen
vragen over hoe je een reinforcement
learning model bouwt voor de zelfrijdende auto.
Waarom niet?
Laten we eens kijken waartoe ChatGPT in staat is.
Dus ik ga vragen: "Kun
je alsjeblieft een Python-code
voor me schrijven met de beste bibliotheken
om een model voor leren van versterking te
bouwen dat de AI in die zelfrijdende auto implementeert?
Oké,
het is een beetje inhalig om dit te vragen, maar we weten maar nooit.
ChatGPT geeft ons misschien precies wat we willen.
Dus laten we het proberen
en als hij in de problemen komt, zullen we hem helpen.
Oké, dus laten we op Enter drukken en daar gaan we.
Tuurlijk, oké, dat is weer een mooi begin.
"Ik kan je op weg helpen met het implementeren van een reinforcement
learning model voor je zelfrijdende
auto in Python. Verbazingwekkend.
"Hier is wat code die demonstreert
hoe je, OpenAI Gym library kunt gebruiken. Geweldig.
"Om een reinforcement
learning model te trainen voor je zelfrijdende auto. Oké, dus dat is geweldig eigenlijk, ik had het niet verwacht, ChatGPT om het
zo gemakkelijk te doen, en het is allemaal
logisch wat het nu doet.
Het initialiseert de Q-tabel, het aantal
toestanden, het aantal acties, een leersnelheid
geïnitialiseerd op 0. 1, een discontofactor
van 0. 95.
Dit is echt geweldig, ik heb ontzag.
De verkenningskoers naar 0. 5, het maximale aantal afleveringen tot 1.000,
het maximale aantal stappen per aflevering
tot 100.
Dan traint het het Q-learning model, verbazingwekkend.
Ik ga hem dan uitdagen om een meer geavanceerd model te implementeren,
zoals het diepe Q-learning
model, of het A3C, maar laten we eens kijken.
Het implementeert alles vanaf nul met de For Loop.
Het begint met het kiezen van een actie, dan implementeert
het de stap waarin de AI de actie uitvoert,
dan werkt het de Q-tabel bij en dan zet het de
toestand op de volgende dag.
Dit is echt het reinforcement learning proces, het Q-learning proces,
dit is verbazingwekkend.
Dan implementeert het zelfs hoe het Q-learning model moet
worden getest, en tenslotte sluit het de omgeving.
Wow, dat was echt geweldig.
Oké, zoveel had ik niet verwacht.
Dus omdat het zo makkelijk ging, laten
we het nog meer uitdagen, nog harder.
Dus laten we eerst zeggen, natuurlijk,
"Bedankt, dat was echt nuttig.
Maar ik weet al
wel hoe ik Q-learning
moet toepassen.
Dus zou u hetzelfde
kunnen doen met een meer geavanceerd
model van versterkingsleren,
zoals bijvoorbeeld diepe Q-leren.
Of nog beter, laten we super inhalig zijn.
"Een state of the art reinforcement learning model. Oké, klaar voor dit?
Daar gaan we.
En, "Zeker. Hij zegt altijd: "Zeker. Dat is verbazingwekkend.
"Hier is wat code die laat zien hoe je de OpenAI baselines
library kunt gebruiken om een deep
Q-learning model, DQN, te trainen
voor je zelfrijdende auto. En daar gaan we weer.
Het geeft ons de code.
Dat is echt verbazingwekkend.
Oké, dus ja, het gebruikt nu de Wrap DeepMind-bibliotheek van
de gemeenschappelijke Atari-bibliotheek van de basislijn,
en het implementeert de AI opnieuw
met het diepe Q-learning model deze keer.
Dat is echt, echt verbazingwekkend.
"Deze code gebruikt het DQN algoritme om een diep Q-learning model te trainen
voor je zelfrijdende auto.
Het model zal leren om in elke toestand de beste
actie te ondernemen om de beloning te maximaliseren.
Als je een meer geavanceerd
model van reinforcement learning wilt gebruiken, kun je de OpenAI Spinning
Up bibliotheek gebruiken, die implementaties biedt van geavanceerde
algoritmen voor reinforcement
learning.
Hier is wat code die laat zien hoe je de Spinning
Up bibliotheek kunt gebruiken om een proximaal
beleidsoptimalisatie, PPO model, te trainen. Inderdaad, dat is een geweldig model.
"Voor je zelfrijdende auto. En daar ga je, het geeft je het model weer
met de hele code.
Wow, wat een revolutie, deze ChatGPT.
Serieus, ik ben echt onder de indruk.
Juist, en daar heb je de code.
"Deze code gebruikt het PPO algoritme om een
reinforcement learning model
te trainen voor je zelfrijdende auto.
Het model zal leren acties te ondernemen
om de verwachte som van verdisconteerde beloningen te maximaliseren.
Ik hoop dat dit helpt.
Laat het me weten als je
vragen hebt, of als je verdere hulp wilt. Nou, zelfs ik had niet zoveel
verwacht, dus ik
ben gewoon onder de indruk net als jij.
Dus we gaan zeggen, "Hartelijk dank, dat was geweldig. En klaar.
Nogmaals bedankt voor het bekijken van deze
data science use case met ChatGPT.
Laten we nu naar de volgende gaan.
En tot dan, veel plezier met machinaal leren.