Eğitmen: Merhaba
arkadaşlar ve ChatGPT ile bu kez pekiştirmeli öğrenme üzerine
olacak olan bu yeni veri bilimi kullanım örneğine hoş geldiniz.
Şimdi ChatGPT'ye henüz yapay
zekası olmayan sanal bir sürücüsüz araba programladığımızı
söyleyeceğiz.
Bu yüzden ileri gitme, sola dönme, sağa dönme ve durma yeteneklerini
yeni uyguladık.
Ve bu sürücüsüz aracın belirli bir hedefe ulaşmayı başarırsa
ödüllendirileceğini ve bu hedeften uzaklaşırsa
veya bazı engellerle karşılaşırsa cezalandırılacağını
söyleyeceğiz.
Tamam, şimdi de ChatGPT'ye sürücüsüz otomobil
için hangi yapay zeka modelinin nasıl uygulanması
gerektiğini soracağız.
Tamam mı?
O zaman şöyle yapalım.
Burada yeni bir sohbet açacağım.
Ve içeride tam olarak
şöyle diyeceğiz: "Hey, ilerlemek,
sola dönmek, sağa dönmek ve durmak
gibi eylemleri olan sanal
bir sürücüsüz araba programladım.
Ve sonra bu araba belirli
bir hedefe ulaştığında ödüllendirilir
ve bu hedeften
uzaklaşırsa veya bazı engellerle
karşılaşırsa cezalandırılır.
Tamam, şimdi daha açgözlü olalım.
Sadece sürücüsüz araç için bir
takviye öğrenme modelinin nasıl oluşturulacağına
dair bazı tavsiyeler istemek istedim, ama aslında bunu doğrudan oluşturmayı
isteyelim.
Neden olmasın?
ChatGPT'nin neler yapabildiğini görelim.
Şimdi soruyorum, "Lütfen
bana sürücüsüz arabanın içinde
yapay zekayı uygulayan bir takviyeli
öğrenme modeli oluşturmak için en iyi kütüphaneleri
kullanarak bir Python kodu yazabilir misiniz?
Pekala,
bunu sormak biraz açgözlülük olur ama asla bilemeyiz.
ChatGPT bize tam olarak istediğimizi verebilir.
Bu yüzden deneyelim ve herhangi
bir sorunla karşılaşırsa ona yardım edeceğiz.
Tamam, Enter'a basalım ve işte başlıyoruz.
Tabii, tamam, yine harika bir başlangıç.
"Python'da sürücüsüz aracınız için bir takviyeli öğrenme
modeli uygulamaya başlamanıza
yardımcı olabilirim. İnanılmaz.
"İşte OpenAI Gym kütüphanesini nasıl
kullanabileceğinizi gösteren bazı kodlar. Harika.
"Sürücüsüz aracınız
için bir takviyeli öğrenme modeli eğitmek. Tamam, bu gerçekten şaşırtıcı, ChatGPT'nin bunu bu kadar kolay yapmasını
beklemiyordum ve şu anda yaptığı şey
çok mantıklı.
Q-tablosunu, durum sayısını, eylem
sayısını ve 0 olarak başlatılan bir öğrenme
oranını başlatıyor. 1, iskonto
faktörü 0. 95.
Bu gerçekten inanılmaz, hayranlık içindeyim.
Keşif oranı 0'a. 5, maksimum bölüm sayısı 1.000, bölüm
başına maksimum adım sayısı
100'dür.
Sonra Q-öğrenme modelini eğitiyor, inanılmaz.
O zaman derin Q-öğrenme modeli veya A3C gibi daha gelişmiş
bir model uygulaması
için onu zorlayacağım ama bakalım.
For Döngüsü ile her şeyi sıfırdan uygular.
Bir eylem seçerek başlar, ardından yapay zekanın
eylemi gerçekleştirdiği adımı uygular,
ardından Q-tablosunu günceller ve ardından
durumu bir sonraki güne ayarlar.
Bu gerçekten takviyeli öğrenme süreci, Q-öğrenme
süreci, bu inanılmaz.
Daha sonra Q-öğrenme modelinin nasıl test edileceğini
bile uygular ve son olarak ortamı kapatır.
Vay canına, bu gerçekten inanılmazdı.
Tamam, bu kadarını beklemiyordum.
Madem bu kadar kolay başardı,
o zaman daha da zorlayalım.
İlk olarak, tabii ki, "Çok teşekkürler,
bu gerçekten çok yardımcı oldu.
Ancak, Q-öğrenmenin
nasıl uygulanacağını
zaten biliyorum.
Lütfen aynı şeyi,
örneğin derin Q-öğrenme gibi daha
gelişmiş bir
takviyeli öğrenme modeliyle
yapabilir misiniz? Ya da daha iyisi, süper açgözlü olalım.
"Son teknoloji ürünü bir takviyeli öğrenme modeli. Tamam, hazır mısın?
İşte başlıyoruz.
Ve, "Kesinlikle. Her zaman "Elbette. Bu inanılmaz.
"Burada, sürücüsüz aracınız için derin bir Q-öğrenme modeli
olan DQN'yi eğitmek için OpenAI baselines
kütüphanesini nasıl kullanabileceğinizi
gösteren bazı kodlar bulunmaktadır. Ve işte yine başlıyoruz.
Bize kodu veriyor.
Bu gerçekten inanılmaz.
Pekala, evet, şimdi temelin ortak Atari kütüphanesinden
Wrap DeepMind kütüphanesini kullanıyor ve yapay
zekayı bu sefer derin Q-öğrenme
modeliyle tekrar uyguluyor.
Bu gerçekten çok şaşırtıcı.
"Bu kod, sürücüsüz aracınız için derin bir Q-öğrenme modeli eğitmek üzere
DQN algoritmasını kullanır.
Model, ödülü en üst düzeye çıkarmak için her
durumda en iyi eylemi gerçekleştirmeyi öğrenecektir.
Alternatif olarak, daha gelişmiş
bir takviye öğrenme modeli kullanmak isterseniz, son teknoloji takviye öğrenme
algoritmalarının uygulamalarını sağlayan OpenAI Spinning
Up kütüphanesini kullanabilirsiniz.
Burada, Spinning Up kütüphanesini bir proksimal
politika optimizasyonu, PPO modeli eğitmek için nasıl
kullanabileceğinizi gösteren bazı kodlar bulunmaktadır. Gerçekten de, bu harika bir model.
"Sürücüsüz arabanız için. Ve işte, size modeli tüm koduyla birlikte
tekrar veriyor.
Vay canına, bu ChatGPT ne büyük bir devrim.
Cidden, çok etkilendim.
Tamam, işte kod elinizde.
"Bu kod, sürücüsüz aracınız için bir takviyeli
öğrenme modeli eğitmek üzere
PPO algoritmasını kullanır.
Model, indirgenmiş ödüllerin beklenen
toplamını en üst düzeye çıkarmak için eylemlerde bulunmayı öğrenecektir.
Umarım bu yardımcı olur.
Herhangi bir sorunuz olursa
veya daha fazla yardım isterseniz bana bildirin. Ben bile bu kadarını beklemiyordum, bu
yüzden ben de sizin gibi
etkilendim, aynı zamanda tüm bunları yapıyorum.
Biz de diyeceğiz ki, "Çok teşekkür ederim, harikaydı. Ve bitti.
ChatGPT ile bu veri bilimi kullanım örneğini izlediğiniz
için tekrar teşekkürler.
Şimdi bir sonrakine geçelim.
O zamana kadar makine öğreniminin keyfini çıkarın.