Eğitmen: Herkese merhaba ve tekrar hoş geldiniz.
Bu videoda, A3C'yi uygulamak için ChatGPT'yi
kullanarak "Breakout "u çözmek için ChatGPT'yi
nasıl kullanacağımız hakkında konuşacağız.
Bu yüzden zaten bir sürü çılgın ipucu verdim, harika
sonuçlar aldık, onları birazdan göreceğiz.
Bu yüzden bu video temel olarak sonuçları
nasıl elde ettiğime dair
düşünce sürecimi ve A3C algoritması
oluşturmak için ChatGPT'yi nasıl kullanabileceğinizi
gösterecek.
Tamam, "DOOM" için yaptığımıza benzer şekilde başladım, tamam,
temelde robotik alanında yılların
deneyimine sahip bir makine
öğrenimi uzmanısınız dedim.
Seni "Breakout" için A3C algoritması yapman için tutuyorum. Amaç, "Breakout" oyununu oynayabilen tamamen
işlevsel bir SOTA,
A3C algoritmasına sahip olmaktır.
Sınıfları, test kodu ortamını ve
A3C modeli için paylaşılan
ağırlıklar optimize edicisi olarak
kullanılan Adam optimize edicisinin
özel sürümlerini uyguladım.
Yani bu daha fazla bağlam sağlıyor,
yaptığım şey, size bu üç şeyi sağlayacağım.
Kodun geri kalanını oluşturmadan önce atıfta bulunduğum gibi,
amacınız Python, Torch kullanarak,
sahip olduğumuza benzer
şekilde tam çözümü
uygulamak ve kodu daha önce olduğu
gibi Google Colab'da yürütülecek
şekilde optimize etmektir.
Ayrıca, öğrencilerin kodda
ne yaptığınızı anlayabilmeleri için
kodun her bir satırını yorumlayın.
Gerekirse açıklayıcı sorular sorun, anladım.
Dolayısıyla, "DOOM" için Deep Q ile yaptığımız
konuşmalarla örtüşen
bazı şeyler var, ancak ben zaten uyguladığım ve kullanılmasını
istediğim birçok
bağlam ekledim.
Ben de öyle başladım ve onaylandı.
Evet, anlıyorum ve her türlü soruyu soracağım,
lütfen kodun geri kalanını sağlayın.
Sonra bu Adam optimizer dedim, Adam optimizer
için kodu yapıştırdım, elimizdeki
kaynaklar için ve bu talimatı verdim, uygulamadan
önce kodun geri kalanını
bekleyin dedim, sadece, iyi
sonuçlar almadan önce, aslında sadece yapıştırdım
ve geri kalanını beklemeden hemen A3C'yi uygulamaya atladı.
Bu yüzden bunu bir tür
sistemik kod, sistemik
istem olarak ekledim ve tamam, lütfen ortamı sağlayın ve
kodu test edin dedi.
Yani aslında ilk istemde verdiğimiz
şeye atıfta bulunuyor.
Dedim ki, harika, işte
Gym ortamının uygulanması.
Bu ana kodu yapıştırdım,
buraya bağlam ekledim, eğer bakarsanız,
ve bu her şeyi çalıştıran
ana dosya.
Sonra dedim ki, tamam, güzel,
test kodunu bekle.
Ve dedi ki, evet, ancak A3C'yi
uygulamadan önce
hala test kodunu görmem gerekiyor, dedim ki, harika,
işte bir test kodu.
Ve daha büyük, daha büyük bir projeniz
varsa, bunu bir kod parçasını
veya bir referans olarak, stilde
kullanmak için nasıl
kullanabileceğinizi görürsünüz, böylece
aslında kod stilinizde bir şey üretebilirsiniz.
Harika ve bunu yaptığımda,
harika, devam et dedi.
Ve temel olarak bu ana kodu kullanacağımı,
test edeceğimi ve bunu uygulayacağımı söyledi.
Sonra da modelin yaratıldığı yazıyordu. py, ki aslında biz de kursta
bunu yaptık.
Ve dedi ki, işte ActorCritic modeli ve ben
bizimkiyle karşılaştırıyorum.
Bu python'un daha yeni bir sürümüdür, bu nedenle
ağırlıkların başlatılması ve bunun
gibi şeylerin çoğu daha zarif bir şekilde yapılabilir.
Yani bunu yaptı ve aslında oldukça iyi
kullanıyor, sonra tren kodu oluşturdu ve temelde
ActorCritic.
Bir göz atarsanız, oldukça basit olduğunu görürsünüz,
bu yüzden kesinlikle geliştirilmesi
gerekiyor.
Yani yapabileceğiniz şey, tamam, devam
et dedim diyebilirsiniz
ve o da yazmaya devam eder.
Bunu bir tür kayıp olarak yarattı,
ancak evet, temelde ihtiyacımız
olan her şey var, her şeyi optimize
etti ve bu optimize ediciyi
görebilirsiniz. Sonunda dur.
Yani temelde şimdiye kadar
tanımladığımız her şeyi
ve uygun kaybı ve evet,
optimize ediciyi, her şeyi kullandı.
İşte bu kadar.
Birkaç basit adımda,
2017, 2018'in en iyilerinden biri
gibi olan son teknoloji modellerden
biri için tüm kodu uygulamayı
başardık.
Bugüne kadar, aslında "Breakout"
gibi karmaşık ortamları çözmek için çok fazla
kapasiteye sahipti. Gördüğünüz gibi, örneğin ChatGPT'ye sahip
olduğumuza göre, kodun belirli
kısımlarını uygulamak için onu yönlendirebilirsiniz.
Ve kodun belirli bölümlerinin
gerçekte ne yaptığını
bilmiyorsanız, gidip ona sorabilirsiniz,
örneğin, havalı, eğitim bölümünü
açıklayabilir misiniz ve Adam'ın
geleneği nerede?
Bu yüzden onu aslında kendini açıklamaya yönlendiriyorum, bu da temelde
size üretiminin
arkasında daha fazla mantık sunması için onu yönlendirmenin
başka bir yolu.
Ve aslında adım adım
açıklayacağını görebilirsiniz.
Evet, bunu bekleyebiliriz,
aynı komutları verebilirsiniz ve benimkine
gerçekten benzer sonuçlar elde edersiniz, ancak genel olarak şimdi
yapacağı şey, tam burada en üstte tanımladığı tren işlevini almak
ve temelde her bir adımdan geçip
onu uygulamak olacaktır.
Yani evet, bu olabilir.
Bu kodu Google Colab'da denemenizi kesinlikle
tavsiye ederim, yapılabilir,
Goggle Colab ortamının görselleştirmesi ve sınırlamaları nedeniyle çalışması
biraz zor olacaktır.
Ancak, kesinlikle gidip
hataları buraya yapıştırabilir ve süreci
ayıklamak için oldukça
iyi sonuçlar elde edebilirsiniz.
Ve evet, bununla birlikte sizi rahat bırakacağım ve
artık A3C için nasıl değer elde edeceğiniz konusunda
ChatGPT'yi kullanmanın yolunu biliyorsunuz.
Ve evet, umarım şu ana kadar kursu
beğenmişsinizdir, hoşça kalın.