Hazır mısın?
Hadi yapalım şunu.
Wisdom için tüm sistem bağımlılıklarını yükleyerek başlayalım.
Bu oynat düğmesine tıklayalım ve şimdi gördüğünüz gibi pillow veya psi, pi gibi tüm bağımlılıkları ve ayrıca
bunu başarıyla çalıştırmak için gerekli olacak diğer bazı bağımlılıkları yükleyecektir.
Ancak pytorch gibi geri kalan her şey, spor salonu modülleri zaten yüklü.
Bu gerçekten harika.
Google CoLab'in güzelliği de burada yatıyor ve bu sayede hiçbiriniz kodu çalıştırırken ve nihai sonucu
görselleştirirken sorun yaşamayacaksınız.
Tamam.
Yani bu aslında bir ya da iki dakika sürecektir.
Bu yüzden burada hızlıca ilerleyeceğim ve kodun geri kalanı için çok yakında görüşeceğiz.
Tamam.
Sistemin kurulumunun sonuna gelmiş gibi görünüyoruz.
Gördüğünüz gibi bağımlılıklar, onları indiriyor, tüm doğru gereksinimlerle toplarken
onları kuruyor.
Ve birkaç saniye içinde doğru şekilde yapılmalıdır.
Bir bakalım.
Üç, iki.
İşte oldu.
Her şeyi başarıyla yükledim.
Buradaki hatalar için endişelenmeyin.
Kodun yürütülmesini etkilemezler, ancak her şey istediğimiz gibi başarıyla yüklenir.
Pekala, şimdi bir sonraki adım.
Çok önemli.
Şu önemli düğüme bakın.
Tüm bağımlılıkları yükledikten sonra, temel olarak buradaki ilk hücreyi çalıştırdıktan sonra, çalışma zamanınızı yeniden
başlatmanız gerektiğini söylüyor.
Aksi takdirde burada bazı yürütme hataları alırsınız.
O yüzden hızlıca yapalım.
Çok basit.
Burada çalışma zamanına tıklamanız ve ardından çalışma zamanını yeniden başlatmanız ve ardından evet, tamam.
Bu, çalışma zamanınızı geri yükleyecektir.
Ve şimdi sadece oynat düğmesine tıklayarak tüm bu hücreleri çalıştırabilirsiniz.
Şimdi bu ilk dosya görüntüsü ön işleme ile başlayarak bunu yapalım.
Pekala, önce kütüphaneleri içe aktaralım, ardından görüntüleri ön işlem görüntü sınıfıyla
ön işleme tabi tutalım ve şimdi deneyim yeniden oynatma uygulamasına, yani buna geçtik.
Pekala, hadi yapalım şunu.
Önce kütüphaneleri içe aktarıyoruz, ardından ortamın bir adımını tanımlıyoruz.
Daha sonra Step Progress sınıfı ile birkaç ve adım adım ilerlemeyi klasörde sahip olduğumuzla tamamen aynı
hale getiriyoruz.
Ve sonra bu tekrar bellek sınıfını oluşturarak deneyim tekrarını uyguluyoruz.
Tamam, her şey yolunda.
Ve şimdi üçüncü dosyaya geçiyoruz, bu dosya do me either py için ve ilk olarak kütüphaneleri içe aktarıyoruz.
Sonra.
Tamam.
Burada biraz zaman alıyor çünkü tüm torch modüllerini içe aktarıyoruz, sonra openai ve doom paketlerini
içe aktarıyoruz.
Spor salonu, Wisdom Gym ve rapçiler de öyle.
Yani her şey yolunda.
Ve sonra birinci bölüme geçiyoruz, beyni yapacağımız yapay zekayı inşa ediyoruz, sonra vücudu
ve sonra her şeyi bir araya getiriyoruz.
Öyleyse önce CNN sınıfıyla beynimizi tamamlayalım.
Sonra vücudu bir soft max vücut sınıfıyla yapalım ve sonra yapay zekayı bir sınıfla yapalım.
Tamam.
Yani her şey yolunda.
Ve şimdi yapay zekayı elbette derin, evrişimsel öğrenme ile eğiteceğimiz
ikinci bölüme geçiyoruz.
Tamam.
Yani buradakiyle tamamen aynı.
Tomb ile yeni modüllerimizle önce doom ortamını elde ediyoruz.
Bunun için endişelenme.
Bu bir hata değildir.
Daha sonra farklı nesneleri, beyni, CNN'i, maksimum bedenin gövdelerini ve beyin ile bedeni içeren tüm
yapay zekayı oluşturarak yapay zekayı inşa edeceğiz.
Tamam.
Bunu ben mi yaptım?
Evet.
Daha sonra deneyim, adımlarla yeniden oynatma ve belleği nesnel bir yeniden oynatma belleği olarak
kurarız ve ardından uygunluk izini uygularız.
Tamam.
Performansı artırmak için.
Daha sonra MA sınıfı ile 100 adımda hareketli ortalama yaparız.
Ve son olarak, dostlarım, hazır mısınız?
Şimdi sıra, yapay zekayı 20 dönem boyunca eğiteceğimiz çok heyecan verici
kısma geldi.
Pekala, göreceksiniz ki bu biraz uzun olacak.
Boyutları büyüttüğüm için belki bir ya da iki saat sürecek.
Çok uzun olduğunu düşünüyorsanız boyutları 80'e 80'e indirmekten çekinmeyin.
Ama bana güvenin, bu boyutlarla çok daha iyi videolarınız olacak.
Hazır mısınız?
Üç, iki, bir, hadi.
Pekala, bu eğitimin kodunu çalıştıracaktır.
Ve birkaç saniye içinde, elbette negatif bir ödüle sahip olacak ilk dönemi görebilmeliyiz.
Ancak, dönemler boyunca ödülün pozitif ödüle ulaşana kadar ve daha sonra yüzlerce ödüle
ulaşana kadar azar azar artacağını göreceksiniz.
Aslında bunu hedefleyelim.
Umarım 20 epok ile 100, 200 ya da 300 gibi bazı nihai ödüllere sahip oluruz,
çünkü bu ödüllerle aslında onları denedim.
Evet.
İlk dönem, negatif ödüller, -98.
Bu yüzden 100, 203 yüz civarındaki ödüllerle zaten bazı harika sonuçlar alacağımızı söylüyordum.
Yapay zekanın bazı canavarları öldürmeyi başardığını veya onlardan kaçtığını ya da yeleğe
doğru ilerlediğini göreceğiz.
Yani bu ilk dönem, birinci dönem -98.
Ve sonra, bilirsiniz, belki de daha iyi bir ödülle ikinci dönemi göreceğiz.
Ancak, başlangıçta, elbette, yapay zeka eğitilmemiştir.
Çevreyi keşfediyor.
Doğru.
Takviyeli öğrenmedeki bu değiş tokuşu hatırlıyor musunuz, keşfe karşı sömürü?
Başlangıçta yapay zeka sadece keşif yapıyor ve daha sonra eğitilecek, daha akıllı
ve daha zeki hale gelecek ve işte o zaman bazı yüksek ödüllere ulaşacak.
Bu yüzden başlangıçta negatif ödüller almakta bir sakınca yoktur.
Belki bunu 3/1 dönem boyunca elde edeceğiz, ancak daha sonra dört, beş ya da altı numaralı dönemden
sonra, belki pozitif ödüllere ve ardından umarım 102 yüz ya da 300 civarında ödüllere ulaşmaya başlayacağımızı
göreceksiniz.
Dediğim gibi, bu biraz zaman alacak.
Bu yüzden burada 2 saat kalmayacağız, aksi takdirde söyleyecek sözüm kalmayacak.
Şimdi yapacağım şey, eğlenceli ya da havalı bir müzik koymak olacak.
Ve işte başlıyoruz, iki numaralı dönem, -62.
Yani halihazırda bir miktar iyileşme var.
Bu çok iyi.
Ancak göreceksiniz ki, çağlar ilerledikçe daha da iyi gelişmeler olacaktır.
Ne diyordum peki?
Evet, şimdi güzel bir müzik koyacağım ve antrenmanı hızlandırılmış modda oynatacağım.
Ve tabii ki, eğitimin sonunda nihai sonuçları görmek için görüşmek üzere.
Tamam.
İşte böyle.
Üç, iki, bir, başla.
Tamam.
Ve işte eğitimin sonuna geldik.
Tebrik ederim.
Derin, evrişimli öğrenme modelini çok zorlu bir uygulama olan kıyamet oyunu üzerinde eğitiyorsunuz.
Peki önce ne söylemeli?
Umduğumuz gibi, 100'den fazla ortalama ödüle ulaştık.
O zaman söylenmesi gereken şey, elbette, daha fazla dönemle daha yüksek ödüller alacağınızdır.
Bu nedenle, örneğin, bu modeli daha fazla epok için eğitmeye hazırsanız, örneğin 100 epok veya
daha fazla ödül elde etmek için yaklaşık 304 yüz 500 veya hatta 1000 epok.
Yapmaktan çekinmeyin.
Örneğin, siz uyurken gece boyunca çalışmasına izin verebilirsiniz ve sabah uyandığınızda
daha iyi sonuçlar alırsınız.
Çalışma zamanında bir GPU da kullanabileceğinizi unutmayın, değil mi?
Çalışma zamanı türünü değiştirirseniz, ki bunu yapmamalıyım çünkü aksi takdirde not defterini yeniden başlatacaktır.
Ancak buradaki donanım hızlandırıcıda GPU'yu veya hatta CPU'yu seçebilirsiniz, ancak bu yalnızca performansı optimize
etmek ve bazı süper sert antrenmanlar yapmak istiyorsanız.
Ancak burada sadece klasik olanı kullanıyorum çünkü size tüm bunları nasıl uygulayacağınızı göstermek istiyorum.
Ve işte başlıyoruz.
Şimdi çalışma kitabının geri kalanını, yalnızca bu çekirdek kitaba özgü bu ekstra kodla yürüteceğiz ve tabii
ki yapay zekayı iş başında görselleştireceğiz.
Pekala, hadi yapalım şunu.
Önce kütüphaneleri içe aktaralım.
Doğru.
Hepsi iyi.
Daha sonra girdi şeklini ve bir dizi olası eylemi yazdıracağız.
Tamam.
Yani burada gerçekten de Doom Koridoru ortamında yedi olası eylemimiz olduğunu göreceğiz.
Yani bunlar ileri git, geri git, sola git, sağa git, ateş et.
Ve sonra belki kendini korursun ya da her neyse.
Son eylemin ne olduğunu bilmiyorum ama bunun gibi bir şey.
O halde bunlar giriş çerçevesinin boyutlarıdır.
Bu, çerçevenin yüksekliğine karşılık gelir.
240 piksel yüksekliğe sahiptir.
Bu, çerçevenin genişliğine karşılık geliyor, değil mi?
320 büyüklükte.
Bu da, bilirsiniz, renkli imgelerle çalıştığımız gerçeğine ve buradaki üçün kanallarımızın üç
unsuruna karşılık gelmesine tekabül ediyor.
Tamam, o zaman bir sonraki hücreyi çalıştıralım ve nasıl olduğunu görmek için ortamın bir karesini görüntüleyelim.
Ve gerçekten de, bunun çalıştığınız ortamı görmek için yararlı olduğunu unutmayın, değil mi?
Burada Doom Corridor'da olduğumuzu görüyoruz, ancak burada daha fazla ortam denemek
isterseniz, aslında bunların da buradaki ana sayfada olduğunu unutmayın.
Tam burada.
Evet.
Denemenizi tavsiye ettiğim tüm ortamların listesine sahipsiniz.
Eğer başka bir tanesine bakmak isterseniz.
Aslında sana gösterebilirim.
Şunu alalım, sonra şu kıyamet koridoruna geri döneceğim.
Doğru.
Eğer onu bununla değiştirirsem.
Doğru ve bunu iyi bir şekilde uyguluyorum.
Bu sefer üç aksiyon alacağız.
Tabii ki daha basit bir şey ve bu hücreyi iyi çalıştırırsak bu ortamı göreceğiz, değil mi?
Yani bu sadece neyle çalıştığınızı hızlı bir şekilde görmenin ve temelde yapay zekanın ortamda ne yapacağına
dair bir önizleme almanın bir yoludur.
Tamam.
Wisdom Corridor'a geri dönelim.
Sonraki hücreler için ihtiyacımız olması ihtimaline karşı bunu şimdi yeniden uygulayalım.
Pekala, mükemmel kıyamet koridoru.
Şimdi son hücreye geçelim.
Yani bu, görselleştirme için kullanılacak bir yardımcı işlevdir.
Bu hücreyi çalıştıralım ve şimdi yapay zekayı bir bölümde çalıştıralım.
Ve burada kodu anlayabileceksiniz çünkü bilirsiniz, temelde bu, her adımda belirli
bir durumda olduğu, durum içinde bir eylemi oynayacağı, sonra ödülü alacağı ve ardından bir sonraki
duruma ulaşacağı tam bir bölümde havayı çalıştırma sürecidir, değil mi?
Yani bu klasik MDP süreci, değil mi?
Markov karar süreci.
Ve işte başlıyoruz.
Bir bölüm için bu kadar yeter.
Ve son olarak, 20 dolar karşılığında eğitilen yapay zekamızın 100'den fazla ödüle ulaşabildiği oyunun videosunu
alacağız, bu da bize oldukça iyi sonuçlar verecek, ancak belki de yeleğe ulaşamayacak.
Ama sorun değil.
Bunu kendiniz deneyeceksiniz.
Ve şimdi buradaki tam düğmeye tıklamanızı istiyorum çünkü size videonun nasıl doldurulduğunu göstermek
istiyorum.
Yani bunlar çerçeveler gibi bazı öğeleri içeren bazı klasörlerdir, bilirsiniz, sonuçların çerçeveleri veya
bazı JS ve dosyalar.
Ama asıl ilgimizi çekecek olan nihai video.
Ve bunu elde etmek için, buradaki oynat düğmesine tıklamamız yeterlidir ve buradaki ana klasörde doldurulacağını
göreceksiniz.
Kaçırmayın, sorun değil.
Hücre zaten infaz edilmiş gibi görünüyor, ki durum bu.
Ama bunu birkaç saniye içinde göreceksiniz.
Burada doldurulan bir video dosyası olan bir AVI dosyası göreceğiz.
Yaklaşık 10 saniye içinde görünecektir.
İstersen geri sayım bile yapabilirim.
O zaman şöyle yapalım.
Ve on, dokuz, sekiz, yedi, altı, beş, dört, üç, iki, bir, git.
Ve şimdi gerçekten birkaç saniye içinde görünmesi gerekiyor.
Evet, işte oldu.
Tamam.
Yani, ajan oyunu.
Çal şunu, Avi.
Bu senin videon.
Şimdi indirelim ve tam burada bulacağım bilgisayarınıza indirilecektir.
Doğru.
Yani bu video ajanı oyunu.
FBI'ı oynat.
VLC gibi kodekleri olan bir video oynatıcı ile açtığınızdan emin olun.
Doğru.
Mac kullanıyorsanız quicktime player ile çalışmayacaktır, ancak VLC ile kesinlikle çalışacaktır.
Şimdi bir göz atalım ve işte video.
Tamam.
Bu yüzden burada duraksamama izin verin.
Tamam.
İşte video.
Ve gördüğünüz gibi, bu çerçevenin 256'ya 256 boyutlarıdır.
Gördüğünüz gibi, çok büyük değil.
Doğru.
İşte bu yüzden 80'e 80 yerine bu boyutlarla çalışmak istedim.
Şimdi de videoya bir göz atalım.
Yani bu yapay zeka bir bölümde doom oynuyor ve canavarlardan kaçınmak zorunda, öldürülmek değil.
Yeleğe ulaşmak için ilerlemek zorundadır.
Bakalım nasıl olacak.
3'e 1 devam.
Tamam.
Yani önce vuruluyor, sonra ilerliyor, tamam mı?
Ve sonra canavarlar tarafından öldürüldü.
Ama yine de oldukça iyi.
Bilirsiniz, yeleğe doğru ilerlemesi gerektiğini anladı çünkü en yüksek ödül yeleğe
ulaşıldığında elde edilir.
Ve elbette, bilirsiniz, gözünüzün yeleğe ulaştığı ve bu oyunda kazandığı videoyu gerçekten
görmek istiyorsanız, temelde gözünüzü daha fazla epok için eğitmeniz ve belki de göz beyninizi ayarlamak veya öğrenme
oranını ayarlamak gibi bazı parametre ayarlamaları yapmak gibi başka tür iyileştirmeler yapmanız gerekecektir.
Herhangi biriniz harika bir video veya örneğin 1000'den fazla ödüle ulaşan bir yapay zekanın
videosunu alırsa birçok seçeneğiniz var.
Soru-Cevap bölümünde paylaşmaktan çekinmeyin.
Eminim diğer öğrenciler de bunu aldıkları için çok mutlu olacaklardır.
Tamam.
Umarım derin, konvolüsyonel öğrenme modelini uygulamak hoşunuza gitmiştir.
Şimdi bir sonraki bölüme geçeceğiz, bu da A üç anahtar modelini ve hatta koparma
oyununu oynamak için uygulanacak daha iyi ve daha güçlü modeli uygulamakla ilgili olacak.
Bir sonraki bölümde görüşürüz.
Ve o zamana kadar, keyfini çıkarın.
I.