Halo dan selamat datang di tutorial Python ini di Statoil kita akan membuat langkah pertama dalam menerapkan
model teori yang mendalam.
Jadi pada dasarnya kita akan mengimplementasikan seluruh proses algoritma difusi.
Jadi kami akan menggunakan apa yang kami buat sebelumnya.
Itu adalah arsitektur jaringan saraf untuk memutar ulang memori untuk mengintegrasikan ini ke dalam seluruh
proses pembelajaran dequeue.
Dan keseluruhan algoritma pembelajaran ini akan masuk ke dalam satu kelas.
Itu yang terakhir yang kami buat untuk mengimplementasikan kecerdasan buatan.
Dan kelas ini hanya akan berisi fungsi yang berbeda.
Jadi kita akan memiliki fungsi-fungsi di dalamnya yang akan membuat dan menginisialisasi semua variabel yang melekat pada
objek-objek memutar kita di masa depan yang akan mewakili model itu sendiri dan mereka akan memiliki beberapa fungsi lainnya.
Salah satunya tentu saja akan memilih tindakan yang tepat setiap kali.
Kami juga akan memiliki fungsi inti fungsi pembaruan untuk mendapatkan inti ini dan memiliki gagasan tentang bagaimana pembelajaran berjalan
jika itu berjalan dengan baik.
Jika eksplorasi berjalan dengan baik dan jika dapat beralih ke eksploitasi, maka kita akan memiliki fungsi
yang aman untuk menyelamatkan besok, yaitu menyelamatkan otak mobil dan akhirnya memuat fungsi.
Jadi kami memiliki beberapa fungsi untuk dibuat.
Kita akan membuat satu fungsi untuk masing-masing bekerja keras.
Dan hari ini kita akan mulai dengan fungsi akhir seperti biasa ketika kita membuat kelas.
Tapi pertama-tama jangan lupa untuk memperkenalkan kelas sehingga kita akan menyebutnya D.
T Dan untuk jaringan Anda maka beberapa panggilan kurung masuk
Dan kemudian kita pergi dengan fungsi pertama kita.
Jadi mari kita lakukan def ini kemudian double garis bawah lalu garis bawah ganda lagi dan tanda kurung.
Jadi seperti yang Anda pahami dalam fungsi ini, kami akan memperkenalkan variabel-variabel yang melekat pada objek kami.
Jadi kita akan memiliki beberapa baris yang memulai semuanya sendiri dan pada dasarnya kita akan
membuat dan menginisialisasi semua variabel yang diperlukan untuk mengimplementasikan jaringan D2.
Jadi kita akan misalnya membuat objek atau jaringan karena tentu saja kita membutuhkan jaringan saraf kita yang dalam maka
kita akan membutuhkan memori kita.
Kami akan membuat variabel lain untuk memori.
Jadi kita akan memiliki memori self-up variabel lain tetapi kemudian itu tidak semua kita harus membuat juga.
Beberapa variabel untuk tanggal terakhir.
Tindakan terakhir dan kata terakhir.
Itu tentu saja Anda tahu variabel yang Anda lihat dalam algoritma difusi.
Lalu apa lagi.
Yah kita juga akan membutuhkan pengoptimal yang Anda tahu untuk melakukan grid stokastik dalam arti bobot data
sesuai dengan berapa banyak mereka akan berkontribusi pada kesalahan.
Ketika AI membuat kesalahan dan kemudian saya berpikir bahwa pada dasarnya itulah variabel yang sekarang perlu kita
buat dan inisialisasi.
Tetapi dalam fungsi init ini kita akan menempatkan beberapa argumen pertama sebagai diri biasa yang merupakan argumen yang mengacu
pada objek kita.
Maka karena Anda tahu kita akan membuat objek dari kelas jaringan.
Nah sejak kelas jaringan mengambil sebagai argumen dalam ukuran input fungsi init dan tindakan Nah itu sama
di sini.
Saat membuat objek kelas jaringan kita perlu memilih argumen ukuran input dan
argumen aktual.
Karena itu kita bisa menyalinnya di
sini dan di sini.
Jadi argumen ini sekarang akan menjadi.
Juga beberapa argumen tidak bertahan lama.
Setiap kali kita membuat beberapa objek masa depan dari kelas yang berbeda yang beberapa model peran masa depan dical
Yah kita akan perlu menentukan ukuran input yang saya ingatkan adalah jumlah dimensi dalam vektor yang
termasuk negara Anda.
Input Anda menyatakan dan sejumlah tindakan yang merupakan jumlah tindakan yang dapat dilakukan mobil.
Jadi saya mengingatkan Anda.
Ini adalah ke kiri ke kanan atau ke kanan.
Oke, sempurna.
Kemudian Anda tahu bahwa Anda akan membuat objek baru dari kelas memori replay untuk
membuat objek memori untuk mendapatkan memori kita tentang transisi dan dalam informasi kita memiliki argumen kapasitas.
Tapi karena kita hanya akan menggunakannya sekali sebenarnya ketika kita membuat memori dan bukan
setelahnya Yah kita tidak perlu menentukan argumen kapasitas.
Kita bisa melakukan ini, tetapi akan secara langsung memasukkan jumlah transisi yang kita inginkan.
Tetapi kemudian kita membutuhkan satu argumen terakhir yaitu untuk mendapatkan parameter dalam model guru.
Ingat parameter gamma ini adalah penundaan.
Dan itu adalah parameter dari persamaan dan oleh karena itu kami akan meletakkannya di sini karena kami
akan menggunakannya beberapa kali.
Jadi mari kita taruh di sini.
Kita akan menyebutnya Gamma.
Jadi untuk itu hanya nama argumen dan kemudian kita lanjutkan bahwa semua argumen yang Anda perlukan untuk
ini dalam fungsinya.
Jadi itu berarti bahwa setiap kali kita membuat model kamus kita, setiap kali kita membuat objek guru
di kelas.
Kita perlu menentukan argumen ukuran input jumlah aksi dan parameter.
Dan kita akan akhiri dengan nilai nyata untuk mereka.
Baiklah jadi sekarang mari kita masuk ke dalam fungsi.
BAIK.
Jadi sekarang pada dasarnya ini akan mudah.
Kami baru saja akan membuat dan menginisialisasi semua variabel yang kita butuhkan.
Jadi mari kita mulai dengan yang pertama.
Mari kita mulai dengan gamma.
Sebenarnya koefisien delay.
Jadi karena ini adalah Voivode yang ingin dilampirkan ke objeknya, kita mulai dengan diri sendiri.
Jadi gamma akan menjadi variabel guru kita dan model itu sendiri bahwa gamma sama dengan argumen yang
akan dimasukkan ketika membuat objek kelas detune.
Jadi Janna dan kita mulai dengan argumen kedua.
Argumen kedua akan menjadi jendela hadiah.
Jadi apa jendela ini?
Nah itu akan menjadi jendela geser dari rata-rata 100 kata terakhir yang akan Anda gunakan
hanya untuk mengevaluasi evolusi kinerja yang Anda tahu akan memiliki arti kata ke dalam perang ini Windu
yang akan meluncur seiring waktu.
Dan apa yang ingin kita amati adalah arti dari 100 kata terakhir meningkat seiring waktu.
Jadi mari kita inisialisasi dengan diri sendiri yang menghargai jendela garis bawah.
Dan karena ini akan menjadi jendela geser dari rata-rata yang berkembang dari 100 kata terakhir.
Yah kita akan menginisialisasi itu sebagai daftar kosong dan kemudian kita akan memperluas berarti bahwa kita bekerja lembur.
Baiklah maka lebih mengasyikkan.
Mari kita buat jaringan saraf kita.
Jadi kita akan menyebutnya Mario otodidak karena pada dasarnya itulah jantung para model.
Saya menyebutnya model dan model ini tidak lain adalah subjek di kelas itu dan untuk membuat objek
seperti itu.
Kami mengambil jaringan kelas kami dalam tanda kurung dan di sini kami hanya menempatkan argumen kelas tetapi kami menempatkan argumen ini
dalam argumen fungsi init dan oleh karena itu kami hanya perlu menyalinnya di
sini dan hanya menempelkannya di kelas jaringan dan kemudian kami pergi dengan baris kode ini.
Kami membuat satu jaringan saraf untuk model pembelajaran yang sempurna kemudian mari kita buat memori.
Jadi sekali lagi kita akan membuat Vargo baru yang kita sebut memori otodidak.
Dan lagi ini akan menjadi objek dari kelas memori replay.
Jadi mari kita ambil nama atau kelas, mari kita salin, tetapi mari kita hadapi itu di sini dan dalam beberapa kurung
kita perlu menempatkan kapasitas karena kapasitas adalah argumen dari fungsi dan itulah satu-satunya argumen yang kita
butuhkan di sini.
Jadi, kapasitas apa yang akan kita pilih mengingat yang sesuai dengan jumlah transisi,
jumlah peristiwa yang terakhir Anda nyatakan tindakan terakhir dan kata terakhir.
Dan seperti yang disebutkan dalam salah satu kerja keras Priester kita akan mengambil seratus ribu seratus ribu transisi
ke dalam memori dan kemudian kita akan mengambil sampel dari memori ini untuk mendapatkan sejumlah kecil
transisi acak dan di mana model tersebut akan OK.
Jadi sekarang kita memiliki ingatan kita yang sempurna.
Sekarang mari kita dapatkan pengoptimal kami.
Jadi sekali lagi kita membuat variabel baru ini kita sebut optimizer jadi optimizer adalah variabel lain dari dequeue
masa depan kita sebuah objek self optimizer.
Dan sekarang jika kita kembali, Anda dapat melihat bahwa kami mengimpor Upton tersiksa yang merupakan obor modular yang berisi semua alat
untuk melakukan untuk mendapatkan grid di tengah.
Jadi tentu saja itu berisi beberapa pengoptimal dan kami memberikannya jalan pintas Upton dan oleh karena itu di sini
yang akan kami lakukan adalah mengambil model kepadanya yang obor yang terserah dia dan dari modul ini kita
akan mengambil salah satu pengoptimal.
Jadi seperti yang Anda lihat mereka semua terdaftar di sini.
Banyak dari mereka sangat baik misalnya Propp baju besi adalah pengoptimal yang sangat baik.
Sebagai contoh, sangat direkomendasikan untuk catatan jaringan saraf atau pembelajaran mendalam tanpa pengawasan.
Tapi yang lain yang sangat bagus dan dia akan pilih adalah pengoptimal atom.
Itu yang Anda akan melihat bahwa dengan ini akan mendapatkan mobil self-driving yang bagus
Tetapi sekali lagi Anda benar-benar dipersilakan untuk mencoba yang lain Anda dapat mencoba alat bantu lengan tetapi untuk logam kami akan
memilih Adam.
Jadi saya menekan enter.
Dan sebenarnya Anda akan melihat ada gedung DPR di sini.
Itu karena kami membuat objek kelas Atom.
Ini adalah kelas tetapi objek akan menjadi pengoptimal atom itu sendiri.
Tetapi karena ini adalah kelas, kita perlu memberikan beberapa argumen, argumen dari kelas Atom dan
argumen adalah semua parameter yang dapat menyesuaikan dan pengoptimal Anda.
Jadi misalnya itu biasanya tingkat belajar pembusukan atau beberapa parameter lainnya.
Dan selain mengambil semua parameter Ormeau kami akan menentukan tingkat pembelajaran.
Jadi ini awal dari parameter model kami.
Kita bisa mendapatkannya dengan model keraguan diri.
Jadi itulah model yang kami buat di sini model otodidak dari kelas kami sendiri.
Jadi model otodidak dan kemudian untuk mengakses parameter model kami menambahkan titik lain dan kemudian parameter dengan
beberapa tanda kurung sangat sederhana.
Jadi itu hanya untuk menghubungkan pengoptimal addon ke jaringan saraf kita yang kita buat di sini lagi kemudian seperti
yang baru saja kita sebutkan kita akan menambahkan tingkat pembelajaran dan argumen untuk ini adalah milik kita.
Dan kita akan mengaturnya sama dengan nilai sehingga pembelajaran tidak terjadi terlalu cepat jika kita mendapatkan tingkat pembelajaran terlalu
besar maka AI AI akan belajar dengan benar.
Kami ingin memberi AI kami waktu untuk mengeksplorasi belajar dari kesalahannya.
Anda tahu kapan kita menghukumnya ketika melakukan kesalahan seperti masuk akal atau terlalu dekat
dengan tembok.
Kami ingin memberi waktu untuk belajar.
Kami ingin cara jaringan saraf untuk berkencan dengan benar.
Jadi nilai bagus untuk tingkat pembelajaran yang saya dapatkan setelah mencoba beberapa diantaranya adalah 0. 2 atau satu.
Baiklah dan hanya itu yang kita butuhkan untuk membuat pengoptimal.
Jadi pada dasarnya Anda membuat objek kelas Atom.
Besar.
Dan kemudian tiga variabel terakhir yang kita butuhkan adalah variabel yang menyusun peristiwa transisi kita.
Jadi itulah tanggal terakhir tindakan terakhir dan kata terakhir.
Dan pada dasarnya itulah yang akan kita buat sekarang dan kita hanya perlu menginisialisasi mereka.
Jadi mari kita mulai dengan kencan terakhir tanggal terakhir kita akan menyebutnya otodidak.
Keadaan garis bawah terakhir dan kemudian bagaimana Anda akan menginisialisasi itu.
Ingat tanggal terakhir adalah vektor 5 dominasi, vektor yang dikodekan dalam satu keadaan
lingkungan.
Dan sebagai pengingat lima dimensi ini adalah tiga sinyal dari tiga sensor kiri
lurus dan kanan dan orientasi dan orientasi minus.
Jadi ini adalah vektor dan pengertian intuitif.
Tetapi untuk obor itu harus lebih dari vektor.
Ini sebenarnya harus menjadi tensor obor.
Tetapi tidak hanya perlu sensor obor tetapi juga perlu memiliki satu dimensi lagi yang saya
suka menyebutnya dimensi palsu yang sesuai dengan batch.
Dan itu karena delapan terakhir akan menjadi input dari jaringan saraf tetapi ketika bekerja dengan saya ketika itu
bekerja secara umum apakah itu dengan aliran yang lebih padat membawa obor sedangkan vektor input tidak bisa menjadi
vektor sederhana dengan sendirinya.
Itu harus dalam batch.
Jaringan hanya dapat menerima kumpulan pengamatan input dan oleh karena itu tidak hanya akan membuat tensor untuk
vektor negara input tetapi juga kami akan membuat dimensi palsu ini sesuai dengan batch.
Jadi mari kita lakukan ini dan mari kita mulai dengan menginisialisasi tensor obor sehingga untuk melakukan ini tidak ada yang
lebih sederhana.
Kita ambil perpustakaan torche kita lalu titik dan kemudian kita akan menggunakan kelas tensor karena seperti yang Anda
duga ini akan membuat objek kelas tensor yang merupakan objek tensor.
Dan dalam tensor ini kita perlu menempatkan argumen yang akan menentukan ukuran tensor.
Anda dapat membayangkannya seperti array yang memiliki satu tipe tunggal.
Tetapi pada dasarnya apa yang akan diwakili sekarang tentu saja keadaan input ini yang dapat Anda lihat memiliki vektor
dan untuk menentukan jumlah elemen yang harus dimiliki jarak.
Yah kita perlu menggunakan tentu saja ukuran input karena ukuran input persis jumlah dimensi
vektor negara input kami.
Sekarang saya harus mengatakan tensor.
Jadi apa yang kita perlu input di kelas tensor kita untuk membuat objek tensor.
Nah itu tidak tepat.
Dan nantinya ukuran input akan dikuantifikasi.
Baiklah itu bagus.
Itu hal pertama yang dilakukan.
Kami baru saja menginisialisasi tensor sebagaimana mestinya.
Tetapi ingatlah bahwa kita perlu melakukan hal lain yang perlu kita buat dimensi palsu itu
karena ini adalah apa yang diharapkan jaringan untuk inputnya dan untuk menciptakan yang ini untuk pemeriksaan yang omong-omong harus menjadi
mesin pertama kali Anda tahu kerusakan Anda Dimasukkan ke dalam batch akan menjadi pertama kalinya saya menyebutkan
ini katakanlah dengan sangat baik.
Nah untuk melakukan ini kita hanya perlu menambahkan itu lalu memeras dan kemudian dalam tanda kurung.
Kita perlu menempatkan indeks dari dimensi besar ini.
Dan seperti yang saya katakan dimensi palsu ini harus menjadi animasi pertama dari tanggal terakhir dan
sejak indeks dan byte dimulai nol kita perlu memasukkan nol sehingga mesin paradigma baru ini menjadi mesin
baris pertama.
Jadi kami memiliki mesin pertama kali yang sesuai dengan batch dan kemudian berlian
harus menanggapi sensor yang akan berisi lima elemen input Anda menyatakan tiga orientasi sinyal dan
orientasi minus.
Dan kemudian kita mulai menginisialisasi keadaan input kita dengan benar.
Sempurna.
Dan kemudian dua variabel untuk pergi dan itu akan menjadi jauh lebih mudah karena variabel berikutnya adalah tindakan
terakhir.
Itu Roybal baru yang kami buat untuk aksi terakhir Object.
Dan ingat dalam tutorial pertama dari bagian yang saya katakan bahwa tindakan akan menjadi
0 1 atau 2 dan kemudian menggunakan vektor rotasi tindakan kita akan mengkonversi indeks tindakan ini menjadi sudut
rotasi yang saya ingatkan 0 kami 20 atau minus 20.
Kita sebenarnya bisa menyegarkan ingatan kita dengan itu.
Yah itu persis di sini.
Aksi berotasi jika aksinya nol.
Nah ini akan sesuai dengan indeks pertama nol jika aksinya 1.
Ini akan sesuai dengan indeks salah satu dari vektor-vektor ini dari 20 derajat dan jika aksinya
adalah kita akan mendapatkan minus 20 derajat itu akan menjadi sudut rotasi mobil kita ketika kita memainkan aksinya.
Baiklah.
Dan karena itu tindakannya akan menjadi 0 1 atau 2 Nah tindakannya ada untuk angka
sederhana.
Dan dengan sangat sederhana kita dapat menginisialisasi ke nol.
Kami tidak perlu membuat puluhan atau mendengar apa pun.
Kita hanya perlu menginisialisasi dengan nol.
Dan akhirnya.
Nah itu kata terakhir.
Diri adalah kata terakhir.
Itu dia.
Dan lagi kata itu adalah angka float yang saya ingatkan adalah antara minus 1 dan plus 1.
Jadi itu angka lagi.
Dan untuk aksinya.
Kami akan menginisialisasi ke nol dan kemudian kita pergi.
Selamat di dalamnya fungsinya sudah siap.
Jadi sekarang kita siap untuk beralih ke hal-hal yang menarik.
Dan sebenarnya hal yang paling penting untuk AI yang menentukan tindakan mana yang akan dimainkan pada setiap
waktu dan setiap tanty. Dan itulah yang akan kita lakukan di tutorial selanjutnya dengan membuat metode tindakan pilih.
Jadi mari kita lakukan ini di sebelah jerih payah dan sampai saat itu.