Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Dalam tutorial hari ini kita akan bersenang-senang.
Kita akan melihat dan kecerdasan buatan benar-benar melewati labirin yang telah kita bicarakan begitu
lama dan akan menggunakan kill learning untuk menavigasi jalannya dan menemukan jalan keluar dan kita akan melihat
apa yang terjadi pada nilai q akan terjadi pada kebijakan dan sebagainya.
Jadi mari kita lihat.
Kami akan menggunakan beberapa bahan yang disediakan oleh Universitas Berkeley.
Jadi jika Anda pergi ke I don't Birk hanya E R K E L E Mengapa Anda tidak pergi ke tautan itu lagi.
Anda akan melihat situs web ini dan mendengar apa yang akan kita lihat adalah kebutuhan untuk pergi ke kita akan
pergi ke proyek PacMan.
Saya pikir Pacman memproyeksikan dan di sini jika Anda gulir ke bawah dan Anda melihatnya dalam pembelajaran pertama, inilah yang sedang
kami kerjakan.
Jadi di sini Anda dapat mengunduh arsip zip.
Jadi itu jika Anda mau.
Jadi Anda tidak perlu melakukan ini karena kami tidak akan melalui solusi bersama dalam uji coba ini hanya
untuk memberi tahu Anda dari mana semua ini karena kami sangat suka.
Kami sangat menghargai itu.
UC Berkeley telah menyediakan bahan-bahan ini.
Tetapi jika Anda ingin bereksperimen sendiri.
Ingatlah ini bukan bagian.
Tidak akan menjadi bagian dari kursus kami sebagai bagian dari kursus Berkeley.
Saya tidak yakin cara kerjanya untuk tujuan ilustrasi tetapi jika Anda ingin bereksperimen dengan ini, Anda
dapat menemukannya di sini arsip zip dan semua instruksi lama juga.
Dan kami akan langsung masuk ke Python dan hal pertama yang ingin saya tunjukkan kepada Anda adalah bahwa
di sini kami mendapatkan informasi lisensi jadi inilah yang saya maksud.
Kami sangat beruntung bahwa mereka mengatakan kami bebas menggunakan atau memperpanjang proyek-proyek ini untuk tujuan pendidikan
asalkan Anda tahu mendistribusikan solusi yang tidak akan kami lakukan.
Anda menyimpan pemberitahuan ini yang kami miliki dan Anda memberikan uskup agung yang jelas ke UC Berkeley termasuk tautan yang
juga kami miliki.
Jadi sekali lagi jika Anda ingin mempelajari lebih lanjut tautannya.
Anda dapat melihatnya.
Dan terima kasih banyak semua orang yang telah mengerjakan proyek ini jadi inilah dunia kisi.
Kami akan bekerja jika ada solusi di sana.
Anda harus membuatnya agar berhasil Anda harus menyelesaikannya sendiri atau mungkin menemukan solusi.
Mungkin beberapa dari Anda beberapa orang yang Anda kenal dapat membantu Anda dengan itu.
Jika lagi yang Anda inginkan tidak perlu karena kami hanya akan melihatnya di layar
ini sekarang.
Jadi setelah kami membuat semua file itu, kami bisa meluncurkannya di sini.
Jadi ada beberapa parameter yang terlibat di seluruh dunia ini dan kami tidak akan hanya menunjukkan seperti
apa rasanya jika kami meluncurkannya.
Jadi mari kita coba luncurkan dalam mode manual.
Jadi jika saya pergi minus salah satu dari panorama ini adalah manual maka saya dapat memerintahkan agen kontrol Anda.
Jadi di sini Anda dapat melihat semua grid sehingga saya dapat naik sehingga Anda dapat melihat bahwa itu mengambil tindakan mulai
dan dimulai di negara-negara tempat saya berada.
Dan kemudian Anda melihat bahwa saya menekan mengambil tindakan Norf dan pertama kali saya berakhir di nol setelah
saya naik
Tetapi kedua kalinya saya mengambil tindakan Norf dan saya berakhir dengan sedih yang sama tidak bergerak.
Jadi sesuatu terjadi, Anda tahu keacakan terjadi, saya pergi ke kiri atau kanan.
Dan secara default parameter ditetapkan.
Anda dapat melihat di sini secara default mereka disetel ke apa yang kita bahas bahwa seberapa sering sebenarnya menghasilkan
arah yang tidak diinginkan.
20 persen dari waktu menjadi 10 persen ke kiri sebagian ke kanan.
Jadi, jika saya naik dan mengatakan saya naik, saya langsung ke kanan.
Saya pergi sekarang juga tidak terjadi.
Benar lagi, benar, dan aku sudah selesai.
Tetapi dalam implementasi ini Anda harus mengklik lagi untuk keluar dari hasil akhir ini jadi keluar dari sana cukup klik
lagi dan Anda selesai.
Itu keadaan terminal sehingga kita bisa menjalankan manual kita.
Anda dapat melihat bahwa jika saya ke kanan kanan kiri atas.
Jadi di sini apa yang kita lihat sebelumnya bahwa agen tidak akan langsung benar.
Apa gunanya naik jika ada peluang masuk ke dalam lubang.
Jadi mari kita lihat apa yang akan dilakukan agen.
Itu akan pergi ke kiri dan ke barat di sini akan pergi ke Barat.
Dan Anda lihat saya mengklik kiri tetapi naik dan di sini saya akan klik kanan.
Dan saya berakhir di tahap keluar terakhir dan Anda melihat pahala Tuhan sama dengan satu.
Jadi seperti itulah tampilannya secara manual.
Sekarang mari kita benar-benar menghubungkan AI ke ini dan biarkan melalui.
Jadi mari kita lakukan huruf H di sini dan mari kita tambahkan beberapa Brandner.
Jadi izinkan saya melihat apa yang saya ketikkan di sini, jadi semoga Anda bisa melihat dengan dunia kotak mengapa di sini
dikurangi sarana kami.
Itulah hadiah untuk hidup.
Jadi saya punya dua dari mereka jadi saya mungkin harus menghapus yang ini.
Jadi minus k adalah berapa banyak iterasi.
Terlalu banyak iterasi.
Mari kita lakukan kurang. Mari kita lakukan seperti 10 iterasi harus cukup.
Minus a is Agent.
Apa jenis agen yang tidak ingin melakukan kehormatan dan citra dan beberapa nilai atau Q.
T Jadi saya ingin Q.
Agen pembelajaran Q yang melakukan minus s ini adalah kecepatan s sehingga kekuatan yang terlalu besar yang
hanya menggunakan kecepatan penuh untuk saat ini dikurangi R adalah hukuman hidup sehingga standarnya adalah nol.
Jadi ingatlah sejak awal restart silih hidup jadi mari kita sebut juga 0 0 dan
hanya dapat menghapus parameter ini dan D adalah apa yang d diskon.
Jadi saya hanya semacam faktor, jadi mari kita tetap pada titik nol dan sangat mirip
dengan apa yang kita mulai di bagian ini pada kursus, jadi mari kita jalankan OK terlalu cepat lagi semua sebenarnya sangat OK sehingga
Anda dapat melihat bagaimana dia menjelajahi.
Dan sejauh ini dia memukul negatif tiga kali dan Anda dapat melihat bagaimana nilai q diperbarui
di kotak ini.
Jadi ini adalah nilai-nilai kunci.
Mereka semacam nol.
Anda dapat melihat sekarang nilai Q.
Jadi dia belajar bahwa ini adalah implementasi yang sedikit berbeda karena begitu Anda sampai pada tahap akhir
Anda harus keluar dari sana.
Anda harus mengklik satu tombol lagi untuk keluar.
Dan itu sangat dekat dengan satu tetapi tidak tepat satu.
Tetapi pada saat yang sama Anda dapat melihat bahwa di sini Anda tahu nilai perlahan-lahan jenis tangan yang mengkristal adalah
titik yang didapat mantan kolega di suatu tempat tetapi sejauh ini mereka semacam nol karena dia
tidak memiliki informasi yang cukup untuk mengerti apa yang terjadi.
OK jadi mari kita lihat apa yang terjadi di sini.
Menjelajahi penjelajahan menjelajahi apa yang akan terjadi.
Yah sedang lama.
Dan kami melibatkan beberapa keacakan di sini.
Jadi ada yang bagus beberapa kali.
Sekarang dia hanya mendapat 10 iterasi.
Jadi dia harus belajar dengan cepat. Ok, saya butuh Anda di sana.
Mari kita lihat apa yang terjadi.
Ayolah.
Keluarlah dari labirin itu.
Dan ya 10 episode jadi rata-rata ternyata.
Itu tidak benar-benar tertarik pada itu.
Jadi di sini mari kita lihat.
Saya belum pernah melihat cukup satu klik pun.
Kanan.
Itu dia.
Jadi Anda dapat melihat ini adalah kebijakan yang ia buat.
Bahkan hanya melalui 10 episode dia sudah punya denyut nadi.
Saya akan naik bom dan di sini saya akan turun di sini saya akan turun di sini saya akan pergi
ke dinding dan kemudian saya akan bangkit kita di sini.
Itu keren sekali.
BAIK.
Jadi sekarang mari kita meningkatkan kecepatan.
Apa parameternya di sana.
Dan itu seperti pelanggaran hukum ganda.
Itu empat kali lipat kecepatan dan mari kita tambahkan jumlah iterasi jadi katakanlah 20 untuk jatah kali ini dan mari kita
lihat apakah dia bisa melewati sedikit lebih banyak sekarang.
Jadi Anda bisa melihat dia bergerak sedikit lebih cepat.
Dan dia belajar dia belajar bahwa itu tidak benar-benar Anda tahu dari keadaan ini tidak ada banyak
tindakan baik Orio tindakan ini yang benar dan lurus tidak baik
Jelas ini tidak baik.
Dia masih perlu belajar bahwa dari sini juga bagus.
Anda dapat melihat bahwa tindakan ini cukup bagus.
Baiklah.
Apa yang dia dapatkan.
BAIK.
Jadi kebijakan yang menarik di sini Anda kami memutuskan untuk naik.
Tidak cukup informasi.
Jadi mari kita lakukan itu.
Dan mari kita tingkatkan kecepatan hingga 100.
Super cepat dan jumlah iterasi akan memberinya 100 iterasi kali ini menjalankan adegan seperti gila
cepat dan Anda dapat melihat bahwa karena ada lebih banyak iterasi Dia punya lebih banyak informasi lebih
banyak kesempatan untuk bereksperimen dan untuk benar-benar membangun ini matriks atau matriks ini nilai-nilai ini untuk setiap
negara.
Dia sekarang tahu Anda bisa melihat bahwa nol koma delapan puluh sembilan.
Apa yang kami katakan di titik nol kami 86.
Satu hal yang perlu diingat adalah nilai dari setiap kondisi yang diberikan.
Ingat bahwa rumus yang kami miliki adalah maksimum dari nilai kubus.
Ingat hal yang kami buat dengan formula pintas.
Jadi ada apa dengan nilai di negara ini menjadi V ini.
Itu akan menjadi 0. 18.
Karena itulah yang tertinggi dari empat di sini nilai kondisi ini 0. 7 Anda ingin nilai hari ini.
Apakah ada poin enam puluh satu dan seterusnya.
Jadi itu sesuatu yang perlu diingat.
Saya ingat ketika saya bangun saya pikir kita memiliki titik nol atau sesuatu yang begitu praecox.
Jadi jika kita pergi tahun depan, aku akan menghilang atau menghilang lagi dan ini bisa membuatnya kembali.
BAIK.
Perlahan, perlahan, mengisi beberapa ruang.
Saya melihat.
Dan itu juga sangat acak karena tidak hanya lingkungan memiliki keacakan tetapi juga cara dia
mengeksplorasi bahwa bintang itu benar-benar tidak tahu kebijakannya adalah dia menjelajahi secara acak.
Terus menghilang.
Saya tidak mengerti mengapa.
Ngomong-ngomong, mari kita lihat apa yang terjadi jika Anda menambah jumlahnya di sini dan di
sini harusnya mengambil jumlah waktu yang sama jika kecepatannya tidak ada batasnya.
OK jadi dia seperti dia memiliki lebih banyak kesempatan untuk menjelajahi berbagai hal.
OK, mari kita lihat bagaimana semuanya berjalan.
Dan Anda dapat melihat nilai-nilai yang konvergen naik dan turun tergantung Anda tahu karena ada
beberapa keacakan dan dia mungkin berakhir seperti di lubang meskipun dia berjalan seperti ini.
Tetapi pada saat yang sama mereka perlahan-lahan mulai konvergen ke semacam nilai dan nilai isyarat.
OK mungkin seribu agak terlalu banyak dalam hal waktu.
Itu tidak terlihat seperti kecepatan meningkat secara proporsional juga.
Jadi itu mungkin memotong bagian itu.
Maksud saya suka mengurangi kecepatan.
Anda tahu sementara ini sangat rendah, Anda tidak harus menonton sampai akhir tutorial ini. Saya hanya
ingin bereksperimen dengan sedikit sehingga memberi Anda beberapa contoh seperti apa yang telah kami kerjakan tetapi Anda
mendapatkan titik bahwa itu melewati semua ini.
Ini memiliki beberapa keacakan seperti Rambler dibangun ke perilakunya.
Jadi, meskipun sudah seperti kebijakan, masih akan terus mengeksplorasi sehingga tidak akan seperti begitu memiliki kebijakan
dasar, tetapi tidak akan terus mengikuti kebijakannya.
Itu masih akan bereksperimen dengan variasi lain sesekali untuk meningkatkan kebijakannya mungkin belum menemukan
kebijakan terbaik yang sudah segera
Mungkin itu bisa memperbaiki kebijakan.
Dan itu sebabnya bahkan setelah begitu banyak iterasi Anda masih dapat melihat beberapa efek acak itu kadang-kadang melompat ke keadaan acak bukan
hanya karena keacakan di lingkungan tetapi juga karena ada beberapa level seperti parameter yang dapat Anda kontrol
yang dapat Anda atur yang dapat Anda atur untuk agen Anda yang mengatakan bahwa Anda tahu sebagian besar waktu,
80 persen dari waktu melakukan apa pun yang menurut kebijakan Anda harus Anda lakukan tetapi 20 persen
dari waktu Anda hanya melakukan eksperimen yang menyenangkan dan melihat apa yang terjadi dan menggunakan informasi
yang Anda kumpulkan untuk memperbarui kebijakan Anda.
OK ini terlalu lama.
Mari kita coba lagi.
Ya jadi begitulah agen belajar di berbagai negara.
Mungkin mari kita jalankan satu lagi hanya karena penasaran.
Jadi adakah hal lain yang bisa kita ubah tentang hal itu.
Iterasi.
BAIK.
OK, mari kita lihat.
Ya, kita bisa mengubah diskusi misalnya.
Jadi dalam hal ini kita bisa mengatakan K minus seratus minus Q minus dua dan minus OK seribu.
Jadi hadiah.
Kami ingin menyimpannya, mungkin mari kita tetap di 0. 04 Tapi katakanlah set melawan ini menyimpan hadiah di titik gurun saya
nol untuk setiap kali
Dan kemudian di sini kita akan mengatakan bahwa diskon itu bukan nol koma sembilan tetapi itu seperti nol koma
lima.
Jadi mendapat diskon cukup banyak saat Anda melewati permainan.
Jadi sebenarnya sekarang akan diberi insentif untuk lebih dekat ke finish daripada rute lebih lanjut negara-negara dekat dengan finish
akan mendapatkan nilai tinggi sehingga Anda dapat melihat bahwa nilai-nilai yang benar-benar turun itu tidak
hijau seperti sebelumnya.
Jadi di sini Anda dapat melihat bahwa ini adalah kebijakannya sekarang.
Jadi seperti itu seperti itu seperti itu sangat mirip dengan apa yang kita lihat sebelumnya mungkin hanya perbedaan
dari sini melompat langsung ke sini.
Jadi itu satu.
Dan OKE mari kita jalankan satu lagi.
Ini sangat menyenangkan.
Mari kita jalankan satu lagi jadi k minus k 100 a q dibuang
Tetap seperti aslinya Jadi mari kita jalankan vanilla basic set up ok ok ok
Ini akan melihat apakah itu akan menunjukkan kepada kita kebijakan.
Dan ya kita punya kebijakan.
Iya nih.
Selesai bagus.
Jadi di sini kita punya kebijakan.
Anda tahu ini biasa.
Ingat waktu itu ketika kita melihat bahwa AI mengakali bom manusia ke dinding untuk pergi ke sana dan
booming ke dinding untuk pergi seperti itu untuk meningkatkan masalah.
Jadi begitulah.
Itu adalah contoh dari tidak adanya kecerdasan buatan yang sangat sangat sederhana membunuh pendapatan dasar sehingga tidak ada pembelajaran mendalam
pada tahap ini.
Tetapi pada saat yang sama itu sudah cukup pintar dan saya harap Anda menikmati tutorial hari ini.
Dan sekali lagi terima kasih kepada UC Berkeley dan saya harap Anda menikmati tutorial hari ini dan saya berharap mereka
scenics.
Sampai kemudian menikmati AI.