Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Saya harap Anda senang dengan tutorial hari ini karena kami mengambil langkah pertama kami ke dunia
I.
Dan hari ini kita berbicara tentang pembelajaran penguatan.
Ini adalah kisah yang sangat penting karena akan mendukung segala hal lain yang akan terjadi dalam kursus ini.
Jadi mari kita mulai dari sini.
Kami punya labirin kecil dan labirin ini adalah representasi kami dari suatu lingkungan dan itulah yang akan
kita hadapi dalam kursus ini.
Kita akan berhadapan dengan lingkungan tertentu di mana kecerdasan buatan kita akan melakukan
itu akan mengambil tindakan itu akan berusaha untuk mengalahkan ini dalam perjalanan saya dia akan mencari
untuk menang di lingkungan ini
Dan di sini kita punya agen.
Agen itu adalah kecerdasan buatan kita.
Itulah orang atau pikiran yang akan menavigasi lingkungan ini dan belajar dari umpan balik yang
akan diberikan oleh pikiran mereka untuk melakukan tindakan tertentu.
Jadi cara kerjanya adalah agen melakukan tindakan tertentu di lingkungan ini.
Dan sebagai akibatnya keadaan di mana ia akan berubah sehingga mungkin lebih jauh atau lebih dekat atau lebih ke kiri
lebih ke kanan.
Mungkin memiliki semacam parameter lain yang menggambarkan statusnya dan parameter tersebut.
Jadi negara akan berubah karena tindakan yang diambil dan itu juga akan mendapatkan hadiah berdasarkan tindakan.
Jadi setiap kali mengambil tindakan negara akan berubah dan itu akan mendapat hadiah.
Sekarang ingatlah kadang-kadang itu mungkin terjadi bahwa itu tidak akan mengubah keadaan tindakan tidak
akan mengubah tinggal atau tidak akan ada hadiah untuk mengambil tindakan itu.
Dalam arti itu.
Namun demikian agen tetap melakukan itu akan mengambil tindakan menipu
negara mendapatkan hadiah mengubah tindakan mengambil tindakan mengubah negara dan mendapatkan hadiah.
Dan dengan melakukan proses itu akan belajar tentang apa yang akan mengeksplorasi lingkungan memahami
tindakan apa yang mengarah pada imbalan yang baik dan keadaan yang menguntungkan dan tindakan apa yang keduanya
hadiah kondisi yang tidak menguntungkan.
Dan ini adalah masalah global yang sangat sederhana yang representasional.
Jadi, jika Anda memikirkannya, sebenarnya lingkungan tidak harus hanya labirin.
Ini bukan hanya tentang keluar dari labirin atau menemukan harta karun di labirin.
Lingkungan bisa menjadi apa saja dalam hidup.
Jadi bayangkan Anda bangun di pagi hari dan memasak telur dadar.
Jadi untuk membuat telur dadar itu Anda harus melalui langkah-langkah tertentu Anda perlu mendapatkan garam untuk mendapatkan telur
mendapatkan wajan yang akan dinyalakan dan seterusnya dan itu terdengar seperti hal biasa yang biasa.
Tetapi ini menjadi rutin karena Anda telah melakukannya berkali-kali.
Tetapi pada kenyataannya itu adalah lingkungan di mana Anda melakukan tindakan tertentu yang Anda lakukan sehingga
Anda menaruh api pada Anda menempatkan wajan di atas api Anda meletakkan semua telur ke dalam wajan dan Anda
menaruh garam pada telur dan Anda berbalik dan sebagainya.
Jadi seperti yang Anda lihat itu adalah tindakan tindakan CRN yang mengambil di negara tertentu dan tindakan tersebut mengarah ke
negara lain tertentu dan kadang-kadang hadiah.
Jadi misalnya ketika Anda menyalakan api dan Anda menunggu menunggu tunggu tunggu Anda mengambil tindakan menunggu
tunggu tunggu terlalu lama dan kemudian Anda memasukkan telur ke dalam wajan.
Hadiahnya akan sangat negatif.
Semuanya akan terbakar.
Di sisi lain, jika Anda melakukan semua tindakan yang benar di waktu yang tepat, maka sangat penting
untuk memahami bahwa tindakan harus dilakukan pada titik waktu yang tepat.
Jadi misalnya memasukkan garam ke dalam wajan sebelum Anda memasukkan telur mungkin bukan ide
terbaik.
Anda mungkin ingin melakukan tindakan memasukkan garam ke dalam wajan setelah telur ada di
sana sehingga dalam keadaan berbeda.
Jadi penting untuk diingat itu.
Dan pada saat yang sama, jadi jika Anda mengambil semua tindakan yang benar dalam urutan yang benar di
negara bagian yang benar, hadiah terakhir Anda adalah Anda mendapatkan telur dadar yang bisa Anda makan.
Jadi itu adalah kegiatan yang sangat mendasar dalam hidup Anda, tetapi jika Anda memikirkannya itu sebenarnya adalah sebuah lingkungan dan
Anda adalah agen yang melewati lingkungan ini dan melakukan tugas, Anda tidak benar-benar perlu mempelajari apa pun karena
Anda sudah tahu dengan cukup baik .
Tetapi pada saat yang sama Anda bisa belajar mungkin Anda bisa belajar cara membuat telur dadar yang lebih baik atau
terutama jika itu telur dadar pertama yang Anda buat, Anda mungkin akan mengacaukannya.
Tapi Anda akan belajar dari itu karena Anda akan memahami tindakan apa yang mengarah ke negara dan rute
dan hal lain dalam hidup.
Misalnya bahkan berdagang di pasar saham dan Anda tahu membeli dan menjual dan mendapatkan umpan
balik tertentu dari pasar dalam arti pengembalian positif atau negatif.
Itu juga sebuah lingkungan yang Anda ikuti dalam lingkungan itu seiring usia.
Mengemudi mobil juga merupakan lingkungan di mana Anda dapat memutar setir Anda dapat mempercepat Anda dapat mematahkan dan
sebagainya dan Anda mendapatkan umpan balik dari lingkungan dan Anda tahu salah satu dari umpan
balik itu adalah polisi memberi Anda denda ngebut jika Anda ' sedang berada di atas batas kecepatan yang dapat diterima atau diizinkan di
jalan raya itu.
Dan karenanya dari sana Anda belajar bahwa itu bukan sesuatu yang harus dilakukan karena itu mengarah
pada hadiah negatif.
Jadi hadiah tidak harus tepat di akhir proses.
Mereka bisa sepanjang perjalanan sepanjang proses.
Jadi itu adalah beberapa contoh.
Dan dalam hal huruf I, cara paling sederhana untuk memikirkan pembelajaran penguatan adalah seperti melatih anjing ketika Anda melatih
anjing Anda untuk memberinya perintah tertentu dan jika mematuhi perintah itu maka Anda memberikannya jangkauan yang Anda berikan
seperti biskuit atau sesuatu. jika bukan Abeles Kamaz Anda mengatakan itu adalah anjing yang buruk
atau Anda hanya tidak memberikannya.
Dan melalui proses itu ia belajar apa perintah tertentu atau apa yang perlu dilakukan tindakan apa yang perlu dilakukan
di negara bagian tertentu dan negara bagian adalah perintah yang Anda berikan.
Dan berdasarkan hal itu akan mendapatkan beberapa penghargaan tertentu tentu saja di dunia AI.
Itu tidak rumit.
Anda tidak harus memberikan hadiah.
Anda tidak harus memiliki sekantong biskuit bersama Anda setiap kali Anda hanya memberikannya satu plus
atau lebih sedikit sehingga itu adalah keuntungan besar bahwa di dunia AI kami telah menciptakan AI sendiri.
Jadi hadiah yang kami berikan kepada mereka jika Anda berpikir wow ini adalah hadiah yang benar-benar keren
memberi mereka itu tidak benar-benar ada mereka hanya plus atau minus satu atau ditambah satu atau nol atau sesuatu.
Jadi tidak ada semua hal imajiner.
Tetapi pada saat yang sama hal itu membuahkan hasil yang luar biasa karena kita dapat menciptakan hal-hal luar biasa
ini kecerdasan buatan yang luar biasa ini dengan kecerdasan buatan yang menakjubkan ini hanya dengan memberikan hadiah yang tidak kita miliki.
Plus dan minus satu tidak ada biaya apa pun kecuali hasil rilis waktu yang sama.
Sangat mirip dengan dunia nyata.
Dan Anda tahu misalnya Dokes Tapi di sini hasilnya digital dan hanya angka.
Dan dengan itu dalam pikiran kita dapat berbicara tentang anjing robot. Saya suka contoh ini, jadi ini hanya
ada di gambar tidak harus anjing robot yang Anda tahu yang dilatih melalui penguatan belajar beberapa anjing
robot terutama yang lebih tua yang Anda miliki. sebuah algoritma di sana.
Dan ini sebenarnya adalah contoh yang baik dari perbedaan antara agen yang diprogram dan agen pembelajaran penguatan
sehingga Anda bisa memiliki anjing robot yang diprogram untuk cara berjalan akan dikatakan.
Jadi di dalam algoritma di belakang anjing dalam perangkat lunak akan berkata OK jadi untuk berjalan Anda perlu menggerakkan
kaki kiri Anda ke depan kaki depan ke depan kemudian kaki kanan depan ke depan lalu kaki kanan depan ke
depan lalu kaki kiri ke depan dan ulangi tindakan itu dan Anda tahu itulah definisi
berjalan adalah fungsi di dalam anjing ini.
Dan mungkin Anda tahu bagaimana cara duduk dan hal-hal seperti itu.
Sedangkan pada anjing robot yang dilatih melalui pembelajaran penguatan yang terjadi adalah Anda tidak memprogramnya.
Ini adalah konsep kunci untuk semua yang ada di sini bahwa Anda tidak memiliki algoritme apa pun di dalamnya yang dikodekan langsung
ke dalam anjing.
Sebaliknya, Anda memiliki apa yang akan kami diskusikan di masa depan.
Anda memiliki algoritma pembelajaran penguatan ini yang mengatakan bahwa OK jadi tujuannya adalah untuk mendapatkan dari tempat
Anda sekarang tidak tahu apa-apa sampai akhir ruangan misalnya.
Dan berikut adalah tindakan tertentu yang dapat Anda ambil.
Anda dapat menggerakkan kaki kanan Anda. Anda dapat menggerakkan kaki kiri Anda. Anda dapat menggerakkan kaki kanan
Anda kembali. Anda kaki belakang kiri jadi di sini semua derajat kebebasan yang dapat
Anda lakukan Anda bisa menggerakkannya seperti ini tindakan yang dapat Anda ambil dan imbalan Anda adalah setiap kali Anda mengambil langkah maju Anda
mendapat nilai tambah setiap kali Anda jatuh.
Anda mendapatkan satu minus dan itu semua ada untuk itu.
Dan kemudian mereka meninggalkan anjing itu dan membiarkannya sendiri.
Jadi anjing itu mencoba untuk berdiri dan jatuh kemudian menyadari bahwa OK saya seharusnya tidak melakukan tindakan yang membuat saya jatuh karena
setiap kali saya jatuh saya mendapat minus yang tidak baik untuk saya.
Begitu juga tindakan lain yang membantunya berdiri dan kemudian angka itu hanyalah eksperimen.
Eksperimen hal-hal tri secara acak dan kemudian menemukan bahwa itu dapat membuat langkah maju dengan
menggerakkan kaki depan kanannya dan dia mendapat satu plus dan menyadari oh saya harus lakukan lebih dari itu.
OK keren jadi sekarang belajar bahwa itu harus melakukan ini lebih banyak dan lebih sedikit itu.
Dan melalui proses pembelajaran ini dengan cepat sangat cepat memahami bagaimana ia bisa berjalan.
Dan anjing-anjing yang tahu sendiri sebenarnya kadang-kadang bisa berjalan lebih baik daripada anjing yang diprogram sebelumnya karena hal-hal
yang benar-benar terprogram kita melihat anjing kehidupan nyata dan atau Anda tahu
kita menggunakan imajinasi kita sendiri bagaimana melakukannya sedangkan anjing yang belajar penguatan mengoptimalkan berbagai hal dengan sendirinya.
Dan karena dalam AI kadang-kadang bisa mendapatkan hasil yang lebih baik.
Dan itulah cara mereka dapat melatih robot ini.
Anjing robot yang sama bermain sepak bola.
Anda dapat melatih anjing normal untuk bermain sepak bola karena Anda tahu bahwa seluruh pendekatannya berbeda.
Dan itu bukan sesuatu yang Anda tahu mungkin anjing normal telah dilatih untuk melakukan atau pernah
dilakukan dalam proses evolusinya.
Sedangkan anjing robot belajar penguatan dapat dengan mudah memahami cara bermain sepak bola selama Anda memberi
tahu mereka apa hadiahnya apa tujuannya adalah apa tindakan yang mungkin mereka ambil.
Begitulah cara kerja pembelajaran penguatan.
Secara umum ada gambaran singkat tentang pembelajaran penguatan.
Saya harap membuat Anda sangat senang akan datang berikutnya karena ini adalah dunia yang sama
sekali berbeda dibandingkan dengan solusi praprogram program keras solusi hardcoded di mana Anda memiliki kondisi jika lain.
Ini sangat berbeda.
Dan kita akan berbicara lebih banyak tentang itu.
Sementara itu, kami memiliki beberapa bacaan tambahan untuk Anda, jadi jika Anda ingin memiliki beberapa bahan pendukung Berikut adalah
artikel bagus yang dapat Anda lihat dan lihat.
Ini disebut pembelajaran penguatan sederhana dengan aliran tensor.
Ada sepuluh bagian.
Tautan ada di sini dan Anda akan menemukan tautan lengkap yang dapat diklik.
Dalam kursus sumber daya oleh artikel Arthur Giuliani 2016 dan Anda dapat mengikuti kursus ini dan juga mendapatkan
informasi tambahan dari artikel itu.
Tapi ingatlah bahwa artikel itu cenderung mengalir di mana seperti dalam kursus ini kita
menggunakan pi torche implementasi yang berbeda tetapi implantasi tetapi pada saat yang sama Anda dapat mengambil
beberapa hal di sana-sini yang mungkin melengkapi pembelajaran Anda bahwa kami akan lakukan dalam kursus ini.
Begitu banyak artikel yang mengikuti Anda jika Anda mempertimbangkan untuk mengikutinya dengan pasti.
Masih untuk berjaga-jaga.
Periksa bagian pertama itu dan lihat apakah Anda menyukainya lihat apakah Anda ingin membacanya sedikit lagi.
Dan kemudian kita punya khusus untuk tutorial ini pembelajaran penegakan perbatasan ada makalah oleh Richard
Sutton yang disebut pembelajaran penguatan.
Salah satu pengantar adalah makalah 1998 cukup tua tetapi pada saat yang sama Anda dapat belajar sedikit tentang penguatan
belajar beberapa contoh seperti contoh omlet dan contoh lain di mana pembelajaran penguatan dapat
diterapkan dan hanya gambaran umum tentang pembelajaran penguatan.
Jika Anda mencari beberapa bacaan tambahan dan dengan catatan itu kita akan menyelesaikan tutorial ini.
Tidak sabar untuk melihat Anda lain kali.
Dan sampai saat itu nikmati AI.