Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Hari ini kita melanjutkan perjalanan kita ke dunia setiap tiga melihat dan kita berbicara tentang sisi sinkron dari
salah satu C sehingga di sana kita memiliki singkatan keunggulan sinkron.
Kritik aktif.
Dan hari ini kita akan mencari tahu apa arti sinkron di sini.
Dan mari kita mundur selangkah.
Mari kita lihat apa yang kita mulai dari keseluruhan kursus ini untuk penegakan belajar tentang apa itu semua bahwa
Asia berada dalam keadaan tertentu.
Mereka mengamati negara.
Mereka membuat keputusan tertentu mereka mengambil tindakan di negara itu dan kemudian negara diubah sehingga mereka masuk ke negara
baru ditambah mereka mendapat hadiah.
Jadi hadiah untuk mengambil tindakan itu atau semacam hadiah yang bisa menjadi penalti juga dan mereka berakhir di
negara baru.
Dan berdasarkan itu sekarang mereka mengambil tindakan lain lagi.
Mereka mendapatkan hadiah dan berakhir di negara baru dan mereka mengambil tindakan lain dan seterusnya dan
itu adalah dasar di balik semua pembelajaran penguatan.
Dan itulah yang telah kami gunakan dalam pembelajaran dalam pembelajaran mendalam dan pembelajaran terus convolutional yang dalam dan yang memungkinkan
agen kami untuk mengalahkan lingkungan yang lebih kompleks dan lebih kompleks secara bertahap.
Tapi sekarang kita akan memperkenalkan konsep yang lebih baik dan bahkan untuk mengambil tingkat ini lebih jauh.
Apa yang dilihat oleh A-3 diperkenalkan melalui elemen sinkron ini dan bukannya meminta satu agen
menyerang lingkungan.
Mereka memiliki tiga agen atau berapa pun jumlah agen atau beberapa agen yang menyerang lingkungan yang sama.
Dan kuncinya di sini adalah itu sebabnya ini disebut sinkronisasi karena mereka diinisialisasi secara berbeda sehingga
input bintang mereka berbeda.
Jadi misalnya seperti yang akan Anda lihat dari sumber praktis Anda menetapkan benih acak dan Anda mengaturnya
berbeda untuk masing-masing agen.
Dan itu karena titik awal mereka berbeda.
Mereka akan terlebih dahulu melalui lingkungan dengan cara yang berbeda dan kemudian mereka akan mengeksplorasi dengan cara
yang berbeda dan kemudian di iterasi selanjutnya juga akan mengeksplorasi dengan cara yang berbeda.
Jadi misalnya kita punya tiga agen.
Anda tiba-tiba mendapatkan tiga kali lipat pengalaman daripada hanya satu
usia dan melalui dan menjelajahi lingkungan dan mencoba memahami cara mengoperasikannya di lingkungan itu.
Anda sekarang memiliki tiga atau banyak dari mereka yang mengalami hal itu dan mendapatkan pengalaman ini dan
di sana sehingga masing-masing dari mereka belajar untuk pengalaman yang lebih besar ini dan selain dari hanya
memberikan pengalaman yang lebih luas, itu juga mengurangi kemungkinan satu agen terjebak dalam maksimum lokal.
Jadi misalnya jika salah satu agen menemukan cara untuk mengalahkan lingkungan yang bukan yang paling optimal karena jika itu menyimpang
dari kiri ke kanan dari solusi yang ia temukan selalu mendapat hukuman yang lebih besar
mungkin akan terjebak dalam maksimum lokal.
Mungkin terus berpikir bahwa itu adalah solusi optimal di mana itu sebenarnya tidak.
Nah kemungkinan beberapa agen terjebak dalam maksimum lokal yang sama berkurang seiring dengan jumlah agen sehingga
kemungkinan satu agen terjebak dalam maksimum lokal tertentu mungkin tinggi
tetapi Atau mungkin nilai tertentu.
Tetapi kemungkinan ketika Anda memiliki tiga dari mereka bertiga terjebak dalam maksimum lokal
itu jauh lebih rendah.
Dan selama mereka berbagi pengalaman antara satu sama lain, mereka dapat saling membantu sehingga jika salah satu dari mereka terjebak
misalnya itu maksimum lokal dan hanya berpikir bahwa itu yang terbaik dan itu yang terbaik itu
solusi terbaik sepanjang waktu terus melakukan itu.
Nah selama itu berinteraksi dengan agen lain Jadi katakanlah orang ini akan terjebak dalam tindakan
yang tenang selama berinteraksi dengan agen lain melalui cara kami membangun seluruh algoritma kami melalui
seluler dan mereka akan membantunya.
Mereka akan memberinya pengetahuan bahwa sebenarnya Anda tahu hei Anda harus menjelajahi ini atau dia kemungkinan
akan keluar dari itu.
Dan juga secara keseluruhan lingkungan akan tahu bahwa hei meskipun ini adalah yang terbaik pada zaman ini yang telah melihat
opsi yang lebih baik dan kita harus terus mengeksplorasi karena sepertinya ada pilihan yang lebih baik.
Jadi dalam pengertian singkat tentang intuisi kasar, itulah beberapa keuntungan memiliki agen sinkron
ini sehingga Anda memiliki lebih banyak pengalaman untuk dipilih dan dipelajari.
Anda bisa mendapatkan solusi lebih cepat dan secara umum jika ada kemungkinan lebih
kecil untuk terjebak dalam maksimum lokal CRN.
Jadi mari kita lihat bagaimana semua ini berjalan.
Dalam model yang telah kami buat sejauh ini, ingatlah ini adalah apa yang kami dapatkan sejauh ini melalui kritik yang
sebenarnya dan ini seperti kita semua menggoda ini sejauh yang Anda ingat dari pertama hingga kura-kura yang kami perkenalkan
ini Anda tahu kami sudah memiliki ini bahkan di laut dalam.
Q learning Jadi, kami baru saja memberi nama X sekarang tetapi sekarang kami telah memperkenalkan kritik
tetapi sejauh ini tidak benar-benar masuk akal apa gunanya memiliki kritik ini dan mengukur nilai negara
atau memprediksi nilai panggung menggunakan saraf yang sama jaringan atau pendekatan yang sama.
Tapi sekarang ini dia yang akan mulai lebih masuk akal.
Apa yang akan kita lakukan adalah kita akan mereplikasi ini karena sekarang kita memiliki banyak agen Jadi jika ini
adalah beberapa agen seperti ini.
Jadi cara pertama membayangkannya adalah sekarang kita memiliki tiga hari ini dengan baik mengingat apa yang kita katakan tentang mereka berbagi pengalaman
antara satu sama lain.
Jadi ini sebenarnya seperti saat ini mereka semua mandiri.
Anda memiliki satu bermain permainan dan selain bermain permainan bermain lain dalam permainan.
Ini seperti meluncurkan agen Anda di tiga komputer berbeda, Anda menempatkan tiga komputer berbeda di samping satu sama
lain dan Anda meluncurkannya dan Anda tahu itu hebat.
Seperti memang Anda suka, Anda akan mendapatkan Anda akan mendapatkan lebih banyak pengalaman Anda akan mendapatkan lebih banyak variasi terutama jika
mereka diinisialisasi.
Jadi kita dapat berasumsi dari sini bahwa inisial mereka buruk selalu diinisialisasi sebelumnya walaupun kita memiliki gambaran
yang sama di sini.
Apakah kita akan tahu bahwa mereka sebenarnya diinisialisasi secara berbeda sehingga tidak akan seperti
pelatihan yang identik dengan pembelajaran identik dari game ini.
Dan bahkan jika Anda suka Anda menempatkan tiga komputer berdampingan
dan Anda meluncurkannya ya Anda akan memiliki lebih banyak pengalaman karena Anda akan memiliki tiga agen bermain dan Anda juga akan memiliki
berbagai kemungkinan solusi yang lebih besar .
Jadi itu benar.
Tetapi masalahnya adalah mereka tidak berbagi pengalaman kita satu sama lain atau tidak belajar dari satu sama
lain.
Jadi mereka tidak memiliki sinergi itu.
Mereka tidak memiliki keunggulan atau kekuatan ekstra yang akan mereka dapatkan jika mereka memuji Anda tahu
seperti bagaimana jika Anda memiliki jika Anda memiliki tim orang yang mereka bekerja lebih baik bersama daripada masing-masing dari mereka secara terpisah.
Jadi seperti di tim di sini Anda punya satu tambah satu tambah satu.
Itu tiga tetapi dalam tim satu ditambah satu untuk bertelur dan bukan tiga seperti tiga karena mereka
memanfaatkan kekuatan masing-masing dan mengurangi kelemahan satu sama lain dan hal yang sama di sini.
Jadi, jika Anda menempatkan kedua komputer ini berdampingan ya Anda akan memiliki lebih banyak memori pengalaman dan mungkin seseorang akan
mendapatkan solusi yang lebih baik.
Satu lagi yang hebat tetapi akan lebih baik jika mereka mulai berbagi pengalaman itu.
Dan bagaimana mereka melakukannya.
Baik melalui Wii inilah kami menghitungnya sehingga nilai Wii ini yang merupakan output dari jaringan kami
sebenarnya seperti itu.
Jadi mereka memiliki yang sama setiap saat.
Semua agen ini berkontribusi pada kritik yang sama.
Mereka tidak memiliki kritik yang terpisah. Mereka memiliki kritik yang sama dan itulah kunci dari bagaimana aktor
tersebut berhubungan dengan sinkron mereka.
Jadi ada satu kritikus yang mengawasi kami saat mereka mendapatkan pengalaman.
Jadi bagaimana kita menghitung Wii.
Kita harus menyelesaikan Wii.
Seperti yang Anda ingat kita bisa mendapatkan TV melalui nilai-nilai yang kita dapatkan sehingga penghargaan yang kita dapatkan melalui
lingkungan.
Dan saat para agen menjelajahi lingkungan mereka, mereka sedang memprediksi Wii.
Plus mereka memiliki Wii yang dapat mereka hitung.
Ini semua adalah semua ikatan kembali ke apa yang telah kita bahas di bagian sebelumnya
dari skor.
Jadi mereka sudah memiliki Wii yang dapat mereka prediksi seperti harapkan melalui hadiah yang mereka tahu ada di
labirin ini dan bahwa mereka sudah menjelajahi dan saat mereka menjelajahinya tentu saja nilai itu
bisa berubah.
Tetapi juga mereka memiliki Wii bahwa ini adalah output dari jaringan saraf sehingga
mereka akan melalui ini mereka akan menyesuaikan jaringan saraf mereka agar lebih sesuai dengan yang diharapkan.
Jadi pada dasarnya ini dibagikan bagian kritik dibagikan antara agen dan itu adalah bagaimana mereka berbagi informasi antara satu sama lain sehingga
mereka dapat melihat apa yang terjadi di lingkungan yang dibagikan satu sama lain dan
kemudian menggunakannya seperti Akan lihat lebih lanjut di bagian selanjutnya dalam keuntungan.
Jadi gunakan itu untuk mengoptimalkan bagaimana mereka berperilaku lingkungan.
Dan hal lain yang perlu diperhatikan di sini adalah.
Jadi ini adalah melalui C.
Ini seperti inti dari A-3 lihat di sini.
Ini adalah jenis versi 08:30 Tapi sebenarnya ada implementasi yang lebih baik dari ini.
A sampai C yang akan Anda dengar sebenarnya saya ingin bicarakan di salah satu tutorial pertama dan sisi praktisnya
dan apa yang akan dia bicarakan adalah bagaimana pembuat Pi torche benar-benar membuat penyesuaian ke satu dari kode-kode yang dibagikan
dan mendapatkan hub di mana ia mengambil semua ini seperti yang Anda lihat sekarang mereka
memiliki jaringan saraf yang terpisah dan mereka menunjukkan kepada Wii bahwa penyesuaian
yang dilakukan sebenarnya untuk mengambil semua jaringan saraf ini dan menempatkannya dalam satu ambil dan satukan.
Jadi pada akhirnya hanya ada satu jaringan saraf di sini yang dibagikan di antara para agen.
Jadi sebelum mereka memiliki masing-masing dari mereka memiliki satu jaringan saraf yang dibagikan untuk aktor dan untuk kritikus
satu jaringan saraf Shelfer sebenarnya untuk kritikus satu jaringan saraf berbagi untuk akurasi.
Sekarang mereka semua memiliki satu jaringan saraf yang dibagikan untuk aktor atau kritikus yang sebenarnya atau kritik.
Dan kemudian kritiknya ada di sini.
Jadi mari kita lihat, mari.
Mari kita pindahkan gambar-gambar ini ke kiri di sini jadi buat beberapa ruang.
Dan ini pada dasarnya adalah arsitektur atau struktur yang akan kita gunakan dalam tutorial
praktis.
Saya tahu bahwa seperti ini mungkin kedengarannya agak luar biasa pada tahap ini, tetapi kita punya satu lagi untuk dibicarakan yang
merupakan keuntungan dan di sana kita akan melihatnya lebih baik dalam tindakan.
Bagaimana caranya, kita akan bicara tentang intuisi yang sedang beraksi.
Tapi secara umum ini adalah ini.
Ini ada satu jaringan yang masing-masing agen gunakan atau mereka bagikan.
Pada dasarnya apa artinya adalah bahwa mereka berbagi bobot bobot jaringan dibagi antara usia dan ketika
mereka memperbaruinya mereka memperbarui seluruh jaringan tidak hanya jaringan mereka sendiri.
Dan kemudian mereka memiliki keluaran yang mereka sukai seperti tindakan ini untuk setiap agen dan kemudian mereka memiliki kritik yang
dibagikan yang akan dipantau.
Jadi saya tahu semua ini seperti ada banyak hal saat ini, tapi semoga perlahan-lahan
datang bersama.
Hal utama yang dapat diambil dari sini adalah bahwa kritik tersebut karena dibagikan.
Begitulah cara agen memastikan bahwa mereka bekerja sama untuk mendapatkan hasil yang lebih
cepat.
Dan kemudian dalam tutorial berikutnya kita akan melihat lebih jauh bagaimana semua ini bertambah.
Semua ini bersatu.
Dan untuk saat ini ada seperti saya ingin merekomendasikan atau kami ingin merekomendasikan Anda bacaan tambahan.
Jadi ini adalah blog oleh Jaromir Jansch.
Namanya Let's make a A3 see implantations sebenarnya adalah dua bagian implementasi dan teori.
Ada tautan dan sangat mirip dengan apa yang akan diterapkan Adlon di sisi praktis tutorial
sehingga tidak khusus untuk tutorial ini, tidak hanya untuk Sutro tetapi untuk seluruh
bagian ini.
Mendorong ada beberapa informasi tambahan beberapa wawasan tambahan di sana.
Dan itulah mengapa kami membawanya ke sini.
Namun demikian dalam tutorial selanjutnya kita akan mulai menyatukan semua ini.
Semua yang kami diskusikan.
Dan saya berharap dapat melihat Anda lain kali.
Dan sampai saat itu nikmati aku.