Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Dalam cerita hari ini kita berbicara tentang final dalam 3C.
Kita berbicara tentang keuntungan.
Jadi begitulah.
Kami sudah berbicara tentang kritik aktor dan sinkron sebelumnya.
Jadi dia membangun cara untuk apa yang akan kita lihat hari ini dan dengan keuntungan kita akan
menyatukan semuanya.
Jadi inilah yang kami miliki sejauh ini kami punya jaringan saraf yang dibagi antara agen agen yang tidak sinkron
dan kemudian kami mendapat kritik yang juga dibagi antara usia dan sebagainya.
Bagaimana semua ini terjadi dan mengapa kritik ini dibagi antara agen.
Mari kita lihat itu.
Kami sangat mengerti bahwa kita akan melihat contoh, kita akan melihat agen ini misalnya dan melihat apa yang
terjadi ketika dia dalam keadaan tertentu dan dia perlu membuat keputusan tindakan apa yang harus dilakukan.
Jadi agen ini dalam keadaan dia melihat gambar ini dan kemudian apa yang terjadi adalah informasi ini masuk ke
jaringan saraf pergi ke sarang konvolusional kemudian pergi ke sarang penyatuan kemudian pergi ke
sarang peremukan dan kemudian dari sana masuk ke lapisan tersembunyi dari jaringan
saraf dan kemudian sebagai output dia mendapatkan semua nilai-nilai kebijakan yang Anda nilai adalah kebijakan.
Dan juga dia mendapat nilai kritik.
Dan seperti yang kita ketahui jaringan saraf untuk beroperasi mereka perlu menyebarkan kesalahan atau kerugian tertentu kembali
melalui jaringan.
Jadi dengan cara ini untuk memperbarui bobot jadi tunggu apa lagi kerugian yang akan kita hadapi di
sini.
Yah, kita dua kerugian.
Kami mengalami kerugian nilai dan pos.
Jadi kehilangan nilai dikaitkan dengan nilai kerugian parsial terkait dengan kumpulan dan sangat berharga.
Kami sudah pernah mengatasinya sebelumnya.
Kami tahu bahwa kami memiliki penghargaan dan kami tahu bahwa kami memiliki faktor diskon sehingga pada dasarnya ini sangat
mirip dengan apa yang kami bicarakan dalam konversi dalam tutorial pembelajaran yang mendalam.
Pada dasarnya jaringan memprediksi nilai V tertentu dan pada saat yang sama kita dapat memperkirakan apa yang harus didasarkan pada apa yang kita ketahui
tentang lingkungan sejauh ini kita dapat memperkirakan berapa nilai seharusnya dalam keadaan dan dengan membandingkan keduanya
kita dapat menghitung nilai kehilangan dan kemudian kembali jaringan propagator memperbarui bobot.
Jadi itu yang menguatkan untuk hal baru di sini adalah kerugian kebijakan.
Jadi, apa kerugian kebijakan ini dan bagaimana cara kerjanya.
Nah ini adalah bagian di mana seluruh situasi ini di mana kritik dibagi antara aktor
atau antara agen akhirnya akan muncul
Jadi untuk memahami kerugian palsu kita perlu memperkenalkan nilai yang disebut Advantage maka nama dari
bagian cerita ini di seluruh bagian Salyut ini keuntungan dan keuntungannya dihitung sebagai Q sebagai
A minus V dari s.
Jadi pada dasarnya nilai Q atau bahwa Anda memilih untuk memainkan semua tindakan yang Anda pilih untuk bermain di negara bahwa
Anda berada di negara S dikurangi nilai negara itu.
Jadi ini adalah perbedaan antara keduanya dan itu disebut yang itu.
Dan keunggulannya digunakan dalam perhitungan pulseless.
Sekarang kita tidak akan masuk ke rumus perhitungan pulseless karena cukup rumit menggunakan entropi atau Anda
dapat menggunakan entropi tidak harus.
Kami tidak akan membedah formula itu tetapi kami akan memahami ini pada tingkat intuitif.
Mengapa kita melakukan ini, mengapa kita menghitung keuntungan ini dan bagaimana hal itu akan membantu kita.
Baiklah mari kita lihat premis ini sebentar.
Nilai Q di sini berasal dari apa yang diprediksikan oleh jaringan saraf untuk agen ini dan sehingga dapat diprediksi dalam tindakan spesifik
ini dalam keadaan spesifik untuk tindakan yang dapat dimainkannya sehingga dapat melakukan
tindakan ini dan dapat menggeser salah satunya dan dapat memainkannya nah sedangkan nilai Wii adalah nilai yang ditentukan oleh
kritik.
Ini adalah nilai yang kita miliki di sini di bagian yang dibagikan ini dan itulah kuncinya di sini bahwa
bagian ini dibagikan sehingga kritik pecah karena ini adalah bagaimana kredit berperan.
Karena kita punya nilai yang kita pilih atau tindakan yang kita pilih untuk bermain untuk agen ini dalam
keadaan itu.
Tetapi kemudian kritik tersebut dapat memberi tahu kami berapa nilai yang diketahui dari keadaan itu. Secara keseluruhan, nilai yang diketahui
untuk seluruh kelompok agen yang bekerja bersama karena pembagian mereka tidak menjawab karena B awal karena mereka
berbagi kritik. mereka semua berkontribusi pada nilai v ini yang sedang dihitung untuk set
yang berbeda sehingga keseluruhan a. z algoritma mengatakan OK.
Jadi kritik tahu nilai v seberapa baik nilai q Anda yang Anda pilih dibandingkan dengan nilai v
yang dikenal.
Itu yang dikatakannya.
Jadi pada dasarnya itu.
Jadi saya akan memilih nilai q di sini berdasarkan pada kebijakan saya berdasarkan pada apakah apa pun yang kita gunakan seperti
fungsi soft max atau atau kebijakan Epsilon Grealy atau sesuatu seperti itu.
Dan tentu saja kita akan keluar eksplorasi dan eksploitasi digabungkan di sana tapi kami memilih
nilai Q dan sekarang pertanyaannya adalah apa yang ekstra.
Apa yang dimarahi orang apa keuntungan yang dibawa tindakan yang Anda pilih dibandingkan dengan nilai yang diketahui
dari negara itu dan itu adalah inti dari keuntungan dan pada dasarnya kemudian yang digunakan untuk menghitung
kerugian kebijakan dan kemudian kerugian kebijakan kemudian kembali diperbanyak melalui kembali ke jaringan.
Jadi mereka berdua kembali merambat melalui jaringan dan bobot disesuaikan agar jaringan lebih
mewakili nilai kritik dan juga jadi itu bagian atas.
Tetapi kemudian ini juga bagian dari kuncinya di sini adalah bahwa nilai bobotnya adalah bakra.
Kapan kantor pos ini kembali lupa bahwa tarif disesuaikan sedemikian rupa sehingga keuntungan ini dimaksimalkan
sehingga seperti itulah sisi intuitif dari pemahaman intuitif bahwa kita
kembali lagi kebijakan ini bertahan melalui jaringan untuk membantu memaksimalkan keuntungan ini.
Dan apa artinya itu pada dasarnya adalah bahwa ketika agen menemukan tindakan buruk seperti tindakan di mana
nilai q kurang dari nilai yang diketahui untuk negara.
Jadi pada dasarnya seluruh algoritma ATC tahu bahwa nilai untuk negara adalah sesuatu X dan kemudian tiba-tiba Anda
menemukan tindakan yang sangat buruk dan dan Anda melakukannya, Anda memilih tindakan.
Dan apa artinya itu untuk antusiasme adalah bahwa mengapa kita melakukan sesuatu seperti itu ketika itu lebih
buruk daripada yang telah kita ketahui tentang seluruh lingkungan ini dan apa yang bisa dilakukan.
Jadi kita seharusnya tidak melakukan lebih dari itu.
Dan karena itu bobotnya hanya sedemikian rupa sehingga yang terjadi lebih jarang.
Sehingga hal itu jarang terjadi.
Jadi itu kejadian yang kurang sering kita pilih tindakan buruk itu.
Di sisi lain jika Anda memilih tindakan yang sangat baik di mana nilai q lebih besar dari
V atau lebih besar maka di mana selama keterbelakangan ini kerugian Polandia melalui
jaringan bobot akan diperbarui dan sedemikian rupa untuk benar-benar memperkuat bahwa untuk mendorong meyakinkan bahwa hal itu terjadi lagi sehingga bobot akan disesuaikan sedemikian
rupa sehingga algoritma atresia akan berpikir oh well yang benar-benar keren bahwa Wantage
sangat tinggi di sana.
Saya harus melakukan lebih dari itu dan karena itu Anda akan memperbarui bobot sedemikian rupa sehingga akan lebih mungkin terjadi
di masa depan tindakan itu.
Jadi dan karena itu Anda tahu bahwa bagaimana jaringan perlahan-lahan akan beradaptasi dan perlahan-lahan akan membangun dirinya
menjadi sesuatu yang di satu sisi menghitung nilai dengan benar dan kemudian di sisi
lain atau seakurat mungkin.
Dan di sisi lain mendorong atau memiliki tindakan yang memiliki keunggulan tinggi.
Jadi begitulah bagiannya.
Dan sekarang mari kita lihat yang lain hanya untuk memperkuat apa yang baru saja kita bahas di atas 1.
Begitu juga di sini.
Lembaga-lembaga top situasi negara dalam keadaan dan kemudian perlu memutuskan apa yang harus dilakukan karena informasi ini ke jaringan gambar ini
menggunakan tumbuh kembali internet untuk convolutional mereka menarik rata mereka Lehre masuk ke
lapisan tersembunyi dan kemudian dari sini kita mendapatkan output kita mendapatkan nilai akut dari kebijakan kita
mendapatkan nilai V lagi hal yang sama kita punya dua kerugian.
Kami punya kerugian nilai yang ada di sini Kerugian Polandia yang ada di sini kerugian nilai.
Kita sudah tahu bagaimana cara menghitungnya.
Ketika kami membahas ini dalam pembelajaran Q mendalam dan hanya mendiskusikan sekarang juga.
Jadi begitulah nilainya dihitung dan kemudian kebijakan hilang lagi untuk menghitung apa yang tidak akan kami
masukkan untuknya.
Tetapi pada tingkat intuitif kami menghitung keuntungan itu tidak apa-apa jadi kami mengambil tindakan tertentu, kami memilih tindakan
tertentu berdasarkan kebijakan seleksi kami, apakah itu Max lunak atau serakah yang menjengkelkan atau
kebijakan sosial apa pun yang kami gunakan.
Dan lalu apa tindakan yang kami ambil. Sekarang mari kita bandingkan dengan yang diketahui dan nilai negara yang berasal dari kritik
bersama sehingga kritik ini seperti jika Anda berpikir tentang mengamati semua agen
ini pada saat yang sama mencari pada yang satu ini lihat yang satu
ini mereka semua berkontribusi terhadap kritik untuk membuat kritik lebih cepat dengan lingkungan
untuk memastikan bahwa kritik mewakili apa yang terjadi di lingkungan aktual sehingga bobot.
Di sinilah hilangnya nilai masuk sehingga bobot dari jaringan saraf aktual yang mereka mencerminkan
dengan sangat baik situasi aktual dari hal-hal di lingkungan sehingga mereka kemudian dapat mengandalkan nilai ini
dan kemudian menggunakannya di sini.
Dan pada dasarnya.
Jadi semua agen ini, semua agen ini berkontribusi terhadap kritik ini.
Tetapi kemudian pada saat yang sama melalui ini tidak berharga tetapi pada saat yang sama kritik
mengamati keputusan atau kebijakan lembaga-lembaga ini.
Ini seperti melihat kembali seperti sedang mencoba menggambar seperti panah ke kutub
dan panah.
Jadi, melihat kembali pada keputusan yang mereka buat adalah mengkritik keputusan ini melalui sudut pandang itu
dan mengatakan OK, Anda membuat keputusan yang Anda pilih ini, Anda memilih tindakan ini.
Itu keren.
Sekarang mari kita menghitung keuntungan atau kerugian peternakan adalah sama dengan Anda tahu nilai Q dari
mungkin telah membuat keputusan yang saya buat atau pilihan yang saya buat untuk saya membuat memilih untuk mengambil dikurangi nilai yang diketahui
untuk kritik.
Bukan tentang kritik.
Jadi, Kalika perbedaannya, jika itu perbedaan rendah yang Anda poles, maka ketika Anda memoles kerugian
Anda kembali disebarkan melalui jaringan cara itu akan disesuaikan akan mendorong bobot
untuk disesuaikan sedemikian rupa sehingga tidak terjadi lagi bahwa nilai Q atau nilai Q
akan lebih rendah sehingga karena kebijakan kami memilih tindakan berdasarkan nilai q semakin tinggi nilai Q semakin besar
kemungkinan akan dipilih.
Jadi, jika kami menggunakan kebijakan Max arc, maka kami selalu memilih yang tertinggi seperti yang Anda ingat
kami bahas ini maka kami akan selalu memilih yang dengan nilai tertinggi.
Tapi kami sebenarnya menggunakan pendekatan probabilistik di mana saya menggunakan seperti Max lunak atau kebijakan serakah
yang mengecewakan.
Dan kemudian kami pada dasarnya memilih di mana kami dapat memilih salah satu dari mereka tetapi semakin tinggi kubus semakin baik.
Jadi, jika kita memilih sesuatu dan keuntungannya sangat rendah maka bom jaringan akan ditambahkan
sedemikian rupa sehingga lain kali nilai tindakan tertentu akan lebih sedikit dan mungkin sesuatu yang lain
akan lebih.
Jadi begitulah yang dibagi dan di sisi lain jika kita memilih sesuatu di mana keuntungan itu akan
tinggi maka ini akan masuk ke dalam undang-undang kebijakan dan kemudian jaringan dan
kita memperbaruinya sehingga acara yang lebih umum diamati seperti skenario.
Dan pada dasarnya seluruh kerugian Polandia ini membantu jaringan beradaptasi atau berubah sedemikian rupa sehingga kita lakukan.
Moral dari hal-hal yang baik adalah tindakan yang baik dan hal-hal yang baik dan kurang melakukan hal-hal buruk.
Dan begitulah kedua kerugian ini ikut bermain dan begitulah mereka kembali sesuai.
Jadi mudah-mudahan itu membersihkan dengan cara yang sangat intuitif tentu saja kita tidak masuk ke rumus ke dalam matematika
yang rumit di balik semua ini dan suka ke detail yang sangat rumit.
Tetapi pada saat yang sama mudah-mudahan di jalan intuitif dengan cara intuitif.
Semua ini menjelaskan mengapa kita memiliki aktor dan kritikus dan bagaimana mereka berinteraksi bersama bahwa Anda
tahu Anda memiliki agen-agen ini sebagai sisi sinkron atau sinkron.
Maka inilah aktor dan kritik Anda dan inilah keuntungannya dan bagaimana semua itu berperan.
Jadi ini adalah agen sinkron.
Mereka pergi.
Mereka memainkan ini atau menjelajahi lingkungan dan bekerja melalui lingkungan dan mereka
semua berkontribusi pada kritik yang kemudian mengamati kebijakan mereka mengamati para aktor yang disebut sebagai
ini.
Dan melalui keuntungan itu dan karena itu muncul ini menimbulkan kerugian dan kemudian kebijakan dan nilai
kehilangan atau kembali menyebar hanya ke jaringan untuk
Di satu sisi mewakili cara sebenarnya dari hal-hal di lingkungan.
Tangan lain untuk meningkatkan kinerja aktor.
Jadi begitulah.
Itu adalah rekap cepat intuisi yang kita diskusikan.
Sekali lagi mudah-mudahan ini semua datang bersama-sama pada tingkat intuitif dan tentu saja dalam tutorial praktis. Kita
akan berbicara lebih banyak tentang bagaimana semua ini bekerja di Atlanta kami akan memandu Anda melalui proses ini pemilik
bangunan.
Tetapi memiliki gambaran ini dalam pikiran Anda dan semacam ini seperti peta jalan dari segala sesuatu
yang datang bersama akan menjadi baik harus saya harap akan sangat membantu bagi Anda untuk lebih menavigasi sisi
praktis hal-hal.
Dan dalam hal membaca tambahan untuk hari ini kita punya dua elemen jadi yang pertama adalah pada keuntungan.
Jadi di sini kita punya pengendalian kontinu demensia tinggi menggunakan estimasi keuntungan umum oleh
John Shulman dan ini adalah gambar sosok tongkat yang berdiri seperti berdiri.
Dan di sini Anda dapat menemukan lebih banyak lagi tentang yang diuntungkan dan diuntungkan dan Anda akan menemukan semua jenis
keuntungan yang berbeda.
Anda sudah mendapatkan keuntungan umum dalam estimasi dan Anda punya keuntungan yang Anda gunakan
sebenarnya di dalam formulir dalam perhitungan jadi jika Anda ingin mengetahui
lebih lanjut tentang keuntungan dan cara kerjanya rumus di belakangnya dan beberapa elemen atas atau formula dan tidak ada lubang di
ruang keunggulan ini.
Kami membahasnya.
Ini adalah artikel untuk pergi.
Dan satu lagi elemen lain yang ingin kami ingatkan pada Anda adalah blog serangkaian posting blog oleh Arthur
Giuliani yang telah kami sebutkan beberapa kali.
Ini adalah bagian delapan yang secara khusus tentang laut A-3.
Jadi di sini Anda bisa mendapatkan penjelasan nother.
Jadi dengan sedikit lebih banyak matematika tentang apa yang sedang terjadi dan Anda mungkin dapat mengambil beberapa hal tambahan dari
sini.
Hanya dua hal yang perlu diingat pertama-tama karena selalu blog ini adalah pengikut yang lebih intens kami menggunakan pi
obor
Jadi ingatlah itu.
Dan yang kedua adalah cara kami menyusun pendekatan kami adalah berbicara tentang kritik aktif terlebih dahulu
kemudian berbicara tentang sinkron.
Dan kemudian kita berbicara tentang keuntungan sedangkan dalam log pembicaraan pertama Arthur tentang Synchronoss seorang aktor mengkritik keuntungan
jadi ingatlah itu sehingga mudah-mudahan itu tidak membuat Anda marah.
Tapi selain itu tentu saja merupakan konten yang bagus.
Dan kami sangat merekomendasikan untuk memeriksanya untuk mendapatkan informasi tambahan.
Jadi kita mulai menikmati tutorial hari ini.
Dan saya berharap dapat melihat Anda lain kali.
Sampai kemudian menikmati.
SAYA.