สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
วันนี้เรากำลังพูดถึงความแตกต่างทางโลก
ตอนนี้มันสำคัญมากที่ต้องทดลองใช้เพราะความแตกต่างชั่วคราวคือหัวใจและวิญญาณของอัลกอริทึมการเรียนรู้ Q
นี่คือความจริงที่ว่าทุกสิ่งที่เราเรียนรู้มารวมกันเป็นส่วนหนึ่งในการเรียนรู้ที่สำคัญ
ดังนั้นเรามาดู
จำเวลาที่เราพูดคุยเกี่ยวกับการค้นหาแบบกำหนดค่าได้กับการค้นหาแบบไม่ระบุชื่อ
และจำไว้ว่าเราพูดในกรณีนี้เมื่อตัวแทนต้องการขึ้นเขาขึ้นไปและเมื่อ
ในกรณีนี้เขาต้องการที่จะขึ้นไปมีโอกาส 10 เปอร์เซ็นต์ที่เขาจะไปที่อุณหภูมิและโอกาสที่ต่ำกว่าและไปทางขวาและไปทางขวาและโอกาส
80 เปอร์เซ็นต์จะไปทางขวา
ตรงขึ้นไป
ในขณะที่ตัวเลขเหล่านี้แน่นอนโดยพลการและอาจแตกต่างกัน
และแนวคิดทั้งหมดนี้อาจเป็นปัญหาที่แตกต่างและแตกต่างกันดังนั้นจึงไม่ต้องกังวลว่าวิธีการที่เขาเคลื่อนไหวเพียงแค่ว่ามีบางสิ่งแบบสุ่มที่อยู่นอกเหนือการควบคุมของตัวแทนที่เกิดขึ้นภายในสภาพแวดล้อมนี้
และสิ่งที่เกิดขึ้นตามที่คุณจำได้ก็คือในตัวอย่างที่กำหนดได้ง่ายมากในการคำนวณค่า Wii ในขณะที่ไม่จำเป็นต้องง่ายเสมอไป
แต่ในกรณีของเราเราสามารถคำนวณได้ง่ายๆโดยใช้สมการ Belman และเรามีค่าที่แน่นอน
และอย่างที่คุณจำได้ฉันพูดถึงอย่างระมัดระวังว่าค่าเหล่านี้สำหรับตัวอย่างการค้นหาแบบไม่ระบุชื่ออยู่ด้านบนของหัวของฉัน
พวกเขาไม่ใช่ Kalka ที่เรารู้จัก
ครั้งล่าสุดที่ฉันบอกว่าเราไม่ใช่เราแค่ต้องคำนวณพวกมันเพราะมันซับซ้อนมาก
แต่คอมพิวเตอร์สามารถทำได้และเราก็ไปกับค่าเหล่านี้ซึ่งเป็นค่าที่ฉันสร้าง
แต่พวกเขาก็ทำงานให้เสร็จ
พวกเขาช่วยให้เราเข้าใจแนวคิด
ทีนี้เราจะกลับไปดูอีกหน่อยและเข้าใจว่าเกิดอะไรขึ้นที่นี่
ทำไมการคำนวณค่าเหล่านี้ในตัวอย่าง nondeterministic
จึงยากกว่ามากหรือโดยทั่วไปแล้วพูดถึงปัญหาเหล่านี้ในสภาพแวดล้อมเหล่านี้และเอเจนต์จะผ่านมันไป
ทำไมมันเป็น
เหตุใดจึงยากที่จะคำนวณค่าเหล่านี้
เมื่อคุณคิดเกี่ยวกับมันเพราะเมื่อเอเจนต์ย้ายตัวอย่างจากที่นี่ไปทางขวาเขาไม่จำเป็นต้องเคลื่อนไหวอย่างนั้นบางครั้งก็เป็นโอกาสที่เขาจะชนะแทนที่จะไปทางตรงดังนั้นลองโทรไปทางตะวันออกเฉียงใต้ทิศตะวันออกเฉียงใต้ ไปทางตะวันตก
ตัวแทนอาจลงใต้บางครั้งและตัวอย่างจากที่นี่จะไปทางเหนือ
บางครั้งเขาอาจไปทางตะวันออก
ขอโทษมาก.
ดังนั้นที่นี่แทนที่จะไปทางตะวันออกเขาอาจจะไปทางใต้และบางครั้งเขาก็ไปทางเหนือ
บางครั้งเขาอาจไปทางตะวันออกหรือตะวันตกและที่นี่แทนที่จะไปทางเหนือบางครั้งเขาอาจไปทางตะวันตกหรือตะวันออกหรือตะวันตกและอื่น ๆ
ดังนั้นในการคำนวณค่านี้คุณจะต้องรู้ว่าค่านี้คืออะไร แต่สิ่งที่น่าสนใจคือในการคำนวณค่านี้คุณต้องรู้ว่าค่านี้คืออะไร
มีการสอบถามซ้ำเกิดขึ้นมากมายที่นี่และดังนั้นคุณไม่สามารถตัดสินใจที่จะกำหนดว่าค่าเหล่านี้คืออะไร
และนอกเหนือจากนั้นการเรียกซ้ำครั้งนี้ไม่ได้กำหนดขึ้น
บางครั้งมันเกิดขึ้นด้วยวิธีนี้บางครั้งมันเป็นทางขึ้นเขาบางครั้งแทนที่จะไปทางซ้าย
เมื่อเขาต้องการขึ้นไป
เขาจะขึ้นไป
ดังนั้นมันจึงขึ้นอยู่กับโอกาสและบางทีตัวแทนหลายต่อหลายคนก็ต้องผ่านเส้นทางนี้และเขาก็จะขึ้นไปข้างบนแล้วคุณจะคิดว่าจากที่นี่คุณมักจะขึ้นไปและคุณค่าของรัฐ จะดีแล้วทันใดนั้นเขาก็จะตกลงไปในหลุมและค่านี้จะลดลง
ดังนั้นคุณจึงเห็นได้ว่ามีการสุ่มสุ่มมาจากการคำนวณทั้งหมดเกี่ยวกับค่าเหล่านี้เพราะพวกมันทั้งหมดเชื่อมโยงกัน
ยิ่งกว่านั้นคุณจะได้รับการสุ่มในสภาพแวดล้อมนี้เพราะมีกระบวนการตัดสินใจ
นั่นคือสิ่งที่ทั้งหมดนี้มารวมกันและที่ที่เราจะแนะนำแนวคิดของความแตกต่างชั่วคราวซึ่งจะช่วยให้ตัวแทนในการคำนวณค่าเหล่านี้
และที่นี่เรากำลังจัดการกับค่านิยม
และตั้งแต่นั้นเราได้ย้ายไปยังค่า Q แล้วนั่นคือสิ่งที่เรากำลังจะทำงาน
เรากำลังจะมองคุณค่าที่ยิ่งใหญ่
ดังนั้นฉันจำได้ว่านี่คือสมการ Belman ของเราสำหรับค่า q
ดังนั้นค่า AQ หรือค่าของการกระทำประเภท
A ในสถานะเท่ากับรางวัลที่คุณได้รับหลังจากการกระทำนั้นทันทีหลังจากทำการกระทำบวกคุณจะได้รับจำนวนสูงสุดของแกมม่าจากผลรวมทั้งหมดที่เป็นไปได้
.
ดังนั้นคุณจะได้ค่าคาดหวังของรัฐที่คุณจะได้รับ
ดังนั้นเมื่อคุณจำได้ว่ามีสูตรสำหรับสมการ Beldon
และตอนนี้เพื่อความเรียบง่ายบอกว่าเราจะเขียนมันใหม่ในแบบเก่าและในแบบที่เราเคยพูดถึงสมการ Bellmen ก่อนที่เราจะรู้เกี่ยวกับภาคต่อ
ดังนั้นจำไว้ว่านี่คือสมการเบลแมนของเราในแง่ของตัวอย่างการค้นหาที่กำหนดขึ้นเพราะที่นี่คุณไม่มีค่าที่คาดหวังไว้
คุณแค่ทำแบบนั้นราวกับว่ามันถูกกำหนดแล้วว่าคุณจะจบลงด้วยสถานะที่คุณกำลังจะจบลงและจากนั้นคุณจะบอกคุณสูงสุดในสถานะหนึ่ง
และเหตุผลที่เราเขียนใหม่มันเป็นเพียงเหตุผลเดียวก็คือเพราะมันง่ายกว่าที่จะเขียนมันและมันจะง่ายกว่าที่จะตกไปพร้อมกับสูตร
ดังนั้นเราจะต้องจำไว้ว่าเราแทนที่ส่วนนี้ของแถบนี้
และคุณจะพบสัญลักษณ์นี้ในวรรณคดีจำนวนมากดังนั้นคุณจะสามารถติดตามพร้อมกับแหล่งข้อมูลอื่น ๆ ได้ง่ายขึ้นหากคุณกำลังศึกษาสิ่งเหล่านี้
แต่จำไว้ว่าในความเป็นจริงสิ่งที่เราหมายถึงคือแนวทางความน่าจะเป็นที่นี่แทนที่จะเป็นสัญลักษณ์นี้ง่ายกว่าสำหรับเราในการดำเนินการและเข้าใจสิ่งที่เกิดขึ้น
ฉันแค่มองไปที่สมการเพื่อว่ามันจะไม่รกเกินไป แต่อีกครั้งแค่จำไว้ว่าอันที่จริงสิ่งที่เราหมายถึงคือแนวทางความน่าจะเป็นที่นี่
ดังนั้นเราจึงรู้อยู่แล้วว่า Tom Silis มีลักษณะที่เกิดขึ้น
ดังนั้นนี่คือสถานะที่ว่างเปล่าของเขาวงกตที่เราไม่มีค่า q ใด ๆ
ลองดูหรือเมื่อเราทำได้ แต่ลองเก็บว่างไว้ตอนนี้ลองดูที่สถานะใดสถานะหนึ่งหรือหนึ่งในเซลล์
อันนี้โดยเฉพาะ
และที่นี่เรามีคำตอบสำหรับการขึ้น
เรามีค่า q ที่เราคำนวณ
ดังนั้นไม่ใช่ว่าเราไม่มีค่า q ใด ๆ แต่เรามีค่าที่เราทำ
แต่เราไม่ได้อธิบายอะไรเลย
เราแค่ทำตัวว่างเปล่าเพื่อความเรียบง่าย
แต่เรามีช่วงอายุที่เดินไปรอบ ๆ
มาแล้วสมมุติว่าเขาคำนวณค่าคิวบ์ของการเพิ่มขึ้นหรือ Norf จากสถานะนี้จากเซลล์เฉพาะนี้และค่า
Q S และ A และตอนนี้สิ่งที่เรามี
ดังนั้นเขาจึงอยู่ในขณะนี้โดยมีลูกศรสีน้ำเงินชี้และตัวแทนกำลังนั่งอยู่ในห้องนี้
และตอนนี้เขาต้องเลือกว่าเขาจะไปที่ไหน
และเขาก็รู้คุณค่าของการกระทำนี้ที่ไปทางเหนือนั่นคือคิวเซเน่และที่นี่ฉันพูดมาก่อนและเหตุผลที่เป็นเพราะเขาคือก่อนที่เขาจะลงมือทำจริงเขายังไม่ได้ลงมือเลย ก่อนที่เขาจะดำเนินการค่าที่นี่คือ
q
และ SNH และตอนนี้เขาจะดำเนินการจริง
สมมติว่าเขาตัดสินใจเป็นคนที่ดีที่สุด
เขาลงมือทำและย้ายไปที่ห้องขัง
ทีนี้สิ่งที่เกิดขึ้นตอนนี้มาหลังจากดังนั้นหลังจากที่เขาลงมือแล้วเราสามารถวัดได้ว่าค่านี้คืออะไรลองคำนวณค่านี้เป็นมูลค่าของรางวัลสำหรับการกระทำนั้นบวกแกมม่าคูณค่าสูงสุดของสถานะใหม่ที่เขาเพิ่งเข้ามา สำคัญ
ดังนั้นจำนวนสูงสุดของการกระทำและแอสไพริน
และสิ่งที่เรามีอยู่ที่นี่คือคุณค่าก่อนการกระทำ
จากนั้นเราก็คำนวณตัวชี้วัดนี้หลังจากนั้น
แต่อย่างที่คุณสามารถจำได้จากสี่เดือนก่อนหน้าถ้าเราย้อนกลับไปอย่างรวดเร็วจากสูตรก่อนหน้านี้ที่เราเพิ่งคำนวณนั้นเป็นค่าที่เป็น Q
คำนวณ
ดังนั้นส่วน Arite ของการคำนวณแยกต่างหาก แต่หลังจากเราได้ทำ
ดังนั้นก่อนที่เราจะรู้ Q ของ S และให้คุณค่ากับสิ่งที่เราคำนวณผ่านการทำซ้ำของเรา Preuss
เป็นบางสิ่ง
ดังนั้นค่าที่เก็บไว้ในความทรงจำของเรา
ดังนั้นเช่นเดียวกับตัวเลขที่เรารู้และหลังจากดำเนินการแล้วเรารู้ว่ารางวัลอะไรที่เขาได้รับจริง ๆ สิ่งที่ตัวแทนได้รับจริง
ๆ
และเราสามารถคำนวณค่าใหม่นี้ได้
ดังนั้นโดยพื้นฐานแล้วเรากำลังคำนวณค่านี้ใหม่ แต่ตอนนี้มีข้อมูลใหม่ข้อมูลใหม่คือรางวัลที่เราได้รับ
และบวกกับสิ่งที่เรายังคงอยู่และสิ่งที่สูงสุดข้ามสถานะนั้นสิ่งที่ค่าใหม่นี้สำหรับข้อมูลเฉพาะที่สามารถ
ดังนั้นมูลค่าของสิ่งนั้นที่อยู่ในสถานะนั้น
โดยพื้นฐานแล้ว Cure Vanessa-Mae แต่ได้รับข้อมูลใหม่และตอนนี้ความแตกต่างชั่วคราวถูกกำหนดเป็น tiddy ของ
a และ s ของความแตกต่างระหว่างสองสิ่งนี้
ดังนั้นที่นี่องค์ประกอบแรกคือค่านอกของคุณ
ดังนั้นชนิดเช่น Q ของ Esson จะถูกคำนวณเล็กน้อยหลังจากนั้น
และquvenzhané A ก่อนหน้าซึ่งคุณเก็บไว้ในหน่วยความจำของคุณ
และคำถามก็คือพวกเขาต่างกัน
ดังนั้นควรพวกเขาควรจะเหมือนกัน
เป็นการดีที่ควรจะเป็นเช่นนี้เพียงเพราะนี่คือสูตรสำหรับการคำนวณนี้
แต่สิ่งนี้ไม่ใช่สิ่งที่เรา Kalka
นี่คือสิ่งที่เรามีจากหลักฐานเชิงประจักษ์สิ่งที่เรามีจากการผ่านเขาวงกตหลายครั้งและคำนวณ
นี่คือสิ่งที่เราคิดขึ้นมา
มันไม่เกี่ยวข้องกับการทำซ้ำปัจจุบัน
มันเป็นอะไรบางอย่างที่เราเคยทำมานานแล้วเมื่อก่อน แต่ในการทำซ้ำครั้งก่อน ๆ ของเราจะต้องผ่านเขาวงกต
ในขณะที่นี่คือสิ่งที่เราได้คำนวณตอนนี้และไม่มีการรับประกันว่าพวกเขาจะเหมือนกันหรือเนื่องจากการสุ่มที่มีอยู่ในเขาวงกตเพราะสิ่งนี้สามารถคำนวณได้และเห็นเหตุการณ์สุ่ม CRN บางอย่างถูกกระตุ้น
สามารถเรียกเหตุการณ์สุ่มที่แตกต่างกันที่เกิดขึ้นถูกเรียก
ทีนี้เราก็เขียนฮีโร่ของเราลงไปที่นั่น
ดังนั้นเราจะใช้สิ่งนี้อย่างไร
คำถามก็โอเคดังนั้นเราจึงมีความแตกต่างชั่วคราวนี้
เราจะใช้สิ่งนี้อย่างไร
และทำไมจึงเรียกว่าความแตกต่างชั่วคราว
เหตุผลที่เรียกว่าความแตกต่างชั่วคราวนั้นเป็นเพราะคุณกำลังคำนวณสิ่งเดียวกันกับที่คุณคำนวณ Q of S และ
A ดังนั้นค่า Q ของการกระทำ
Calcott ของคุณที่นี่และคุณคำนวณได้ที่นี่
แต่ความแตกต่างคือเวลา
นี่คือ Q ของ S และก่อนหน้านี้นี่คือ yo Q ของ S และ A
ตอนนี้การรักษาแบบใหม่ของคุณนั้นเป็นมา แต่กำเนิดและคำถามก็มีความแตกต่าง
มีการเปลี่ยนแปลงระหว่างพวกเขาในเวลา
และเราจะใช้สิ่งนี้เพื่อประโยชน์ของเราได้อย่างไรหากมีการเปลี่ยนแปลงตามเวลา
สิ่งหนึ่งที่เราทำได้คือเราสามารถพูดว่าโอเคคุณรู้ Q ของเรา ไม่
ค่าใหม่นี้ไม่เท่ากันดังนั้นเราจะกำจัดเก่าหรือลืมค่าเก่าและเราแค่ใช้นี่คือค่าใหม่ทั้งหมด
แต่นั่นจะไม่ฉลาด
และสาเหตุที่เป็นเช่นนั้นในบางครั้งเหตุการณ์สุ่มอาจเกิดขึ้นได้ในสภาพแวดล้อมของเรา
และถ้า QSA เก่าของเราเป็นอย่างไร เป็นสิ่งที่เกิดขึ้นอย่างต่อเนื่องเช่นร้อยละ 80 ของเวลา
และเช่นนั้นถูกแทนด้วยสิ่งที่เกิดขึ้น 80 เปอร์เซ็นต์ของเวลา
แล้วอันใหม่นี้ก็เกิดอะไรขึ้นเนื่องจากการสุ่ม
ในกรณีนั้นเราจะทิ้งสิ่งที่รับผิดชอบต่อสถานการณ์จำนวนมากและเราจะแทนที่ด้วยสิ่งที่เกิดขึ้นเพียง 10 หรือ 20
เปอร์เซ็นต์ของเวลา
นั่นไม่ใช่วิธีที่ดีที่สุดที่จะไปและนั่นคือเหตุผลที่ว่าทำไมเราไม่ต้องการเปลี่ยนค่า Opu อย่างสมบูรณ์
เราต้องการที่จะใช้เช่นเปลี่ยนพวกเขาทีละนิดทีละนิด
และนั่นคือสาเหตุที่เราจะใช้ความแตกต่างชั่วคราวนี้ในวิธีเฉพาะดังนั้นเราจะบอกว่านี่คือสูตรที่เราจะใช้คิว SNH
ของเรา
และเราจะอัปเดตในลักษณะนี้
เราจะนำคุณค่าเก่าแก่ของการบำบัด Senay และเราจะเพิ่มความแตกต่างชั่วคราวทั้งห้าเท่า
ดังนั้นอัลฟาจะต้องเรียนรู้อย่างถูกต้อง
นั่นคือพารามิเตอร์ใหม่ที่เรากำลังแนะนำ
นั่นคือการเรียนรู้อัลกอริทึมที่รวดเร็ว
โดยพื้นฐานแล้วเราจะรับความแตกต่างนี้และอะไรก็ตามที่เราเพิ่มเข้าไปในงู KJo ก่อนหน้าของเรา
ตอนนี้สูตรนี้อาจจะไม่สมเหตุสมผลหรือเพียงแค่มองมันไม่สมเหตุสมผลเพราะคุณได้ Covisint ที่นี่และให้ A
ตรงนี้กับเรา
มันเป็นสิ่งเดียวกันดังนั้นอาจจะเป็นการคัดค้านซึ่งกันและกัน แต่เราต้องเขียนมันใหม่ด้วยวิธีที่แตกต่างกันเล็กน้อย
ดังนั้นฉันจะแสดงให้คุณเห็นอีกครั้งดังนั้นฉันแค่เพิ่มเวลาให้กับสูตรเหล่านี้
นี่คือ q t ลบหนึ่งปีก่อนหน้านี้
Q T ลบ 1 ปีก่อนหน้า
คำถามใหม่สิ่งนี้ควรเป็นวงกลมตรงนี้ในวงกลมที่นี่เช่นกัน แต่ไม่เป็นไรและที่นี่จะได้รับความแตกต่างชั่วคราว
แล้วคุณจะเห็นความแตกต่างทางโลกปัจจุบัน
ดังนั้นคุณสามารถเห็นสิ่งที่เรากำลังทำเรากำลังพูด
ตกลงเรามาดูกันดีกว่า
Q จะเท่ากับ Q ก่อนหน้านี้ทั้งหมดบวกกับความแตกต่างชั่วคราวใด ๆ ที่เราพบ Times Alpha
สูตรนี้คือหัวใจและจิตวิญญาณของอัลกอริทึมการเรียนรู้คิวบ์
นี่คือวิธีที่คิวบ์เป็นหรืออัพเดต
และเป็นเรื่องดีที่เราได้เรียนรู้แล้วว่าค่า q คืออะไรแกมม่าคืออะไรและอะไรคือสิ่งนี้
และตอนนี้สิ่งที่เราต้องเห็นคือคุณมีค่า Q ก่อนหน้าใช่ว่าดี
และสิ่งที่สามารถเกิดขึ้นได้คือเมื่อคุณดำเนินการเมื่อคุณทำสิ่งที่ตัวแทนดำเนินการคุณจะรู้ว่าเขาจะได้รับรางวัลและเขาจะได้รับสถานะ
จากนั้นเขาสามารถคำนวณ Aha ได้
ตกลงดังนั้นสิ่งที่จะมีสิ่งที่ควรได้รับค่า Q ของการย้ายที่ฉันทำ
และตอนนี้นั่นคือส่วนหนึ่งของสมการนี้
ลบค่า Q เก่าจะทำให้คุณมีความแตกต่างชั่วคราวและตอนนี้คุณต้องใช้ความแตกต่างตัวอย่างเวลาของ Alpher
และนั่นคือวิธีที่คุณจะปรับ
ถามคุณเข้าใจหรือไม่ว่าคุณหมายถึงอะไร
ฉันแค่คิดว่าคุณผ่านไปแล้วและตอนนี้ก็จบเรื่องนี้
นี่เป็นแบบนี้เพียงพอที่จะเข้าใจว่าเกิดอะไรขึ้น แต่เพื่อให้ชัดเจนขึ้น
เราต้องทำอะไรเพื่อให้ได้ความแตกต่างชั่วคราวนี้หรือความแตกต่างง่ายๆนี้หรือนี่คือวิธีที่จะเสียบเข้ากับรูปแบบนี้
ดังนั้นเราจะเอาส่วนนี้ทั้งหมดมาต่อกับสูตรนี้และจบลงด้วยสมการขนาดใหญ่
ดังนั้นเราไปกันเลย
มีสมการของเรา
นี่คือสมการเต็มรูปแบบที่มีความแตกต่างชั่วคราวเขียนออกมาอย่างสมบูรณ์
และเหตุผลที่ฉันเขียนมันออกมาก่อนอื่นคุณอาจพบสิ่งนี้ในวรรณกรรมอื่น ๆ
และสิ่งที่สองคือมันทำให้บางสิ่งที่ซับซ้อนกว่าเล็กน้อยมีสูตรยาวกว่า แต่ก็ทำให้บางสิ่งชัดเจนขึ้น
ตัวอย่างเช่นคุณสามารถดูได้ที่นี่บทบาทของอัลฟ่า
คุณสามารถดูได้ดีขึ้นเพราะดูที่
ที่นี่
Q ลบหนึ่งและคุณไปที่นี่
Q T ลบด้วยเครื่องหมายลบ
ถ้าคุณเสียบอัลฟ่าเท่ากับ 1 ถ้าคุณใส่ 1 ลงไปตรงนี้นี่จะลบล้างนี่
ดังนั้นพวกเขาจะทำลายซึ่งกันและกันและสิ่งที่คุณเหลืออยู่คือส่วนนี้
และนั่นหมายความว่าเป็นสถานการณ์ที่เราพูดว่าถูกต้องเพื่อให้คุณได้รับค่าใหม่ที่ควรจะเป็น
มาอัปเดตค่า Q ของเราด้วยค่าใหม่และลืมทุกอย่างที่เรามีก่อนหน้านี้
และอย่างที่เราพูดถึงไม่ใช่วิธีที่ดีที่สุดเพราะมีเหตุการณ์แบบสุ่มที่นี่และเราต้องการที่จะอัปเดตทุกขั้นตอน
และในทางกลับกันถ้าคุณบอกว่า Alpher เท่ากับศูนย์สิ่งที่เกิดขึ้นก็คือคุณลืมส่วนนี้ทั้งหมดและคุณน่ารัก
t ชิ้นใหม่หรืออันปัจจุบันจะเท่ากับเสมอก่อน
จะไม่ได้เรียนรู้อะไรเลย
และนั่นหมายความว่าสิ่งที่เกิดขึ้นในเขาวงกตไม่สำคัญเพราะคุณตัดสินใจให้คุณค่ากับคุจิเมื่อนานมาแล้วและคุณจะต้องเก็บมันไว้
นั่นคือสาเหตุที่อัลฟ่าไม่ควรเป็น 0 หรือควรเป็นอันที่ควรอยู่ระหว่าง
และมันจะช่วยให้คุณเรียนรู้อย่างช้าๆทีละขั้นตอนคือการอนุญาตให้คุณเป็นตัวแทนของคุณหรือในขณะที่มันผ่านเขาวงกตที่จะได้รับความแตกต่างชั่วคราว
และอย่างช้าๆ แต่แน่นอนว่าค่านี้จะได้รับการอัปเดตและอัปเดตที่ถูกต้องและสิ่งที่จะเกิดขึ้นในที่สุดก็คือในบางครั้งหวังว่าอัลกอริทึมจะมาบรรจบกัน
และนั่นหมายความว่าความแตกต่างชั่วคราวนี้จะเริ่มใกล้เข้ามาใกล้ศูนย์มากขึ้นและในที่สุดก็จะใกล้เคียงกับศูนย์มากหรือ 0 0
0 0 และนั่นหมายความว่าทุกครั้งที่คุณเห็นคุณค่าใหม่
ค่าที่คำนวณได้
สิ่งที่ควรจะเป็น
ไม่ใช่อันนี้ แต่สิ่งที่มันควรจะเพียงพอที่จะทำตามขั้นตอนจะเท่ากับค่าไตรมาสที่ 2 ของคุณก่อนหน้านี้
จากนั้นค่าใดค่าหนึ่งที่เป็นศูนย์และนั่นหมายความว่าเมื่อความแตกต่างของอุณหภูมิเป็นศูนย์หมายความว่าอัลกอริทึมของคุณแปรสภาพและไม่จำเป็นต้องทำการอัปเดตสิ่งที่เกิดขึ้นต่อไป
การค้นหานี้เพื่อปรับปรุงค่าคิวบ์ของคุณต่อไป
คำเตือนที่นี่คือครั้งเดียวอาจเป็นเพียงครั้งเดียวเมื่อคุณยังต้องการที่จะดำเนินการทั้งหมดนี้คุณรู้ว่าการปรับปรุงค่าคิวหากสภาพแวดล้อมมีการเปลี่ยนแปลงตลอดเวลา
ถ้าไม่ใช่แค่มันไม่ได้อยู่ที่นั่นมันก็มีเหตุการณ์ที่เกิดขึ้นกับ Kostic อยู่ด้วย
แต่สภาพแวดล้อมเองกำลังปรับเปลี่ยนตามสภาพที่เปลี่ยนแปลงไปตามกาลเวลา
ดังนั้นคุณต้องเรียนรู้อย่างต่อเนื่องเพราะมันเป็นไปไม่ได้ที่คุณจะเรียนรู้ทุกอย่างและมาพร้อมกับนโยบายที่ดีที่สุดเพราะนโยบายที่ดีที่สุดก็เปลี่ยนไปตามสภาพแวดล้อมตลอดเวลา
ในกรณีนี้คุณจะต้องดำเนินการ CALKIN และความแตกต่างชั่วคราวและคำนวณค่า Q
แต่นอกเหนือจากนั้นมันก็เหมือนเป็นโรคแทรกซ้อนพิเศษ
นอกเหนือจากนั้นนี่คือค่า Q ที่ปรับปรุงดังนั้นนี่คือสูตรหลักของอัลกอริทึมการเรียนรู้
Q
และนี่เป็นเหมือนเวอร์ชันขยายของมันและตอนนี้มันควรมารวมกันและทำให้เข้าใจว่าทำไมเราจึงมีสมการ Belman
และไม่ เฉพาะสิ่งที่มันแสดงถึง gewgaws แต่ยังรวมถึงวิธีที่เอเจนต์ดำเนินการเกี่ยวกับการปรับปรุงค่าของมันและค้นหาสิ่งที่เกิดขึ้นในสภาพแวดล้อมนั้นเพื่อให้เกิดนโยบายที่เหมาะสมที่สุด
ฉันหวังว่าคุณจะสนุกกับการสอนนี้และหวังว่าคุณจะสามารถนำแนวคิดพื้นฐานและสัญชาตญาณเบื้องหลังค่านิยมของคุณและสิ่งที่ความคิดทั้งหมดของความแตกต่างทางโลกคืออะไรและทำไมมันสำคัญที่ทำไมเราช่วยเราฝึกฝนช้า ตัวแทนและช่วยให้พวกเขาเข้าใจสภาพแวดล้อมที่พวกเขากำลังทำงานอยู่
และหากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับความแตกต่างทางโลกแล้วกระดาษที่นิยมมากก็คือการเรียนรู้ที่จะทำนายโดยวิธีการของความแตกต่างทางโลกโดย
Richard Sutton จากสิบเก้าแปด
เรามีการอ้างอิงโดย Richard
Sutton เช่นกัน แต่นี่เป็นอีกเล่มหนึ่งและจริง ๆ แล้วมีหนังสือเล่มหนึ่งดังนั้นหากคุณเข้าใจสไตล์การเขียนและสไตล์การสื่อสารของเขาแล้วลองดูที่หนังสือของเขาเช่นกัน
มันเป็นเหมือนสิ่งที่ขยายมากขึ้นของทุกสิ่งเหล่านี้
ฉันไม่ได้อ่านหนังสือ แต่นั่นคือสิ่งที่ฉันจินตนาการในเวลาเดียวกัน
นี่จะเพิ่มลงในกระดาษและคุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับความแตกต่างชั่วคราวของมัน
และฉันหวังว่าคุณจะสนุกกับมันเช่นกัน
เราจะพบคุณในครั้งต่อไป
จนกว่าจะสนุกกับ AI