สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
วันนี้เรากำลังพูดถึง Kule learning
เอาล่ะเราได้สมการนี้มาแล้วสมการของเบลเมนที่เราได้เพิ่มส่วนประกอบเข้าไปมากมาย
เราได้รับรางวัลที่นี่ซึ่งไม่ได้เป็นเพียงแค่จุดจบ แต่มันอาจเป็นไปได้ในทุกขั้นตอน
เราได้ส่วนลดมาแล้ว
เรามีความน่าจะเป็นเพราะตอนนี้เรากำลังมองหากระบวนการตัดสินใจ
และที่นี่เรามีความเป็นไปได้ที่จะสิ้นสุดในรัฐต่าง ๆ ไม่ว่าเราจะทำอะไรหรือได้รับการกระทำที่เราทำ
อาจมีหลายสถานะที่เราสามารถลงเอยได้แล้วเราก็จะได้คุณค่าของสถานะถัดไปเพราะเขาเป็นเหมือนฟังก์ชันแบบเรียกซ้ำและอื่น
ๆ แต่คุณอาจมีคำถามหนึ่งข้อ
คำถามคือที่ใดทั้งหมดนี้ไม่มีจดหมายถามทำไมจึงเรียกว่า q
การเรียนรู้
ดังนั้นจุดที่อยู่ที่ไหน
และนั่นคือคำถามที่เราจะตอบในวันนี้
จนถึงตอนนี้เราได้จัดการกับคุณค่าของการอยู่ในสถานะที่แน่นอนและตอนนี้เรากำลังจะดูว่า Q เหมาะสมกับสิ่งนั้นทั้งหมดอย่างไร
ดังนั้นที่นี่เรามีสองตัวอย่างทางซ้ายคือสิ่งที่เราจะทำจนถึงตอนนี้ตัวแทนของเรากำลังวิเคราะห์
ตกลงฉันอยู่ตรงนี้
นี่เป็นสัญลักษณ์ของกระบวนการตัดสินใจดังนั้นไม่สำคัญว่าฉันจะมาที่นี่ได้อย่างไร
สภาพแวดล้อมที่เหลือไม่ได้สนใจขั้นตอนใดที่ทำให้ฉันต้องมาที่นี่ตั้งแต่นี้เป็นต้นไป
ฉันต้องตัดสินใจอย่างดีที่สุดว่าจะไปที่นี่หรือที่นี่
ขึ้นอยู่กับสถานะปัจจุบันและรัฐในอนาคตทั้งหมดที่มาจากที่นี่ แต่ไม่ได้มาจากอดีต
และเพื่อให้เขาเห็นว่ามีสามตัวเลือกมีสถานะหนึ่งรัฐเป็นสามรัฐ
และจากประสบการณ์ของเขาเขาได้คำนวณค่าในรัฐเหล่านี้และตอนนี้เขาจะใช้สมการ Bellmen
ดังนั้นแม้ว่านี่จะเป็น Proceso แบบคลาสสิกที่เขารู้ว่าเขาจะไปที่นี่ แต่ก็มีโอกาสที่เขาจะออกไปทางขวาและอื่น
ๆ
จากค่านิยมเหล่านี้ที่จะทำการตัดสินใจนั่นคือสิ่งที่เราทำจนถึงตอนนี้และนี่คือแนวทางที่ถูกต้องตามกฎหมายทั้งหมด
แต่ตอนนี้เราได้รับการแก้ไขเล็กน้อย
เราจะนำแนวคิดที่แน่นอนเหมือนกันปัญหาที่แน่นอนเหมือนกัน แต่ที่นี่แทนที่จะดูค่าของแต่ละรัฐว่าเขาสามารถลงเอยด้วยการที่เราจะดูค่าหรือมูลค่าของแต่ละการกระทำ
ดังนั้นเราจะไม่ใช้ตัวอักษร V
อีกต่อไปเพราะคุณค่าของรัฐเราจะใช้คิวและคุณอาจมีคำถามว่าทำไมตัวอักษร Q ดี
Q บางคนคิดว่า
ถามฉันจะอ่านสิ่งนี้ไหม
ฉันคิดถึง Quora
บางคนกล่าวว่า Q เป็นเพราะคุณภาพ
แต่ในขณะเดียวกันฉันไม่สามารถหาการอ้างอิงอื่น
ๆ ได้ดังนั้นจึงอาจไม่ใช่เพราะนั่นอาจเป็นเพราะนั่นคือจดหมายที่ใช้ในเวลานั้น ทั้งหมดเรียกว่าการเรียนรู้ที่สำคัญเพราะสิ่งนั้น
ดังนั้นจึงไม่มีเหตุผลที่แน่นอนถูกระงับ
Q แต่อย่างน้อยก็ช่วยให้เราแยกแยะความแตกต่างระหว่าง V และ Q ดังนั้น Q ที่นี่
มีของขวัญมากกว่าคุณค่าของรัฐที่แสดงถึงการปล่อยให้มีคุณภาพ
มันหมายถึงคุณภาพของการกระทำที่แสดงถึง
ตกลงฉันมีสี่การกระทำ
อะไรคือคุณสมบัติที่แตกต่างของการกระทำเหล่านี้
มูลค่าของการกระทำหรือคุณภาพของการกระทำใดที่การกระทำนั้นมีกำไรมากขึ้นดังนั้นฉันต้องการตัวชี้วัดที่บอกฉันอย่างถูกต้องว่าฉันจะหาจำนวนการกระทำนี้แล้วจากนั้นฉันสามารถเปรียบเทียบพวกเขาและนั่นคือสิ่งที่
Q คือ
ดังนั้นเขาจึงมีการกระทำสี่อย่างที่เป็นไปได้
ขึ้นไปทางซ้ายหรือขวาเสมอ
และจากการกระทำนั้นจะมีสูตรที่บอกให้เราทราบค่าเชิงปริมาณของการกระทำนั้นซึ่งเราเรียกค่าคิวคิวของการกระทำนั้น
ลองมาดูกันว่าเราจะได้สูตรนี้มาอย่างไร
Q มันเกี่ยวข้องกับสิ่งเหล่านี้อย่างไร
เพราะอย่างที่คุณสามารถจินตนาการได้เพราะการกระทำที่นำไปสู่รัฐต้องมีการเชื่อมโยงบางอย่างระหว่างทั้งสอง
ถูกต้องแล้วเราได้กำหนดวิธีคำนวณนี้ไว้แล้วและเราทำได้ดีทีเดียว
เรารู้วิธีใช้สมการของเบลแมนในสภาพแวดล้อมที่แตกต่างกันมากและมีภาวะแทรกซ้อนต่าง ๆ มากมาย
ลองมายกระดับความรู้นั้นเพื่อทำความเข้าใจว่าตอนนี้เราสามารถคำนวณได้อย่างไร
Q เพื่อให้การคาดการณ์เหมือนกันเพราะคุณสามารถจินตนาการถึงสภาพแวดล้อมที่ไม่เปลี่ยนแปลงขึ้นอยู่กับว่าเราใช้สภาพแวดล้อมแบบใดจะเป็นแบบเดียวกันโดยไม่คำนึงถึง
ดังนั้นวิธีการนี้และวิธีการนี้ควรให้ผลลัพธ์เดียวกันเสมอและนั่นคืออีกเหตุผลว่าทำไมทั้งสองควรเชื่อมโยง
ดังนั้นเรามาดู
นี่คือวิธีการมองของเราที่เราเพิ่งจะดูค่าของสถานะใด ๆ ที่ระบุรัฐนี้หรือรัฐอื่น
และที่นี่เราไปสู่เราเพียงแค่ใช้ลูกค้าเป้าหมายที่นี่เพราะนั่นคือสถานะปัจจุบัน
ดังนั้นคำศัพท์จะเหมือนกันทั้งสองสมการและที่นี่เราใช้ q เป็น q
เป็นของรัฐและการกระทำ
A เพราะการกระทำนั้นขึ้นอยู่กับการที่เราทำการกระทำนั้น ๆ
ตกลงดังนั้นตอนนี้เรากำลังจะออกสมการ
Belman สำหรับวิธีแรกในขณะที่คุณเห็นที่นี่เรามีของหรือมูลค่าของรัฐใด ๆ ที่เป็นสูงสุดของรางวัลที่คุณได้รับเดิมพันสูงสุดตาม ในการกระทำที่คุณมีสาม
ในกรณีนี้คุณมีสี่การกระทำเพื่อให้ได้ประโยชน์สูงสุดจากการกระทำที่เป็นไปได้ทั้งหมดของส่วนนี้ซึ่งเราได้ยินมาแล้วหลายต่อหลายครั้งดังนั้นนี่คือรางวัลของเราที่เราได้รับจากการกระทำนั้น คุณค่าของสถานะใหม่ที่เรากำลังจะอยู่ในค่าที่คาดหวังเพราะมันเป็นกระบวนการสุ่ม
เราไม่รู้แน่ชัดว่าเราจะลงเอยที่นี่เราอาจลงเอยทางซ้ายหรือขวาของความน่าจะเป็น
นั่นเป็นเหตุผลที่ความน่าจะเป็นเหล่านี้อยู่ในตัวคุณ
เอาล่ะนั่นคือคุณค่าของเรา
ทีนี้มาดูกัน
ถามดังนั้นคิวจะถูกนิยาม
เราจะใช้สิ่งนี้เพื่อนิยาม Q สมมุติว่าตัวแทนจากตำแหน่งนี้จากสถานะนี้ทำการกระทำ
ค่า q จะถูกเรียกว่าเป็นอะไร
ก่อนอื่นเรามาดูกันว่าเขาจะได้รับตอบแทนอะไรจากการกระทำนี้
สิ่งแรกที่คุณจะได้รับคือรางวัลที่ถูกต้อง
ไม่มีข้อสงสัยเกี่ยวกับมัน
จะมีกฎบางอย่างหรืออาจเป็นศูนย์ แต่เรารู้ว่าทั้งหมดเป็นวิธีการที่กระบวนการเรียนรู้การเสริมกำลังนี้คือเมืองบางแห่งกำลังดำเนินการบางอย่างจากรัฐหนึ่งหรือสองแห่ง
ดังนั้นฉันจะเพิ่มที่นี่
แล้วเราจะบวกสิ่งที่เราจะเพิ่ม
ลองคิดดู
อะไรคือสิ่งต่อไปที่จะเกิดขึ้นหลังจากเขาไปที่นั่น
สิ่งต่อไปที่เกิดขึ้นก็คือตอนนี้ตัวแทนอยู่ในสถานะที่แน่นอนเขาสามารถจบลงที่นี่ด้วยความน่าจะเป็น 80 เปอร์เซ็นต์หรือความน่าจะเป็นบางอย่าง
แต่ที่นี่จริง ๆ ตรงนี้
แต่ไม่ว่าเขาจะจบที่ใดตอนนี้เรามีตัวชี้วัดเชิงปริมาณสำหรับสถานะที่เขาเข้ามาแล้ว
และนั่นคือคุณค่าของรัฐนั้น
แต่เนื่องจากเขาเข้ามาในหลายรัฐและสามรัฐที่แตกต่างกันที่เป็นไปได้เราต้องดูค่าที่คาดหวังของรัฐที่เขาจะเข้ามา
แล้วเราจะบวกมันเข้าไปในสิ่งที่เรากำลังจะเพิ่ม
แน่นอนว่าปัจจัยลดเช่นเดียวกับที่เราเคยมีเพราะนั่นคือบางแห่งในอนาคต
จากนั้นเราจะเพิ่มจำนวนของสถานะที่เป็นไปได้ทั้งหมดในทุกสถานะที่เป็นไปได้ที่เขาสามารถลงเอยด้วยการกระทำนี้
เงื่อนไขความน่าจะเป็น
ดังนั้นสิ่งที่เรากำลังพูดที่นี่คือตกลงดังนั้นโดยการดำเนินการที่คุณจะได้รับรางวัล Plus ซึ่งเป็นตัวชี้วัดเชิงปริมาณบวกคุณจะได้รับ
คุณอยู่ในสถานะที่เราไม่รู้ว่ามันจะอยู่ที่นี่
อาจจะอยู่ที่นี่มันอาจจะอยู่ที่นี่
แต่นี่คือค่าคาดหวังของรัฐที่คุณกำลังจะไป
และตอนนี้เรากำลังจะคูณด้วยปัจจัยลดเพราะนั่นคือหนึ่งย้าย
นั่นคือค่า Q ของเราสำหรับส่วนประสิทธิภาพและสิ่งที่คุณจะสังเกตเห็นได้ทันทีคือ
Q ค่า Q นั้นเหมือนกับสิ่งที่อยู่ในวงเล็บนี่ตรงนี้
และทำไมเป็นอย่างนั้น
ทีนี้ถ้าคุณคิดเกี่ยวกับมันที่นี่เราจะได้ผลลัพธ์สูงสุดจะได้รับประโยชน์สูงสุดจากการกระทำที่เป็นไปได้ทั้งหมดดังนั้นเราจึงได้ทำการกระทำให้มากที่สุดในการกระทำที่เป็นไปได้ทั้งหมดของผลลัพธ์ที่เราจะทำได้ และเข้าคิวเรากำลังกำหนด
น่าสนใจ
เราจะได้อะไรจากการกระทำบางอย่าง
ดังนั้นถ้าคุณคิดเกี่ยวกับมันมันทำให้รู้สึกว่าคุณค่าของรัฐ
ตัวอย่างเช่นสถานะนี้คือค่าสูงสุดของค่า Q ที่เป็นไปได้ทั้งหมด
ที่นี่ในรัฐโดยอยู่ในสถานะตัวแทนมีค่าคีย์หนึ่งค่าเพื่อเก็บค่า 3Q สำหรับค่า q
ดังนั้นใช่เป็นค่าบวกสำหรับค่า Q
ที่เป็นไปได้ในขณะที่ค่าของการเข้าพักมันทำให้รู้สึกว่าค่าของรัฐคือสูงสุดของค่าคีย์ทั้งสี่
นั่นคือสิ่งที่เราเห็นตรงนี้
เป็นการยืนยันที่ดีสำหรับสูตรใหม่นี้ที่เราได้รับ
หากไม่เป็นเช่นนั้นถ้าหากไม่ตรงกันเราก็จะมีคำถามเช่นกัน
เหตุใดจึงไม่ตรงกัน
ทำไมมันไม่ตรงกันถ้า
ค่า Q เป็นตัวชี้วัดเชิงปริมาณของการดำเนินการและ V ขึ้นอยู่กับพื้น
คือชอบคือผลลัพธ์สูงสุดที่เป็นไปได้ของการกระทำสี่อย่างที่เขาสามารถทำได้มากกว่าที่เหมาะสม
และนั่นเป็นการยืนยันสูตรที่เราเพิ่งได้มาและตอนนี้เรากำลังจะทำให้มันน่าสนใจยิ่งขึ้น
เราจะกำจัด Wii ทั้งหมดเพราะคุณจะเห็นว่าคุณมี Wii เป็นฟังก์ชั่นวนซ้ำ
แล้วคุณก็มีฉันแล้วก็ B แล้วก็ B แล้วก็ B เป็นต้น
ดังนั้นคุณสามารถแสดงมุมมองนี้ผ่าน Vee ที่เหมาะสมที่สุดที่จะเกิดขึ้นที่นี่
เราคาดหวังว่า Q ในฐานะฟังก์ชั่นฟังก์ชั่นแบบเรียกซ้ำของ OR ในฐานะฟังก์ชันของ V ตัวถัดไปจากนั้นคุณจะต้องเสียบ V
นี้แล้วเรากลับไปที่ B
ดังนั้นสิ่งที่เราจะทำคือเราจะใช้ V นี้จริง ๆ แล้วเราจะแทนที่ด้วย Q
Right ดังนั้นเรามาดูกันดีกว่า
เราจะใช้ V ของสถานะถัดไปและเราจะเสียบมันเข้ากับสูตรนั่นตรงนี้
และอย่างที่คุณเห็นตอนนี้ส่วนนี้ไม่เปลี่ยนความน่าจะเป็นนี้จะไม่เปลี่ยน
แต่ตามที่เราเพิ่งพูดถึงของ s คือค่าสูงสุดโดยการกระทำทั้งหมดของ q of S และนี่ตรงนี้
นั่นคือสิ่งที่เราจะแทนที่ที่นี่
ดังนั้นเราจะบอกได้ว่าแน่นอนที่สุดคือแอ็คชั่นใหม่ที่เราจะทำเพราะที่นี่เรามี Wii เป็นตัวละครหลัก
ดังนั้นที่นี่ตอนนี้เรามีคอนโซลสูงสุดที่สำคัญ
ดังนั้นการกระทำที่เราจะรับจากรัฐนี้มาจากที่ใดก็ตามที่รัฐอื่น
ๆ ที่เราลงเอย
แต่การกระทำที่เราจะดำเนินการจากที่นั่นและ Maxima สำหรับทุกสิ่งและสูงสุดคือค่าลูกบาศก์ทั้งหมดที่จะ ที่มีให้สำหรับเราในสถานะใหม่นั้นในฐานะนายกจุลภาคเป็นนายก
และนั่นคือการกระทำ
นั่นคือ
จะมีอีกสี่ตัว
ค่า Q นั้น
ตอนนี้อย่างที่คุณเห็นอีกครั้ง
ดังนั้นจากสิ่งที่เราได้มาคำนี้จะเกิดจากตรรกะและสัญชาตญาณเพื่อให้เราเห็นว่า VNS เป็นมุมมองของ AS
และของและ a เชื่อมโยงกัน
The S เป็นจำนวนสูงสุดของการกระทำทั้งหมดของ Cuba S
และคุณสามารถดูได้ที่นี่เพื่อให้ส่วนนี้เหมือนกับส่วนนี้
แล้วเราจะใช้ประโยชน์จากนั้นและเราจะแทนที่บิตนี้ด้วย VNS จากที่นี่
แต่ไม่ใช่ช่องทางที่แน่นอนนี้เราจะใช้ส่วนภายในนี้และแทนที่มันด้วยการฆ่าผู้บริสุทธิ์
ดังนั้นเราจะเสียบมันเข้าไปที่นี่และส่วนนี้จะเป็นคิวไพรม์คิวบ์สูงสุดสูงสุดของคิวบ์โดย Crucell ไพรม์ของคิวรัมในฐานะนายกรัฐมนตรี
และตอนนี้เรามีสูตรของเรา
ดังนั้นตอนนี้เรามีสูตรแบบเรียกซ้ำสำหรับค่า q ดังนั้นตัวแทนสามารถคิดว่าค่าของส่วนคืออะไรคุณภาพของส่วนนี้คือค่าใหม่ของการกระทำนี้
มันขึ้นอยู่กับรางวัลที่ฉันได้รับในขั้นตอนทันทีหลังจากนั้นบวกมันขึ้นอยู่กับปัจจัยที่มีส่วนลดคูณด้วยจำนวนสูงสุดของการกระทำ Q
ที่เป็นไปได้ทั้งหมดในรัฐนั้น
แต่ฉันไม่รู้ว่าฉันจะได้รับด้านของพวกเขาต้องดูสถานะนั้นในสถานะนั้นหรือไม่และนั่นเป็นสาเหตุที่เรามีค่าคาดหวังตรงนี้
ดังนั้นสูตรที่คล้ายกันอย่างที่คุณเห็น แต่คราวนี้เราแสดงสิ่งต่าง
ๆ ผ่านค่า q และนั่นคือสาเหตุที่อัลกอริธึมทั้งหมดนี้เรียกว่าการเรียนรู้การฆ่าเพราะนี่คือสิ่งที่มองนี่คือสิ่งที่ตัวแทนใช้จริง
ที่สถานะมองไปที่การกระทำที่เป็นไปได้ของพวกเขาและจากนั้นขึ้นอยู่กับการดำเนินการกับค่า q
ของการกระทำที่พวกเขาจะตัดสินใจว่าจะดำเนินการใด
ดังนั้นพวกเขาจะดูค่า Q สูงสุดในสถานะที่กำหนดนี้ซึ่งมีสี่การกระทำ
การดำเนินการที่ดีที่สุดคืออะไรเพื่อให้สามารถเปรียบเทียบการเรียงลำดับของการเปรียบเทียบสถานะต่างๆที่สามารถจบลงด้วยการจะเปรียบเทียบการกระทำที่เป็นไปได้ที่ขณะนี้มีอยู่แล้วโดยการค้นหาสิ่งที่ดีที่สุดที่จะดำเนินการนั้น กำลังจะทำซ้ำกระบวนการนั้นทำซ้ำกระบวนการนั้นและอื่น ๆ
ดังนั้นตอนนี้คุณสามารถดูได้ว่าทั้งหมดนี้มารวมกันอย่างไรว่าจะให้รางวัลข้อเท็จจริงลดราคาหรือกระบวนการตัดสินใจตลาดแบบสุ่มและค่านิยมและค่า q
ทั้งหมดมารวมกันเพื่อร่วมพิสูจน์สมการ
Belman อันทรงพลังหนึ่งเดียว และให้ตัวแทนของเราเรียนรู้วิธีเอาชนะสภาพแวดล้อม
และนั่นคือคำอธิบายที่เข้าใจง่ายเกี่ยวกับสิ่งที่เกิดขึ้น
ฉันรู้ว่าเราผ่านสูตรไปแล้ว
แต่มีความจำเป็นเพราะนี่เป็นสูตรของเราที่เราได้ผ่านบทนี้มาทั้งหมดและฉันคิดว่ามันเป็นการเปลี่ยนแปลงที่ดีจาก To
Q และมันแสดงให้เห็นว่ามีการเชื่อมโยงระหว่าง Yishun อย่างไรและถ้าคุณต้องการได้วิธีการทางคณิตศาสตร์ที่เข้มงวดกว่านี้และคุณเห็นคณิตศาสตร์อยู่ข้างหลังและเรียนรู้เพิ่มเติมเกี่ยวกับค่า
q และวิธีการทำงานของมัน
จากนั้นเราก็มีการอ่านเพิ่มเติมสำหรับคุณ
บทความนี้เรียกว่าแนวคิดและขั้นตอนวิธีการตัดสินใจของมาร์คอฟโดยmartín von Autor low 2009
ดังนั้นคุณตัดการเชื่อมโยงที่นี่เช่นเคยและที่นี่คุณสามารถอ่านรายละเอียดเพิ่มเติมเล็กน้อยเพื่อทำความเข้าใจ nitty
gritty
ทั้งหมดที่อยู่เบื้องหลังค่าฮิวจ์และอื่น ๆ
และตอนนี้เราได้พูดถึงสิ่งเหล่านี้ทั้งหมดที่เกี่ยวข้องกับสมการ ดูสิ่งที่ซับซ้อนกว่านี้เช่นบทความนี้ถ้าเราต้องการข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนี้เพื่อทำความเข้าใจให้ลึกซึ้งยิ่งขึ้น
แต่แม้ว่าคุณจะไม่ได้อ่านหนังสือพิมพ์หรือวิทยุคุณควรมีความรู้ในการทำงานที่ดีเกี่ยวกับสิ่งที่การเรียนรู้เป็นเรื่องเกี่ยวกับวิธีการที่ตัวแทนมาพร้อมกับการกระทำที่พวกเขาต้องใช้ในสภาพแวดล้อมที่แน่นอน
ดังนั้นฉันหวังว่าคุณจะสนุกกับ Statoil วันนี้และฉันหวังว่าจะได้พวกเขาต่อไป
จนกว่าจะสนุกแล้ว
ผม.