สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
วันนี้เราจะพูดถึงสมการเบลแมน
เป็นหัวข้อที่ค่อนข้างซับซ้อนและเราจะแนะนำอย่างเป็นขั้นเป็นตอนตลอดทั้งส่วนของหลักสูตรนี้ดังนั้นฉันจะไม่กระโดดลงไปในสมการเบลมอนต์ที่ซับซ้อนที่สุดในทันที จะแนะนำให้ช้าลงเพื่อที่จะค่อยๆเข้าใจว่ามันทำงานอย่างไร
และฉันหวังว่าเป้าหมายของคุณด้วยวิธีการนี้หากคุณเป็น G อาร์ ลองตรงเข้าไปดู
ดังนั้นเราจะมีแนวคิดหลักสองสามข้อที่เราจะดำเนินการด้วยและแนวคิดเหล่านี้คือ
S หมายถึงรัฐดังนั้นรัฐที่ตัวแทนของเราเป็นหรือรัฐอื่น ๆ
ที่เป็นไปได้ซึ่งสามารถเป็นตัวแทนของการกระทำที่ตัวแทนสามารถดำเนินการได้
ดังนั้นตัวแทนจึงสามารถเข้าถึงรายการการกระทำและการกระทำบางอย่างมีความสำคัญมากเมื่อพวกเขาดูในการรวมสถานะ
ดังนั้นเมื่อคุณอยู่ในสถานะแกว่งจากนั้นคุณดูการกระทำและเริ่มเข้าใจว่าอะไรจะเป็นผลมาจากการกระทำเหล่านั้นเพราะคุณจะดูการกระทำด้วยตัวเองหรือรัฐไม่เหมาะสมเพราะคุณ ไม่รู้ว่าคุณอยู่ที่ไหนและคุณจะอยู่ที่ไหนและจากนั้นเราจะมีของเราซึ่งหมายถึงรางวัลและนั่นคือผ่านวอร์ดที่ตัวแทนรับเข้าสู่สถานะที่แน่นอนและแกมม่าเป็นปัจจัยลดราคา
และเราจะพูดถึงส่วนลดในอีกไม่กี่วินาทีตอนนี้ แต่พวกเขากำลังจดบันทึก
ทำให้ทราบว่าเรากำลังจะมีจดหมายนี้ Gamelin ที่จะใช้ในภายหลัง
ดังนั้นคนที่อยู่เบื้องหลังสมการ Bellman คือ Richard Ernest bellman
เขาเป็นนักคณิตศาสตร์การบินและมากับแนวคิดของการเขียนโปรแกรมแบบไดนามิกซึ่งตอนนี้เราตอนนี้ที่เราเรียกว่าการเรียนรู้การเสริมแรง
นั่นคือสิ่งที่เราเรียกตอนนี้
และในปี 1953 เขาเกิดแนวคิดนี้ขึ้นและนั่นคือเมื่อสมการเบลมอนต์เบลแมนมาหาฉัน
ดังนั้นเรามาดูวิธีการทำงานทั้งหมดนี้
มีตัวแทนที่น่ารักของเราที่มุมล่างซ้ายและเขาอยู่ในเขาวงกตและนี่เป็นเขาวงกตแบบคลาสสิคที่คุณมีบล็อกบ้างบล็อกกว้างเป็นบล็อกซึ่งเอเจนต์สามารถก้าวเข้าไปในบล็อกสีเทาได้ ไม่สามารถเข้าถึงได้พูดเหมือนกำแพงในเขาวงกตนี้
สีเขียวคือจุดที่เอเจนต์ควรจะตั้งเป้าหมายว่าจะจบที่ใด
และสีแดงคือ firepits หรือเครื่องยนต์ตกลงไปในหลุมไฟ
เขาจะแพ้ในเกม
ดังนั้นในหลุมไฟรางวัลซึ่งเป็น R คือลบ 1
นั่นคือวิธีการบอกตัวแทนของเราว่าไม่ใช่สิ่งที่เราต้องการให้คุณทำ
เช่นจำไว้ในตัวอย่างเมื่อเราฝึกสุนัขเราต้องการบอกพวกเขาเหมือนสุนัขเลว ๆ ถ้ามันไม่ได้ทำสิ่งที่ถูกต้องที่ต้องการทำสิ่งเดียวกันที่นี่เราบอกตัวแทนว่านี่ไม่ใช่สิ่งที่คุณควร
การทำคุณไม่ควรจบลงที่จัตุรัสดังนั้นทุกครั้งที่กระรอกไม่ได้รับรางวัลลบหนึ่งรางวัลดังนั้นคุณจะถูกลงโทษด้วยการลบรางวัลหนึ่งรางวัล
ในทางตรงกันข้ามถ้ามันจบลงในกรีนสแควร์มันจะได้รับรางวัลบวกหนึ่งความหมายว่านั่นคือสิ่งที่เราต้องการจะทำ
ดังนั้นนี่คือรางวัลสองอย่างที่เอเจนต์ไม่สามารถทำได้
และมันเรียนรู้วิธีการทำงานในเขาวงกตนี้ได้อย่างไร
เหมือนในตัวอย่างของสุนัขหุ่นยนต์ที่เรียนรู้ที่จะเดินซึ่งจะบอกให้รู้ว่ามันจะบอกว่าการกระทำที่คุณทำได้
คุณสามารถขึ้นไปทางซ้ายหรือขวาซึ่งเป็นการกระทำสี่อย่างที่เป็นไปได้ที่คุณสามารถทำได้
มีการเล่นรอบกับที่ดูว่าคุณสามารถมาด้วย
ดังนั้นตัวแทนอาจไปทางขวาจากนั้นพวกเขาอาจไปอีกสองทางด้านขวาพวกเขาอาจกลับไปทางซ้ายเพียงแค่กดปุ่มสุ่มและพวกเขากำลังพยายามดูว่าเกิดอะไรขึ้น
พวกเขาขึ้นไปขึ้นไปลงไปขึ้นไปทางขวา
ดังนั้นสำหรับตอนนี้พวกเขาไม่ได้เรียนรู้อะไรเลยพวกเขาไม่มีอะไรเกิดขึ้น
พวกเขาไปทางขวาแล้วปังพวกเขาจบลงที่กรีนสแคว
ดังนั้นพวกเขาจึงรู้ว่าฉันเพิ่งได้รับบวกอีกหนึ่ง awar ทันทีที่ฉันก้าวเข้าไปในกรีนสแควร์พวกเขาได้รับรางวัลบวกหนึ่ง
และนั่นก็ทริกเกอร์อัลกอริทึมให้บอกว่าโอเคมันเจ๋งจริงๆ
ฉันได้รับรางวัลสำหรับการสิ้นสุดในตารางดังนั้นฉันต้องการที่จะจบลงในตาราง
ดังนั้นหมายความว่าสำหรับตัวแทน
นั่นหมายความว่ามันเริ่มถามคำถามว่าฉันไปถึงจัตุรัสนี้ได้อย่างไร
สถานะก่อนหน้านี้ที่ฉันอยู่คืออะไรและการกระทำใดที่ฉันทำเพื่อให้ได้สแควร์แล้วมองย้อนกลับไปและพูดว่าตกลงดังนั้นสถานะก่อนหน้านี้คือสถานะนี้
มันกลับกลายเป็นว่ามีคุณค่าในสถานะนั้น
หนึ่งที่จุดประกายของลูกศรสีแดง
เพราะจากสถานะนั้นคุณเป็นฉันฉันอยู่ห่างออกไปเพียงหนึ่งก้าวจากการได้รับรางวัลสูงสุดฉันอาจจะฝันถึงบวกหนึ่งอย่างเช่นบิสกิตสำหรับสุนัขทันทีที่ฉันรู้ว่าฉันเคยอยู่ในสถานะนั้น
สี่เหลี่ยมนั้นทำเครื่องหมายด้วยลูกศรสีแดง
สิ่งที่ฉันต้องทำคือกดขวา
ดังนั้นฉันจะบอกตัวเองให้จำได้อย่างไรว่ารัฐนั้นมีค่า
สำหรับฉันแล้วไม่มีความแตกต่างในฐานะตัวแทน
ไม่มีความแตกต่างไม่ว่าฉันจะอยู่ในกรีนสแควร์หรือในไวท์สแควร์ขวาในกรีนสแควร์ฉันได้รับรางวัลหนึ่ง
ดังนั้นฉันจะทำเครื่องหมายสำหรับตัวเองว่า Y Square ได้รับสำหรับฉันแล้วมันมีค่าเท่ากับ
1 เพราะมันจะนำไปสู่การให้รางวัลหนึ่งทันทีที่ฉันอยู่ในจัตุรัสสีขาวที่ฉันรู้ว่าฉันจะดำเนินการอีกครั้ง
ฉันจะอยู่ในกรีนสแควร์และฉันจะได้รับรางวัลหรืออย่างใดอย่างหนึ่งนั่นคือเหตุผลที่ฉันจะบอกว่ามูลค่าของสแควร์นี้มีค่าเท่ากับหนึ่งเพราะมันจะนำไปสู่ ฉันหมายถึงที่นี่ฉันรู้ว่ารางวัลของฉันจะเป็นหนึ่งดังนั้นฉันจะทำเครื่องหมายสแควร์นี้เป็นการเรียกไปยังหนึ่งที่เป็นค่าที่เป็นมูลค่าการรับรู้ของการอยู่ในสถานะ
ถัดไปตัวแทนจะเป็นไปได้
แล้วฉันจะเข้าไปในจตุรัสนี้ได้อย่างไร
และคุณรู้ว่าเขาอาจเดินไปรอบ ๆ อีกครั้งและอื่น ๆ
และเพิ่มขึ้นในจตุรัสอีกครั้งและเป็นเช่นนั้นฉันจะเข้าไปในจัตุรัสนี้ก่อนหน้านั้นได้อย่างไร
และวิธีที่ฉันเข้าไปในจตุรัสนี้มาจากจตุรัสนี้
น่าสนใจ
ตกลงทันทีที่ฉันเข้าไปในจัตุรัสนี้ฉันรู้ว่าสิ่งที่ฉันต้องทำคือไปทางขวา
แล้วจากที่นี่ฉันรู้แล้วว่าฉันจะชนะ
ฉันรู้ว่าทุกอย่างจะคลี่คลายจากที่นี่และฉันรู้ว่าคุณค่าของการอยู่ในสถานะนี้จะเท่ากับ
และเนื่องจากไม่มีอะไรหยุดยั้งฉันจากการเติบโตจากที่นี่มาถึงที่นี่คุณค่าในสิ่งนี้จะเป็นค่าที่รับรู้ฉันจึงเป็นสิ่งที่มีค่ามากเพราะฉันต้องการที่นี่
อยู่ที่นี่และฉันจะอยู่ที่นี่อย่างรวดเร็ว
ดังนั้นฉันจะชนะ
แล้วคุณจะเข้าไปในจัตุรัสนี้ได้อย่างไรก่อนหน้านั้น
ทีนี้ฉันได้สแควร์นี้จากสแควร์นี้
ดังนั้นค่าจึงคล้ายกันค่าของการอยู่ที่นี่ก็เท่ากับหนึ่งและอื่น ๆ ดังนั้นค่าของการอยู่ที่นี่เท่ากับหนึ่งค่าของการอยู่ที่นี่เท่ากับหนึ่งเพราะแต่ละคนนำไปสู่อีกอัน
เส้นชัย
นั่นคือทั้งหมดที่ชอบตรรกะที่สวยงามในขั้นตอนนี้
นี่คือเราออกแบบสมการเบลแมนตอนนี้
ดังนั้นนี่คือเราอาจคิดเกี่ยวกับการออกแบบสมการที่ช่วยให้ตัวแทนผ่านเขาวงกต
ดังนั้นดูที่รางวัลจากนั้นรัฐก่อนหน้าให้คุณค่าเท่ากับการให้รางวัลการดำเนินคดีและสิ่งเหล่านั้นเช่นสร้างเส้นทางที่ดีและดี แต่ปัญหาที่นี่ก็โอเคเกิดอะไรขึ้นถ้าตัวแทนของเราด้วยเหตุผลบางอย่างเริ่ม
สถานะนี้แทนที่จะเริ่มต้นที่นี่และดำเนินการเหล่านี้และมันเริ่มต้นจริงในรัฐ
มันจะรู้ได้อย่างไรว่ามันจำได้ว่าการกระทำใดที่ควรทำมันควรจะไปทางขวาหรือควรลงไปหรืออาจจะไปทางซ้ายหรือควรขึ้นไป
จำได้อย่างไรว่านี่คือความต่อเนื่องต่อไปจากที่นี่
หากค่าเดียวที่มีคือค่าเหล่านี้เท่ากับเมื่อชนิดนั้นไม่สามารถมองเห็นสิ่งที่อยู่ไกล
มันสามารถดูได้
เอาล่ะ
สิ่งที่ฉันมีที่นี่และสิ่งที่ฉันมีที่นี่
มันรู้ได้อย่างไรว่าจะไปทางไหน
ในขั้นตอนนี้มันไม่ได้สวยเหมือนกันสำหรับอายุและวิธีการที่จะไป
และนั่นคือสาเหตุที่วิธีการนี้ใช้ไม่ได้ผล
มันเป็นคำอธิบายที่ง่ายมาก
แน่นอนมันมีมากกว่านั้น
แต่ในวิธีที่เข้าใจง่ายนั่นคือสาเหตุที่เราไม่สามารถกำหนดค่าเพียงแค่ดำเนินการกับค่านี้ย้อนหลังได้
เนื่องจากหนึ่งในเหตุผลคือเมื่อ Agent อยู่ระหว่างค่าสองค่านี้ซึ่งมันจะไปที่ไหน
มันไม่ได้สับสนเช่นนั้น
แล้วเราจะแก้ปัญหานี้ได้อย่างไรว่าเราจะทำอะไร
และนี่คือที่ที่เราจะเริ่มแนะนำสมการ Belman ในรูปแบบที่แท้จริงอย่างช้าๆทีละขั้นตอน
สมการของเบลแมนมีลักษณะดังนี้
ดังนั้นเราจึงได้พูดคุยเกี่ยวกับคุณค่าของการอยู่ในสถานะหนึ่งเช่นเดียวกับสถานะปัจจุบันของคุณหรือสถานะที่กำหนดและมีเช่นกัน
และในฐานะนายกรัฐมนตรีคือรัฐรัฐต่อไปนี้รัฐที่คุณจะได้รับหลังจากรัฐและดำเนินการร่วมกัน
แต่เรารู้ว่ามีการดำเนินการหลายอย่างและตัวแทนสามารถรับได้และนั่นคือเหตุผลที่เรามีแม็กซ์นี่ตรงนี้
ดังนั้นโดยการดำเนินการสิ่งที่จะเกิดขึ้นกับตัวแทนดังนั้นสมมติว่าเราอยู่ในสถานะโดยการดำเนินการในสินทรัพย์ของรัฐและเราดำเนินการ
สิ่งที่จะเกิดขึ้นคือจะได้รับรางวัลทันทีโดยเข้าสู่สถานะใหม่
และจำไว้ว่ารางวัลอาจเป็นหนึ่งหรือบวกหนึ่งหรือลบหนึ่งถ้ามันจบเกมหรืออาจเป็นศูนย์ถ้ามันตลอดเกมในกรณีนี้รางวัลของเราตลอดทั้งเกมนั้นจะเป็นศูนย์
นั่นคือรางวัลที่บวกเราจะเข้าสู่สถานะใหม่ซึ่งมีค่าของนายก
นั่นคือคุณค่าของสถานะใหม่และแกมม่า
เราจะพูดถึงมันในไม่ช้า
แต่ประเด็นที่ฉันพยายามเพิ่มที่นี่หรือจุดที่ฉันเพิ่มที่นี่คือคุณมีการกระทำที่แตกต่างกันมากมายที่เราสามารถทำได้และนั่นคือสาเหตุที่เราได้รับประโยชน์สูงสุด
ดังนั้นเมื่อลงมือทำเราก็จะได้รับรางวัลบวกกับเราก็อยู่ในสถานะใหม่
ดังนั้นสำหรับทุกการเคลื่อนไหวในกรณีของเราก่อนการกระทำที่เป็นไปได้สำหรับการกระทำที่เป็นไปได้ 4
อย่างเราจะได้สมการเช่นนี้
ดังนั้นนี่จะมีค่าสำหรับพวกเขาจะมีค่าแตกต่างกันสำหรับทุก
ๆ การกระทำสี่อย่างและเราจะดูเฉพาะสูงสุดเพราะแน่นอนว่าตัวแทนต้องการสถานะที่ดีที่สุด
ดังนั้นถ้าเขาอยู่ในสถานะเขาจะดูค่าเหล่านี้เขาจะหาค่าสูงสุดตามการกระทำและไปดำเนินการนั้นที่ต้องการค่าสูงสุดเหล่านี้
หวังว่านั่นจะเป็นเหตุผลว่าทำไมเราถึงได้สูงสุดที่นี่
จากนั้นเมื่อเราได้รับรางวัลและค่าที่บอกว่าทำไมเราถึงมีพารามิเตอร์ Gabaa ที่นี่
มีวิธีแก้ไขปัญหาตรงที่ตัวแทนไม่ทราบว่าต้องไปทางไหนเพราะไม่สามารถทำได้
มันเป็นการเปรียบเทียบค่าของสองสถานะทั้งสองด้านและพวกมันเหมือนกัน
นั่นเป็นเหตุผลที่นักการพนันเรียกว่าปัจจัยลดราคาดังนั้นเราจะได้ดูและเข้าใจได้ดียิ่งขึ้น
งั้นลองสูตรที่ฉันจะวางไว้ที่นี่ด้านบนขวา
และตอนนี้เราจะวิเคราะห์ว่าคุณค่าของรัฐต่าง ๆ คืออะไร
และทุกรัฐที่นี่คือจตุรัส
เลขที่
หนึ่งในสี่เหลี่ยมสีขาวเหล่านี้อันใดอันหนึ่งคือสถานะที่ฉันหมายความว่าเราจะคำนวณค่าของการอยู่ในสถานะนั้น
งั้นเริ่มจากสแควร์กัน
คุณค่าของการอยู่ในสถานะนี้คืออะไร
ทีนี้เราต้องใช้ค่าสูงสุดของค่านี้ในทุกการกระทำ
และเรารู้ว่าค่านี้หมายถึงการขยายใหญ่สุดเมื่อเราเข้าใกล้เส้นชัยมากขึ้นและนั่นเป็นวิธีที่สร้างขึ้นและเพียงแค่มองดูคุณจะเห็นได้เพราะนี่คือรางวัลและนี่คือปัจจัยลดราคาคูณด้วยมูลค่าของสิ่งต่อไป สถานะ.
และมันก็สมเหตุสมผลแล้วนั่นคือวิธีที่เราจะสร้างสมการนั้นดังนั้นมันจึงสมเหตุสมผลที่นี่ค่าสูงสุดนี้จะเป็นถ้าเราเลื่อนไปทางขวา
นั่นคือวิธีที่เราคำนวณค่าที่ค่าของสถานะนี้คือเขาเรียกค่าสูงสุดหรือเท่ากับค่านี้
หากเราไปทางขวาหากเราทำการเคลื่อนไหวทางขวา
ค่านี้จะเป็นเท่าไหร่
ผลตอบแทนจากการเลื่อนไปทางขวาเท่ากับ 1
และไม่ว่าแกมมาสีใดที่เราไม่มีค่าในสถานะเพราะเราอยู่ในสถานะที่ดีที่สุดแล้ว
ดังนั้นนี่คือขั้นตอนสุดท้าย
มันจะไม่คุ้มค่าที่เราเพิ่งได้รับรางวัลที่นี่และนั่นคือจุดสิ้นสุดของเกม
ดังนั้นค่าจะเท่ากับค่าสูงสุดนี้เท่ากับ 1
และนั่นคือเหตุผลว่าทำไมมูลค่าของรัฐที่นี่เท่ากับ 1
ตอนนี้สิ่งต่าง ๆ น่าสนใจเมื่อเราย้ายไปทางซ้ายเมื่อเราย้อนกลับไปเล็กน้อย
ตอนนี้คำนวณค่าของการอยู่ในสถานะนี้และเราจะต้องใช้กาบา
สมมุติว่าปัจจัยลดของเราคือศูนย์จุดเก้าและมันสมเหตุสมผลว่าปัจจัยลดคืออะไรเมื่อเราคำนวณสิ่งนั้น
ดังนั้นจากที่นี่เพียงแค่ใช้สัญชาตญาณของเราและเพราะเรารู้ว่ามันทำงานอย่างไร
เรารู้ว่าการกระทำที่ดีที่สุดคือไปทางขวาเพราะจากที่นี่เราไปที่นี่
นั่นหมายความว่าคุณจะไปถึงจุดสูงสุดได้ในสถานะนี้
ลองดูว่าจะเกิดอะไรขึ้นถ้าเราเสียบเข้าไปที่นี่
ดังนั้นถ้าคุณไปจากที่นี่ไปที่นี่คุณจะไม่ได้รับรางวัลเลยเท่ากับศูนย์
แต่จากนั้นคุณจะได้คามิที่รับจุดศูนย์เก้าเท่าของค่าสถานะใหม่ซึ่งก็คือ
ดังนั้นในกรณีนี้ค่าผลลัพธ์ทั้งหมดของนี่คือ 1 คูณ a 0 9 คูณหนึ่งเท่ากับ 2 9
นั่นคือค่าทั้งหมดต่อ
ถ้าเราคำนวณนี่ตอนนี้คุณจะเห็นมันจากตรงนี้
เรารู้เพียงแค่มองเขาวงกตที่เรารู้เพราะเราเป็นมนุษย์เพราะเราเข้าใจว่าสมการนี้ทำงานแน่นอนตัวแทน AI
จะต้องทดลองกับสิ่งเหล่านี้
แต่เนื่องจากเรามีเหมือนลูกบอลคริสตัลเราจึงเห็นเขาวงกตทั้งหมดนี้
เราชอบมุมมองของนกในตอนนี้
เรารู้ว่าการกระทำที่ดีที่สุดไปเพื่อไปทางขวา
ดังนั้นถ้าเราเสียบมันทั้งหมดเข้าไปที่นี่มันจะไม่มีรางวัลเลยบวกกับรายงานเก้าครั้งของมูลค่าในสถานะ 0
9 คือศูนย์จุดแปดสิบเอ็ดและอื่น ๆ
ดังนั้นที่นี่จะเป็น 0 23 และเขาจะเป็น 0 66
ดังนั้นคุณจะเห็นได้ว่าวิธีการทำงานของปัจจัยลดคือลดมูลค่าของรัฐเมื่อคุณอยู่ไกล
ดังนั้นหากคุณคุ้นเคยกับทฤษฎีทางการเงินมันก็คล้ายกับมูลค่าเวลาของเงินอย่างที่คุณคิดเกี่ยวกับมันด้วยวิธีนี้สิ่งที่คุณต้องการมี $ 5 วันนี้หรือ $
5 ใน 10 วันจากนี้
ถ้ามีคนให้คุณเลือกฉันจะให้คุณห้าดอลลาร์ในวันนี้ทั้งหมดคุณ $ 5 10 วันจากทั้งหมด
แน่นอนคุณจะเลือก $ 5 วันนี้
ทำไมเป็นอย่างนั้น
เพราะคุณสามารถรับ $ 5 และคุณสามารถลงทุนในอัตราดอกเบี้ยที่คล้ายกับแกมม่า
และ $ 5 ของคุณใน 10 วันจะเติบโตเป็น 5 ดอลลาร์และ 73 เซนต์หรืออะไรทำนองนั้น
และนั่นคือวิธีเวลาของเงิน
และแนวคิดที่คล้ายกันมากที่นี่
และสิ่งสำคัญที่ต้องทำความเข้าใจที่นี่นี่เป็นเพียงทฤษฎีที่เป็นวิธีที่เสริมการเรียนรู้
ดังนั้นริชาร์ดเบลแมนจึงได้สมการนี้ขึ้นมา
และจากนั้นตอนนี้เป็นวิธีที่เราใช้
ดังนั้นคุณสามารถไปข้างหน้าและสร้างสมการอื่น
มันไม่จำเป็นต้องมี Gamla มันอาจมีปัจจัยอื่น ๆ ที่คุณอาจไม่รู้ว่ามีปัจจัย
แต่วิธีนี้ใช้งานได้และนั่นเป็นเหตุผลที่เราใช้งานอยู่และนี่คือสิ่งที่ดูเหมือนดังนั้นยิ่งคุณอยู่ไกลเท่าไรมูลค่าของการอยู่ในสถานะและในแง่ของเวลาและเงิน
ถ้าฉันสามารถบอกคุณได้ว่าคุณอยากอยู่ที่นี่มากแค่ไหน
คุณอยากอยู่ที่นี่ไหม
คุณบอกว่าฉันอยากจะอยู่ที่นี่
ดังนั้นเราจึงสร้างปรากฏการณ์นั้นขึ้นมาเช่นเดียวกับมูลค่าเวลาของเงินเรากำลังสร้างมันขึ้นมาผ่านแกมมาเพื่อที่จะสร้างแรงจูงใจให้กับตัวแทนหรือสร้างแรงบันดาลใจให้ตัวแทนใกล้เคียงกับเส้นชัย
ดังนั้นถ้าจะถามตัวแทนคุณควรมาที่นี่หรือที่นี่เพราะวิธีการทำงานของสมการนี้
ไม่มีอะไรมากไปกว่าการไม่ทำอะไรเลย
ไม่ใช่สิ่งที่โลกทำเช่นนี้
ไม่มันเป็นเพียงสิ่งที่เราสร้างขึ้นเพื่อให้ตัวแทนของเราเข้าใจว่านี่เป็นสิ่งที่ดีนี่คือสิ่งที่ดีนี่เป็นสิ่งที่เก่าดี
แต่อันนี้ดีกว่าอันนี้ ได้รับในนี้
และด้วยวิธีนี้คุณจะเห็นตัวแทนทั้งหมดสามารถดูทิศทางที่ต้องการได้
ดังนั้นจะเห็นได้ว่าถ้าฉันยืนอยู่ที่นี่โปรดจำไว้ว่าปัญหาที่เรามีหรือเขากำลังยืนอยู่ที่นี่ดังนั้นถ้าคุณยืนอยู่ที่นี่ฉันจะลงหรือถ้าฉันอยู่ที่นี่เพื่อขึ้นหรือฉันลงไป
ทีนี้ตอนนี้ก็ไม่มีปัญหาอีกต่อไปเพราะเขาเห็นว่ามันดีกว่าที่จะขึ้นไปเพราะค่าอยู่
แล้วจากตรงนี้เขาต้องไปทางขวาเพราะค่ายิ่งกว่าตรงนี้
และจากที่นี่ก็คือ Bertschi ไปทางขวาเพราะค่าที่นี่ใหญ่กว่าที่คุณรู้
และจากตรงนี้เขารู้แล้วว่าเขาต้องไปถูกเพราะเขาจะได้รับรางวัลที่นี่
นั่นคือวิธีการทำงานทั้งหมดนี้
ทีนี้ลองดูที่ส่วนที่เหลือของสแควร์กัน
แล้วเราจะคำนวณค่าในตารางนี้อย่างไร
นี่คือสิ่งที่หากิน
ดังนั้นจากตรงนี้คุณอาจไม่ไปทางขวาคุณอาจไปทางขวาเพื่อที่เราจะได้ทำแบบนั้นต่อไป
สิ่งที่เราจะทำคือเราจะคำนวณค่าในสแควร์ก่อน
และเพราะจากที่นี่วิธีที่ดีที่สุดที่จะขึ้นคือ
อีกครั้งนั่นเป็นเพราะเราเห็นทีมงานที่เรามีลูกบอลคริสตัลที่เราสามารถเห็นสิ่งต่าง
ๆ และคุณจะเห็นต่อไปในส่วนที่คุณจะเห็นว่าตัวแทนสำรวจจริงนี้เข้าใจสิ่งที่พวกเขาชอบผ่านการทดลอง
แต่สำหรับพวกเราเรารู้ว่ามันจะดีกว่าถ้าจะไปทางนี้เราจะคำนวณค่าตรงนี้และนั่นคือสาเหตุที่เราจะคำนวณค่าในตารางนี้ก่อน
ดังนั้นที่นี่เรามีสามการกระทำที่เป็นไปได้
ในความเป็นจริงเรามีสี่ตัวที่เหลืออยู่
ตัวแทนสามารถกดซ้ายและชนเข้ากับผนังได้โดยบังเอิญ
แต่สำหรับชุดความเรียบง่ายซึ่งจะแสดงการกระทำที่เรารู้ว่าเรารู้และมีลูกบอลคริสตัลเรารู้ว่าการกระทำใดที่นำไปสู่สิ่งที่นอกเหนือไปจากรัฐเดียวกัน
จากตรงนี้เรารู้อีกครั้งเพราะเรามีลูกบอลคริสตัลเรารู้ว่าวิธีที่ดีที่สุดคือวิธีที่ตัวแทนแน่นอนต้องทำการทดสอบและหาวิธีที่ดีที่สุดและคุณจะเห็นว่ามันเกิดขึ้นได้อย่างไร
ยิ่งลงไปในส่วนที่คุณจะเห็นจริง ๆ ว่าตัวแทนเดินไปรอบ ๆ
และวิธีที่คุณจะทดลองพยายามหาค่าเหล่านี้
แต่สำหรับเราเรารู้ว่ามันเป็นอย่างนั้น
ดังนั้นที่นี่ถ้าเราเสียบทุกอย่างเข้าด้วยกันดังนั้นค่าสูงสุดที่ดีที่สุดคือเมื่อคุณขึ้นไป
และนี่คือรายงาน 9: 0 คุณก็ใส่มันเข้าไป
คุณจะได้ศูนย์จุดเก้า
ตกลงดังนั้นมันกะ Kalika ที่หนึ่งที่คำนวณอันนี้
แนวทางเดียวกัน
นี่คือคุณมีสามวิธีที่คุณสามารถไปได้
จริง ๆ แล้วสี่สำหรับตัวแทน แต่สำหรับเราเราสามารถดูได้เพียงสาม
ดังนั้นจุดศูนย์แปดสิบเอ็ดจากที่นี่คุณมีจุดศูนย์เจ็ดสิบสาม
และมันผูกกับค่านี้เพราะคุณถ้าคุณลดอีกคุณใส่ 66 และตรงนี้คุณมี 0
23 เพราะนี่คือเส้นทางที่ดีที่สุด
ดังนั้นคุณไป
นั่นคือค่าทั้งหมดของรัฐเหล่านี้
และตอนนี้คุณสามารถเห็นได้ว่าเพราะเราได้สร้างสมการนี้หรือเราได้สร้างแนวความคิดทั้งหมดของการเข้าใกล้คุณถึงเส้นชัยที่มีคุณค่ามากกว่าที่รัฐไม่ได้เพราะเรากลัวว่า ตัวแทนที่ควรไป
และเราจะพูดถึงสิ่งนี้เพิ่มเติมในอนาคต
ฉันหวังว่าคุณจะสนุกกับเซสชั่นของวันนี้และฉันรู้ว่ามันอาจจะฟังดูธรรมดามากในขั้นตอนนี้ แต่เมื่อเราอ่านบทนี้
ในเวลาเดียวกันถ้าคุณไม่สามารถรอถ้าคุณต้องการที่จะกระโดดลงไปในนั้นมีกระดาษที่คุณสามารถดูและมันเป็นกระดาษต้นฉบับโดย Richard
Belman
มันเรียกว่าทฤษฎีของการเขียนโปรแกรมแบบไดนามิกจาก 1954
และคุณสามารถค้นหาได้ที่ลิงค์นี้
และคุณก็ไปที่นั่นเพื่อที่คุณจะได้กระโดดลงไปและอ่านจากผู้เขียนสมการเบลแมน
แต่โปรดจำไว้ว่านี่เป็นบทความที่ค่อนข้างหนักทางคณิตศาสตร์
และในบันทึกนั้นฉันจะตามหาคุณต่อไป
และจนกว่าจะสนุกกับ AI