สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
วันนี้เรากำลังพูดถึงโทษประหารชีวิต
เอาล่ะที่นี่เรามีสมการเบลแมนทั้งหมดและเมื่อเราได้ผ่านหลักสูตรนี้เราจะค่อยๆสร้างความซับซ้อนมากขึ้นเรื่อย
ๆ จนถึงตอนนี้เราได้เพิ่มความน่าจะเป็นเหล่านี้ที่นี่
และเราได้เพิ่มปัจจัยลดราคาลง
ตอนนี้เราจะดูรายละเอียดเพิ่มเติมที่ด้านนี้ของคำถามที่เรามีรางวัลตอนนี้
จำไว้ก่อนหน้านี้เมื่อเราพูดคุยเกี่ยวกับวิธีการเรียนรู้การเสริมแรงที่เราพูดว่าเรามีตัวแทนและดำเนินการในสภาพแวดล้อมและในการแลกเปลี่ยนหรือเป็นผลมาจากการที่มันได้รับสถานะใหม่และตอนนี้และเป็นรางวัลสำหรับการกระทำนั้น
ในตัวอย่างของเราจนถึงตอนนี้เราเพิ่งได้รับรางวัลเมื่อสิ้นสุดอย่างใดอย่างหนึ่งเช่นถ้าเราไปถึงเส้นชัยหรือถ้าเราสำหรับตัวแทนจบลงในหลุมไฟเขาได้รับรางวัลบวกหนึ่งหรือหนึ่งลบ
แต่นั่นเป็นวิธีการที่ง่ายมากในการเสริมการเรียนรู้และในสถานการณ์ที่เหมือนจริงมากขึ้นคุณจะได้รับรางวัลตลอดการเดินทางไม่ใช่แค่ในตอนท้ายคุณอาจมีรางวัลตลอดการเดินทาง
ตัวอย่างเช่นถ้าเป็น AI
ที่เล่นเกมและถ้าเป็นเช่นการยิงใครสักคนในการลงโทษมันอาจได้รับคะแนนจากการฆ่าศัตรูนั้นหรืออาจเป็นเกมอื่น
ถ้ามันแซงรถคันอื่นหรืออะไรทำนองนั้นเพียงเพราะกฎของเกมไม่ใช่เพราะมันเป็นวิธีการวิเคราะห์เกม
แต่จริงๆแล้วเกมนั้นมีโครงสร้างในแบบที่มันตอกย้ำให้คะแนนสำหรับการกระทำบางอย่างก่อนที่เกมจะ เกิน.
ดังนั้น Sinatras
เช่นนั้นเป็นเรื่องธรรมดามากและไม่ใช่แค่ในเกมและในชีวิตจริงและนั่นเป็นสาเหตุที่เราจะแนะนำสิ่งที่คล้ายกับตัวอย่างของเราในเวอร์ชั่นที่เรียบง่าย
แต่ก็เป็นรางวัลที่มอบให้ตัวแทนตลอดเกม ไม่เพียงแค่ตอนจบและวิธีที่เราจะทำก็คือการดูกระเบื้องอื่น ๆ
ตอนนี้เรามีรางวัลบวกหนึ่งเท่านั้นที่ไทล์สุดท้ายและรางวัลลบ 1 ที่ไทล์สุดท้ายอื่น ๆ ของ
firepit
แต่ตอนนี้เรากำลังจะเพิ่มรางวัลในทุก ๆ ครั้ง
เราจะเพิ่มรางวัลเล็กมาก ๆ ให้เท่ากับลบ 0 04
และอย่างที่คุณเห็นมันเป็นลบดังนั้นทุกครั้งที่ตัวแทนเขาจะได้รับรางวัลเชิงลบและนั่นคือสิ่งที่เรียกว่าโทษชีวิตเพราะไม่ว่าเขาจะไปที่ไหนเขาจะได้รับรางวัลเชิงลบนี้เสมอยกเว้นกระเบื้องสุดท้ายเพราะนั่นคือจุดสิ้นสุดของ เกม.
และเพื่อให้คุณสามารถเห็นรางวัลแม้บนกระเบื้องนี้เป็นความบ้าคลั่งหรือปริศนา
แต่นั่นไม่ได้หมายความว่าเขาเริ่มต้นด้วยรางวัลนั้น
เขาได้รับรางวัลนี้เท่านั้น
และนี่เป็นสิ่งสำคัญที่ต้องจำไว้ว่าเขาจะได้รับรางวัลของเขาเมื่อเขาเข้ามาในไพ่เท่านั้นดังนั้นเมื่อใดก็ตามที่เขาสัญญาว่าจะไปที่นี่จากนั้นเขาจะได้รับรางวัลนี้เป็นลบ 0
04 จากนั้นเขากลับมาที่สไตล์นี้เขาจะได้รับใจอีกคนและ 0 04 คำ
และยิ่งเขาเดินไปรอบ ๆ
นานเท่าไหร่เขาก็ยิ่งสะสมของรางวัลติดลบดังนั้นเขาจึงเป็นแรงจูงใจให้เขาเล่นเกมให้จบเร็วที่สุดเท่าที่จะทำได้
ตอนนี้เรามาดูกันว่านโยบายของเราหรือนโยบายของตัวแทนจะเปลี่ยนแปลงอย่างไรขึ้นอยู่กับมูลค่าที่เรากำหนดไว้สำหรับรางวัลนี้
ดังนั้นที่นี่มีสี่สภาพแวดล้อมและในแต่ละคนเราจะสำรวจที่แตกต่างกัน
เราจะไม่ทำการคำนวณ
เราแค่จะฉายผลลัพธ์และคุณจะเห็นว่าพวกมันใช้งานได้จริง
ดังนั้นที่นี่เราได้รับรางวัลสำหรับขั้นตอนใด ๆ ที่เสนอเพื่อเข้าสู่สถานะใด ๆ
เท่ากับศูนย์
อย่างที่เราเห็นมาก่อนหน้านี้รางวัลจะเป็น 0 ของ Mei 0
สำหรับสิ่งที่เราเพิ่งทำไปตอนนี้คุณรู้แล้วว่ารางวัลจะอยู่ที่ลบ 0 5
หรือระดับของการลงโทษจะเป็นของฉันเปิดไฟสูงกว่ามากคุณสามารถดูได้ที่นี่มากกว่า 10 ครั้ง
และนี่คือห้องโถงที่มีชีวิตมันจะถูกลบด้วยสอง
ดังนั้นยิ่งกว่าของรางวัลที่คุณได้รับสำหรับการกระโดดหรือแม้แต่น้อยกว่าของรางวัลที่คุณเป็นตัวแทนได้รับสำหรับการสิ้นสุดในหลุมไฟ
ดังนั้นเรามาดูกันว่าการกระทำหรือนโยบายที่เหมาะสมที่สุดสำหรับการผ่านสภาพแวดล้อมนี้จะเปลี่ยนไปอย่างไรขึ้นอยู่กับรางวัลนี้
นี่คือนโยบายดั้งเดิมของเรา
และอย่างที่คุณสามารถจำได้ว่าเรามีสองสิ่งที่น่าสนใจและแม้แต่การตัดสินใจแปลก ๆ
โดยตัวแทน
หากคุณสามารถเดินทางไปรอบ ๆ ตราบเท่าที่เขาต้องการโดยไม่ถูกลงโทษสำหรับการมีชีวิตอยู่นานมาก
เขาทำไมไม่ทำไมเขาไม่ไปที่มุมกำแพงตรงนี้และทำต่อไปจนกว่ามันจะเกิดขึ้น
มันเกิดขึ้นที่เขาไปทางนี้แล้วเขาจะเดินไปรอบ ๆ
และสิ่งเดียวกันที่นี่มันปลอดภัยกว่าสำหรับเขาที่จะกระโดดเข้าไปในกำแพงโดยหวังว่าสิ่งเหล่านี้จะเกิดขึ้นในที่สุดและจากนั้นเขาก็จะไปที่เส้นชัยต่อไปเพราะการเลือกสองสิ่งนี้ .
ตอนนี้เรามาดูกันว่าจะเกิดอะไรขึ้นถ้าเราเพิ่มรางวัลเชิงลบสำหรับการเป็นเพียงชีวิต
ย้ายมาที่นี่คุณจะเห็นว่าทั้งสองเปลี่ยนแปลงทันที
ตอนนี้ตัวแทนไม่ต้องการกระโดดเข้าไปในกำแพง
เขามีแนวโน้มที่จะเสี่ยงต่อการถูกไฟไหม้โดยมีโอกาสกระโดดถึง 10 เปอร์เซ็นต์
แต่เขาจะเดินหน้าต่อไปเพราะทุกครั้งที่เขามาดูที่นี่ถ้าเขาจะทำที่นี่เช่นกันทุกครั้งที่เขากระโดดเข้าเขา ทำการกระทำที่เขาเข้าสู่สถานะนี้ด้วยโอกาส 80
เปอร์เซ็นต์
และนั่นหมายถึงโอกาส 80 เปอร์เซ็นต์ที่คุณจะได้รับลบ 0
04 รางวัลหมายความว่าหลายครั้งที่เขาจะได้รับสิ่งนี้สะสมรางวัลเชิงลบนี้
สิ่งเดียวกันที่นี่ถ้าเขากระโดดเข้าไปในกำแพงรอช่วงเวลานั้นเมื่อเขาจะถูกย้ายแบบสุ่มไปทางขวา
หากเขายังคงทำเช่นนั้นเขาจะสะสมรางวัลเชิงลบนี้และผลลัพธ์ของการที่ถ้าคุณทำการคำนวณคุณจะเห็นว่าผลลัพธ์ของค่าที่คาดหวังของวิธีการที่กระโดดไปที่กำแพงนั้นแย่กว่าการเสี่ยงต่อการก้าวไปข้างหน้า และจบลงด้วยการอยู่ในกองไฟ
ดังนั้นเขาจึงเปลี่ยนการตัดสินใจของเขาในบล็อกทั้งสองนี้เพื่อย้ายไปข้างหน้าแทนและที่นี่ย้ายไปทางซ้ายแม้จะรู้ว่ามีความเสี่ยงของการเกิดเพลิงไหม้เพียงเพราะตอนนี้เขายิ่งมีชีวิตอยู่นานขึ้นอีกต่อไป
ตอนนี้เรากำลังเพิ่มค่า Pouncey ที่มีชีวิตเป็นจำนวน Meinzer ที่มากขึ้นซึ่งเป็นจุดห้า
ดังนั้นตอนนี้คุณจะเห็นว่าเมื่อเทียบกับสภาพแวดล้อมนี้
สิ่งเดียวที่เปลี่ยนแปลงที่นี่คือลูกศรนี้ชี้ไปทางขวา
และนั่นหมายความว่าตอนนี้มันไม่มีทางเลือกที่ดีอีกต่อไปสำหรับเอเจนต์หรือที่จริงแล้วลูกศรชี้นี้ชี้ไปทางซ้ายและจมูกชี้ขึ้น
ดังนั้นตอนนี้จึงไม่ใช่ความคิดที่ดีอีกต่อไปที่ตัวแทนจะเดินไปรอบ ๆ จากที่นี่หรือไปรอบ
ๆ เพราะถ้าเขาทำผิดไปตลอดทางใช่เขาปลอดภัยหรือมีโอกาสน้อยกว่าที่จะไม่มีไฟ
แต่ในเวลาเดียวกันหรือมีโอกาสน้อยที่จะเกิดขึ้น
แต่ในเวลาเดียวกันเขาจะสะสมรางวัลลบมากมายเมื่อเขาเดินไปรอบ ๆ
ดังนั้นมันเป็นเพียงเส้นทางที่ยาวเกินไป
ดังนั้นมันจึงบังคับให้เขาไม่ว่าเขาจะอยู่ที่นี่หรือที่นี่เพื่อใช้เส้นทางที่สั้นกว่าเพื่อมาที่นี่แม้ว่าเขาจะมีความเสี่ยงสูงกว่าที่จะเข้าไปใน firepit
เพราะทันทีที่เขาเข้ามาในจัตุรัสมีโอกาส 10 เปอร์เซ็นต์ที่จะลุกไหม้ .
ตามการคำนวณของเขา
เป็นเพียงมูลค่าที่คาดหวังของวิธีการนี้ดีกว่ามูลค่าที่คาดว่าจะเกิดขึ้นเพียงเพราะเราได้เพิ่มบทลงโทษชีวิต
และในที่สุดเราก็ถึงตัวอย่างพร้อมกับโทษชีวิตลบสองจุดศูนย์
ดังนั้นที่นี่ฉันขอแนะนำให้คุณโพสต์วิดีโอทันทีที่คุณได้เห็นว่านโยบายมีการเปลี่ยนแปลงอย่างไรเมื่อเราเพิ่มการลงโทษถ่อถ่อ
ฉันขอแนะนำให้คุณหยุดวิดีโอชั่วคราวและคิดด้วยตัวเองว่าจะเกิดอะไรขึ้นในสถานการณ์นี้
คุณคิดอย่างไรกับนโยบายที่ดีที่สุดจะได้รับโทษประหารชีวิตสูงมากดังนั้นวิดีโอทั้งหมดนี้หากคุณต้องการ
และตอนนี้ฉันจะข้ามไปแสดงวิธีแก้ปัญหาให้คุณในกรณีนี้ถ้าคุณเพิ่มบทลงโทษเป็นลบ 2
0 มันสูงมากโปรดจำไว้ว่าบทลงโทษนี้มีค่าลบ 1 เท่านั้น
0 มันสูงมากจนเอเจนต์ต้องการออกจากเกมในทางที่เป็นไปได้แม้ว่ามันจะเป็นเพียงแค่กระโดดลงไปในหลุมไฟ
เขาจะทำมัน
เขาจะเป็นเหมือนทุกครั้งที่ฉันทำขั้นตอนทุกครั้งที่ฉันจบใหม่ในรัฐของคุณหรือทุกครั้งที่ฉันทำการกระทำฉันท้ายได้รับรางวัลลบสอง
ดังนั้นสิ่งที่เป็นจุดของการพยายามที่จะไปถึงเส้นชัยถ้าจากที่นี่จะพาฉันสองขั้นตอนพิเศษ
ฉันแค่จะไปที่นี่แล้วตรงเข้าไปใน firepit เพราะวิธีการที่รางวัลของฉันจะน้อยกว่ารางวัลเชิงลบจะเลวร้ายเหมือนในกรณีที่ทำตามขั้นตอนเพิ่มเติมดังนั้นคุณจะเห็นว่าการเพิ่มชีวิต
รางวัลและขึ้นอยู่กับมูลค่าของรางวัลการดำรงชีวิตที่เรากำลังเพิ่มผลลัพธ์จะแตกต่างกัน
และเอเจนต์จะเลือกนโยบายที่แตกต่างกันและนั่นคือสิ่งที่ว่ามูลค่าของรางวัลสามารถรวมเข้ากับสมการเบลมอนต์ได้แม้ว่ามันจะไม่ใช่แค่ที่เส้นชัยหรือในตอนท้ายของเกม แต่ก็ตลอดทั้งเกม
และอีกครั้งไม่จำเป็นต้องอยู่ทุก ๆ ครั้งในทุก ๆ รัฐขึ้นอยู่กับสภาพแวดล้อม
มันอาจมอบให้กับตัวแทนในบางรัฐไม่ได้ที่ทุกรัฐ แต่ในตัวอย่างง่าย ๆ
ของเราเราเพียงแค่ใช้รางวัลในทุกรัฐ
เพื่อแสดงแนวคิดนี้ดังนั้นฉันหวังว่าคุณจะสนุกกับการสอนวันนี้
และอย่างที่คุณเห็นเราได้ทำสมการ Belman
ของเราค่อนข้างซับซ้อนและตอนนี้มันสามารถนำไปใช้กับสถานการณ์ที่แตกต่างกันมากมายและฉันไม่สามารถรอดูในบทช่วยสอนถัดไป
และจนกว่าจะสนุกกับ