สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
ก่อนหน้านี้เรามีแบบฝึกหัดที่หนักแน่นและยาวนานเกี่ยวกับกระบวนการตัดสินใจของมาร์โกรฟและหวังว่าคุณจะเข้ากันได้ดี
และหวังว่าฉันจะสามารถอธิบายสิ่งต่าง ๆ ได้ในแนวทางที่เข้าถึงได้
และวันนี้เราจะพูดถึงนโยบายและแผน
จะมีการสอนที่รวดเร็วและสนุกสนานเพราะตอนนี้เรากำลังเข้าสู่โลกใหม่ที่เรากำลังเข้าสู่โลกแห่งการค้นหาแบบสุ่มการค้นหาแบบ
nondeterministic เมื่อคุณไม่ได้ผ่านเขาวงกต
แต่ยังรวมถึงการสุ่มปัจจัยที่อาจกระทบ คุณอยู่ในหัวเมื่อคุณต้องผ่านเขาวงกตนี้และคุณจะต้องเตรียมตัวให้พร้อม
นั่นคือโลก
ตัวแทนของเราอาศัยอยู่และสนุกกว่า แต่ก็อันตรายยิ่งกว่าซึ่งคาดเดาได้น้อยกว่า
ดังนั้นตัวแทนของเราจะทำงานได้อย่างไร
มาดูกัน
มีกรอบของกระบวนการตัดสินใจของเราซึ่งเป็นสมการของเบลแมนที่เราโปรดปรานอีกครั้ง
อย่างไรก็ตามเวอร์ชันสมการของเบลแมนที่ก้าวหน้ากว่าที่เรากำลังทำงาน
จากนี้ไปเราจะเรียกสมการ Beldon นี้
และที่นี่เรามีการกระทำสูงสุดและ Crucell ของเราดังนั้นค่าของสถานะใด ๆ
ที่เป็นค่าสูงสุดสำหรับทุกการกระทำที่เอเจนต์อาจดำเนินการในสถานะนั้น
และค่าสูงสุดถูกนำมาจากรางวัลที่ตัวแทนจะได้รับจากการดำเนินการติดตั้ง A
บวกบวกกับอัตราส่วนลดคูณด้วยมูลค่าที่คาดหวังของรัฐใหม่ที่มันจะเข้ามา
และฉันคาดหวังว่าคนที่ถูกพามาที่นี่เพราะพวกเขาไม่รู้ว่าเศร้าอะไรจบลง
พวกมันคือเอฟเฟกต์แบบสุ่มบางอย่างที่มีอยู่ในสภาพแวดล้อมที่อาจเปลี่ยนแปลงสถานะและอาจไม่สิ้นสุดในสถานะที่ต้องการ
มันอาจจะอยู่ในสถานะที่แตกต่างออกไป
นั่นคือเหตุผลที่เราเอาค่าที่คาดหวังตรงนี้ไปที่ไหนสักแห่งที่นี่
ลองดูที่นี่เป็นตัวอย่างของเราหรือในตัวอย่างของเขาวงกตของเรา
ดังนั้นนี่คือสิ่งที่เรามีมาก่อนหน้านี้ก่อนหน้านี้เรากำลังเผชิญกับการค้นหาแบบกำหนดขึ้นใหม่
ดังนั้นเราจึงรู้ว่า
เอาล่ะถ้าฉันอยู่ที่นี่ฉันต้องไปที่นี่ถ้าฉันอยู่ที่นี่
ฉันต้องไปที่นี่ถ้าฉันอยู่ที่นี่ฉันต้องไปที่นี่ถ้าฉันอยู่ที่นี่ฉันอยู่ที่นี่
ดังนั้นมันจึงค่อนข้างตรงไปตรงมา
เมื่อคุณมีแผนที่นี้และจำไว้ว่าเรียกว่าเราเรียกมันว่าแผน
เมื่อคุณมีแผนมันค่อนข้างตรงไปตรงมาที่จะทำ
มี
นั่นคือแผนการที่มีลูกศร
และจากตรงนี้มันตรงไปตรงมามากเรานี่คือนี่คือเส้นทางที่พวกเขาจะใช้เมื่อใดก็ตามที่คุณเริ่มบนเส้นสีฟ้านี้
นั่นคือวิธีที่คุณจะไป
อย่างไรก็ตามตอนนี้เราไม่มีแผนอีกต่อไป
เราไม่สามารถมีแผนได้เพราะคุณรู้ว่าสิ่งที่เราวางแผนไม่ได้เกิดขึ้นมันไม่ได้อยู่ภายใต้การควบคุมหรือแผนคือเมื่อคุณรู้ว่าสิ่งที่คุณต้องทำต่อไป
คุณรู้ขั้นตอน
คุณมีจุดเริ่มต้นที่คุณมีเป้าหมายและคุณรู้ทุกขั้นตอนเพื่อให้คุณสามารถวางแผนพวกเขาออกมาได้ตามใจชอบฉันจะทำสิ่งนี้ฉันจะทำสิ่งนี้ฉันจะทำสิ่งนี้ในชีวิตเหมือนแผน .
แต่ในขณะเดียวกันก็มีการสุ่มเกิดขึ้นมากมาย
คุณสามารถมีแผนได้เพราะถ้าคุณไปถึงที่นี่แล้วคุณคลิกไปทางขวาและนำคุณลงจริง ๆ
นั่นไม่ใช่ส่วนหนึ่งของแผนของคุณ
นั่นคือสาเหตุที่เรียกว่าการวางแผนมากขึ้น
และตรงนี้เราจะคำนวณค่าจริง ๆ
แล้วลองดูค่าที่คำนวณสำหรับปัญหาเดียวกันนี้
แต่ขึ้นอยู่กับว่าเรามีแบบแผนอยู่ข้างใน
นี่คือค่าใหม่
แล้วทำไมค่าเหล่านี้จึงแตกต่างกันดังนั้นลองเปรียบเทียบกับสิ่งที่เรามีก่อนหน้านี้
นี่คือสิ่งที่เราเคยมีมาก่อน
เหล่านี้คือคุณ
ดังนั้นเราอีกครั้งก่อนหน้านี้เพราะเขาชนะ 3 9 เปอร์เซ็นต์
เขาเป็น 366 จริงๆ
และนี่คือสิ่งที่เรามีตอนนี้กำลังน้อยกว่าหนึ่งครั้งและ 1 6 3
และโดยวิธีการเหล่านี้ไม่ใช่การชุมนุมในปัจจุบันอย่างแท้จริงจากด้านบนของหัวของฉัน แต่ถ้าเราจะเรียกใช้ตัวแทนบางค่าจะเป็นสิ่งที่คล้ายกับนี้และค่าสามารถเปลี่ยนแปลงได้เพราะขึ้นอยู่กับการพนันที่จะเลือก
9 หรือค่าอื่น ๆ แต่อย่างไรก็ตามเพื่อประโยชน์ในการโต้แย้งสิ่งเหล่านี้เป็นค่าที่เรากำลังเผชิญอยู่ในขณะนี้และพวกเขากำลังประมาณพวกเขาถ่ายทอดความคิดทั้งหมดในวิธีที่ถูกต้องดังนั้นเรามาดูพวกเขา
ทำไมพวกเขาถึงเปลี่ยน
ทีนี้ทำไมถึงอยู่ที่นี่กับอันนี้ค่านี่ก็เป็นหนึ่ง
ทำไมมันจึงเกิดขึ้นทันที 0 26 ทำไมมันน้อยกว่าหนึ่ง
เพียงไปจากที่นี่ที่นี่
ที่จริงแล้วเราเรียกเพราะจากที่นี่ถ้าเราไปทางขวาซึ่งเป็นความตั้งใจของเราถ้าเราไปทางขวาเราจะได้ฉันจะมีโอกาส 10
เปอร์เซ็นต์ที่เราจะจบลงที่นี่
ดังนั้นเราจะชนกำแพงและจะกลับมาอยู่ในสถานะนี้
และจำไว้ว่าเรามี Gamla ดังนั้นค่าจะลดลงและหรือเราปิดหรือปิดที่ 10
และโอกาสจะสิ้นสุดที่นี่ในสถานะนี้
ดังนั้นมันไม่ใช่ความน่าจะเป็นร้อยละ 100 ที่ฉันจะได้มาที่นี่ดังนั้นความแปรปรวนจึงไม่สามารถเป็นสิ่งที่มีค่าน้อยกว่าและเป็น 0
26
นี่เป็นตัวอย่างว่าทำไมมันถึงเป็นแบบนี้
และคุณสามารถได้ค่าที่แน่นอนถ้าคุณคำนวณสมการ Belman เต็ม แต่คำถามของฉันที่เรามี
ปัญหาเดียวก็คือว่าจะต้องมีการสอบถามซ้ำเนื่องจากคุณจะต้องรู้ค่าสำหรับสิ่งนี้แล้วคุณจำเป็นต้องรู้ค่าสำหรับสิ่งนี้ที่ค่อนข้างซับซ้อนและนั่นคือสาเหตุที่เราไม่ทำการคำนวณด้วยตนเองที่นี่
นั่นเป็นสาเหตุที่ฉันสามารถทำมันได้เมื่อมันผ่านทั้งหมดนี้มันเหมือนว่ามันไม่มีอะไรซับซ้อนเกินไปสำหรับ a
คุณไม่สามารถเล่นสิ่งเหล่านี้
นั่นคือคุณค่าของเราที่นี่
แต่นี่เป็นสิ่งที่แตกต่าง
ดังนั้นตรงนี้จึงเป็น 0
9 เพียงเพราะปัจจัยการลดราคาจำได้จากที่นี่ถึงที่นี่อีกครั้งจากที่นี่เราวิทยาลัยกระโดดจากที่นี่มาที่นี่เพียงเพราะแม้ว่าเราจะกระโดดถ้าเราไปเช่นนี้เราอาจจบลงที่นี่กลับมาที่นี่
มีโอกาส 20 เปอร์เซ็นต์ที่จะยังคงอยู่ในจัตุรัสเพราะเราจะชนกำแพง
และอีกครั้งและอื่น ๆ
ค่าของการอยู่ที่นี่คือศูนย์จุดเจ็ดสิบเอ็ด
อีกครั้งนี้และปัจจัยลดราคา
คุณรู้ว่าสิ่งนี้อาจดูแปลกสำหรับคุณว่านี่คือแม้จะมีส่วนลดในปัจจัยที่สูงเกินไป
บางทีปัจจัยการลดราคาในตัวอย่างนี้ไม่ใช่ 0 9 อาจจะเป็นเจ็ดจุดเก้าสิบเก้าหรือบางสิ่งบางอย่างที่ไม่ต้องกังวลเกี่ยวกับเรื่องนั้น
เพียงแค่มุ่งเน้นไปที่สิ่งนั้น
ค่ามีการเปลี่ยนแปลงแน่นอนว่าค่าตอนนี้น้อยลง
ส่วนใหญ่เป็นเพราะไม่ใช่ความน่าจะเป็นร้อยเปอร์เซ็นต์ในการเข้าสู่สถานะที่คุณต้องการได้รับและสิ่งที่คุณจะพบ
สิ่งที่น่าสนใจคือที่นี่ที่นี่แค่เป็น 0 9 จริงลดลงมากได้ลดลงอย่างมีนัยสำคัญ
ทำไมเป็นอย่างนั้น
ทีนี้เพราะถ้าคุณไปจากที่นี่ซึ่งเป็นความตั้งใจของเรามีโอกาส 10 เปอร์เซ็นต์ที่จะชนกำแพง
แต่มีโอกาส 10 เปอร์เซ็นต์ที่จะลงเอยด้วยการยิงปืนและการสูญเสียลบหนึ่งเพื่อให้รางวัล
ของเกม
และนี่คือสถานะที่แย่มากที่จะอยู่ใน
ดังนั้นในทันทีจำได้ว่าเรามีจุดศูนย์เก้าปีออกจากกันและเพื่อให้พวกเขาเท่าเทียมกัน
ไม่ว่าคุณจะได้ยินที่นี่พวกเขาค่อนข้างเท่าเทียมกันในแง่ของคุณค่าของการอยู่ในแต่ละสถานะเหล่านี้
แต่ตอนนี้ทุกวันอย่างกะทันหันวันนี้เป็นวันที่ดีเกือบสองเท่าเท่านี้เพียงเพราะที่นี่ถ้าคุณตรงไปคุณจะไปทางขวาที่คุณต้องการไป
คุณรู้ว่าผลของการสุ่มเกิดขึ้นคือคุณอยู่ที่นี่
ต่อไปนี้เป็นหนึ่งในผลที่เกิดขึ้นคือโอกาสร้อยละ 10 คือคุณต้องลงเอยในหลุม
ดังนั้นคุณจะเห็นได้ว่านี่ไม่ใช่สถานะที่ดีอีกต่อไปอีกต่อไปเพียงเพราะสิ่งที่ผันผวนที่อาจเกิดขึ้นได้
อย่างที่คุณเห็นว่าอันนี้ก็แย่มากเพราะมันแย่อย่างที่คุณรู้นี่มันมีโอกาสเพียง 10 เปอร์เซ็นต์เท่านั้นที่จะลงเอยที่หลุมและ 10
เปอร์เซ็นต์มีโอกาสจบลงบนกำแพง
แต่ในขณะเดียวกันก็มีปัจจัยลดดังนั้นอย่างแรกของปัจจัยลดและหลังจากคุณต้องไปที่นี่
และแม้ว่าคุณจะไปที่นี่โดยบังเอิญคุณก็สามารถลงไปที่หลุมอีกครั้งได้
ดังนั้นโอกาสนั้นก็จะถูกนำมาพิจารณาด้วยเพราะจำไว้ว่าค่านี้ได้มาจากค่านี้และค่านี้ได้มาจากค่านี้
ขวา.
และดังนั้นจึงมีขนาดเล็ก แต่ในความเป็นจริงสิ่งที่ฉันบอกว่าผิด
ค่านี้ไม่ได้มาจากเฟด
ดังนั้นถ้าคุณเพิ่งดูตอนนี้คุณจะสังเกตได้ว่าค่านี่ตรงนี้มากกว่าค่านี้
คุณจะสังเกตเห็นว่าสำหรับตัวแทนจะดีกว่าที่จะไปทางนี้กว่าวิธีนี้และมันทำให้รู้สึกถูก
เพราะวิธีนี้มันจะไม่สูญเสียโอกาสที่จะเข้าไปในหลุม
ใช่นานกว่านี้เล็กน้อยดังนั้นปัจจัยลดราคาจึงมีผลกระทบที่ใหญ่กว่า
แต่ในเวลาเดียวกันเพียงเพราะมีโอกาสลงหลุมที่นี่ถ้าตรงไปก็จะมีโอกาสกระโดด
ดังนั้นจะต้องใช้เวลาในการจับและเพียงเดินไปรอบ ๆ เพราะวิธีนี้มีโอกาสน้อยกว่าที่จะได้รับ แต่ก็ยังมี
ดังนั้นจากที่นี่ไปที่นั่นได้จากที่นี่ไปที่นั่น
มันอาจเข้าไปในหลุมเพราะลงเอยที่นั่นและอาจลงเอยด้วยการเรียกเก็บเงิน
แต่ถึงกระนั้นมันก็มีโอกาสน้อยกว่า
น่าสนใจมาก ๆ ที่เห็นว่าพวกเขาเปลี่ยนไปอย่างไรจำได้ว่าก่อนหน้าคุณจากที่นี่
จากตรงนี้คุณจะเป็นอย่างนั้นและจากที่นี่เราก็เป็นอย่างนั้น
และในทันใดคุณสามารถเห็นการเปลี่ยนแปลงของเขาได้ในทันที
ลองหมุนลูกศรและดูว่ามันจะเป็นอย่างไรตอนนี้และ voila
คุณจะเห็นสิ่งที่ถูกสุ่มมากขึ้น
ใช่แล้วนี่เป็นเรื่องจริง
แต่ดูสิ่งที่เกิดขึ้นที่นี่
ดูอันนี้
คุณคาดหวังไว้ไหม
นั่นเป็นสิ่งที่ฉันชอบแน่นอนเมื่อฉันเห็นสิ่งนี้ครั้งแรกที่ฉันประทับใจมาก
ฉันไม่ได้เป็นซุปเปอร์ฉันไม่แปลกใจและฉันก็ไม่ได้คาดหวังสิ่งนี้เลย
และนี่คือตัวอย่างของคุณที่รู้ว่าเมื่อฉันสามารถเอาชนะมนุษย์
ดูเหมือนว่าบางสิ่งที่คุณจับได้แม้คุณจะคาดเดาได้ แต่ฉันก็ผ่านการเรียนรู้เรื่องการบังคับใช้กฎหมายจำได้ว่าตัวอย่างของสุนัขนั้นสามารถทำงานได้ดีกว่าชีวิตจริง
สุนัขเป็นหุ่นยนต์ที่เตรียมโปรแกรมไว้ล่วงหน้าสุนัขสามารถเล่นฟุตบอลได้เพราะพวกเขาคิดไอเดียเหล่านี้ที่เราไม่สามารถเห็น
และเป็นตัวอย่างที่ดีคุณอาจไม่ได้คาดหวังเช่นกันว่าชาวเอเชียแทนที่จะขึ้นไปเป็นเหมือนเหตุผลที่ฉันจะ
เช่นถ้าฉันขึ้นไปนั้นมีโอกาส 10 เปอร์เซ็นต์ที่ฉันจะกระโดดลงหลุม
แต่สิ่งที่จะบรรลุโดยการเข้าสู่สงคราม
ร้อยละ 80 ของเวลาจะชนกลับและอยู่ในสถานะ
แต่ 10 เปอร์เซ็นต์ของเวลาจะไปที่นี่และ 10 เปอร์เซ็นต์ของเวลาที่ฉันจะไปที่นี่
ดังนั้นในทันใดคุณจะเห็นได้ว่าตอนนี้มันเป็นวิธีการใหม่ในการกระโดดเข้ากำแพง
มีโอกาสร้อยละศูนย์ที่มันจะเข้าไปในกองไฟ แต่จากจุดนี้
และมันก็เหมือนว่ามันไม่ต้องการเข้าไปในหลุมไฟเพื่อให้
bon bons เข้าไปในกำแพงสองสามครั้งแล้วมันจะไปทางขวาหรือซ้ายในบางจุด
และดังนั้นจึงได้เรียนรู้ว่าจากการทดลองมันได้เรียนรู้ว่าตกลงเมื่อฉันไปข้างหน้าผลลัพธ์ไม่ดีเท่าเมื่อฉันไปที่กำแพง
และถ้าคุณคิดเกี่ยวกับมันมันเป็นเช่นนี้
หุ่นยนต์ตัวนี้ถ้าคุณคิดเกี่ยวกับมันนี่คือ firepit เป็นอย่างมากนี่คือนี่เป็นเหมือนสี่เหลี่ยมจัตุรัสเหมือนหิ้งเล็ก
ๆ และจากนั้นนี่ก็เหมือนภูเขาเหมือนหน้าผา
และหุ่นยนต์ตัวนี้กำลังกอดหน้าผาและพยายามรอจนกว่ามันจะดันไปทางซ้ายหรือขวาเพราะมนุษย์ที่คุณอาจทำแบบเดียวกันคุณจะไม่ยืนหันหน้าไปทางนั้น
หรืออะไรทำนองนั้น
และหวังว่าคุณจะรู้ว่าเราต้องจบไม่เคยจบในสถานการณ์เช่นนี้
แต่ก็เหมือนกับการมองเห็นเพียงแค่สายตาถ้าคุณคิดถึงบางสิ่งที่นี่
และนั่นก็คือความรุนแรงที่ถูกต้อง
เพื่อที่ AI จะเกิดขึ้นกับความคิดนี้และเหมือนกันที่นี่ซึ่งเป็นประเภทที่จะออกไปและ
Riskin
ได้ในการต่อสู้ แต่ฉันแค่จะลองลูกบอลออกจากกำแพงเหมือนที่คุณรู้ว่ากอดกำแพงพยายามที่จะกระโดดลงไปในผนังและที่ บางจุดที่ฉันรู้ว่าคุณรู้แค่ว่ามีความน่าจะเป็นคือโอกาส
10 เปอร์เซ็นต์ทุกครั้งที่ฉันทำอย่างนั้นฉันจะไปที่นี่และบางสิ่งจะเกิดขึ้นและฉันจะจบที่นี่และฉันจะปลอดภัยแล้วฉันจะ ทำเช่นนั้นต่อไป
วิธีการที่น่าสนใจมาก ๆ
ที่พวกเขามาที่นี่และคุณสามารถเห็นเส้นทางเป็นแบบนี้ดังนั้นจากที่นี่มันอาจไปทางขวาแล้วมันจะไปทางขวาหรือทางออกหรือที่นี่หรือไปทางซ้าย
และในบางจุดคุณจะจากไปและกลับมาอีก
นี้เป็นสิ่งสำคัญ.
ฉันไม่ใช่นโยบายดังนั้นแม้ว่ามันจะกระโดดจากที่นี่มันก็จะไปที่นี่
บางทีจากตรงนี้ฝนอาจตกจริง
มันอาจกลับไปทางขวาแล้วจากตรงนี้และฉันจะให้ฉันได้ถูก
มีตัวเลือกมากมายสำหรับพวกมันที่อาจจะไม่ทำตามคนเหล็กคนนี้อย่างแน่นอน
นี่เป็นเพียงเส้นทางที่ต้องการซึ่งออกแบบมาสำหรับตัวเอง
แต่วิธีการทำงานของมันอาจแตกต่างกันออกไป
มันขึ้นอยู่กับโลกแห่งความจริง
ดังนั้นเราไปกันเลย
นั่นคือโลกของปัญญาประดิษฐ์
นั่นเป็นนโยบายและแผนและหวังว่าคุณจะรู้สึกตื่นเต้นอย่างช้าๆจากสิ่งที่ AI
สามารถทำได้โดยเฉพาะในสิ่งที่เราเห็นที่นี่
นี่คือการตัดสินใจที่ชาญฉลาดที่ AIs กำลังทำอยู่
และอย่างที่คุณเห็นเมื่อคุณเล่น AI
แม้จากตัวอย่างเล็ก ๆ นี้คุณจะเห็นได้ว่าแม้ว่าคุณจะเล่นในโลกแห่งความเป็นจริงบางทีคุณอาจเกิดความคิดและการตัดสินใจที่บางครั้งมนุษย์อาจเกิดขึ้นได้
และมันก็เหมือนกับสิ่งที่เกิดขึ้นในเกมเหล่านั้นซึ่งเป้าหมายของ
Google Alpha กำลังเล่นกับแชมป์ลิซ่าไอดอลของเป้าหมายในเกาหลีในการกลับมาเป็นแชมป์โลก
และพวกเขากำลังเล่นที่เกาหลีย้อนยุค bakla ในปี 2559 ฉันคิดว่ามีนาคม 2559
มันเกิดขึ้นกับการเคลื่อนไหวบางอย่างที่มนุษย์ไม่เคยเล่นใน 3000 ปีหรือมนุษย์ไม่ได้คุ้นเคยกับการเล่น
และนี่คือตัวอย่างของสิ่งนี้
ดังนั้นหวังอีกครั้งว่าคุณจะรู้สึกตื่นเต้นและตื่นเต้นไปกับวาทกรรมและสิ่งที่เราสามารถบูรณาการได้
และฉันก็มองหามัน
เจอกันคราวหน้า.
จนกว่าจะสนุกแล้ว
ผม.