สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
ในแบบฝึกหัดวันนี้เราจะได้สนุกกัน
เราจะมีรูปลักษณ์และปัญญาประดิษฐ์ที่แท้จริงผ่านเขาวงกตที่เราพูดถึงมานานแล้วและจะใช้การเรียนรู้การฆ่าเพื่อนำทางและหาทางออกและเราจะเห็นว่าเกิดอะไรขึ้น ค่า
q จะเกิดขึ้นกับนโยบายและอื่น
ๆ
ดังนั้นเรามาดู
เรากำลังจะใช้วัสดุบางอย่างที่มหาวิทยาลัย Berkeley จัดหา
ดังนั้นถ้าคุณไปที่ฉันไม่ได้เป็น Birk เท่านั้น E R K E L E ทำไมคุณไม่ไปที่ลิงค์นั้นอีกครั้ง
คุณจะเห็นเว็บไซต์นี้และได้ยินสิ่งที่เรากำลังจะได้เห็นคือความต้องการที่จะไปหาเราจะไปที่โครงการ PacMan
ฉันคิดว่าโครงการ Pacman และที่นี่ถ้าคุณเลื่อนลงและคุณดูพวกเขาในการเรียนรู้ครั้งแรกนี่คือสิ่งที่เรากำลังทำงานกับ
ดังนั้นที่นี่คุณสามารถดาวน์โหลดไฟล์ zip
นั่นคือถ้าคุณต้องการ
ดังนั้นคุณไม่จำเป็นต้องทำสิ่งนี้เพราะเราจะไม่ไปหาคำตอบร่วมกันในการทดลองนี้เพียงแค่บอกให้คุณรู้ว่ามันมาจากไหนเพราะเราชอบ
เราซาบซึ้งจริงๆ
UC Berkeley ทำให้วัสดุเหล่านี้พร้อมใช้งาน
แต่ถ้าคุณต้องการทดลองกับสิ่งนี้ด้วยตัวเอง
เพียงจำไว้ว่านี่ไม่ใช่ส่วนหนึ่ง
จะไม่เป็นส่วนหนึ่งของหลักสูตรของเราซึ่งเป็นส่วนหนึ่งของหลักสูตร Berkeley
ฉันไม่แน่ใจว่ามันทำงานอย่างไรเพื่อวัตถุประสงค์ในการแสดงภาพประกอบ แต่หากคุณต้องการทดลองใช้คุณสามารถค้นหาได้ที่นี่ไฟล์ zip
และคำแนะนำเก่าทั้งหมด
และเรากำลังจะไปสู่ Python
ทันทีและสิ่งแรกที่ฉันต้องการแสดงให้คุณเห็นคือที่นี่เรามีข้อมูลลิขสิทธิ์ดังนั้นนี่คือสิ่งที่ฉันหมายถึง
เราโชคดีมากที่พวกเขาบอกว่าเรามีอิสระที่จะใช้หรือขยายโครงการเหล่านี้เพื่อวัตถุประสงค์ทางการศึกษาหากคุณรู้ว่าการเผยแพร่วิธีแก้ไขปัญหาการเผยแพร่ที่เราไม่ได้ทำ
คุณเก็บประกาศนี้ซึ่งเรามีและคุณมอบบาทหลวงที่ชัดเจนให้กับ UC Berkeley รวมถึงลิงค์ที่เรามี
ดังนั้นอีกครั้งหากคุณต้องการเรียนรู้เพิ่มเติมที่ลิงค์
คุณสามารถดูได้
และขอขอบคุณทุกคนที่ได้ทำงานในโครงการนี้มากดังนั้นนี่คือโลกกริด
เรากำลังจะทำงานหากมีวิธีการแก้ปัญหาที่นั่น
คุณจะต้องทำมันให้สำเร็จคุณจะต้องแก้ปัญหาด้วยตัวเองหรืออาจต้องหาวิธีแก้ปัญหา
บางทีบางคนที่คุณรู้จักอาจเป็นคนที่ช่วยคุณได้
หากสิ่งที่คุณต้องการให้คุณไม่ต้องทำอีกเพราะเรากำลังจะดูที่หน้าจอนี้ทันที
ดังนั้นหลังจากที่เราได้สร้างไฟล์ทั้งหมดเราก็สามารถเปิดมันได้ที่นี่
ดังนั้นจึงมีพารามิเตอร์บางอย่างที่เกี่ยวข้องกับโลกทั้งใบนี้และเราจะไม่แสดงให้คุณเห็นว่ามันเป็นอย่างไรถ้าเราเปิดตัวมัน
ดังนั้นลองเปิดใช้ในโหมดแมนนวล
ดังนั้นถ้าฉันลบหนึ่งในพาโนรามาเหล่านี้ด้วยตนเองฉันสามารถสั่งตัวแทนการควบคุมของคุณได้
ดังนั้นที่นี่คุณสามารถเห็นกริดทั้งหมดดังนั้นฉันจึงสามารถขึ้นไปข้างบนเพื่อที่คุณจะได้เห็นว่ามันกำลังเริ่มต้นการกระทำและเริ่มต้นในรัฐที่ฉันอยู่
จากนั้นคุณเห็นว่าฉันกดขึ้นเอาการกระทำ Norf และครั้งแรกที่ฉันสิ้นสุดในศูนย์เมื่อฉันขึ้นไป
แต่ครั้งที่สองที่ฉันลงมือทำนอร์ฟและฉันก็จบลงด้วยความโศกเศร้าไม่ขยับ
คุณรู้ว่ามีการสุ่มเกิดขึ้นฉันก็ไปทางซ้ายหรือขวา
และโดยค่าเริ่มต้นพารามิเตอร์จะถูกตั้งค่า
คุณสามารถดูได้ที่นี่โดยค่าเริ่มต้นพวกเขาถูกตั้งค่าเป็นสิ่งที่เรากล่าวถึงว่าบ่อยครั้งที่ผลลัพธ์ในทิศทางที่ไม่ได้ตั้งใจ
ร้อยละ 20 ของเวลาถึงร้อยละ 10 ไปทางซ้ายบางไปทางขวา
ดังนั้นถ้าฉันขึ้นไปและพูดว่าฉันขึ้นไปฉันจะไปทางขวา
ฉันไปทางขวาตอนนี้ไม่ได้เกิดขึ้น
ถูกแล้วอีกครั้งและฉันเสร็จแล้ว
แต่ในการใช้งานนี้คุณต้องคลิกอีกครั้งเพื่อออกจากผลลัพธ์สุดท้ายดังนั้นออกไปจากที่นั่นเพียงคลิกอีกครั้งและคุณทำเสร็จแล้ว
นั่นคือสถานะเทอร์มินัลเพื่อให้เราสามารถเรียกใช้คู่มือของเรา
คุณจะเห็นว่าถ้าฉันไปทางขวาขวาซ้ายขึ้น
ดังนั้นที่นี่สิ่งที่เราเห็นก่อนหน้านี้ว่าตัวแทนจะไม่ตรงขึ้น
อะไรคือจุดที่จะขึ้นไปหากมีโอกาสลงหลุม
ดังนั้นเรามาดูสิ่งที่ตัวแทนจะทำ
มันจะไปทางซ้ายและไปทางตะวันตกที่นี่จะไปทางตะวันตก
และคุณเห็นฉันคลิกซ้าย แต่มันก็ขึ้นไปและที่นี่ฉันจะคลิกขวา
และฉันลงเอยในขั้นตอนสุดท้ายและคุณเห็นรางวัลของพระเจ้าเท่ากับหนึ่ง
นั่นคือสิ่งที่ดูเหมือนด้วยตนเอง
ทีนี้เรามาลอง AI กับเรื่องนี้กันก่อน
ลองทำ H ที่นี่และเพิ่ม Brandner กัน
ขอผมดูสิ่งที่ผมพิมพ์ตรงนี้หวังว่าคุณจะได้เห็นโลกกริดทำไมถึงลบด้วยค่าเฉลี่ยของเรา
นั่นคือรางวัลสำหรับการใช้ชีวิต
ฉันมีสองอันแล้วดังนั้นฉันควรลบอันนี้ออก
ลบ k เป็นจำนวนซ้ำ
เป็นวิธีซ้ำมากเกินไป
มาทำกันให้น้อยลงลองทำอีก 10 ซ้ำน่าจะพอ
ลบ a เป็น Agent
ตัวแทนประเภทใดที่ไม่ต้องการให้เกียรติและรูปภาพและคุณค่าบางอย่างหรือถาม
ถามดังนั้นฉันต้องการถาม
ถามตัวแทนการเรียนรู้ที่ทำเครื่องหมายลบนี่คือความเร็วคืออะไรนั่นเป็นวิธีที่มีขนาดใหญ่เกินกว่าแรงที่เพิ่งใช้ความเร็วเต็มที่ตอนนี้ลบ R
คือโทษของการมีชีวิตดังนั้นค่าเริ่มต้นจึงเป็นศูนย์
ดังนั้นจำไว้ว่าตอนเริ่มรีสตาร์ท 0 การมีชีวิตอยู่ดังนั้นลองเรียกมันว่า 0 0
และสามารถลบพารามิเตอร์นี้และ D คือส่วนลด
ดังนั้นฉันจึงเป็นปัจจัยให้ลองเก็บไว้ที่จุดศูนย์และคล้ายกับสิ่งที่เราเริ่มออกในส่วนนี้ในหลักสูตรเพื่อให้เรียกใช้วิธีที่ตกลงเร็วเกินไปอีกครั้งจริง
ๆ แล้วสวยตกลงดังนั้นคุณสามารถดูว่าเขา การสำรวจ
จนถึงตอนนี้เขากดค่าลบได้สามครั้งแล้วคุณจะเห็นว่าค่า q นั้นได้รับการปรับปรุงในสี่เหลี่ยมเหล่านี้อย่างไร
ดังนั้นนี่คือค่าสำคัญ
มันเป็นศูนย์
คุณสามารถดูค่า Q ได้แล้วตอนนี้
ดังนั้นเขาจึงได้เรียนรู้ว่าสิ่งนี้แตกต่างกันเล็กน้อยเพราะเมื่อคุณไปถึงขั้นตอนสุดท้ายคุณจะต้องออกไปจากมัน
คุณต้องคลิกอีกหนึ่งปุ่มเพื่อออก
ดังนั้นมันจึงอยู่ใกล้กับที่หนึ่ง แต่ไม่ใช่ที่ที่แน่นอน
แต่ในเวลาเดียวกันคุณจะเห็นได้ว่าที่นี่คุณรู้ว่ามือที่ตกผลึกแบบช้า
ๆ เป็นจุดที่อดีตเพื่อนร่วมงานเดินทางไปที่ไหนสักแห่ง เข้าใจว่าเกิดอะไรขึ้น
ตกลงดังนั้นเรามาดูกันว่าเกิดอะไรขึ้นที่นี่
สำรวจสำรวจสำรวจสิ่งที่จะเกิดขึ้น
ตอนนี้ก็กำลังดี
และเราได้สิ่งนี้มาจากการสุ่มที่เกี่ยวข้อง
ดังนั้นจึงเป็นสิ่งที่ดีเพียงไม่กี่ครั้ง
ตอนนี้เขาได้รับซ้ำ 10 ครั้งเท่านั้น
ดังนั้นเขาจะต้องเรียนรู้อย่างรวดเร็วตกลงฉันต้องการคุณที่นั่น
เรามาดูกันว่าเกิดอะไรขึ้น
มาเลย
ออกไปจากเขาวงกตแล้ว
และใช่ 10 ตอนดังนั้นโดยเฉลี่ยมันกลับกลายเป็นว่า
นั่นไม่ได้สนใจจริงๆ
ดังนั้นที่นี่เรามาดูกัน
ฉันไม่เคยเห็นการคลิกมามากพอ
ขวา.
เราจะไปที่นั่น.
ดังนั้นคุณจะเห็นได้ว่านี่เป็นนโยบายที่เขาทำขึ้นมา
แม้ผ่านไปเพียงแค่ 10 ตอนเขาก็จะได้ชีพจร
ฉันจะขึ้นไปวางระเบิดและที่นี่ฉันจะลงไปที่นี่ฉันจะลงไปที่นี่ฉันจะเข้าไปในกำแพงแล้วฉันจะเด้งเราอยู่ที่นี่
มันเท่ห์มาก
ตกลง.
ดังนั้นตอนนี้เรามาเพิ่มความเร็ว
พารามิเตอร์คืออะไร
และนั่นก็เหมือนกับความไร้ระเบียบสองชั้น
นั่นคือความเร็วสี่เท่าและเพิ่มจำนวนการวนซ้ำดังนั้นสมมุติว่า 20 ปันส่วนในเวลานี้และลองดูว่าเขาจะผ่านได้มากกว่านี้อีกหรือไม่
ดังนั้นคุณจะเห็นว่าเขากำลังเร็วขึ้นเล็กน้อย
และเขากำลังเรียนรู้ว่าเขากำลังเรียนรู้ว่าไม่ใช่คุณรู้จริง ๆ จากรัฐนี้ว่าไม่มีการกระทำที่ดีมากมาย
Orio การกระทำเหล่านี้ที่ถูกและตรงไปตรงมานั้นไม่ดี
แน่นอนว่านี่ไม่ดีอย่างแน่นอน
เขายังต้องเรียนรู้ว่าจากที่นี่ก็ดีเช่นกัน
คุณจะเห็นได้ว่าการกระทำนี้ค่อนข้างดี
เอาล่ะ
เขาได้อะไร
ตกลง.
นโยบายที่น่าสนใจดังนั้นที่นี่คุณเราตัดสินใจที่จะขึ้นไป
ข้อมูลไม่เพียงพอ
งั้นลองทำกันดู
และเพิ่มความเร็วเป็น 100
เร็วสุด ๆ
และจำนวนการทำซ้ำจะทำให้เขาได้ 100 ครั้งในเวลานี้มันวิ่งฉากนั้นอย่างรวดเร็วและคุณจะเห็นว่าเพราะมีการทำซ้ำหลายครั้งมากขึ้นเขาได้รับข้อมูลเพิ่มเติมโอกาสในการทดสอบ
ค่าเหล่านี้สำหรับทุก ๆ สถานะ
ตอนนี้เขารู้ว่าคุณจะเห็นว่าจุดศูนย์แปดสิบเก้า
เราพูดอะไรในจุดศูนย์ของเรา 86
สิ่งที่ต้องจำก็คือค่าของรัฐใดก็ตาม
โปรดจำไว้ว่าสูตรที่เรามีคือค่าสูงสุดของคิวบ์
จำไว้ว่าสิ่งที่เราคิดสูตรทางลัด
ดังนั้นสิ่งที่มีค่าในสถานะนี้คือ V ของสิ่งนี้
มันจะเป็น 0 18
เพราะนั่นคือค่าสูงสุดของสี่ในค่านี้ของสถานะนี้ 0 7 คุณต้องการคุณค่าของวันนี้
มีจุดหกสิบเอ็ดและอื่น ๆ
นั่นคือสิ่งที่ต้องจำ
ฉันจำได้ว่าเมื่อฉันขึ้นฉันคิดว่าเรามีเช่นศูนย์จุด 86 หรืออะไรบางอย่างดังนั้น praecox
ดังนั้นถ้าเราไปในปีหน้าฉันจะหายไปหรือหายไปอีกครั้งและนี่จะทำให้มันกลับมา
ตกลง.
ค่อยๆเติมช่องว่างอย่างช้าๆ
ฉันเห็น.
และมันก็ค่อนข้างสุ่มเพราะไม่เพียง แต่สภาพแวดล้อมที่มีการสุ่ม
แต่ยังวิธีที่เขาสำรวจว่าดาวไม่ทราบนโยบายจริงๆคือเขากำลังสำรวจโดยสุ่ม
เพิ่งหายไป
ฉันไม่เข้าใจว่าทำไม
ต่อไปเรามาดูกันว่าจะเกิดอะไรขึ้นถ้าคุณเพิ่มจำนวนที่นี่และที่นี่น่าจะใช้เวลาเท่ากันถ้าความเร็วไม่มีแคปอยู่
ตกลงดังนั้นเขาเหมือนเขามีโอกาสมากขึ้นในการสำรวจสิ่งต่าง ๆ
ตกลงเรามาดูกันว่ามันเป็นอย่างไร
และคุณสามารถเห็นค่าต่าง ๆ
ที่มาบรรจบกันมันขึ้นและลงตามที่คุณรู้เพราะมีการสุ่มและเขาอาจจะลงเอยเหมือนในหลุมแม้ว่าเขาจะเป็นแบบนี้
แต่ในขณะเดียวกันพวกเขาก็ค่อยๆเริ่มที่จะรวมกันเป็นค่าบางอย่างและค่าคิว
ตกลงอาจเป็นพันเป็นบิตมากเกินไปในแง่ของเวลา
ดูเหมือนว่าความเร็วจะเพิ่มขึ้นตามสัดส่วนเช่นกัน
ดังนั้นมันอาจตัดส่วนนั้น
ฉันหมายถึงชอบลดความเร็ว
คุณรู้ไหมว่าตอนนี้มันต่ำมากคุณไม่ต้องคอยดูจนจบบทช่วยสอนนี้ฉันแค่อยากทดลองกับมันสักหน่อยเพื่อให้คุณมีตัวอย่างของสิ่งที่เราได้ทำงานมา
แต่คุณก็เข้าใจแล้ว ผ่านทุกสิ่งนี้
มันมีการสุ่มบางอย่างเช่น Rambler ที่สร้างขึ้นในพฤติกรรมของเขา
ดังนั้นแม้ว่ามันจะมีนโยบายเหมือนกัน แต่ก็จะยังคงสำรวจต่อไปดังนั้นมันจะไม่เหมือนเมื่อมีนโยบายพื้นฐาน
มันจะยังคงทดสอบกับรูปแบบอื่น ๆ เป็นระยะ ๆ
เพื่อปรับปรุงนโยบายของมันบางทีมันอาจไม่พบนโยบายที่ดีที่สุดในทันที
อาจปรับปรุงนโยบายได้
และนั่นคือเหตุผลที่ว่าแม้หลังจากการทำซ้ำหลายครั้งคุณยังสามารถเห็นเอฟเฟกต์แบบสุ่มบางครั้งมันก็กระโดดเข้าสู่สถานะการสุ่มไม่เพียงเพราะการสุ่มในสภาพแวดล้อม แต่ยังเพราะมีระดับเหมือนพารามิเตอร์ที่คุณสามารถควบคุมได้ สำหรับตัวแทนของคุณที่บอกว่าคุณรู้ว่าส่วนใหญ่
80
เปอร์เซ็นต์ของเวลาทำสิ่งที่นโยบายของคุณบอกให้คุณทำ แต่
20 เปอร์เซ็นต์ของเวลาที่คุณมีการทดลองสนุก
ๆ และดูว่าเกิดอะไรขึ้นและใช้ข้อมูลที่คุณรวบรวมเพื่ออัปเดต นโยบายของคุณ
ตกลงนี่ใช้เวลานานเกินไป
ลองอีกครั้ง
ใช่นั่นคือวิธีที่ตัวแทนเรียนรู้ในรัฐต่าง ๆ
บางทีเราแค่เรียกใช้อีกครั้งหนึ่งจากความอยากรู้
มีอะไรอีกบ้างที่เราสามารถเปลี่ยนแปลงได้
ซ้ำ
ตกลง.
ตกลงมาดูกัน
ใช่เราสามารถเปลี่ยนการสนทนาเป็นตัวอย่างได้
ดังนั้นในกรณีนี้เราสามารถพูดได้ว่า K ลบหนึ่งร้อยลบ a Q ลบสองและลบเป็น OK พัน
รางวัลดังนั้น
เราต้องการเก็บมันไว้บางทีเก็บมันไว้ที่ 0 04 แต่สมมุติว่าเรื่องนี้ให้รางวัลที่ศูนย์ทะเลทรายของฉันทุกครั้ง
แล้วตรงนี้เราจะบอกว่าส่วนลดไม่ใช่ศูนย์จุดเก้า แต่มันเหมือนกับศูนย์จุดห้า
ดังนั้นมันจึงได้รับส่วนลดค่อนข้างมากเมื่อคุณเล่นเกมนี้
ดังนั้นตอนนี้จริง ๆ
แล้วมันจะถูกกระตุ้นให้เข้าใกล้ถึงจุดจบมากกว่าเส้นทางเพิ่มเติมที่รัฐใกล้จะเสร็จสิ้นจะได้รับค่าสูงเพื่อให้คุณเห็นว่าค่าจริง ๆ ลดลงไม่เป็นสีเขียวเหมือนเดิม
ดังนั้นที่นี่คุณจะเห็นได้ว่านี่เป็นนโยบายตอนนี้
มันจะเป็นแบบนั้นแบบนั้นคล้าย ๆ กับที่เราเห็นมาก่อนอาจจะมีเพียงแค่ความแตกต่างจากที่นี่กระโดดตรงเข้าไปที่นี่
นั่นคือหนึ่ง
และตกลงลองอีกหนึ่ง
มันสนุกมาก
ลองเพิ่มอีกหนึ่ง k k ลบ k 100 a q ทิ้ง
เก็บไว้เหมือนเดิมดังนั้นเรามารัน vanilla พื้นฐานนี้กันดีกว่า ok ok ok
มันจะดูว่ามันจะแสดงให้เรานโยบาย
และใช่เรามีนโยบาย
ใช่.
ดีมาก
ดังนั้นที่นี่เรามีนโยบาย
คุณรู้ว่าสิ่งนี้เป็นที่คุ้นเคย
โปรดจำไว้ว่าเวลาที่เราเห็นว่า AI
ฉลาดกว่าการทิ้งระเบิดของมนุษย์เข้าไปในผนังเพื่อไปที่นั่นและพุ่งเข้าไปในผนังเพื่อไปเช่นนั้นเพื่อเพิ่มปัญหา
ดังนั้นเราไปกันเลย
นั่นเป็นตัวอย่างของการไม่ทำปัญญาประดิษฐ์ขั้นพื้นฐานที่ง่ายมาก ๆ รายได้จากการฆ่าดังนั้นจึงไม่มีการเรียนรู้อย่างลึกซึ้งในขั้นตอนนี้
แต่ในเวลาเดียวกันมันก็ค่อนข้างสมาร์ทและฉันหวังว่าคุณจะสนุกกับการสอนของวันนี้
และขอขอบคุณอีกครั้งกับ UC Berkeley และฉันหวังว่าคุณจะสนุกกับการสอนวันนี้และฉันหวังว่าจะได้ดูพวกเขา
จนกว่าจะสนุกกับ AI