คุณพร้อมไหม?
ลงมือทำกันเถอะ.
เริ่มต้นด้วยการติดตั้งการพึ่งพาระบบทั้งหมดเพื่อภูมิปัญญา
คลิกปุ่มเล่นนี้ และตอนนี้มันจะติดตั้งการพึ่งพาทั้งหมด ดังที่คุณเห็น เช่น pillow หรือ
psi, pi และการอ้างอิงอื่นๆ ที่จำเป็นสำหรับการเรียกใช้สิ่งนี้ให้สำเร็จ
แต่ส่วนที่เหลือทั้งหมดเช่น pytorch มีการติดตั้งโมดูลยิมแล้ว
มันเยี่ยมมากจริงๆ
นั่นเป็นความสวยงามของ Google CoLab และนั่นก็ต้องขอบคุณการที่พวกคุณจะไม่มีปัญหาในการรันโค้ดและการแสดงภาพผลลัพธ์สุดท้าย
ไม่เป็นไร.
นี่จะใช้เวลาหนึ่งหรือ 2 นาทีจริงๆ
ดังนั้น ฉันจะไปข้างหน้าอย่างรวดเร็วที่นี่ แล้วพบกันเร็ว ๆ นี้สำหรับการดำเนินการที่เหลือของรหัส
ไม่เป็นไร.
ดูเหมือนว่าเราจะสิ้นสุดการติดตั้งระบบ
การพึ่งพาอาศัย อย่างที่คุณเห็น กำลังดาวน์โหลด ติดตั้งในขณะที่รวบรวมความต้องการที่เหมาะสมทั้งหมด
และในเวลาไม่กี่วินาทีก็ควรทำอย่างถูกต้อง
และมาดูกัน
สาม สอง.
เราจะไปที่นั่น.
ติดตั้งทุกอย่างเรียบร้อยแล้ว
ไม่ต้องกังวลกับข้อผิดพลาดเหล่านี้ที่นี่
สิ่งเหล่านี้จะไม่ส่งผลกระทบต่อการทำงานของโค้ด แต่ทุกอย่างได้รับการติดตั้งสำเร็จตามที่เราต้องการ
เอาล่ะ ขั้นตอนต่อไป
สำคัญมาก.
ดูโหนดที่สำคัญนี้
มันบอกว่าหลังจากติดตั้งการพึ่งพาทั้งหมด โดยทั่วไปหลังจากดำเนินการเซลล์แรกนี้ที่นี่ คุณต้องรีสตาร์ทรันไทม์ของคุณ
มิฉะนั้น คุณจะได้รับข้อผิดพลาดในการดำเนินการที่นี่
เลยรีบทำกัน
มันง่ายมาก
คุณเพียงแค่ต้องคลิกรันไทม์ที่นี่ จากนั้นรีสตาร์ทรันไทม์ จากนั้นใช่ ตกลง
การดำเนินการนี้จะคืนค่ารันไทม์ของคุณ
และตอนนี้คุณก็สามารถดำเนินการเซลล์เหล่านี้ทั้งหมดได้โดยคลิกที่ปุ่มเล่น
มาทำสิ่งนี้กัน เริ่มด้วยการประมวลผลภาพไฟล์แรกนี้ก่อน
เอาล่ะ เรามานำเข้าไลบรารี่ก่อน จากนั้นจึงประมวลผลภาพล่วงหน้าด้วยคลาสอิมเมจพรีโพรเซส
และตอนนี้เราได้ย้ายไปยังการใช้งานการเล่นซ้ำของประสบการณ์ซึ่งหมายถึงอันนี้
เอาล่ะ เรามาทำกัน
ก่อนอื่นเรานำเข้าไลบรารี จากนั้นเราจะกำหนดหนึ่งขั้นตอนของสภาพแวดล้อม
จากนั้นเราจะสร้างความคืบหน้าในหลายขั้นตอนและขั้นตอนด้วยคลาส Step Progress เหมือนกับที่เรามีในโฟลเดอร์
จากนั้นเราใช้การเล่นซ้ำของประสบการณ์โดยการสร้างคลาสหน่วยความจำเล่นซ้ำนี้
ดีทุกอย่าง
และตอนนี้เราไปยังไฟล์ที่สาม ไฟล์นี้ ฉันทำฉันด้วย py และเรานำเข้าไลบรารีก่อน
แล้ว.
ไม่เป็นไร.
ดังนั้นจะใช้เวลาเล็กน้อยที่นี่ เพราะเรานำเข้าโมดูลคบเพลิงทั้งหมด จากนั้นเรานำเข้าแพ็คเกจสำหรับ
openai และ doom
ด้วยยิมและ Wisdom Gym และแร็ปเปอร์
ดีมาก
จากนั้นเราก็ไปต่อกันที่ส่วนหนึ่ง สร้าง AI ที่เราจะสร้างสมอง ต่อด้วยร่างกาย
และประกอบทุกอย่าง
ก่อนอื่นเรามาทำให้สมองดีกับคลาส CNN กันก่อน
จากนั้นมาทำ body ด้วย soft max body class แล้วมาทำ AI กับ class กัน
ไม่เป็นไร.
ดีมาก
และตอนนี้เราได้ไปยังส่วนที่สองแล้ว ซึ่งเราจะฝึก AI ด้วยการเรียนรู้เชิงลึกและพลิกผัน
ไม่เป็นไร.
เหมือนกับที่เรามีอยู่ตรงนี้
อันดับแรก เราได้รับสภาพแวดล้อมของ Doom ด้วยโมดูลใหม่ของเราที่มีหลุมฝังศพ
ไม่ต้องกังวลเกี่ยวกับเรื่องนี้
นี่ไม่ใช่ข้อผิดพลาด
จากนั้นเราจะสร้าง AI ด้วยการสร้างวัตถุต่าง ๆ สมอง CNN ร่างกายของร่างกายสูงสุด
และ AI ทั้งหมดที่มีสมองและร่างกาย
ไม่เป็นไร.
ฉันดำเนินการนี้หรือไม่
ใช่.
จากนั้นเราตั้งค่าประสบการณ์ เล่นซ้ำและขั้นตอน และหน่วยความจำเป็นหน่วยความจำเล่นซ้ำตามวัตถุประสงค์
จากนั้นเราใช้การติดตามคุณสมบัติ
ไม่เป็นไร.
เพื่อปรับปรุงประสิทธิภาพ
จากนั้นเราสร้างเส้นค่าเฉลี่ยเคลื่อนที่ 100 ขั้นด้วยคลาส MA
สุดท้ายนี้เพื่อนๆ พร้อมกันรึยังคะ?
ตอนนี้ถึงเวลาแล้ว ในส่วนที่น่าตื่นเต้นมาก ที่เราจะฝึก AI
มากกว่า 20 ยุค
เอาล่ะ คุณจะเห็นว่ามันยาวไปหน่อย
คุณก็รู้ มันจะใช้เวลาราวๆ 1 หรือ 2 ชั่วโมง เพราะฉันเพิ่มขนาด
อย่าลังเลที่จะลดขนาดกลับเป็น 80 คูณ 80 หากคุณพบว่ามันยาวเกินไป
แต่เชื่อฉันสิ คุณจะมีวิดีโอที่ดีขึ้นมากด้วยมิติข้อมูลเหล่านี้
แล้วคุณล่ะพร้อมหรือยัง?
ลองทำกันในสาม สอง หนึ่ง ไป
เอาล่ะ นี่จะรันโค้ดของการฝึก
และในไม่กี่วินาที เราก็จะสามารถเห็นยุคแรก ซึ่งแน่นอนว่าจะต้องได้รับผลตอบแทนในทางลบ
แต่คุณจะเห็นว่าตลอดช่วงเวลานั้น รางวัลจะเพิ่มขึ้นทีละน้อยจนกว่าจะถึงรางวัลที่เป็นบวก
จากนั้นจนกว่าจะถึงรางวัลนับร้อย
เรามาตั้งเป้ากันที่จริง
หวังว่าด้วย 20 epoch เราจะมีรางวัลสุดท้ายที่ระดับ 100 เช่น 100 หรือ 200 หรือ 300
เพราะด้วยรางวัลเหล่านี้ ฉันได้ทดลองกับมันจริงๆ
ใช่.
ยุคแรก ผลตอบแทนเชิงลบ -98
ฉันก็เลยบอกว่าด้วยรางวัลที่ประมาณ 100, 203 ร้อย เราจะได้ผลลัพธ์ที่ยอดเยี่ยมอยู่แล้ว
คุณรู้ไหม เราจะเห็นว่า AI จัดการฆ่าสัตว์ประหลาดบางตัวหรือหลีกเลี่ยงพวกมัน หรือคุณจะรู้ว่ากำลังเคลื่อนเข้าหาเสื้อกั๊ก
นั่นคือยุคแรก ยุคที่หนึ่ง -98
แล้วคุณจะรู้ว่าเราจะเห็นยุคที่สองซึ่งอาจมีรางวัลที่ดีกว่าอยู่แล้ว
แต่คุณรู้ไหม ในตอนแรก แน่นอนว่า AI ไม่ได้รับการฝึกฝน
เป็นการสำรวจสิ่งแวดล้อม
ถูกต้อง.
จำการประนีประนอมในการเรียนรู้แบบเสริมกำลัง การสำรวจกับการแสวงประโยชน์ได้หรือไม่
ในตอนแรก AI กำลังสำรวจอย่างหมดจด จากนั้นมันก็จะฝึกฝน จากนั้นมันก็จะฉลาดขึ้นและฉลาดขึ้น
และนั่นคือตอนที่มันจะได้รับรางวัลสูง
ดังนั้นจึงเป็นเรื่องปกติที่จะมีรางวัลเชิงลบในตอนเริ่มต้น
บางทีเราอาจจะได้รับสิ่งนั้นในช่วง 3/1 แต่คุณจะเห็นว่าหลังจากยุคที่สี่หรือห้าหรือหก
ดี เราจะเริ่มไปถึงรางวัลที่เป็นบวก และหวังว่าจะได้รางวัลที่ประมาณ 102 ร้อยหรือ 300
ดังนั้นมันจะใช้เวลาสักครู่อย่างที่ฉันพูด
ดังนั้นเราจะไม่อยู่ที่นี่เป็นเวลา 2 ชั่วโมงมิฉะนั้นฉันจะพูดอะไรไม่ออก
สิ่งที่ฉันจะทำคือตอนนี้ฉันจะใส่เพลงที่สนุกหรือเจ๋งๆ
และก็มาถึงยุคที่สอง -62
ดังนั้นจึงมีการปรับปรุงบ้างแล้ว
ดีแล้ว.
แต่คุณจะเห็นว่าจะมีการปรับปรุงที่ดียิ่งขึ้นไปอีกเมื่อเราก้าวหน้าในยุคนั้นมากขึ้น
เมื่อกี้ฉันพูดว่าอะไรนะ?
ใช่ ฉันจะใส่เพลงเจ๋งๆ ตอนนี้และเล่นการฝึกในโหมดเร่งความเร็ว
และแน่นอน เจอกันตอนท้ายการฝึกเพื่อดูผลสุดท้าย
ไม่เป็นไร.
ดังนั้นเราจึงไป
สาม สอง หนึ่ง ไปเลย
ไม่เป็นไร.
และนี่คือช่วงสุดท้ายของการฝึก
ยินดีด้วย.
คุณฝึกรูปแบบการเรียนรู้ที่ลึกซึ้งและพลิกผันบนแอปพลิเคชันที่ท้าทายมาก ซึ่งก็คือการเล่นเกมแห่งการลงโทษ
แล้วจะพูดอะไรเป็นอย่างแรก?
อย่างที่เราหวังไว้ เราได้รางวัลโดยเฉลี่ยที่มากกว่า 100
สิ่งที่สำคัญที่จะพูดก็คือ แน่นอนว่า ในยุคที่มากขึ้น คุณจะได้รับรางวัลที่สูงขึ้น
ตัวอย่างเช่น หากคุณพร้อมที่จะฝึกฝนโมเดลนี้สำหรับยุคต่างๆ มากขึ้น เช่น 100 ยุคหรือมากกว่านั้น
เพื่อให้ได้รางวัลมากขึ้นประมาณ 304 แสน 500 หรือแม้กระทั่ง 1,000
รู้สึกอิสระที่จะทำมัน
ตัวอย่างเช่น คุณสามารถปล่อยให้มันวิ่งข้ามคืนในขณะที่คุณนอนหลับ และเมื่อคุณตื่นนอนตอนเช้า
คุณจะได้ผลลัพธ์ที่ดีขึ้น
โปรดทราบว่าคุณสามารถใช้ GPU ในรันไทม์ได้ใช่ไหม
หากคุณเปลี่ยนประเภทรันไทม์ซึ่งฉันไม่ควรทำเพราะไม่เช่นนั้นโน้ตบุ๊กจะรีสตาร์ท
แต่ใน hardware accelerator คุณสามารถเลือก GPU หรือ CPU ได้ แต่นั่นก็ต่อเมื่อคุณต้องการเพิ่มประสิทธิภาพการทำงานและฝึกฝนอย่างหนัก
แต่ที่นี่ฉันแค่ใช้สิ่งที่คลาสสิกเพราะฉันต้องการแสดงให้คุณเห็นถึงวิธีการดำเนินการทั้งหมดนี้
และเราไปที่นั่น
ตอนนี้เราจะดำเนินการส่วนที่เหลือของเวิร์กบุ๊กด้วยโค้ดพิเศษนี้เฉพาะสำหรับเคอร์เนลหนังสือนี้
ซึ่งแน่นอนว่าเราจะเห็นภาพการทำงานของ AI
เอาล่ะ เรามาทำกัน
ขั้นแรกให้นำเข้าไลบรารี
ถูกต้อง.
ทั้งหมดดี.
จากนั้นเราจะพิมพ์รูปร่างอินพุตและการกระทำที่เป็นไปได้จำนวนหนึ่ง
ไม่เป็นไร.
ดังนั้น เราจะได้รู้ว่ามีการดำเนินการที่เป็นไปได้เจ็ดอย่างในสภาพแวดล้อม Doom Corridor
สิ่งเหล่านี้คือเดินหน้า ถอยหลัง ไปทางซ้าย ไปทางขวา ยิง
แล้วก็อาจจะป้องกันตัวเองหรืออะไรก็ตาม
ฉันไม่รู้ว่าการกระทำสุดท้ายคืออะไร แต่อะไรทำนองนั้น
นี่คือขนาดของกรอบอินพุต
ซึ่งสอดคล้องกับความสูงของเฟรม
มีความสูง 240 พิกเซล
นี้สอดคล้องกับความกว้างของกรอบใช่ไหม?
มีขนาดใหญ่ 320
และนั่นก็สอดคล้องกับ ความจริงที่ว่าเราทำงานกับรูปภาพที่มีสี และทั้งสามส่วนนี้สอดคล้องกับองค์ประกอบทั้งสามของช่องของเรา
เอาล่ะ เรามาดำเนินการในเซลล์ถัดไป โดยแสดงกรอบของสภาพแวดล้อมเพื่อดูว่าเป็นอย่างไร
และอย่าลืมว่าการดูสภาพแวดล้อมที่คุณทำงานด้วยนั้นมีประโยชน์ใช่ไหม
ที่นี่เราเห็นว่าเราอยู่ใน Doom Corridor แต่ถ้าคุณต้องการทดลองกับสภาพแวดล้อมเพิ่มเติมที่นี่
ที่จริงแล้ว อย่าลืมว่าสิ่งเหล่านี้ก็อยู่ในหน้าหลักที่นี่ด้วย
ที่นี่.
ใช่.
คุณมีรายชื่อสภาพแวดล้อมทั้งหมดที่ฉันแนะนำให้ทำการทดลอง
ดังนั้นหากต้องการดูอย่างอื่น
คุณก็รู้ ฉันสามารถแสดงให้คุณเห็นได้จริงๆ
เอาอันนี้มา แล้วฉันจะกลับไปที่ทางเดินแห่งความหายนะนี้
ถูกต้อง.
ดังนั้นถ้าฉันแทนที่ด้วยอันนี้
ใช่และฉันทำสิ่งนี้ได้ดี
เราจะได้รับสามการกระทำในครั้งนี้
แน่นอนว่ามันง่ายกว่า และถ้าเราดำเนินการเซลล์นี้ได้ดี เราจะเห็นสภาพแวดล้อมนี้ใช่ไหม
ดังนั้นจึงเป็นเพียงวิธีหนึ่งในการดูสิ่งที่คุณกำลังทำงานด้วยอย่างรวดเร็ว และดูตัวอย่าง โดยพื้นฐานแล้ว
ว่า AI จะทำอะไรในสภาพแวดล้อม
ไม่เป็นไร.
กลับไปที่ Wisdom Corridor กัน
มาดำเนินการนี้อีกครั้งในกรณีที่เราต้องการสำหรับเซลล์ถัดไป
เอาล่ะ ทางเดินแห่งความหายนะที่สมบูรณ์แบบ
ตอนนี้ไปที่เซลล์สุดท้าย
นี่คือฟังก์ชันตัวช่วยที่จะใช้สำหรับการแสดงภาพ
ลองใช้เซลล์นี้และเรียกใช้ AI ในตอนเดียว
และที่นี่คุณจะสามารถเข้าใจโค้ดได้เพราะว่าโดยพื้นฐานแล้วมันเป็นกระบวนการออกอากาศในตอนเต็มซึ่งในแต่ละขั้นตอนจะอยู่ในสถานะเฉพาะก็จะเล่นการกระทำภายในสถานะแล้ว
มันจะได้รับรางวัลแล้วไปถึงสถานะต่อไปใช่มั้ย?
นี่คือกระบวนการ MDP แบบคลาสสิกใช่ไหม
กระบวนการตัดสินใจของมาร์คอฟ
ดังนั้นเราจึงไป
จบไปหนึ่งตอน
และสุดท้าย เราจะได้วิดีโอการเล่นเกมของ AI ของเรา ซึ่งได้รับการฝึกฝนมาในราคา 20 เหรียญ ได้รับรางวัลมากกว่า
100 รางวัล ซึ่งจะทำให้เราได้ผลลัพธ์ที่ค่อนข้างดี แต่อาจจะไม่ถึงที่สุด
แต่ก็ไม่เป็นไร
คุณจะทดลองด้วยตัวเอง
และตอนนี้ ฉันต้องการให้คุณคลิกปุ่มแบบเต็มที่นี่ เพราะฉันจะแสดงให้คุณเห็นว่าวิดีโอมีการบรรจุอย่างไร
นี่คือโฟลเดอร์บางโฟลเดอร์ที่มีองค์ประกอบบางอย่าง เช่น เฟรม เฟรมของผลลัพธ์ หรือ
JS และไฟล์บางไฟล์
แต่สิ่งที่เราสนใจจริงๆ คือวิดีโอสุดท้าย
และเพื่อให้ได้มันมา เราแค่ต้องคลิกปุ่มเล่นที่นี่ แล้วคุณจะพบว่ามันจะถูกใส่ลงในโฟลเดอร์หลักที่นี่
อย่าพลาดและไม่เป็นไร
คุณรู้ไหม ดูเหมือนว่าเซลล์จะถูกดำเนินการแล้ว ซึ่งเป็นกรณีนี้
แต่คุณจะเห็นว่าในไม่กี่วินาที
เราจะเห็นไฟล์ AVI ซึ่งเป็นไฟล์วิดีโอที่บรรจุอยู่ที่นี่
มันจะปรากฏขึ้นใน 10 วินาที
ฉันสามารถทำนับถอยหลังได้ถ้าคุณต้องการ
ลองทำสิ่งนี้กัน
และสิบ เก้า แปด เจ็ด หก ห้า สี่ สาม สอง หนึ่ง ไป
และตอนนี้ก็ควรจะปรากฏในไม่กี่วินาที
ใช่ เราไปกันเลย
ไม่เป็นไร.
ดังนั้นเกมตัวแทน
เล่นเลยเอวี
นั่นคือวิดีโอของคุณ
มาดาวน์โหลดกันและมันจะถูกดาวน์โหลดลงในคอมพิวเตอร์ของคุณ ซึ่งฉันจะหาได้ที่นี่
ถูกต้อง.
นั่นคือวิดีโอเกมตัวแทน
เล่นเอฟบีไอ
อย่าลืมเปิดด้วยเครื่องเล่นวิดีโอที่มีตัวแปลงสัญญาณเช่น VLC
ถูกต้อง.
มันจะไม่ทำงานกับโปรแกรมเล่น Quicktime หากคุณใช้ Mac แต่จะใช้งานได้กับ VLC อย่างแน่นอน
ลองมาดูและนี่คือวิดีโอ
ไม่เป็นไร.
ขอผมกดหยุดตรงนี้
ไม่เป็นไร.
นี่คือวิดีโอ
และอย่างที่คุณเห็น นี่คือขนาดเฟรม 256 x 256
อย่างที่คุณเห็นมันไม่ใหญ่มาก
ถูกต้อง.
นั่นเป็นเหตุผลที่ฉันต้องการทำงานกับมิติข้อมูลเหล่านี้แทน 80 คูณ 80
ทีนี้มาดูวิดีโอกัน
ดังนั้นนี่คือ AI ที่กำลังเล่น Doom ในตอนเดียวและต้องหลีกเลี่ยงมอนสเตอร์ไม่ให้ถูกฆ่า
มันต้องก้าวไปข้างหน้าเพื่อไปถึงเสื้อกั๊ก
เรามาดูกันว่ามันทำอย่างไร
3 ต่อ 1 ไปเลย
ไม่เป็นไร.
อย่างแรกเลย มันโดนยิง มันเคลื่อนที่ไปข้างหน้า โอเค?
แล้วมันก็โดนพวกมอนสเตอร์ฆ่า
แต่นั่นก็ยังค่อนข้างดี
รู้ไหม มันเข้าใจดีว่าต้องก้าวไปข้างหน้าสู่เสื้อกั๊ก เพราะรางวัลสูงสุดได้จากการไปถึงเสื้อกั๊ก
และแน่นอน คุณรู้ไหม ถ้าคุณต้องการดูวิดีโอที่ดวงตาของคุณเอื้อมถึงเสื้อกั๊กและชนะในเกมนี้
โดยพื้นฐานแล้ว คุณจะต้องฝึกสายตาของคุณสำหรับยุคสมัยที่มากขึ้น และอาจต้องปรับปรุงอย่างอื่นด้วย เช่น
การปรับแต่ง สมองของดวงตาของคุณหรือทำการปรับพารามิเตอร์บางอย่างเช่นปรับอัตราการเรียนรู้
คุณมีตัวเลือกมากมายหากคุณได้รับวิดีโอที่น่าอัศจรรย์หรือวิดีโอของ AI ที่ได้รับรางวัลมากกว่า
1,000 รายการ
อย่าลังเลที่จะแบ่งปันในคำถาม & คำตอบ
ฉันแน่ใจว่านักเรียนคนอื่นๆ จะมีความสุขมากที่ได้รับมัน
ไม่เป็นไร.
ดังนั้น ฉันหวังว่าคุณจะชอบการนำรูปแบบการเรียนรู้ที่ลึกซึ้งและพลิกผันไปใช้
ตอนนี้เราจะไปยังส่วนถัดไป ซึ่งจะเกี่ยวกับการนำโมเดลหลักสามประการไปใช้และรูปแบบที่ดียิ่งขึ้นและมีประสิทธิภาพยิ่งขึ้นซึ่งจะนำไปใช้ในการเล่นเกมแห่งการฝ่าวงล้อม
แล้วพบกันใหม่ในตอนหน้าครับ
และจนกว่าจะถึงตอนนั้น เพลิดเพลิน
ฉัน.