ลูก้า: สวัสดีทุกคน และยินดีต้อนรับกลับมา
ในวิดีโอนี้
เราจะพูดถึง ChatGPT และวิธีการใช้อัลกอริทึมเดียวกันกับ
Doom ที่เราจะใช้ในหลักสูตร นั่นก็คือ Convolutional Deep Q-learning
ในอีกสองสามนาทีข้างหน้า
เราจะเดินไปตามทางที่ผมชี้ไปจริงๆ และขอ ChatGPT
ให้เราไปรับแบบจำลองของเรา
ดังนั้น ให้ฉันช่วยให้คุณเข้าใจว่าฉันทำได้อย่างไร
และทำไมฉันถึงทำตามคำแนะนำบางอย่างในแบบที่ฉันทำ
ดังนั้นข้อความแจ้งเริ่มต้นจึงได้รับการออกแบบมาอย่างดีจากจุดสิ้นสุดของฉัน
ฉันพูดว่า: "คุณเป็นผู้เชี่ยวชาญด้านแมชชีนเลิร์นนิงอาวุโส"
ด้วยประสบการณ์หลายปีในการทำงานในโครงการ
"การนำแมชชีนเลิร์นนิงไปประยุกต์ใช้กับการจำลองและหุ่นยนต์ นี่เป็นส่วนแรก การจัดฉาก การให้บทบาทแก่พวกเขา
โดยพื้นฐานแล้ว พื้นที่เวกเตอร์ของ ChatGPT
ทั้งหมดจะได้รับพร้อมท์เพิ่มเติมเกี่ยวกับหัวข้อแมชชีนเลิร์นนิง
ตอนนี้ฉันต้องการนำบริบทของฉันมาใช้ Doom
และที่จริง ฉันจะไปถึงจุดนั้นได้อย่างไร ฉันพูดว่า "โอเค ฉันจ้างคุณมาช่วยฉัน
"โดยใช้อัลกอริทึม Convolutional Deep Q-Learning" สำหรับสภาพแวดล้อม
Doom
"เป้าหมายคือการมี "อัลกอริธึมการเรียนรู้การเสริมแรงที่ทำงานได้อย่างสมบูรณ์"
ที่สามารถเล่น Doom ซึ่งเป็นสภาพแวดล้อมของเกมได้
"ฉันได้ใช้คลาส" สำหรับประสบการณ์_เล่นซ้ำและหน่วยความจำและการประมวลผลภาพ
"ฉันจะให้คุณ" เพื่อให้คุณสามารถรวมไว้ในรหัสสุดท้าย
สิ่งนี้สำคัญมากซึ่งคนส่วนใหญ่คิดถึง
คุณต้องมีวิธีบอกเขาหรือบอก ChatGPT ว่าคุณมีบางอย่างอยู่แล้วและคุณต้องการใช้รหัสนั้นในการติดตั้งใช้งานขั้นสุดท้าย
ดังนั้นหากฉันไม่ได้ให้สิ่งนี้เป็นบริบท มันจะสร้างโค้ดบางส่วน
การใช้งาน Q-learning เชิงลึกแบบ Convolutional
ที่จะไม่พิจารณาใช้ experience_replay
และฟังก์ชันการประมวลผลภาพของเรา แต่เราต้องการสิ่งนั้น
ดังนั้นฉันจึงพูดต่อไปว่า:
"เป้าหมายของคุณคือการนำโซลูชันเต็มรูปแบบไปใช้
Python, "Torch for model" และเพิ่มประสิทธิภาพโค้ดที่จะดำเนินการใน
Google Colab "เพื่อให้นักเรียนที่ผ่านโค้ด"
สามารถดำเนินการเหล่านั้นได้โดยไม่ คอมพิวเตอร์ที่แข็งแกร่งมาก
นี่เป็นการบอก
ChatGPT ว่ารูปแบบโซลูชันขั้นสุดท้ายที่คุณต้องการมีเป็นอย่างไร
และสุดท้าย "ถามคำถามที่ชัดเจนหากจำเป็น"
จะให้บริบทเพิ่มเติม
และ "เอ๊ะ ถ้าคุณไม่รู้ "ถ้าคุณไม่มีบริบทเพียงพอ
โปรดถามฉัน และสุดท้ายก็ถามว่า "เข้าใจไหม? ฉันต้องการยืนยันว่าได้รับ
นี่เป็นวิธีที่ชาญฉลาดในการปล่อยให้มันสะท้อนสิ่งนี้และไม่เคร่งครัดในการสร้างคำแนะนำถัดไป
คำตอบถัดไป
ถ้าไม่ทำนี่ถ้าไม่ถามว่า
"เข้าใจไหม? " หรือ "เคลียร์? หรือ "เข้าใจไหม? " หรืออะไรทำนองนั้น
มันจะละเว้นบางส่วนโดยสิ้นเชิงและเริ่มสร้าง
เนื่องจากคุณมีขีดจำกัดของจำนวนโทเค็นที่คุณมีในคำถามและในคำตอบ
คุณจึงต้องการยกเลิกเพื่อให้คุณสามารถรีเฟรชจำนวนโทเค็นที่คุณสามารถสร้างได้
คำตอบแรกคือ: "ฉันเข้าใจงานแล้ว
“ฉันจะทำตามที่ฉันขอจริงๆ
“แต่ก่อนที่ฉันจะดำเนินการต่อ ฉันมีคำถามสองสามข้อ และนี่คือที่ซึ่ง "หากคุณมีคำถามใดๆ ถามฉัน"
มันถามคำถามที่ดีทีเดียว
ก่อนอื่น คุณมีสภาพแวดล้อมที่กำหนดเองหรือคุณใช้บางอย่างที่มีอยู่แล้วหรือไม่
ดังนั้น OpenAI, VizDoom และอะไรทำนองนั้น
จากนั้นเราจะไปที่สิ่งที่ชอบมากขึ้น
มีเมตริกประสิทธิภาพใดที่คุณต้องการให้ฉันติดตามหรือไม่
มีข้อกำหนดเกี่ยวกับตัวแบบหรือไม่?
Python และ PyTorch เวอร์ชันใด
และสุดท้าย มีข้อ จำกัด ใด ๆ เกี่ยวกับกำหนดเวลาหรือไม่?
นี่มาจากแผนธุรกิจส่วนใหญ่ที่มันถูกฝึกมา
แต่สำหรับมัน มันไม่เชิง
แบบนี้ไม่เกี่ยวข้องกับมัน แต่ก็โอเค
ฉันระบุ: "ใช่ ฉันจะใช้ OpenAI Gym และนี่คือวิธีโหลด
นี้มาจากหลักสูตร
ฉันตอบว่า โอเค ทำตามรางวัลโดยเฉลี่ย
ไม่มีข้อกำหนดเฉพาะ มีความคิดสร้างสรรค์ตราบเท่าที่ยังใช้งานได้ ใช้โมเดลหรือเวอร์ชันล่าสุดของไลบรารี่ และกำหนดเส้นตายเมื่อใด
ฉันเพิ่งเขียนว่า "โดยเร็วที่สุด"
นอกจากนี้ นี่คือชั้นเรียนเหล่านี้ที่ฉันกล่าวถึง
ก็เลยแปะวิชาที่เราลงคอร์สไว้
ดังนั้นสัมผัสประสบการณ์การเล่นซ้ำ
ทุกอย่าง และสุดท้าย เล่นซ้ำหน่วยความจำ การประมวลผลภาพ
แค่นั้น
และด้วยเหตุนี้ ฉันจึงสร้างบริบท
และตอนนี้ก็เริ่มสร้าง
มันจึงสร้างรหัสขึ้นมา
โดยพื้นฐานแล้วเริ่มต้นด้วยการประมวลผลภาพล่วงหน้า
จากนั้นจึงสร้าง Deep Q-network ซึ่งค่อนข้างคล้ายกับที่เรามี
จากนั้นจึงเริ่มต้นด้วยการเริ่มต้นสิ่งนั้น
จากนั้นจึงฝึกโค้ด
ทุกอย่างทำงานจนถึงตอนนี้แล้วมันก็พังที่นี่
หากคุณต้องการสร้างผลงานต่อไป
ฉันเพิ่งเขียนว่า "ดำเนินการต่อ"
และมันบอกว่า "ไปต่อ? ใช่แน่นอน มันยังคงสร้างต่อไป และแบม
เรามีรหัสเต็มแล้ว
อัศจรรย์.
มันบอกวิธีใช้ ความถี่
สิ่งที่ต้องเปลี่ยน และอื่นๆ
มันช่วยฉันในเรื่องนี้เช่นกัน
และให้ฉันพาคุณไปที่ Google Colab ของฉัน
ดังนั้นฉันจึงเริ่มต้นด้วยการวางโค้ดที่นี่
วางฟังก์ชันการประมวลผลล่วงหน้าของเรา
ฉันจะข้ามไปยังการเปลี่ยนแปลงในฟังก์ชันการประมวลผลล่วงหน้านี้ในอีกไม่กี่วินาที
จากนั้น ฉันวางประสบการณ์นี้เล่นซ้ำ การติดตั้งบางส่วนจากจุดสิ้นสุดของฉัน
เราจะอธิบายเรื่องนี้ในอีกสักครู่
ฉันเล่นกับ Q-network และรหัสการฝึกอบรมที่ลึกซึ้งของเขา
ดังนั้นจึงมีวิธีที่จะปรับปรุงสิ่งนี้ได้อย่างแน่นอน
โดยเฉพาะอย่างยิ่งถ้าคุณมีสภาพแวดล้อมในท้องถิ่น มันจะทำงาน
หากคุณใช้สิ่งนี้ใน Google Colab อาจใช้งานไม่ได้
ดังนั้นให้ฉันพาคุณไปที่
ดังนั้นฉันจึงทำมัน และฉันได้รับข้อผิดพลาด
ฉันพูดว่า "เฮ้ รหัสเริ่มต้นของฉันที่ให้ไว้ใช้งานไม่ได้
ฉันเพิ่งวางโค้ด ข้อความแสดงข้อผิดพลาดนี้
และแจ้งว่า "ฉันไม่สามารถปรับขนาดรูปภาพได้ และถ้าคุณดูโค้ดของเราจากหลักสูตร มันต้องปรับขนาดรูปภาพด้วยสิ่งนี้
แต่เวอร์ชันใหม่ของ SciPy กำลังลบสิ่งนี้อยู่
มันเลยบอกว่า "อ๋อ ช่าย" ดูเหมือนว่านี่อาจถูกลบไปแล้ว
"นี่คือเวอร์ชั่นใหม่พร้อมหมอน
และจริงๆแล้ว มันไม่ได้ต้องการแบบนั้น
โดยพื้นฐานแล้วจะเขียนคลาสภาพก่อนการประมวลผลใหม่ทั้งหมดด้วย
Pillow แทน SciPy
ดังนั้นฉันจึงใช้มัน และมันใช้งานได้จริง
จากนั้นฉันก็พูดว่า "ตกลง" ฉันมีปัญหากับ Environment
โดยใช้ Google Colab
“จะแก้ยังไง? นี่คือข้อผิดพลาด และพูดว่า "โอ้ใช่ขอโทษ
"ดูเหมือนว่าสภาพแวดล้อมเฉพาะนี้ไม่ได้ผล
“นี่คุณทำอะไร
"โดยพื้นฐานแล้วคุณติดตั้งและทำสิ่งนี้ ฉันพบข้อผิดพลาด ข้อผิดพลาดอื่น
และข้อผิดพลาดนี้ระบุว่าไม่พบการเรนเดอร์ในเวอร์ชันเฉพาะนี้
และมันบอกว่า "เอาล่ะ ติดตั้งเวอร์ชันนี้ ฉันทำ. ข้อผิดพลาดอื่น
และบอกว่า "โอ้ ใช่ ใช่ "Google Colab ไม่รองรับการเรนเดอร์ไลบรารี OpenGL" ซึ่งหมายความว่า สำหรับเราแล้ว
เราต้องทำสิ่งอื่นแทน Google Colab
เพื่อวัตถุประสงค์ในการแสดงภาพ
และโดยพื้นฐานแล้ว มันทำให้ฉันมีขั้นตอนทีละขั้นตอน ซึ่งนำไปสู่สิ่งที่ต้องทำ
วิธีเปลี่ยนแปลงสิ่งนั้น และอะไรทำนองนั้น
และถ้าคุณทำสิ่งนี้ในท้องถิ่น คุณจะแก้ปัญหาได้
แต่โดยพื้นฐานแล้วตอนนี้กำลังสอนวิธีใช้
ChatGPT อย่างถูกต้อง
เช่น ตรงนี้ คุณเห็นว่าฉันพบข้อผิดพลาด ฉันแจ้งข้อผิดพลาดเหล่านั้น
และอื่นๆ
และตอนนี้ คุณมี
เช่น หากคุณเลื่อนย้อนกลับ คุณมีรหัสที่ใช้งานได้เต็มรูปแบบพร้อมเครือข่าย Q เชิงลึก
พร้อมรหัสการฝึกอบรม
และคุณสามารถไปขอให้สร้างรหัสทดสอบ
และมันก็จะทำ
น่าทึ่งใช่มั้ย
แค่นั้นแหละ
นี่คือวิธีใช้ ChatGPT เพื่อแก้ปัญหา deep Q หรือ convolutional
deep Q-network สำหรับ Doom
ขอบคุณ. สนุกกับหลักสูตร!