ผู้สอน: สวัสดีทุกคนและยินดีต้อนรับกลับ
ในวิดีโอนี้ เราจะพูดถึงวิธีใช้
ChatGPT เพื่อแก้ปัญหา "Breakout"
โดยใช้ ChatGPT เพื่อปรับใช้ A3C
ดังนั้นฉันจึงแจ้งด้วยคำแนะนำบ้าๆ มากมาย เราได้ผลลัพธ์ที่น่าทึ่ง
เราจะเห็นมันในอีกไม่กี่วินาที
ดังนั้นวิดีโอนี้จะเป็นการอธิบายถึงกระบวนการคิดของฉันว่าฉันได้รับผลลัพธ์อย่างไร
และคุณสามารถใช้ ChatGPT เพื่อสร้างอัลกอริทึม
A3C ได้อย่างไร
โอเค ฉันเริ่มคล้ายกับที่เราทำกับ "DOOM" ฉันบอกว่า โอเค โดยพื้นฐานแล้วคุณเป็นผู้เชี่ยวชาญด้านแมชชีนเลิร์นนิง
ที่มีประสบการณ์ด้านวิทยาการหุ่นยนต์มาหลายปี
ฉันจ้างคุณให้ทำอัลกอริทึม A3C สำหรับ "Breakout. เป้าหมายคือการมีอัลกอริทึม SOTA, A3C ที่ทำงานได้อย่างสมบูรณ์ซึ่งสามารถเล่นเกม
"Breakout" ได้
ฉันได้นำคลาส สภาพแวดล้อมของรหัสการทดสอบ
และโปรแกรมเพิ่มประสิทธิภาพ
Adam รุ่นที่กำหนดเองซึ่งใช้สำหรับเป็นเครื่องมือเพิ่มประสิทธิภาพน้ำหนักที่ใช้ร่วมกันสำหรับรุ่น
A3C
นี่คือการให้บริบทมากขึ้น
สิ่งที่ฉันทำ ฉันจะให้สามสิ่งนี้แก่คุณ
ดังที่ฉันได้อ้างอิงก่อนที่จะสร้างโค้ดที่เหลือ เป้าหมายของคุณคือการนำโซลูชันทั้งหมดไปใช้โดยใช้
Python, Torch ซึ่งคล้ายกับที่เรามี และเพิ่มประสิทธิภาพโค้ดที่จะดำเนินการใน
Google Colab แบบเดียวกับที่เรามีก่อนหน้านี้
นอกจากนี้ ให้แสดงความคิดเห็นทุกบรรทัดของโค้ดเพื่อให้นักเรียนเข้าใจสิ่งที่คุณทำในโค้ด
ถามคำถามที่ชัดเจนหากจำเป็น เข้าใจแล้ว
ดังนั้นเราจึงมีบางอย่างที่ทับซ้อนกับสิ่งที่เราทำสำหรับ
Deep Q เชิงสนทนาสำหรับ "DOOM" แต่ฉันได้เพิ่มบริบทมากมายที่ฉันได้นำไปใช้แล้ว และฉันต้องการใช้มัน
นั่นคือสิ่งที่ฉันเริ่มต้นและได้รับการยืนยัน
ใช่ ฉันเข้าใจและฉันจะถามคำถามใด
ๆ โปรดระบุรหัสที่เหลือ
จากนั้นฉันก็พูดว่า นี่คือ Adam optimer
วางโค้ดสำหรับ Adam optimer
สำหรับทรัพยากรที่เรามี และฉันก็ให้คำแนะนำนี้ ฉันพูดว่า รอโค้ดที่เหลือก่อนที่จะนำไปใช้ ฉันแค่ ก่อนที่ฉันจะได้ผลลัพธ์ที่ดี จริง ๆ แล้วฉันเพิ่งวางและมันก็ข้ามไปที่การนำ A3C ไปใช้ทันที
โดยไม่ต้องรอที่เหลือ
ดังนั้นฉันจึงเพิ่มสิ่งนี้เป็นโค้ดแบบระบบ
ข้อความแจ้งแบบระบบ และบอกว่า โอเค โปรดจัดเตรียมสภาพแวดล้อมและทดสอบโค้ด
มันหมายถึงสิ่งที่เราให้ไว้ในพรอมต์แรก
ฉันพูดว่า เจ๋ง นี่คือการใช้สภาพแวดล้อมของโรงยิม
ฉันวางโค้ดหลักนั้น
เพิ่มบริบทที่นี่ ถ้าคุณลองสังเกตดู
และนี่คือไฟล์หลักที่รันทุกอย่าง
แล้วฉันก็พูดว่า โอเค เย็น
รอรหัสการทดสอบ
และมันบอกว่า ใช่ ฉันยังต้องการดูรหัสการทดสอบก่อนที่จะใช้
A3C ฉันบอกว่า เยี่ยม นี่คือรหัสการทดสอบ
และคุณจะเห็นว่าถ้าคุณมีโปรเจกต์ที่ใหญ่และใหญ่กว่า
คุณสามารถใช้มันเพื่อโน้มน้าวให้มันใช้โค้ดส่วนนั้นหรือเป็นข้อมูลอ้างอิง ในรูปแบบเพื่อให้คุณสามารถสร้างบางอย่างในรูปแบบโค้ดของคุณได้
เยี่ยมมาก และเมื่อฉันทำอย่างนั้น
มันก็พูดว่า เยี่ยมเลย ไปเลย
และมันบอกว่าโดยพื้นฐานแล้ว
ฉันจะใช้โค้ดหลักนี้ ทดสอบ และนำสิ่งนี้ไปใช้
แล้วมันบอกว่าสร้างแบบจำลอง py ซึ่งจริงๆ แล้วเราก็ทำในคอร์สนี้เช่นกัน
และเขาบอกว่านี่คือโมเดลของ ActorCritic
และฉันก็เปรียบเทียบกับของเรา
นี่เป็นเวอร์ชันที่ใหม่กว่าของ python
การเริ่มต้นน้ำหนักจำนวนมากและอะไรทำนองนั้นสามารถทำได้ในลักษณะที่หรูหรากว่า
ดังนั้นมันจึงทำได้และใช้งานได้ค่อนข้างดี
จากนั้นจึงสร้างรหัสรถไฟ และโดยพื้นฐานแล้วเป็น
ActorCritic
และถ้าคุณลองดู มันค่อนข้างเรียบง่าย ดังนั้นจึงต้องมีการปรับปรุงอย่างแน่นอน
สิ่งที่คุณทำได้ คุณสามารถพูดว่า
โอเค ฉันบอกว่า ทำต่อ
และมันก็เขียนมันต่อไป
มันสร้างสิ่งนี้ขึ้นมาในลักษณะของการสูญเสีย
แต่มี ใช่ โดยพื้นฐานแล้วทุกอย่างที่เราต้องการ
มันปรับทุกอย่างให้เหมาะสม และคุณจะเห็นตัวเพิ่มประสิทธิภาพนั้น
หยุดในตอนท้าย
โดยพื้นฐานแล้วมันใช้ทุกอย่างที่เรากำหนดไว้
เช่นเดียวกับการสูญเสียที่เหมาะสม และใช่ เครื่องมือเพิ่มประสิทธิภาพ
ทุกอย่าง
แค่นั้นแหละ
ด้วยขั้นตอนง่ายๆ สองสามขั้นตอน
เราสามารถใช้โค้ดทั้งหมดสำหรับหนึ่งในโมเดลที่ล้ำสมัยซึ่งเป็นหนึ่งในโมเดลที่ดีที่สุดในปี
2017, 2018
จนถึงทุกวันนี้ มันมีความสามารถมากมายในการแก้ไขสภาพแวดล้อมที่ซับซ้อน
เช่น "Breakout. คุณเห็นแล้วว่าตอนนี้เรามี ChatGPT แล้ว คุณสามารถแนะนำให้ติดตั้งบางส่วนของโค้ดได้
และถ้าคุณไม่รู้ว่าจริง
ๆ แล้วส่วนไหนของโค้ดทำหน้าที่อะไร
คุณก็ไปถามมันได้ เช่น เจ๋ง คุณช่วยอธิบายส่วนการฝึกได้ไหม และธรรมเนียมของอดัมอยู่ที่ไหน
ดังนั้นฉันจึงขอให้มันอธิบายตัวมันเอง นั่นเป็นอีกวิธีหนึ่งที่จะกระตุ้นให้มันออกมาโดยพื้นฐานแล้ว
เพื่อให้คุณมีเหตุผลมากขึ้นที่อยู่เบื้องหลังรุ่นของมัน
และคุณจะเห็นว่ามันอธิบายทีละขั้นตอนจริงๆ
ใช่ เรารอได้
คุณสามารถทำพร้อมท์เดียวกัน และคุณจะได้ผลลัพธ์ที่คล้ายกับของฉันมาก
แต่โดยทั่วไปแล้ว สิ่งที่จะทำคือใช้ฟังก์ชันรถไฟที่กำหนดไว้ด้านบนตรงนี้ และโดยพื้นฐานแล้วจะผ่านทุกขั้นตอนและนำไปปฏิบัติ
ใช่ว่าจะเป็นเช่นนั้น
ฉันสนับสนุนให้คุณลองใช้โค้ดนี้ใน
Google Colab อย่างแน่นอน
ซึ่งสามารถทำได้
การทำให้มันใช้งานได้ค่อนข้างยุ่งยาก เนื่องจากการแสดงภาพและข้อจำกัดของสภาพแวดล้อมของ
Goggle Colab
อย่างไรก็ตาม คุณสามารถไปและวางข้อผิดพลาดที่นี่ได้
และคุณทำได้ คุณสามารถไปรับผลลัพธ์ที่ค่อนข้างดีสำหรับการดีบักกระบวนการ
และใช่ ฉันจะให้คุณทำอย่างนั้น
และตอนนี้คุณมีวิธีใช้ ChatGPT
เพื่อหามูลค่าสำหรับ A3C
และใช่ หวังว่าคุณจะสนุกกับหลักสูตรจนถึงตอนนี้
ลาก่อน