ผู้สอน: สวัสดีเพื่อน
ๆ และยินดีต้อนรับสู่กรณีการใช้งานวิทยาศาสตร์ข้อมูลใหม่ด้วย
ChatGPT ซึ่งครั้งนี้จะเป็นการเรียนรู้แบบเสริมแรง
ดังนั้น เราจะบอก ChatGPT ในตอนนี้ว่าเราได้ตั้งโปรแกรมรถยนต์ที่ขับเคลื่อนด้วยตัวเองเสมือนจริงโดยที่ยังไม่มี
AI
ดังนั้นเราจึงใช้ความสามารถในการเดินหน้า เลี้ยวซ้าย
เลี้ยวขวา และหยุด
และเราจะบอกว่ารถยนต์ไร้คนขับคันนี้จะได้รับรางวัลหากสามารถไปถึงจุดหมายที่กำหนดได้
และจะถูกลงโทษหากรถขับออกจากจุดหมายนี้
หรือหากรถชนสิ่งกีดขวาง
โอเค แล้วเราจะถาม ChatGPT
ว่าควรใช้โมเดล AI ใดกับรถไร้คนขับและทำอย่างไร
ตกลง?
มาทำสิ่งนี้กันเถอะ
ฉันจะเปิดแชทใหม่ที่นี่
และภายในเราจะพูดตามตรงว่า
"นี่ ฉันได้ตั้งโปรแกรมรถที่ขับเองเสมือนจริง โดยมีการดำเนินการคือ เดินหน้า
เลี้ยวซ้าย เลี้ยวขวา และหยุด
จากนั้นรถคันนี้จะได้รับรางวัลเมื่อไปถึงจุดหมายหนึ่งๆ
และจะถูกลงโทษหากไปไกลกว่าจุดหมายนี้ หรือหากไปชนสิ่งกีดขวาง
เอาล่ะ ตอนนี้เรามาโลภกันดีกว่า
ฉันแค่อยากจะขอคำแนะนำเกี่ยวกับวิธีสร้างแบบจำลองการเรียนรู้แบบเสริมแรงสำหรับรถยนต์ไร้คนขับ
แต่จริงๆ แล้วขอให้สร้างโดยตรง
ทำไมจะไม่ล่ะ?
มาดูกันว่า ChatGPT มีความสามารถอะไรบ้าง
ดังนั้นฉันจะถามว่า
"คุณช่วยเขียนโค้ด Python
ให้ฉันโดยใช้ไลบรารี่ที่ดีที่สุดเพื่อสร้างโมเดลการเรียนรู้เสริมกำลังที่ใช้
AI ภายในรถที่ขับเคลื่อนด้วยตัวเองได้ไหม
เอาล่ะ
มันค่อนข้างโลภที่จะถามเรื่องนี้ แต่เราไม่มีทางรู้
ChatGPT อาจให้สิ่งที่เราต้องการอย่างแน่นอน
ลองมาลองดูกันและหากพบปัญหาใด
ๆ เราจะช่วยได้
เอาล่ะ กด Enter กันเลย
แน่นอน โอเค นั่นเป็นการเริ่มต้นที่ดีอีกครั้ง
"ฉันสามารถช่วยคุณเริ่มต้นใช้งานโมเดลการเรียนรู้แบบเสริมกำลังสำหรับรถขับเองใน
Python ได้ อัศจรรย์.
"นี่คือโค้ดบางส่วนที่แสดงวิธีใช้ห้องสมุด
OpenAI Gym สุดยอด.
"เพื่อฝึกอบรมรูปแบบการเรียนรู้เสริมแรงสำหรับรถยนต์ที่ขับเคลื่อนด้วยตนเองของคุณ
โอเค
นั่นน่าทึ่งจริงๆ ฉันไม่ได้คาดคิดเลยว่า ChatGPT จะทำได้ง่ายขนาดนี้ และมันก็สมเหตุสมผลดีว่าตอนนี้กำลังทำอะไรอยู่
กำลังเริ่มต้น ตาราง Q จำนวนสถานะ
จำนวนการดำเนินการ อัตราการเรียนรู้ที่เริ่มต้นเป็น
0 1 ปัจจัยส่วนลดเป็น
0 95.
นี่มันน่าทึ่งจริงๆ ฉันรู้สึกทึ่ง
อัตราการสำรวจเป็น 0 5 จำนวนตอนสูงสุด 1,000
ตอน จำนวนตอนสูงสุด
100 ตอน
จากนั้นก็ฝึกโมเดล Q-learning ที่น่าทึ่ง
ฉันจะท้าทายให้เขาใช้โมเดลขั้นสูงขึ้น
เช่น โมเดล Deep
Q-learning หรือ A3C แต่มาดูกัน
มันดำเนินการทุกอย่างตั้งแต่เริ่มต้นด้วย For Loop
เริ่มต้นด้วยการเลือกการดำเนินการ จากนั้นดำเนินการตามขั้นตอนที่
AI ดำเนินการ จากนั้นจะอัปเดตตาราง
Q จากนั้นจึงตั้งค่าสถานะเป็นวันถัดไป
นี่คือกระบวนการเรียนรู้แบบเสริมแรง กระบวนการ Q-learning
นี่มันน่าทึ่งมาก
จากนั้นจึงใช้วิธีการทดสอบโมเดล Q-learning
และสุดท้ายก็ปิดสภาพแวดล้อม
ว้าว มันน่าทึ่งจริงๆ
โอเค ฉันไม่ได้คาดหวังมากขนาดนั้น
ในเมื่อมันทำได้ง่ายมาก มาท้าทายกันให้มากขึ้น
ยากขึ้นกว่าเดิม
ก่อนอื่น สมมติว่า "ขอบคุณมาก นั่นเป็นประโยชน์จริงๆ
อย่างไรก็ตาม
ฉันรู้วิธีนำ
Q-learning ไปใช้แล้ว
คุณช่วยทำแบบเดียวกันนี้ด้วยโมเดลการเรียนรู้เสริมกำลังขั้นสูง
เช่น การเรียนรู้เชิงลึก Q-learning
ได้ไหม หรือดีกว่านั้น เรามาตะกละกันดีกว่า
"รูปแบบการเรียนรู้การเสริมแรงที่ทันสมัย โอเค พร้อมหรือยัง?
ไปเลย.
และ "แน่นอน เขามักจะพูดว่า "แน่นอน ที่น่าตื่นตาตื่นใจ.
"นี่คือรหัสบางส่วนที่แสดงให้เห็นว่าคุณสามารถใช้ไลบรารีพื้นฐานของ OpenAI
เพื่อฝึกโมเดลการเรียนรู้ Q-learning อย่างลึกซึ้ง
DQN สำหรับรถยนต์ที่ขับด้วยตนเองของคุณได้อย่างไร
และที่นี่เราไปอีกครั้ง
มันให้รหัสแก่เรา
มันน่าทึ่งจริงๆ
เอาล่ะ ใช่ ตอนนี้มันใช้ไลบรารี Wrap DeepMind
จากไลบรารี Atari ทั่วไปของพื้นฐาน และนำ
AI มาใช้อีกครั้งด้วยโมเดล
Q-learning เชิงลึกในครั้งนี้
มันน่าทึ่งจริงๆ
"รหัสนี้ใช้อัลกอริทึม DQN เพื่อฝึกโมเดลการเรียนรู้ Q-learning เชิงลึกสำหรับรถยนต์ที่ขับด้วยตนเองของคุณ
ตัวแบบจะเรียนรู้ที่จะดำเนินการอย่างดีที่สุดในแต่ละสถานะเพื่อเพิ่มรางวัลสูงสุด
อีกทางหนึ่ง หากคุณต้องการใช้โมเดลการเรียนรู้การเสริมกำลังขั้นสูง
คุณสามารถใช้ไลบรารี OpenAI Spinning Up ซึ่งให้การใช้งานอัลกอริทึมการเรียนรู้การเสริมแรงที่ล้ำสมัย
ต่อไปนี้เป็นโค้ดบางส่วนที่สาธิตวิธีการใช้ไลบรารี
Spinning Up เพื่อฝึกการเพิ่มประสิทธิภาพนโยบายใกล้เคียง
แบบจำลอง PPO แน่นอนว่าเป็นแบบอย่างที่ดี
"สำหรับรถขับเองของคุณ และไปที่นี่ มันให้แบบจำลองกับคุณอีกครั้งพร้อมรหัสทั้งหมด
ว้าว ช่างเป็นการปฏิวัติจริงๆ ChatGPT นี้
จริงค่ะ ประทับใจมาก
ได้เลย คุณมีรหัสแล้ว
"โค้ดนี้ใช้อัลกอริทึม PPO เพื่อฝึกโมเดลการเรียนรู้แบบเสริมแรงสำหรับรถที่ขับเอง
ตัวแบบจะเรียนรู้การดำเนินการเพื่อเพิ่มผลรวมของรางวัลที่มีส่วนลดสูงสุด
ฉันหวังว่านี่จะช่วยได้.
แจ้งให้เราทราบหากคุณมีคำถามหรือต้องการความช่วยเหลือเพิ่มเติม
ฉันไม่ได้คาดหวังอะไรมาก
ฉันแค่ประทับใจเหมือนคุณในเวลาเดียวกันที่ทำทั้งหมดนี้
เราจะพูดว่า "ขอบคุณมาก มันวิเศษมาก และเสร็จแล้ว
ขอขอบคุณอีกครั้งที่รับชมกรณีการใช้งานด้านวิทยาศาสตร์ข้อมูลกับ
ChatGPT
เรามาต่อกันที่อันถัดไป
และจนกว่าจะถึงเวลานั้น ขอให้สนุกกับแมชชีนเลิร์นนิง