สวัสดีทุกคนและยินดีต้อนรับกลับ
ในการบรรยายนี้ เราจะจัดเตรียมสภาพแวดล้อมของเรา และฉันต้องการแนะนำภาพรวมระดับสูงกว่านี้สำหรับผู้ที่ต้องการลองและแก้ปัญหาด้วยตัวเอง
และนี่อาจดูคุ้นๆ ในการบรรยายครั้งที่แล้วคุณเห็นสิ่งนี้
ดังนั้นถ้าคุณอ่านผ่านมันฉันขอโทษ
เราจะผ่านมันไปได้อย่างรวดเร็วจริงๆ
สิ่งแรกก่อน
ในโปรเจ็กต์นี้ เราตั้งเป้าที่จะทำให้มันเรียบง่ายที่สุดเท่าที่จะเป็นไปได้ ในแง่ที่เราไม่จำเป็นต้องนำเข้าไลบรารีจำนวนมากเกินไป
โดยพื้นฐานแล้วเราจะใช้ NumPy สำหรับสิ่งนั้น
เราแค่ต้องนำเข้า NumPy เป็น NP ซึ่งมักจะเป็นข้อมูลอ้างอิงทั่วไปสำหรับ numpy
และเรายังต้องการตั้งค่าสภาพแวดล้อมของเราดังที่คุณเห็นที่นี่
และเราจะพูดถึงภาพรวมอีกครั้งอย่างรวดเร็ว
ขั้นตอนแรกสำหรับการเรียนรู้ Q ของเราคือ เราต้องการกำหนดสภาพแวดล้อมที่บุรุษไปรษณีย์ต้องนำทาง
เราต้องตั้งค่าสภาพแวดล้อมนั้นเพื่อให้เราสามารถทำซ้ำและผ่านมันไปได้
ในการบรรยายนี้ สิ่งแวดล้อมจะประกอบด้วยสถานะ การกระทำ และรางวัล
สถานะและการกระทำคืออินพุตสำหรับเอเจนต์การเรียนรู้ Q ในขณะที่การกระทำที่เป็นไปได้คือเอเจนต์
ผลลัพธ์คือสถานะที่เราสามารถคิดและมองภาพนี้เป็นตัวแทนของเรา
รัฐในสภาพแวดล้อมของเราเป็นสถานที่ที่เป็นไปได้ทั้งหมดภายในเมืองที่เราเรียกกันว่าเมืองตัวอย่างนี้
สถานที่เหล่านี้บางแห่งเป็นเขตแดนของเมืองซึ่งจะเป็นสี่เหลี่ยมสีดำของเรา ในขณะที่สถานที่อื่นๆ เป็นเกาะที่บุรุษไปรษณีย์สามารถใช้เดินทางผ่านเมืองได้
พวกนี้จะเป็นสี่เหลี่ยมสีขาว
Green Square ระบุรายการบรรจุภัณฑ์และพื้นที่จัดส่ง
สี่เหลี่ยมสีดำและสีเขียวคือสิ่งที่เราจะเรียกว่าสถานะเทอร์มินัล
โดยรวมแล้ว เป้าหมายของเราหรือเป้าหมายของตัวแทน เราต้องการใช้เส้นทางที่สั้นที่สุด
เราต้องการให้ตัวแทนของเราเรียนรู้เส้นทางที่สั้นที่สุดระหว่างพื้นที่บรรจุภัณฑ์ โถ สีเขียว และสถานที่อื่นๆ
ในเมืองที่บุรุษไปรษณีย์ได้รับอนุญาตให้เดินทางได้
ในภาพด้านบน เรามีรัฐหรือสถานที่ที่เป็นไปได้ 121 แห่งภายในเมือง
สถานะเหล่านี้ถูกจัดเรียงในตารางที่ 11 คูณ 11
ดังนั้นแต่ละตำแหน่งจึงสามารถระบุได้ด้วยดัชนีแถวและคอลัมน์
แล้วก้าวแรกของเราจะเป็นอย่างไร?
และนี่เป็นสิ่งที่ต้องการให้พวกคุณเริ่มคิดว่าคุณจะนิยามมันได้อย่างไร
เราจำเป็นต้องกำหนดสภาพแวดล้อมของเรา
นี่เป็นตัวอย่างที่ดีของภาพของเราและวิธีที่เราจะเข้าใกล้มัน
แล้วคุณจะทำแบบอย่างได้อย่างไร?
โปรดจำไว้ว่า เรากำลังใช้ NumPy ดังนั้น เราจำเป็นต้องกำหนดขอบเขตเหล่านี้ และเราสามารถกำหนด a3d numpy
array เพื่อเก็บค่า Q ปัจจุบันของเราสำหรับแต่ละสถานะและคู่การกระทำตามที่เราเห็นการแทนค่าของเรา
และสำหรับผู้ที่ไม่คุ้นเคยกับหลักสูตรนี้ หรืออาจเป็นเรื่องใหม่หรือคุณต้องการทบทวน
คู่มือ i a z จากหลักสูตรนี้มีประโยชน์มาก ขอแนะนำเป็นอย่างยิ่ง
แล้วเราต้องทำอะไรที่นี่?
เราสามารถจริงๆ
ผมขอขยายเรื่องนี้อย่างรวดเร็วสำหรับเราเพื่อให้เราดูง่ายขึ้นเล็กน้อย
ขอผมเพิ่มโค้ดเซลล์หน่อย
เราจะกำหนดอาร์เรย์ numpy สาม d ของเรา
คุณจะไปเกี่ยวกับเรื่องนี้ได้อย่างไร?
ดังนั้นเราจึงมีบางตัวเลือก แต่ตัวเลือกที่ตรงไปตรงมาและเรียบง่ายที่สุด เรียกว่าแถวสภาพแวดล้อม
โรส แล้วตั้งค่าเป็น 11 กัน
มันคือ 11 คูณ 11
จากนั้นเราก็สามารถสร้างสภาพแวดล้อม ขีดเส้นใต้คอลัมน์
และเราสามารถตั้งค่านี้เป็น 11 ได้
สุดท้ายนี้ เราสามารถตั้งค่า Q ได้ เนื่องจากเราต้องเพิ่ม numpy ด้วยแถวสภาพแวดล้อม คอลัมน์สภาพแวดล้อม
และเราสามารถตั้งค่านี้เป็นค่า Q เท่ากับศูนย์ NumPy และเราจำเป็นต้องใช้แถวสภาพแวดล้อม คอลัมน์สภาพแวดล้อม
และเรามีอาร์เรย์ 3 มิติ numpy ของเรา การแสดงสภาพแวดล้อม 3 มิติของเราถูกกำหนดด้วยสภาพแวดล้อมของเรา
สุดยอด.
ตอนนี้และเราจะทิ้งมันไว้ที่นี่ แต่ฉันอยากให้พวกคุณเริ่มคิดเกี่ยวกับวิธีแก้ปัญหานี้ เนื่องจากคุณได้ตั้งค่าสภาพแวดล้อมไว้แล้ว
สิ่งต่อไปที่คุณต้องการทำเป็นคำใบ้คือตั้งค่าการกระทำของคุณ
ตัวแทนของคุณต้องสามารถเคลื่อนที่ผ่านสภาพแวดล้อมได้
แล้วคุณจะแสดงออกอย่างไร?
คุณจะเขียนว่าสำหรับปัญหานี้อย่างไร
ทิ้งมันไว้ที่นี่
ในวิดีโอหน้า เราจะทบทวนการกระทำเหล่านั้นอีกครั้ง
สุดยอด.
แล้วพบกันใหม่ในวิดีโอหน้าครับ