สวัสดีทุกคนและยินดีต้อนรับกลับ
ในการบรรยายครั้งที่แล้ว คุณได้เห็นวิธีที่เราใช้ฟังก์ชันตัวช่วยในการตั้งค่าแกนกลางของฟังก์ชันของเราในการฝึกโมเดลของเราอย่างแท้จริง
ดังนั้นเราจึงมีสถานะเทอร์มินัล ตำแหน่งเริ่มต้น การดำเนินการถัดไป ตำแหน่งถัดไป และเส้นทางที่สั้นที่สุด
เป็นตัวกำหนดว่าตัวแทนของเราส่วนใหญ่เป็นอย่างไร หรือสภาพแวดล้อมทำงานอย่างไร
สิ่งสุดท้ายที่เราต้องทำคือใช้การฝึกอบรมของเราเพื่อใช้การฝึกอบรมของเรา
มันค่อนข้างตรงไปตรงมาในแง่ของสิ่งที่เราจำเป็นต้องรวมไว้ด้วยว่าเราจะดำเนินการอย่างไรเป็นอีกเรื่องหนึ่ง
อย่างที่กล่าวไว้เช่นกัน ถ้าพวกคุณใช้วิธีอื่นหรือคุณต้องการปรับแต่งสิ่งนี้และทดลองกับมัน
ขอแนะนำเป็นอย่างยิ่ง
นอกจากนั้น หากคุณใช้แนวทางอื่นและต้องการหารือเกี่ยวกับเรื่องนี้ โปรดแชร์ในคำถามและคำตอบ
มากกว่ายินดีที่จะพูดคุยกับคุณ
เป็นความคิดที่ดีเพราะมีหลายวิธีในการแก้ปัญหานี้ และคุณอาจพบวิธีที่ดีกว่า
ได้เปรียบกว่า
เราสามารถดูข้อดีและข้อเสียได้อีกครั้ง มากกว่ายินดีที่จะหารือเกี่ยวกับเรื่องนี้
ไม่เป็นไร.
แล้วเราต้องทำอย่างไร?
เราต้องเริ่มการฝึกอบรมของเรา
สำหรับการอบรมของเรา
เราต้องการใช้เอปไซลอน
โดยพื้นฐานแล้วเปอร์เซ็นต์ที่เราจะทำสำหรับการดำเนินการที่ดีที่สุดแทนการกระทำแบบสุ่ม
ลองตั้งค่าเอปซิลอนของเราแล้วตั้งค่าเป็น 0 กัน 9 และเรากำลังจะทำสิ่งที่คล้ายกับค่าของเราสำหรับปัจจัยส่วนลดและอัตราการเรียนรู้ของเรา
ลองทำตัวประกอบส่วนลดเท่ากับ 0 9.
ลองใช้อัตราการเรียนรู้ของเราและตั้งค่าให้เท่ากับ 0 9.
นั่นจะเป็นอัตราที่ตัวแทนของเรากำลังจะไปหรือควรเรียนรู้
และเราต้องการนำจำนวนตอนการฝึกด้วย เรียกว่า n ตอนการฝึก
ดังนั้นเราจึงมีตอนการฝึกอบรมจำนวนหนึ่ง
มาตั้งค่าเป็น 1000 กันเถอะ
จะฝึกกี่ครั้งหรือจะฝึกกี่ตอน?
สุดยอด.
ตอนนี้ โดยพื้นฐานแล้ว สิ่งที่เราต้องการจะทำคือทำซ้ำในแต่ละตอน
เราต้องการใช้ช่วงของจำนวนตอนการฝึกและกำหนดเอปไซลอนของเราโดยพื้นฐาน
เราต้องการค้นหาความแตกต่างชั่วคราวของเรา
เพื่อตั้งค่านั้น เราต้องดูค่า Q ก่อนหน้าบางค่า
เราจำเป็นต้องคำนวณตำแหน่งเริ่มต้นของเราในดัชนีการดำเนินการของเรา
มาเริ่มกันเลยดีกว่า
มาลองกันใหญ่สำหรับลูป
ดังนั้นเราจึงมีสี่ตอนของเรา
ในช่วงจำนวนตอนการฝึกอบรมของเรา
ไปเลย.
ยกเว้นข้อผิดพลาดทางไวยากรณ์ในส่วนของฉันที่นั่น เราต้องการนำดัชนีแถวและดัชนีคอลัมน์สำหรับกริดของเราสำหรับดัชนีคอลัมน์ข้าวโพดของเรา
และตั้งเป้าหมายตำแหน่งเริ่มต้น
เราต้องการสถานที่เริ่มต้น ดังนั้นให้เทแต่ละตอน
ตอนนี้เราสามารถตั้งค่าสถานะเทอร์มินัลได้ในขณะที่
ไม่.
เป็นสถานะเทอร์มินัล
เราต้องการดูดัชนีแถวและดัชนีคอลัมน์
ต่อไป มาตั้งค่าดัชนีการดำเนินการของเราสำหรับการดำเนินการถัดไป
ดังนั้นเราจึงจำเป็นต้องดำเนินการต่อไป
ในขณะที่เอเจนต์นี้วนซ้ำผ่านเขาวงกตสำหรับดัชนีการกระทำของเรา เราสามารถใช้ get next action ได้
และเราสามารถใช้ดัชนีคอลัมน์ดัชนีแถวของเราแล้วเรียกเอปซิลอนของเรา
เราอยากได้สิ่งนี้แทนการกระทำแบบสุ่ม ลองใช้ดัชนีคอลัมน์กัน
และเราต้องการเอปซิลอน
สุดยอด.
ถ้าฉันสะกดถูกต้อง ที่นี่เรา
คุณต้องการเอปซิลอน?
เอาล่ะ ให้ฉันลบ OC นี้ทิ้งไป
ให้ฉันหยิบโค้ดที่เหลือมา แล้วเราจะอธิบายให้ฟัง จะได้ไม่ต้องคอยดูฉันพิมพ์แต่ละบรรทัด
แต่จำไว้ว่าเราต้องการเข้าถึงสิ่งนี้ในการตั้งค่าแถวเก่าอย่างไร เราจำเป็นต้องมีดัชนีแถวเก่า
เราอยากได้รางวัลสำหรับคอลัมน์และแถวของเราด้วย
เราจำเป็นต้องดูค่าคิวและค่าคิวเก่า และเราต้องคำนวณความแตกต่างชั่วคราวของเรา
OC ดังนั้นคุณจะเห็นการเปลี่ยนแปลงในโค้ดหรือการอัปเดตโค้ด
เราใช้ดัชนีแถวเก่าและดัชนีคอลัมน์เก่าเพื่อดูดัชนีแถวและดัชนีคอลัมน์
ดัชนีคอลัมน์ดัชนีแถวของเรา เท่ากับตำแหน่งถัดไปของเรา และตำแหน่งถัดไปของเราจะต้องใช้ดัชนีแถว
คอลัมน์ ดัชนี และการดำเนินการ
สุดท้ายนี้ เรากำลังดูรางวัล
ค่า Q เก่าของเราจะเป็นค่า Q ที่มีดัชนีแถวเก่า ดัชนีคอลัมน์เก่า และอีกครั้ง อ้างอิงดัชนีการดำเนินการของเราและการคำนวณความแตกต่างชั่วคราวของเรา
ซึ่งเป็นรางวัลของเรา บวกกับปัจจัยส่วนลดคูณด้วยค่า Q กับแถว ดัชนีและดัชนีคอลัมน์ลบด้วยค่า
Q เก่าจากค่า Q ก่อนหน้า
เกือบเสร็จแล้วเมื่อเราต้องการค่า Q ใหม่ ซึ่งเป็นค่า Q เดิมของเรา บวกกับอัตราการเรียนรู้
เวลา ความแตกต่างของเวลา และค่า Q ของเราที่มีดัชนีแถวเก่าในดัชนีคอลัมน์เก่าของเรา เท่ากับค่า Q ใหม่
หากคุณต้องการพูดคุยเรื่องนี้เพิ่มเติมอีกครั้ง ขอแนะนำ Q&A เป็นอย่างยิ่ง
กรุณาอย่าลังเลที่จะพิมพ์
ลองทดลองกับตัวแปรทั้งหมดที่ใช้ในที่นี่
ถ้าคุณต้องการดูรูปร่าง ดูว่ามันสามารถใช้ได้อย่างไร อ้างอิงถึงอะไร
ฉันขอแนะนำอย่างยิ่งและฉันยินดีที่จะหารือเพิ่มเติมเกี่ยวกับเรื่องนี้
สิ่งสุดท้ายที่เราสามารถทำได้ เราจึงได้รับการแจ้งเตือนเล็กน้อย
มาเพิ่มคำสั่งพิมพ์เพื่อให้เราทราบเมื่อการฝึกอบรมเสร็จสิ้นสำหรับ 1,000 แถวของเรา
ไม่เป็นไร.
หากไม่มีข้อผิดพลาดทางไวยากรณ์ในส่วนของฉัน เราควรจะไปได้ดี
สมุดบันทึกการทำงานร่วมกันได้รับการเตรียมใช้งานแล้ว
ฉันรันใหม่ทุกอย่าง
ให้ฉันดำเนินการนี้
มันควรจะเร็วมากเพราะเราใช้แค่ numpy
เป็นโมเดลที่ปรับให้เหมาะสมที่สุดในแง่หนึ่ง
ให้ฉันคลิกที่นี่แล้วเราจะมองหาเส้นทางที่สั้นที่สุด
ไม่เป็นไร.
เรามีการฝึกอบรมของเราเสร็จสมบูรณ์
เรามาพิมพ์พาธที่สั้นที่สุดสำหรับตัวเลือกเริ่มต้นกันด้วย
ดังนั้นเราจึงเริ่มต้นที่แถวที่สาม คอลัมน์ที่เก้า โดยมีตัวเลือกเส้นทางที่สั้นที่สุดและเส้นทางที่สั้นที่สุดของเรา
เราต้องการดูแถวที่ห้าและศูนย์และเริ่มต้นที่แถวที่เก้าและคอลัมน์ที่ห้า
มาพิมพ์สิ่งเหล่านี้กัน
สุดยอด.
เรามีเส้นทางที่สั้นที่สุด แต่ยังไม่จบ
เราเกือบจะอยู่ที่นั่นแล้ว
เราสามารถเห็นบุรุษไปรษณีย์ของเราได้เส้นทางที่สั้นที่สุดโดยอัตโนมัติจากกฎหมายที่เราสามารถพิจารณาที่ตั้งจากเมืองของเราไปยังพื้นที่บรรจุสินค้า
แต่จะเกิดอะไรขึ้นกับสถานการณ์ย้อนกลับหรือสถานการณ์ตรงกันข้าม?
โดยทั่วไปหมายถึงบุรุษไปรษณีย์ของเราสามารถส่งสินค้าจากที่ใดก็ได้ในเมืองไปยังพื้นที่บรรจุภัณฑ์หรือไม่?
แต่หลังจากสินค้าแล้วก็ต้องไปจากบริเวณนั้น จากบริเวณบรรจุภัณฑ์ไปยังที่อื่นในเมือง
เพราะจะต้องไปรับสินค้าชิ้นต่อไป
แล้วเราจะทำอย่างไรเพื่อแก้ปัญหานี้?
และมันค่อนข้างง่ายจริงๆ
คุณสามารถแก้ไขลำดับของเส้นทางที่สั้นที่สุดได้
ลองคิดดูสักครู่แล้วนี่จะเป็นทางออก
เราสามารถใช้เส้นทางที่สั้นที่สุด
ลองใช้แถวที่ห้าและคอลัมน์ที่สองกัน จากนั้นสิ่งที่คุณต้องทำคือใช้ตัวเลือกย้อนกลับ
ด้วย Python เราใช้เส้นทางย้อนกลับและเราสามารถพิมพ์เส้นทางได้
เรากำลังดูห้าและสอง
และเราไปที่นั่น
เรามีเส้นทางที่สั้นที่สุด และมีประโยชน์มากหากคุณต้องการจับภาพในเซลล์แล้วดึงลงมาเพื่อเปรียบเทียบและดูเส้นทางเหล่านั้น
แต่คุณสามารถเห็นเส้นทางได้จริง หากคุณพิมพ์คำสั่ง ดูคอลัมน์ในลำดับ และดูว่าพนักงานขายเหล่านี้เดินทางอย่างไร
คุณใช้ผลงานที่ยอดเยี่ยม
คิวการเรียนรู้
สิ่งที่เราเรียนรู้จากหลักสูตรนี้มีโบนัสและสถานการณ์สนุก ๆ และส่วนเพื่อแก้ปัญหาประเภทพนักงานขายที่ต้องเดินทาง
เรากำลังดูบุรุษไปรษณีย์เพื่อส่งพัสดุและสิ่งของในเมืองเพื่อค้นหาตัวเลือกที่สั้นที่สุดและเส้นทางที่สั้นที่สุด
ฉันขอแนะนำอย่างยิ่งให้คุณปรับแต่ง ทดสอบตัวเลือกอื่น ๆ เปลี่ยนไฮเปอร์พารามิเตอร์ และหากคุณพบอะไรที่ดีกว่านี้
หากคุณพบว่ามีการปรับให้เหมาะสมหรือพารามิเตอร์ที่ดีที่สุดที่จะใช้ โปรดแบ่งปันใน Q&A
อัศจรรย์.
ฉันหวังว่าพวกคุณจะสนุกกับสิ่งนี้จริงๆ
โปรดปรับแต่ง ทดลอง และเรียนรู้ต่อไป
มันสนุกมากที่ได้ทำงานด้วย
ถาม
เรียนรู้และสนุกกับฉัน