สวัสดีและยินดีต้อนรับกลับ
ในการบรรยายครั้งสุดท้าย เราได้เสร็จสิ้นหรือสรุปคำจำกัดความที่แท้จริงของสภาพแวดล้อมของเรา
การแสดงค่านิยมของเรา การลงโทษและรางวัลของเรา และการกระทำของเราในสภาพแวดล้อม
ในการบรรยายนี้ สิ่งที่ฉันต้องการจะทำคือแนะนำการฝึกอบรม แนวคิดเบื้องหลังการฝึกโมเดล
และช่วยให้คุณเริ่มต้นได้
จากนั้นในการบรรยายครั้งต่อไปจะมีวิธีแก้ไขและรายละเอียดเพิ่มเติมสำหรับขั้นตอนที่เกี่ยวข้อง
ดังนั้นเราจึงต้องฝึกโมเดลว่าจะต้องฝึกอะไรบ้าง
นี่เป็นแนวทางที่เราสามารถใช้สำหรับขั้นตอนต่อไปนี้ในการฝึกโมเดล
เราต้องการสุ่มเลือกสถานะที่ไม่ใช่เทอร์มินัล ซึ่งจะเป็นช่องสีขาวของตัวแทนของเรา และนั่นคือวิธีที่เราต้องการเริ่มต้นในตอนของเราสำหรับการฝึกอบรม
แน่นอนว่าเราต้องการเลือกการดำเนินการสำหรับสถานะปัจจุบัน
เราจำเป็นต้องมีตัวแทนของเราสามารถเคลื่อนที่ไปรอบ ๆ สิ่งแวดล้อมได้
ดังนั้นการดำเนินการสำหรับเราและตัวแทนของเราในการท้าทายนี้จะถูกเลือกโดยใช้ Epsilon Greedy
อัลกอริทึมนี้มักจะเลือกการดำเนินการที่มีแนวโน้มมากที่สุดสำหรับตัวแทน แต่บางครั้งก็เลือกตัวเลือกที่มีแนวโน้มน้อยกว่า
เพื่อส่งเสริมให้ตัวแทนสำรวจสภาพแวดล้อม เราต้องการหานโยบายที่เหมาะสมที่สุด
จากนั้นเราต้องการดำเนินการที่เลือกและเปลี่ยนเป็นสถานะถัดไป
ย้ายไปยังตำแหน่งถัดไป
และทำไมผมถึงบอกว่านี่คือผมอยากให้คุณคิดว่าคุณจะแบ่งมันออกเป็นฟังก์ชันเพื่อแก้ปัญหานี้ได้อย่างไร
ต่อไป เราต้องได้รับรางวัลสำหรับการไปสู่สถานะใหม่แล้วคำนวณความแตกต่างชั่วคราว
เราต้องอัปเดตค่า Q สำหรับสถานะก่อนหน้าในคู่การกระทำ และหากสถานะใหม่หรือสถานะปัจจุบันเป็นสถานะเทอร์มินัล
เราก็จะไปที่สถานะหนึ่ง
มิฉะนั้นเราจะไปที่ขั้นตอนที่สอง
ดังนั้น กระบวนการทั้งหมด เราจะตั้งเป้าที่จะรัน 1,000 ตอนเพื่อฝึกฝน
นี่จะทำให้เรามีโอกาสเพียงพอหรือตัวแทนของเรามีโอกาสเพียงพอในการคำนวณเส้นทางที่สั้นที่สุดระหว่างพื้นที่บรรจุสินค้ากับสถานที่อื่นๆ
ในเมืองตัวอย่างของเรา
สุดยอด.
ดังนั้นโปรดลองคิดดูว่าคุณจะเข้าถึงสิ่งนี้อย่างไร และฉันต้องการช่วยให้คุณมีแนวคิดในการลองและแก้ไขปัญหานี้
เราจะดูในโซลูชันของเรา เราจะใช้ฟังก์ชันต่อไปนี้
ฉันสามารถแสดงความคิดเห็นได้จริงเนื่องจากเป็นเซลล์รหัส
ขอโทษด้วย.
เราไม่ต้องการเครื่องหมายดอลลาร์
เราต้องการแสดงความคิดเห็นเหล่านี้ และฉันจะช่วยคุณเริ่มต้นในข้อแรก
โดยรวมแล้ว เราจะมีฟังก์ชันเหล่านี้กำหนดขั้นตอนของเราสำหรับการฝึกโมเดล
และเพื่อช่วยให้คุณเริ่มต้น มาดูกันว่าเราจะใช้สถานะเทอร์มินัลในการสร้างฟังก์ชันภายใน
python สำหรับสิ่งแรกนี้ได้อย่างไร อันดับแรก แน่นอนว่าเราต้องการกำหนดฟังก์ชันของเราตามที่เป็นอยู่
สถานะเทอร์มินัล
และนี่คือชื่อของฟังก์ชันต่างๆ ที่คุณจะเห็นเพื่อให้แนวคิดที่อาจช่วยคุณแยกแยะได้
สิ่งที่เราต้องการจะทำคือนำดัชนีแถวปัจจุบันและดัชนีคอลัมน์ปัจจุบัน
สิ่งนี้จะช่วยให้เรามีตำแหน่งตัวแทนของเรา และเราสามารถเพิ่มที่นี่สำหรับรางวัลของเราเป็นจริงหรือเท็จ
ดังนั้นเราจึงต้องการคำสั่ง if
เรามากำหนดผลตอบแทนของเรากัน
ของเราในปัจจุบัน
ดัชนีแถว
และดัชนีคอลัมน์ปัจจุบันเท่ากับลบหนึ่งถ้าอยู่ในสถานะนั้น
เราจะคืนค่าเท็จหรืออย่างอื่นหรืออย่างอื่น
เราจะกลับมา
จริง.
ค่อนข้างตรงไปตรงมาพอสมควร
และนี่คือวิธีที่เราจะได้แนวคิดว่าสถานะเทอร์มินัลของเรา หลังจากที่เรามี ถ้ามันอยู่ในสถานะเทอร์มินัล
เราก็ต้องการได้ตำแหน่งเริ่มต้น
ตามคำแนะนำ คุณสามารถดูโดยใช้ดัชนีแถวปัจจุบันและดัชนีคอลัมน์ปัจจุบัน และการตั้งค่า
numpy ด้วยการสุ่ม
เราต้องการเริ่มต้นที่สุ่มไปยังคอลัมน์สภาพแวดล้อมแถวสภาพแวดล้อม
แต่ในการบรรยายครั้งต่อไป คุณจะเห็นรายละเอียด
คุณจะเห็นฟังก์ชันที่เหลือพร้อมโน้ตบางส่วนที่จะช่วยให้คุณมีไอเดีย
ฉันหวังเป็นอย่างยิ่งว่าพวกคุณจะมีโอกาสได้ทดลองกับสิ่งนี้เพราะมันเป็นวิธีที่ยอดเยี่ยมในการเรียนรู้และช่วยให้คุณมีไอเดีย
และนี่คือการเริ่มต้นของคุณ
ไม่ต้องกังวล คุณจะได้คำตอบในการบรรยายครั้งต่อไป
จากนั้นเราจะสรุปโดยกำหนดปัจจัยส่วนลดของเอปไซลอน อัตราการเรียนรู้ ประเภทของการฝึกอบรม
ดำเนินการฝึกอบรม และดูผลลัพธ์
สุดยอด.
หยุดที่นี่อีกครั้ง
ลองแก้ปัญหานี้
แต่ถ้าไม่ใช่ ถ้าคุณต้องการก้าวหน้า ไปที่การบรรยายครั้งถัดไป และคุณจะได้คำตอบสำหรับการฝึกอบรมเพื่อกำหนดฟังก์ชันเหล่านี้
โอเค แล้วเจอกันใหม่ในบทเรียนหน้า