สวัสดีทุกคนและยินดีต้อนรับกลับมา
ในการบรรยายครั้งที่แล้ว เราเริ่มสร้างสภาพแวดล้อมของเรา
โดยพื้นฐานแล้วเรามีตารางขนาด 11 คูณ 11 ที่นี่ซึ่งเราต้องการให้บุรุษไปรษณีย์ของเราทำซ้ำเพื่อแก้ปัญหาความท้าทายของเรา
เราต้องการเริ่มคิดถึงเมื่อเรามีกริดแล้ว
เราจำเป็นต้องดำเนินการกับตัวแทนของเราด้วย และฉันจะลบสิ่งเหล่านี้อย่างรวดเร็ว
เราไม่ต้องการเซลล์เหล่านี้
ฉันแค่อยากจะมีมันในช่องว่าง
ทำให้ง่ายต่อการดูเท่านั้น
ขอ 1/2 ให้ฉันลบทิ้งแล้วปล่อยให้นี่ตรงนี้
ดังนั้น.
ฉันฝากข้อความไว้ที่เรามีและเราต้องการตั้งค่าการกระทำของเราเป็นแนวตั้งลงและซ้าย
ด้วย Python มันค่อนข้างตรงไปตรงมา
เราสามารถสร้างรายการและกำหนดการกระทำของเราได้
การกระทำของเราจะเท่าเทียมกัน
สองอย่างที่เรามี ขึ้น ขวา ลง ซ้าย
เลยมาตั้งค่าขวาล่างและซ้ายกัน
เราต้องให้ตัวแทนของเราขอโทษด้วยความสามารถในการจัดการกับการกระทำเหล่านี้ผ่านเขาวงกต
นอกจากนั้น เรายังต้องเริ่มตั้งค่ารางวัล
ทีนี้ นี่คือจุดที่มันจะเริ่มซับซ้อนขึ้นเล็กน้อย เพราะเราต้องตั้งค่าสถานะต่างๆ
ของสภาพแวดล้อมของเรา สถานะต่างๆ ในแง่ที่เราต้องการจะกำหนด -100 เหล่านี้และลบหนึ่งขั้นตอนเหล่านี้หรือค่าสถานะเหล่านี้
ไปยังแต่ละช่องสี่เหลี่ยมภายในตาราง
ดังนั้นเราจึงเห็นว่าการช่วยให้ตัวแทนของเราเรียนรู้แต่ละรัฐหรือสถานที่ในเมืองของเรา เราต้องการมีมูลค่ารางวัล
นั่นเป็นวิธีที่ตัวแทนของเราจะเรียนรู้
ดังนั้นตัวแทนอาจเริ่มต้นที่สี่เหลี่ยมสีขาวใดก็ได้ แต่เป้าหมายของมันก็เหมือนกันเสมอ
ฉันต้องการเพิ่มรางวัลทั้งหมดให้สูงสุดภายใน Q Learning Native Rewards
เรารู้ว่าพวกเขาถูกเรียกว่าการลงโทษ
สิ่งเหล่านี้ใช้สำหรับทุกรัฐยกเว้นเป้าหมาย
นั่นคือวิธีที่เราจะกำหนดนโยบายที่เหมาะสมที่สุด ซึ่งกระตุ้นให้ตาระบุเส้นทางที่สั้นที่สุดสู่เป้าหมายโดยลดโทษให้น้อยที่สุด
ไม่เป็นไร.
นอกจากนี้ เพื่อเพิ่มรางวัลสะสมให้สูงสุด เจ้าหน้าที่ AI จะต้องค้นหาเส้นทางที่สั้นที่สุดระหว่างพื้นที่บรรจุไอเทม
จัตุรัสสีเขียว ความทรงจำ และสถานที่อื่นๆ ในเมืองที่บุรุษไปรษณีย์สามารถเดินทางได้
เจ้าหน้าที่ White Squares จะเรียนรู้ที่จะหลีกเลี่ยงการบุกเข้าไปในเขตแดนของเมือง
นั่นคือสี่เหลี่ยมสีดำ ตามที่เราเห็นด้วย -100
เราต้องการที่จะอยู่ห่างจากพวกเขา
พวกเขามีบทลงโทษมากกว่า
ในการทำเช่นนี้ เรามีกริดของเรา สภาพแวดล้อมที่เราสร้างขึ้นด้านบนพร้อมกับแถวของเรา แต่เราต้องการกำหนดค่าเหล่านี้ให้กับกริดด้วย
ในการทำเช่นนั้น ลองคิดดูว่าเราจะสร้างได้อย่างไรว่าเราสามารถใช้ NumPy และเรายังสามารถเริ่มตั้งค่าเป็น
Native 100 สำหรับแถวสภาพแวดล้อมและคอลัมน์สภาพแวดล้อมได้
ดังนั้นเราจึงมีแถวสภาพแวดล้อมและคอลัมน์สภาพแวดล้อม
เรียกรางวัลนี้ว่าเท่ากับ num pi เต็ม แล้วส่งต่อคอลัมน์สภาพแวดล้อมแถวสภาพแวดล้อมของเรา และเพื่อตั้งค่าของเรา
เราสามารถเริ่มต้นด้วย -100
นอกจากนั้น เรายังต้องการตั้งค่าหน้าต่างรางวัลของเราเป็น
ใช้ดัชนีศูนย์และห้า
เท่ากับ 100
และนี่จะสมเหตุสมผลในวินาทีนี้
เรากำลังดู Green Square ของเรา
เรามีศูนย์และห้าของเรา
เรามี Green Square ตั้งค่าเป็น 100 โดยใช้ตำแหน่งเหล่านี้หรือตำแหน่งนี้เพื่อตั้งค่า
ตอนนี้ฉันจะวางในตัวอย่างโค้ดถัดไปเพื่อให้เราสามารถดำเนินการได้
ดังนั้นคุณไม่ต้องดูฉันเขียนแต่ละขั้นตอนเพราะมันซ้ำซาก
และตอนนี้เราก็มีพื้นที่สีขาวของเราแล้ว
มาตั้งค่าบันทึกของเราสำหรับคะแนนสะสมของเรา
และในโค้ดสั้นๆ นี้ เรากำลังใช้พจนานุกรมและตั้งค่าแต่ละค่าของเราภายในพจนานุกรมของเรา
ดังนั้นเราจึงมีทางเดินของเรา
เรากำลังคิดว่าเป็นแต่ละแถว และเราสามารถตั้งค่าด้วยการแบ่งส่วน โดยดัชนีของเราตั้งแต่หนึ่งถึงเก้า
และเราต้องการใช้การวนซ้ำกับ for loop เพื่อตั้งค่าเหล่านี้
ในการทำเช่นนั้น คุณจะเห็นว่าเราดูที่หนึ่งถึงสิบ หนึ่ง เจ็ดและเก้า และเมื่อใช้สิ่งนี้ เราสามารถตั้งค่าดัชนีแถวในช่วงหนึ่งถึงสิบ
ซึ่งเรากำลังดำเนินการในสภาพแวดล้อมของเรา .
เราสามารถกำหนดดัชนีคอลัมน์
ในทางเดินของดัชนีแถวของเราที่มีพจนานุกรมของเรา ดัชนีแถวรางวัลและดัชนีคอลัมน์ เราสามารถตั้งค่าให้เป็นค่าลบได้
ที่กำลังทำอยู่โดยพื้นฐานแล้ว ถ้าเราดูที่แต่ละอันเฉพาะ ถ้าเราหาช่วงตรงนี้ เช่น ช่อง 9 สำหรับฉัน
ในช่วงของเรา เรามีค่าลบหนึ่งเซตตลอดสภาพแวดล้อมทั้งหมด หรือแต่ละสถานะภายในสภาพแวดล้อมของเรา
สำหรับแปด เรามีสามและเจ็ด
ดังนั้นถ้าเลื่อนขึ้นไปได้ จะเห็นว่าในสามและเจ็ด เรากำลังตั้งค่าลบเนื่องจากทั้งหมดจะเป็นลบ
100 ถูกตั้งค่าเป็นลบร้อย และด้วยการทำซ้ำนี้ เราสามารถกำหนดรางวัลเหล่านั้นหรือตั้งค่าแต่ละสถานะได้
ที่เรากำลังกำหนดภายในทางเดินของเราเป็นค่าลบ
มันทำให้ง่ายมาก
แทนที่จะต้องเขียนตรรกะเพิ่มเติมหรือฟังก์ชันหรือคำสั่งที่มีรายละเอียดมากกว่านี้ เราสามารถทำซ้ำและตั้งค่าเหล่านี้ได้
ฉันขอแนะนำอย่างยิ่งให้คุณสละเวลาสักครู่เพื่อสำรวจการทดลอง หากคุณต้องการเปลี่ยนสภาพแวดล้อมในภายหลัง
หลังจากที่เราเรียกใช้โซลูชันนี้แล้ว เป็นวิธีที่ดีในการช่วยเรียนรู้และส่งเสริมนโยบายเหล่านี้
แต่สิ่งนี้กำลังเริ่มเป็นรูปเป็นร่าง และสิ่งที่ยอดเยี่ยมที่เราสามารถทำได้คือเราสามารถเห็นภาพได้จริง
ลองทำสี่แถวในรางวัลกัน
พิมพ์แถวแล้วลองพิมพ์ดู เราจะเห็นว่าฉันอาจต้องเรียกใช้เซลล์ใหม่จริงๆ
ขอโทษด้วย.
ฉันไม่ได้เชื่อมต่อกับโน้ตบุ๊กที่ทำงานผ่านที่นี่
ให้ 1/2
มันจะโยนข้อผิดพลาด
ฉันต้องย้อนกลับไปและเรียกใช้เซลล์ใหม่
ขอผมดำเนินการนี้อย่างรวดเร็วจริงๆ
ฉันต้องการนำเข้า NumPy
ฉันทำได้จริงๆ
โอ้ฉันขอโทษ
ให้ฉันผ่านที่นี่และเรากำลังจะลงมา
เราต้องการเรียกใช้สภาพแวดล้อมของเรา
เราต้องการเรียกใช้การกระทำของเรา
ส่วนอื่นๆ เป็นเพียงข้อความ เราจึงไม่ต้องการ
แต่ฉันชอบที่จะมีสิ่งนั้นเพื่อให้คุณสามารถอ้างอิงได้
เราต้องการคะแนนสะสมของเรา และในที่สุดเราก็ต้องการที่จะเห็นภาพนี้
เราสามารถเห็นการแสดงภาพ การแสดงตัวเลขที่เกิดขึ้นจริงในสภาพแวดล้อมของเรา
เจ๋งจริงๆ
ดังนั้นเราจึงมีการตั้งค่าสภาพแวดล้อมของเรา
การทำงานที่น่าตื่นตาตื่นใจ.
หวังว่าพวกคุณจะพบว่าสิ่งนี้มีประโยชน์
ตอนนี้เราจะปิดท้ายที่นี่ เพราะในการบรรยายครั้งต่อไป เราจะเริ่มฝึกโมเดล
ดังนั้นนี่คือการกำหนดการกระทำของตัวแทนของเรา เพื่อกำหนดสภาพแวดล้อมของเรา กำหนดรางวัลของเรา การลงโทษของเรา
สิ่งนี้จะช่วยให้ตัวแทนกำหนดนโยบายที่เหมาะสมที่สุดภายในการเรียนรู้ของ Q
โดยรวมแล้ว เรามีการแสดงภาพหรือภาพนี้ และเราสามารถเห็นได้ที่นี่หากเราพิมพ์แถวของเรา
อัศจรรย์.
ไม่เป็นไร.
ฉันจะไม่เดินเตร่ต่อไป
มาปิดท้ายกันที่นี่ในการบรรยายครั้งต่อไป
มาเริ่มฝึกโมเดลกันเลย
เจอกันใหม่ตอนหน้าค่ะ