สวัสดียินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
ในบทช่วยสอนของวันนี้เราจะปกปิดการสอนที่ซับซ้อนที่เรียกว่าการมีสิทธิ์ติดตามหรือและขั้นตอน
ถามการเรียนรู้และนี่คือสิ่งที่ฉันจะนำไปใช้ในทางปฏิบัติของสิ่งต่าง
ๆ ดังนั้นเราจึงจำเป็นต้องออกมาและที่ศูนย์มันเป็นหัวข้อที่ค่อนข้างซับซ้อนดังนั้นเราจึงมีวิธีการที่น่าสนใจมากในการทำให้เราเร่งความเร็วด้วย สัญชาตญาณที่อยู่เบื้องหลัง
ดังนั้นฉันจึงชอบแนวทางที่แตกต่างในใจมากกว่าที่เราคุ้นเคยเพื่อดูอย่างง่าย ๆ และดูว่ามันจะไปอย่างไร
ดังนั้นฉันต้องการให้คุณตัวอย่างเพื่อเริ่มต้นด้วย
ฉันจะให้คุณตัวอย่างในการกวดวิชานี้และที่จะแสดงให้เห็นถึงพลังของการมีสิทธิ์
และทำให้เรามีสัญชาตญาณเบื้องหลังสิ่งต่าง ๆ
และถ้าคุณชอบที่จะเจาะลึกถึงคุณสมบัติที่เหมาะสมเพิ่มเติมฉันจะให้สถานที่ที่ดีที่สุดที่คุณสามารถอ่านได้
ฉันจะให้คุณอ้างอิงถึงหนังสือ แต่อย่างอื่น
ดังนั้นในขณะที่สิ่งนี้จะแตกต่างกันเพราะเราเข้าสู่มันก่อนแทนที่จะเจาะลึกลงไปในสัญชาตญาณเราจะดูตัวอย่างและสัญชาตญาณชัดเจนหลังจากเราพูดถึง
และนั่นคือความหวังของฉัน
ดังนั้นเรามาดู
เรามาดูกันว่าเราสามารถทำสิ่งนี้ได้ไหม
ดังนั้นที่นี่เรามีตัวแทนสองคนและพวกเขากำลังสำรวจสภาพแวดล้อมเดียวกันและเราจะดูว่าตัวแทนสองคนนี้ทำงานอย่างไร
สิ่งแรกคือการทำงานกับการมีสิทธิ์ติดตามของเรา
อันที่สองจะทำงานร่วมกับการติดตามอย่างผิดกฎหมายและหวังว่าเราจะเห็นว่าทำไมอันที่สองจะมีประสิทธิภาพมากกว่าอันแรก
ดังนั้นเรามาดู
เราจะดูที่ตัวแทนนี้ก่อน
และวิธีการทำงานของเขาเป็นวิธีที่แน่นอนที่เราได้พูดถึงสิ่งที่วงกลมลึกจนถึง
ดังนั้นตัวแทนกำลังจะก้าวไปหรือกำลังจะย้ายทำการเคลื่อนไหวเข้าสู่สถานะใหม่
สิ่งที่ดีที่จะได้รับรางวัลแน่นอนคือการทำให้ผ่านหรือผ่านอัลกอริทึมของการปรับปรุงเครือข่ายประสาทที่ใช้ตัวแทนนี้หรือที่ทำงานอยู่ในใจของตัวแทนนี้
นั่นเป็นเพียงวิธีการเรียนรู้จากช่วงเวลานั้นจะเป็นขั้นตอนใหม่
ดังนั้นจากสถานะใหม่นี้จะมีการดำเนินการใหม่ตามสิ่งที่เครือข่ายประสาทของมันกำลังบอกให้ทำคือจะได้รับรางวัลที่จะได้รับการอัพเดทและอื่น ๆ
และจะทำเช่นนั้นต่อไป
เห็นได้ชัดว่านี่จะเป็นงานที่ดีมากและอย่างที่เราได้เห็นก่อนหน้านี้จาก Squire
ที่ใช้งานจริงไปจนถึง DROs ก่อนหน้านี้เราจะได้ผลลัพธ์ที่ดีพอสมควร แต่ตอนนี้เรากำลังจะเพิ่มคุณสมบัติใหม่
ตอนนี้เอเจนต์นี้หมายเลขสองเจ้านี่ตรงนี้เขาจะไปสำรวจสภาพแวดล้อมเดียวกัน
สิ่งที่เขาจะใช้ความชัดเจนของต้นไม้
และนี่คือความหมาย
สิ่งที่เขาจะทำคือเขาจะทำตามขั้นตอนใด
ๆ ที่เขาจะทำในกรณีนี้ห้าคีมจะทำสี่ขั้นตอนและหลังจากทำตามขั้นตอนเหล่านี้แล้วเขาจะได้รับรางวัลทั้งหมดที่เขาได้รับจากขั้นตอนเหล่านั้น ใส่มันผ่านเครือข่ายของเขา
เขาจะใส่มันผ่านเครือข่ายประสาทของเขาที่ควบคุมกระบวนการตัดสินใจจากนั้นเครือข่ายประสาทเทียมจะเรียนรู้จากสิ่งนั้น
ดังนั้นอันไหน
ทันทีเช่นที่คุณคิดว่ามีประสิทธิภาพมากขึ้น
คนที่เพิ่งก้าวไปทีละขั้นและชอบโผล่ในที่มืดหรือในที่มืดและเขาก็โอเคฉันจะก้าวไปดูว่าเกิดอะไรขึ้น
ทำตามขั้นตอนเพื่อดูว่าเกิดอะไรขึ้น
ทำตามขั้นตอน
เกิดอะไรขึ้น.
คนที่อยู่ด้านบนหรือคนที่ใช้ Marsha
อย่างกล้าหาญผ่านสี่ขั้นตอนในแถวและจากนั้นเขาตัดสินใจว่าสิ่งเหล่านั้นเป็นขั้นตอนที่ดีหรือไม่ทั้งหมดและทำไมคุณสามารถดูที่นี่หรือทำไมคุณอาจรู้สึกว่าทำไม
ผู้ชายคนที่สองนั้นดีกว่าหรือมีพลังมากกว่าก็เพราะผู้ชายคนที่สองรู้จริง ๆ ว่าอะไรคือจุดสิ้นสุด
ผู้ชายคนแรกเมื่อเขาเมื่อเขาประเมินว่าขั้นตอนนี้ดีหรือไม่เขาแค่ดูรางวัลที่เขาได้รับเท่านั้น
ดังนั้นเขาจึงได้รับคำแนะนำจากรางวัลเท่านั้นที่สิ่งแวดล้อมมอบให้เขา
สิ่งเดียวกันที่นี่เขาแนะนำโดยเฉพาะรางวัลที่สภาพแวดล้อมนี้ให้เขาที่นี่
ดังนั้นทุกครั้งที่เป็นเข็มทิศชนิดเดียวของเขาที่เขามีรางวัลรางวัลรางวัล
ในขณะที่ที่นี่เขาสามารถประเมินได้จริงหลังจากทำตามขั้นตอนที่เขาสามารถประเมินได้
ตกลงฉันก็เลยไปถึงเส้นชัย
ดังนั้นการผสมผสานของขั้นตอนนี้จึงเป็นเรื่องที่ดี
พวกเขาทั้งหมดดี
หรือโอ้ไม่ฉันลงเอยใน firepit หรือ Ohno I.
ฉันทำและเมื่อรถของฉันไม่ไปถึงเส้นชัยหรือฉันข้ามกำแพงทรายหรือฉันแพ้เกมแห่งความหายนะหรือบางสิ่งบางอย่าง
จากนั้นเขาก็ตัดสินใจจากการรวมกันของขั้นตอนทั้งหมดนี้ไม่ดี
และดังนั้นสำหรับขั้นตอนเหล่านี้ที่ก่อนหน้านี้เขามีข้อมูลเพิ่มเติม
เขามีข้อมูลเชิงลึกมากขึ้นเช่นในวิธีการที่ใช้งานง่ายมาก
นี่เป็นหัวข้อที่ซับซ้อนกว่าที่เราแสดงที่นี่
แต่ในวิธีที่ใช้งานง่ายเช่นถ้าคุณทำตามขั้นตอนนี้ขั้นตอนนี้จะมีข้อมูลให้คุณเท่านั้นที่จะได้รับมันคุณจะมีข้อมูลกลับมาจากรางวัลนี้ที่นี่
และสำหรับขั้นตอนนี้ในกรณีนี้ขั้นตอนที่แน่นอนเหมือนกัน
มีข้อมูลเพิ่มเติมที่มีข้อมูลมาตลอดทาง
ตกลงดังนั้นผลลัพธ์คืออะไรหลังจากสี่ขั้นตอนหรือห้าขั้นตอนหรืออะไรก็ตาม
ใช่นั่นคือวิธีการทำงานและสาเหตุที่เรียกว่าการติดตามคุณสมบัติเนื่องจากในระหว่างกระบวนการนี้ไม่เพียง แต่เขาจะดูรางวัลคอมพิวเตอร์ของสิ่งที่เกิดขึ้นแล้วจากการสูญเสียสะสมและจากนั้นทั้งหมดที่เหมาะสม
แต่ที่จริงแล้วมีร่องรอยของการมีสิทธิ์ตามที่เรียกว่าความไว้วางใจความพิการ
มีร่องรอยที่ถูกเก็บไว้ในอัลกอริทึมที่บอกว่าตกลงดังนั้นถ้าเราได้รับสมมติว่าเราได้รับการลงโทษเราได้รับรางวัลเชิงลบซึ่งขั้นตอนเหล่านี้น่าจะมีสิทธิ์สำหรับการลงโทษนั้น
ดังนั้นไม่เพียง
แต่เราจะรู้ว่ารูปแบบทั้งหมดนี้หรือการรวมกันของขั้นตอนของโรงเรียนโดยรวม แต่เรายังคงมีร่องรอยของการมีสิทธิ์ซึ่งขั้นตอนที่เราจะอัปเดตถ้าเราได้รับทุกคน
ตัวอย่างเช่นหากเป็นรางวัลเชิงลบเราอาจมีการติดตามสิทธิ์ที่ระบุถึงเราว่านี่เป็นขั้นตอนที่รับผิดชอบมากที่สุดสำหรับสิ่งที่เราได้รับในตอนท้ายหรือหากเป็นรางวัลเชิงบวกอีกครั้งเราอาจรู้ว่าอัลกอริทึมช่วยให้เราติดตาม อัลกอริทึมการมีสิทธิ์นี้ยังช่วยให้เราติดตามว่าขั้นตอนใดหรือสิ่งที่การกระทำที่จำเป็นต้องมีสิทธิ์ได้รับการอัปเดตตามรางวัลที่เราได้รับ
และนั่นคือสาเหตุที่เรียกว่าการติดตามคุณสมบัติ
และนั่นคือสัญชาตญาณพื้นฐานที่อยู่เบื้องหลังการมีสิทธิ์และหวังว่าตัวอย่างทั้งสองของตัวแทนเหล่านี้จะทำให้เห็นได้ชัดหรือค่อนข้างเข้าใจง่ายในขณะที่ความสามารถเหล่านี้มีประสิทธิภาพมาก
และหากสัญญาไว้หากคุณต้องการที่จะเจาะลึกลงไปในร่องรอยคุณสมบัติเฉพาะหรือการเรียนรู้ขั้นตอนหนังสือที่น่าอัศจรรย์ซึ่งคุณสามารถหาได้เรียกว่าการเรียนรู้แบบเสริม
การแนะนำคือ Richard Sutton Andrew Barto 1998
ฉันคิดว่าพวกเขากำลังอยู่ระหว่างการสร้างรุ่นที่สองหรือปัญหาที่สำคัญมาก
แต่นี่เป็นหนังสือที่ได้รับความนิยมสูงสุดหรือเป็นที่นิยมมากที่สุดหรือเป็นหนังสืออ้างอิงที่มีผู้อ้างอิงมากที่สุดในการเรียนรู้เรื่องการบังคับใช้
ฉันคิดเหมือนหมื่นถ้าฉันไม่ผิด
และบทที่คุณต้องการสำหรับบทนี้คือบทที่ 7
ดังนั้นเพื่อดูตัวเลือกที่เหมาะสมจึงมีบททั้งหมดเกี่ยวกับบทที่ 7
คุณสามารถอ่านเกี่ยวกับมันและมันจะลงรายละเอียดมากมาย
ส่งต่อคุณสมบัติการติดตามย้อนหลังและความแตกต่างชั่วคราวในมือข้างหนึ่งและอีกด้านหนึ่งของสเปกตรัมที่คุณมีวิธีมอนติคาร์โลระหว่างที่คุณมีร่องรอยของคุณสมบัติที่ถูกกล่าวหาหรือคุณเชื่อมโยงเพื่อไปจากความแตกต่างชั่วคราว
อ่านภาพที่น่าสนใจมาก ๆ ซึ่งฉันชอบคำอธิบายที่เข้าใจง่ายมาก ๆ
มีหลายสิ่งที่คุณสามารถเรียนรู้จากหนังสือเล่มนี้เกี่ยวกับปัญญาประดิษฐ์และการเรียนรู้การเสริมแรง แต่การมีสิทธิ์โดยเฉพาะนั้นเป็นเหมือนสถานที่ที่ดีมากที่จะไปเป็นหนังสือสำหรับร่องรอยการมีสิทธิ์
และการอ้างอิงที่สองสำหรับวันนี้คือสิ่งที่จะแสดงให้คุณเห็นในการทดลองเชิงลึกเกี่ยวกับการเรียนรู้อย่างลึกล้ำหรือรายงานวิจัยเชิงลึกของ Google
เกี่ยวกับวิธีการซิงโครนัสสำหรับการเรียนรู้การเสริมแรงที่ลึกซึ้งยิ่งขึ้น
ใช่นั่นคือกระดาษซึ่งเป็นกระดาษแผ่นเดียวที่ A-3 เห็นกระดาษที่เราจะพูดถึงต่อไปในคะแนน
เราใกล้เข้ามาแล้ว
และอย่างที่คุณบอกได้ว่าเราค่อนข้างตื่นเต้นกับเรื่องนี้ดังนั้นนี่จะเป็นการดูเล็กน้อยเกี่ยวกับวิธีที่พวกเขาใช้คุณสมบัติการมีสิทธิ์ในเอกสารนี้
หวังว่าคุณจะสนุกกับการกวดวิชาของวันนี้และรู้ว่าคุณสบายใจขึ้นกับร่องรอยของคุณสมบัติและฉันไม่สามารถรอที่จะพบคุณในครั้งต่อไป
จนกว่าจะเพลิดเพลินไปกับ