สวัสดีและยินดีต้อนรับสู่เรื่องราว
ทีนี้เราจะทำการวนรอบเพื่อคำนวณการสูญเสียนโยบายและการสูญเสียคุณค่าและเมื่อเรามีบทเรียนสองบทนี้เราจะสามารถใช้เครื่องมือเพิ่มประสิทธิภาพของเราเพื่อวางบุหรี่ในทรายเพื่อลดการสูญเสีย
เอาล่ะเราไปกันเลย
เราเริ่มต้นที่นี่โดยวิธีการในบทช่วยสอนก่อนหน้านี้ที่เราใช้งานส่วนนี้และฉันลืมลบการเยื้องออกไป
ดังนั้นการเริ่มต้นจากที่นี่จะไม่ตก
และตอนนี้เรากำลังเริ่มวนเต็มใหม่ดังนั้นฉันเริ่มที่นี่ด้วยสี่
และตอนนี้สิ่งที่เรากำลังจะทำคือเราจะเริ่มจากขั้นตอนสุดท้ายที่ทำในระหว่างการสำรวจและเราจะย้อนเวลากลับไป
นั่นคือเหตุผลที่ฉันทำเพื่อฉันในช่วงการกลับรายการที่ดินรางวัลที่ยิ่งใหญ่ที่สุดคืออย่างน้อย
และเนื่องจากแต่ละขั้นตอนของการสำรวจมีความสัมพันธ์กับที่เราทำงานเพราะในแต่ละขั้นตอนเราจะได้รับรางวัลเมื่อเราพูด
จำนวนขั้นตอนนี้และย้อนกลับที่นี่ถูกใช้เพื่อให้เราสามารถย้อนเวลากลับไปได้
และตอนนี้สิ่งที่เรากำลังจะทำคืออัปเดตรางวัลสะสมที่อยู่ไกลและเราจะอัปเดตด้วยวิธีนี้
นั่นเป็นสิ่งเดียวกับที่เราทำเพื่อ Doom
มันเท่ากับแกมม่าที่เราได้รับจากพารามิเตอร์ของเราและรับจากโปรแกรมแรกที่ไม่ไกลเท่าบวกกับรางวัลของสิ่งนี้ซึ่งเราสามารถรับได้โดยการให้รางวัลน้อยที่สุดและรับดัชนี
ดังนั้นสำหรับเรานี่จะเป็นงานสุดท้ายและจากนั้นก็จะเป็นรางวัลของวันก่อนหน้าและอื่น ๆ
และทุกครั้งที่เราอัพเดทโดยการคูณด้วยแกมม่าแล้วเพิ่มรางวัลนี้ที่ชุด
และด้วยการทำเช่นนี้อย่าลืมว่าเราจะได้ในที่สุด
ดังนั้นฉันจะเขียนมันเมื่อพวกเขามาและเราจะได้รับรางวัลชุมชนของเราที่จะเจ๋งที่สุดในตอนท้ายของวงให้เป็นศูนย์
รางวัลของ step zero บวก gamma times เป็นหนึ่งเดียว
เราเป็นคนแรกที่บวกแกมม่าคูณด้วยคำนั้น
ขั้นตอนที่สองบวกนั่นคือบวกแกมม่าที่ระดับกำลังของและลบหนึ่งครั้งที่ได้รับรางวัลตามขั้นตอนและลบ 1 ที่จำนวนขั้นตอนใด
ๆ แต่จากนั้นให้ระมัดระวังในตอนท้ายเราจะมีแกมม่าที่จำนวนขั้นตอน
เวลาจะลดคุณค่าของฟังก์ชันที่ใช้กับสถานะสุดท้าย
นั่นคือสิ่งที่เราควรจะได้รับ
และนี่คือสิ่งที่เราจะได้รับเพราะจำไว้ที่นี่เราได้ค่านี้และขั้นตอนสุดท้ายเพราะนี่ทำตอนท้ายของลูป
ดังนั้นเราจึงได้ค่าและเราตั้งค่าให้เท่ากับค่านั้น
ตอนนี้อยู่ที่จุดเริ่มต้นของการวนรอบเต็มสองที่นี่จะเท่ากับค่านี้ของวันสุดท้าย
แต่จากการทำเช่นนี้นี่คือสิ่งที่เราจะได้ในตอนท้ายเท่ากับหรือเป็นศูนย์เปอร์เซ็นต์หรือหนึ่งสนามเทนนิสหรือสองบวกสามารถเพิ่มพลังและลบหนึ่งครั้งที่เราอยู่ในขั้นตอน
ของขั้นตอนคูณค่านี้ของการ Lastings
นั่นคือสิ่งสำคัญที่ต้องเข้าใจและนี่อาจเป็นการกระทำของรางวัลสะสม
และนั่นเป็นสาเหตุที่เป็นสิ่งสำคัญที่จะต้องเริ่มต้นจากการเริ่มต้นหรือกับที่นี่และทำวงวนกลับด้านนี้เพื่อให้สมการสุดท้ายสมบูรณ์แบบ
และตอนนี้เรามีคุณค่าที่เหมาะสมสำหรับรางวัลสะสมเราจะคำนวณความได้เปรียบและความได้เปรียบที่นี่เป็นเพียงประโยชน์จากการได้รับรางวัลนี้เมื่อเทียบกับพวกเขา
ดังนั้นฉันจะแนะนำความได้เปรียบที่วิวัฒนาการได้ดังนั้นมันจะเท่ากับรางวัลสะสมนี้ลบด้วยค่าของฟังก์ชัน V
ที่ได้มาในระยะ
ดังนั้นนั่นคือค่าลบของเรา
สมบูรณ์
และตอนนี้เรามีชุมชนที่เราทำงานและได้เปรียบจากนั้นเราจะได้รับการสูญเสียค่า
นี่เป็นครั้งแรกที่เราจะได้รับตอนนี้
ดังนั้นเราจะได้รับคุณค่าของเราทำได้ดีมากและสิ่งนี้จะได้รับการปรับปรุงด้วยวิธีต่อไป
จำไว้ว่าจนถึงตอนนี้คุณค่าที่เราได้รับการเริ่มต้นเป็นศูนย์
แล้วเราจะหาค่าการสูญเสียอีกครั้งและที่ 0 5 คูณสแควร์เพื่อผลประโยชน์เพื่อให้เราได้มาทางนี้
ได้เปรียบคิดเช่นกัน
ดังนั้นนั่นหมายถึงการยกกำลังสองของความได้เปรียบของกำลังและนั่นคือค่าบวกกับความสูญเสียที่เกิดขึ้นจากการทำนายค่าของฟังก์ชั่นเอาท์พุทโดยลำห้วย
ดังนั้นมันจึงสมเหตุสมผลว่าสิ่งนี้ถูกลดคุณค่าเพียงเพราะจำข้อได้เปรียบของการกระทำในสถานะ s คือความแตกต่างระหว่างค่า Q
และค่าของฟังก์ชัน B
ดังนั้นเมื่อเราเล่นการกระทำที่ดีที่สุดเราจะได้สถานะนิ่งกับ Q
ที่ดีที่สุดของการกระทำที่ดีที่สุดผู้เล่นดาวในรัฐตามมูลค่าที่เหมาะสม
Vistar ของรัฐ
ดังนั้นจึงค่อนข้างง่ายที่จะเข้าใจว่าเมื่อข้อได้เปรียบไม่เท่ากับศูนย์จะมีความแตกต่างระหว่างสองสิ่งนี้
และนั่นคือวิธีการวัดครั้งสุดท้าย
ตกลง.
การคำนวณครั้งสุดท้ายที่ผ่านมาอย่างมาก
เรามีอีกแล้วที่จะไป
มันคือการสูญเสียนโยบายและนั่นคือสิ่งที่เรากำลังจะคำนวณในขณะนี้และในการคำนวณเราจำเป็นต้องพิจารณาการประเมินความได้เปรียบทั่วไปอีกครั้งเพราะการคำนวณการสูญเสียนโยบายที่เราจำเป็นต้องมี เราต้องการความแตกต่างชั่วคราวของวาล์วเวที
ดังนั้นเราจึงมีหลายสิ่งที่ต้องคำนวณที่นี่และเราจะเริ่มต้นด้วยความแตกต่างชั่วคราวนี้เมื่อเราได้รับความแตกต่างชั่วคราว
เราจะได้รับการประมาณความได้เปรียบโดยทั่วไปและเมื่อเราได้รับข้อได้เปรียบโดยทั่วไปเมื่อพูดถึงเราจะได้รับคาบสมุทร
เอาล่ะ
งั้นเริ่มจากความแตกต่างชั่วคราว กรัม DD
เท่ากับรางวัลของขั้นตอนที่ฉันบวกกานาซึ่งเราได้สิ่งต่าง ๆ ในรายการโปรแกรมของเราดังนั้น
Bromstad gamma คูณมูลค่าของหนี้นี้บวกหนึ่งและเราเพิ่มข้อมูลเพื่อเข้าถึงลบด้วยมูลค่าของขั้นตอนที่ฉันและเดียวกันที่เราเพิ่ม ข้อมูล.
เอาล่ะ
นั่นคือสูตรของความแตกต่างชั่วคราวและค่าสถานะ
และตอนนี้เราสามารถอัปเดตการประเมินความได้เปรียบโดยทั่วไปและวิธีการลงวันที่
ทีนี้เราเอา R-GA และเราคูณมันด้วยพารามิเตอร์แกมม่าเวลาแกมม่าเพื่อให้เราเข้าถึงกับพารามิเตอร์ของเราได้เช่นกัน
ดังนั้นเราจึงใช้โปรแกรมเซลล์และเราเพิ่มความแตกต่างชั่วคราวของค่าสถานะ
ดังนั้นระวัง
เราอยู่ในวง
และแต่ละครั้งที่เราคูณด้วยและโดยเราเพิ่มความแตกต่างชั่วคราว
ดังนั้นจึงเป็นเรื่องสำคัญที่จะต้องเข้าใจว่าในตอนท้ายของวงนี้การประมาณค่าความได้เปรียบโดยทั่วไปนี้จะเท่ากับผลรวมของทุกขั้นตอนของแกมม่าครั้ง ในใจ.
และตอนนี้เรามีการประมาณความได้เปรียบโดยทั่วไปและความแตกต่างทั่วไปในที่สุดเราก็สามารถคำนวณนโยบายได้
ลองทำสิ่งนี้กัน
เราจะอัปเดตกฎหมายนโยบายของเราด้วยวิธีต่อไปนี้โดยใช้นโยบายเก่าสำหรับเราและเราลดความน่าจะเป็นของ
LUGG ที่ได้รับในขั้นตอนที่เราคูณด้วยการประมาณความได้เปรียบทั่วไปที่เราต้องใส่ในตัวแปร การไล่ระดับสี
มันจะต้องแนบกับการไล่ระดับสีในกราฟแล้วเราบวกลบ 0 1 เท่าของเอนโทรปี
เอนโทรปีที่ได้จากขั้นตอนในฤดูใบไม้ร่วง
และอีกครั้ง.
ตอนนี้ระวัง
นี่คือวงในซึ่งหมายความว่าในตอนท้ายของไข้หวัดใหญ่สิ่งที่คุณจะได้รับคือนโยบายบวกเท่ากับลบบางส่วนผ่านขั้นตอนของการ
luggin ผลิตภัณฑ์ของนโยบายในช่วงเวลาเพื่อประเมินความได้เปรียบทั่วไป
บวก 0 นี้ 01 คูณเอนโทรปีทำเพื่อเราจะได้
และตอนนี้นโยบายของฉันคืออะไร
นั่นคือความน่าจะเป็นที่อ่อนนุ่มสูงสุดของการกระทำและเอนโทรปีของสิ่งนี้ที่คุณจะรู้ว่ามันคือที่ที่เราคำนวณก่อนหน้า
และสิ่งที่เราตั้งใจจะทำรายการ
ดังนั้นเรามีอยู่แล้ว
แต่ปีนี้ฉันได้ยินว่ามันเป็นความน่าจะเป็นสูงสุดของการกระทำ
แล้วทำไมเราถึงใส่เครื่องหมายลบตรงนี้
นั่นเป็นเพราะโชคของความน่าจะเป็นและเอนโทรปีเป็นค่าลบ
และเนื่องจากเราต้องการที่จะลดค่าสัมบูรณ์ของพวกเขาเราจะต้องดูสิ่งนี้เป็นโอกาสสุดท้ายของ LUGG เมื่อเทียบกับระยะทาง
ไม่เราต้องการเพิ่มความน่าจะเป็นของการกระทำที่จะเพิ่มความได้เปรียบ
นั่นคือความคิดทั้งหมดที่อยู่เบื้องหลัง
เราต้องการเพิ่มความน่าจะเป็นของการเล่นแอ็คชั่นที่จะเพิ่มความได้เปรียบและสำหรับพวกคุณที่อาจสงสัยว่าอะไรคือจุดประสงค์ของเอนโทรปีนี้
มีปัจจัยนี้ 0 01 ที่นี่
จุดประสงค์ของมันก็เพื่อป้องกันไม่ให้มันตกลงไปในกับดักเร็วเกินไปที่เรามีการแจกแจงความน่าจะเป็นด้วยศูนย์สำหรับการกระทำทั้งหมดยกเว้นที่มีความน่าจะเป็นที่หนึ่ง
และถ้าเกิดว่านั่นจะลดเอนโทรปี
นั่นคือเหตุผลที่เรากำลังเพิ่มการแก้ไขเล็ก ๆ 0 01 ปีที่จะทำให้การเพิ่มขึ้นของเอนโทรปีในความรู้สึก
ตกลงดังนั้นตอนนี้ข่าวดีก็คือว่าส่วนที่ยากที่สุดจะทำ
เรามีการสูญเสียสองอย่างดังนั้นสิ่งที่เราต้องทำในตอนนี้และเรารู้อยู่แล้วว่าจะทำอย่างไรเพื่อให้ได้เกรดเพื่อลดระดับสองคลาสนี้
สิ่งที่เราจะทำตอนนี้คือออกจากวงนี้และเราจะใช้เครื่องมือเพิ่มประสิทธิภาพของเรา
สิ่งที่เราทำแยกต่างหากจากนั้นจำสิ่งแรกที่เราต้องทำคือการเริ่มต้นพารามิเตอร์การให้คะแนนทั้งหมดให้เป็นศูนย์และการทำเช่นนี้เราเพิ่มที่แล้วไปที่ศูนย์
เอาล่ะเสร็จแล้ว
ตอนนี้เรากำลังทำการแพร่กระจายย้อนหลัง แต่เราจะให้ความสำคัญกับนโยบายมากกว่าค่าที่สูญเสียไปสองเท่า
ดังนั้นในการทำเช่นนี้เราจะใส่นโยบายวงเล็บและคะแนนบวกกับ 0 การสูญเสีย 5 ค่าดังนั้น 0
5
เท่าของมูลค่าสำหรับเราและเราจะเพิ่มตรงนี้ว่าเราใช้วิธีย้อนหลังเพื่อทำการเผยแพร่ย้อนหลังและด้วยเคล็ดลับนี้ที่นี่กับนโยบายน้อยกว่าครึ่งหนึ่งของมูลค่าที่เรามีความสำคัญมากกว่านโยบายมากกว่า Vaness
ตกลงจากนั้นเราจะใช้เคล็ดลับอื่นเพื่อป้องกันการไล่ระดับสีจากการรับค่าที่มีขนาดใหญ่มากและเพื่อสร้างอัลกอริทึม
และเคล็ดลับในการทำเช่นนั้นคือการได้รับห้องสมุดคบเพลิงของเราก่อนจากนั้นจุดสิ้นสุดและโมดูลจากห้องสมุดคบเพลิงจากนั้นจะใช้
submodule และตอนนี้เราจะใช้ฟังก์ชั่น
พารามิเตอร์โมเดลพร้อมอินพุตที่สองซึ่งจะเป็น 40
และเคล็ดลับนั้นจะทำให้แน่ใจว่าการไล่ระดับสีจะไม่ใช้ค่าขนาดใหญ่มากและเพื่อสร้างอัลกอริทึม
และสำหรับพวกคุณที่อาจสงสัยว่า 40 ปีนี้
เผง
นั่นก็หมายความว่าเรากำลังใช้ค่าเหล่านี้นั่นจึงเป็นบรรทัดฐานของการไล่ระดับสีอยู่ระหว่าง 0
ถึง 40 และนั่นคือวิธีที่เราป้องกันไม่ให้การไล่ระดับสีเป็นค่าขนาดใหญ่
ตกลงตอนนี้เราเกือบจะเสร็จแล้ว
จำไว้ว่าเราได้ทำสิ่งนี้แล้วและแน่ใจว่าฟังก์ชั่น
Gretz ที่ใช้ร่วมกันเมื่อต้นฤดูใบไม้ร่วงนั้นคือเพื่อให้แน่ใจว่าตัวแทนและรูปแบบที่ใช้ร่วมกันนั้นใช้การไล่ระดับสีเดียวกันและเพื่อทำสิ่งนี้เพื่อให้แน่ใจว่า
ดังนั้นเราจะเพิ่มและแน่ใจว่าจะแบ่งแกร็ดเพื่อให้แน่ใจว่าศีลธรรมและโมเดลที่แชร์นั้นมีการไล่ระดับสีเดียวกัน
เอาล่ะนั่นเป็นเพียงข้อควรระวัง
ฉันไม่แน่ใจว่าจำเป็นอย่างยิ่ง แต่คุณรู้ว่าอย่างน้อยเราจะไม่ได้รับปัญหาที่นี่
ถูก
และสุดท้ายบรรทัดสุดท้ายของรหัสเราแน่นอนว่าจะดำเนินการตามขั้นตอนการปรับให้เหมาะสมเพื่อลดการสูญเสียและคุณรู้วิธีที่จะทำแน่นอนเราจะใช้เครื่องมือเพิ่มประสิทธิภาพของเราและเราเพิ่มขั้นตอนนั้นด้วยวงเล็บแล้วเราไปฝึกสมองของเรา เกิน.
ขอแสดงความยินดีด้วย
ฉันหวังว่ามันจะไม่ท่วมท้นเกินไป
ไม่ต้องกังวลฉันจะให้รหัสพร้อมความคิดเห็นทั้งหมด
ดังนั้นหากคุณพลาดรายละเอียดใด ๆ คุณสามารถดูความคิดเห็น
และไม่ต้องกังวลหากคุณยังไม่เข้าใจอะไรเลยว่านี่เป็นขั้นสูงมาก
แต่โปรดมั่นใจว่านี่เป็นการเข้าชมที่จดจำที่มีประสิทธิภาพมากที่สุดจากผู้สร้าง Pi
ดังนั้นเราจึงทำงานร่วมกับสิ่งที่ดีที่สุดได้ที่นี่
สถานะของศิลปะจึงเป็นเรื่องปกติโดยสิ้นเชิงถ้าคุณไม่ได้รับทุกอย่างเป็นครั้งแรก แต่โดยการทำงานหลายครั้งคุณจะได้รับความสะดวกสบายมากขึ้นอย่างแน่นอน
ดังนั้นตอนนี้เราเสร็จสิ้นการฝึกอบรมแล้ว
โดยพื้นฐานแล้วเราสร้างสิ่งที่สำคัญที่สุดที่คุณรู้ว่าเราสร้างสมองด้วยการสร้างสถาปัตยกรรมของโครงข่ายประสาทเทียมด้วยการโน้มน้าว LCN
และเลเยอร์ที่เชื่อมต่อกัน
เราฝึกสมองของเขาโดยสร้างรหัสรถไฟที่นี่
ดังนั้นโดยพื้นฐานแล้วหัวใจของอัลกอริทึมก็เสร็จสิ้น
คุณทำให้ A3 ดูยินดีด้วย
ตอนนี้เรามีสิ่งที่ต้องทำอีกสองสามอย่าง แต่นั่นก็เพื่อความสนุกสนาน
คุณรู้ว่าเราจำเป็นต้องทำการทดสอบนี้ที่เราพบซึ่งจะทดสอบตัวแทนและให้วิดีโอและเครื่องบินแตกออก
ดังนั้นนี่จะสนุกมากที่ได้ดูเราจะไม่เขียนโค้ดทุกบรรทัดของการทดสอบนี้ที่ฉันล้มเพราะอย่างที่เราบอกว่าเราทำสิ่งที่สำคัญที่สุด
23C ที่เกี่ยวข้องทั้งหมด แต่แน่นอนว่าฉันจะอธิบายรหัสและในที่สุดเราก็ทำสิ่งนี้ขึ้นมาฉันพบว่ามันจะรันโค้ด
และจากช่วงเวลาที่เราเรียกใช้รหัสนี้รหัสทั้งหมดจะถูกสร้างขึ้น
ดังนั้นสมองจะถูกสร้างขึ้น
การฝึกอบรมจะเกิดขึ้นและตาจะเล่นเกมฝ่าวงล้อมใหม่และเราจะได้รับวิดีโอทั้งหมด
ดังนั้นฉันจึงอดใจรอไม่ไหวที่จะดูพวกเขาในที่สุด
เราจะดูว่าเขาฉลาดพอที่จะจับบอลหรือไม่
ดังนั้นตอนนี้ฉันจะเห็นในบทช่วยสอนถัดไปสำหรับเดสก์ท็อป UI นี้เพื่อให้เราสามารถทดสอบ AI ในเกมใหม่บางเกม
และจนกว่าจะสนุกกับ AI