สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
และในที่สุดเราก็มาถึงเรื่องสนุก ๆ ที่เรากำลังเรียนรู้อย่างลึกซึ้ง
เอาล่ะมาดูกันดีกว่า
บรูซเราพูดถึงรายได้จากนักฆ่าและทุกอย่างเกี่ยวกับ
และเราได้เรียนรู้เกี่ยวกับสภาพแวดล้อมของตัวแทนและวิธีที่ตัวแทนมองสภาพ
หรือเธออยู่ในการดำเนินการรับรางวัล
เข้าสู่สถานะใหม่และขึ้นอยู่กับวงข้อเสนอแนะที่พวกเขาจะดำเนินการต่อไปและพวกเขาจะได้เรียนรู้จากที่
ทำความเข้าใจกับสิ่งที่เป็นการกระทำที่ดีที่สุดที่จะทำ
ดังนั้นเราจึงดูตัวอย่างพื้นฐานของเขาวงกต
เราเข้าใจว่าในขณะที่เอเชียสำรวจสภาพแวดล้อมเข้าใจว่าคุณค่าของรัฐคืออะไร
จากนั้นเราย้ายจากการจัดการกับค่าของรัฐไปสู่การจัดการกับค่าของการกระทำกับค่าแล้ว
A-Basin ที่เราเข้าใจว่าแผนในสภาพแวดล้อมที่ไม่ประชดประชันทำงานอย่างไรและนโยบายทำงานอย่างไรในสภาพแวดล้อมแบบสุ่มและนี่คือ ตัวอย่างของนโยบาย
นั่นคือการสรุปอย่างรวดเร็วของทุกสิ่งที่เราพูดถึงในการเรียนรู้ขั้นพื้นฐาน
และตอนนี้เรามาดูว่าสิ่งนี้สามารถนำไปสู่ระดับถัดไปผ่านการเรียนรู้ลึกผ่านการเพิ่มการเรียนรู้ลึก
ตกลง.
นี่คือสภาพแวดล้อมของเราและสิ่งที่เราจะทำตอนนี้คือเราจะเพิ่มแทนที่จะทำการคำนวณพื้นฐานในเมทริกซ์นี้ที่เรามีซึ่งค่อนข้างง่าย
สิ่งที่เราจะทำคือเราจะเพิ่มแกนสองแกนซึ่งเพิ่มแกน x และ y หรือเราจะเรียกมันว่า x1 และ
x2
เพียงเพื่อให้สิ่งต่าง ๆ โดยทั่วไปยิ่งขึ้น
และที่นี่เรามีจำนวนจริงแถวหนึ่งคอลัมน์ 1 2 สาม 4 เขาจะหารหมายเลข 1 ถึง 3
ดังนั้นตอนนี้ทุก ๆ สถานะสามารถอธิบายได้ด้วยคู่ของค่าสองค่าคือ x1 และ x2
ดังนั้นหนึ่งในสี่เหลี่ยมเหล่านี้ที่เอเจนต์สามารถอยู่ในนั้นสามารถอธิบายได้ด้วย x1 x2
ตัวอย่างเช่นตอนนี้เขาอยู่ในจตุรัสที่มี X1 เท่ากับ 1 และ x 2 เท่ากับ 2
และนั่นไม่ใช่วิธีที่เราสามารถหลบหนีในจตุรัสของคุณซึ่งหมายความว่าเราสามารถอธิบายได้ในรัฐของคุณ
แน่นอนว่านี่เป็นเวอร์ชั่นที่ง่ายมากของสภาพแวดล้อมของการอธิบายรัฐ
แต่ถึงกระนั้นก็ใช้งานได้ในกรณีนี้
และนั่นหมายความว่าตอนนี้เราสามารถป้อนสถานะเหล่านี้ให้เป็นเครือข่ายประสาท
และโดยวิธีที่นี่ฉันอยากจะพูดถึงว่าในตอนท้ายของภาคผนวกที่ดีเรามี
x จำนวนหนึ่งและการแสดงตลกและสองเพื่อดำเนินการประสบความสำเร็จในส่วนนี้
ขอแนะนำให้คุณตรวจสอบสิ่งที่ไม่สามารถเข้าถึงได้ซึ่งอยู่บนเครือข่ายประสาทเทียมเพื่อให้คุณเข้าใจวิธีการทำงานเพื่อที่เราจะได้ไม่ต้องเจาะลึกลงไปที่นี่และเราสามารถใช้ประโยชน์จากความรู้เกี่ยวกับวิธีการทำงานของเครือข่ายประสาทเทียม ดังนั้นเราจึงป้อนข้อมูลนี้ให้กับรัฐในเครือข่ายนิวรัลและจากนั้นมันจะประมวลผลข้อมูลนี้ X1
และ
x2 ขึ้นอยู่กับโครงสร้างของเครือข่ายประสาทอาจมีเลเยอร์ที่ซ่อนอยู่หลายชั้นและอื่น ๆ
นั่นคือสิ่งที่คุณจะได้รู้ในบทช่วยฝึกหัด
แต่ท้ายที่สุดเราจะจัดโครงสร้างในลักษณะที่มันคายค่าและค่าสี่ค่านี้จะเป็นค่า Q
ดังนั้นค่าที่บอกถึงการกระทำที่เราต้องดำเนินการและสิ่งที่ไม่ควรทำในบทช่วยสอนนี้จะเห็นได้อย่างชัดเจนถึงวิธีการใช้ค่าคีย์เหล่านี้ในการตัดสินใจว่าจะดำเนินการใด
แต่ประเด็นหลักที่นี่คือเราไม่ได้ดูเขาวงกตเพียงแค่นี้จากมุมมองการเรียนรู้อีกต่อไป
ตอนนี้เรากำลังเข้าสู่สภาวะของเขาวงกตและเรากำลังให้พวกมันเข้าสู่เครือข่ายประสาทลึกเพื่อที่จะได้ห้องเล็ก ๆ เหล่านี้และ
และในตอนท้ายของวันเราจะยังคงเกิดขึ้นกับการกระทำเราจะยังคงเข้าใจว่าเราต้องทำอะไรและเราจะพูดคุยกันในรายละเอียดเพิ่มเติม เราทำทั้งหมดนี้ทำไมเราถึงเรียกมันว่า
ทำไมการทำสิ่งต่าง ๆ มีความซับซ้อนมากขึ้นเมื่อวิธีการเริ่มต้นของการเรียนรู้นั้นทำงานได้ดีอยู่แล้ว
เหตุผลคือเพื่อการเรียนรู้ที่ทำงานในสภาพแวดล้อมที่ง่ายมากและเรากำลังดำเนินการต่อเพื่อจัดการกับสภาพแวดล้อมที่เรียบง่ายนี้เพื่อให้เข้าใจแนวคิดได้ดียิ่งขึ้น
แต่ในขณะเดียวกันการเรียนรู้อย่างง่ายของ Kial จะไม่ทำงานในสภาพแวดล้อมที่ซับซ้อนมากขึ้นอีกต่อไปและเรากำลังพูดถึงเช่นรถยนต์ขับเคลื่อนด้วยตนเองซึ่งจะสร้างหรือเล่น
Doom เมื่อปัญญาประดิษฐ์กำลังเล่น
Doom หรือเกม
Atari อื่น ๆ
เช่นการฝ่าวงล้อม หรือแม้กระทั่งรถยนต์ที่ขับเคลื่อนด้วยตนเองและการเรียนรู้การเสริมแรงขั้นสูงเช่นหุ่นยนต์เดินไปรอบ ๆ และดำเนินการในทุกกรณีโดยทั่วไปการเรียนรู้ไม่เพียงพอไม่แข็งแรงไม่แข็งแกร่งพอที่จะสามารถเอาชนะความท้าทายเหล่านั้นได้
และเช่นเดียวกับที่เราเคยเห็นในหลักสูตรการเรียนรู้ลึกหากคุณอยู่ในวินัยของเราหรือถ้าคุณทำภาคผนวกใน x
หมายเลขหนึ่งและ X-2 คุณจะรู้ว่าการเรียนรู้ลึกนั้นเหนือกว่า
การเรียนรู้ของเครื่องทุกประเภทนับประสาเป็นการเรียนรู้ที่เรียบง่าย
และนั่นคือเหตุผลที่เราใช้ประโยชน์จากพลังของการเรียนรู้อย่างลึกซึ้งที่นี่ดังนั้นเราจึงป้อนข้อมูลเกี่ยวกับสภาพแวดล้อมเป็นเวกเตอร์ของค่า
ในกรณีนี้เพียงเพื่อใช้ในเครือข่ายประสาทลึกแล้วเราจะใช้สิ่งนั้นเพื่อดำเนินการที่เราต้องการตัดสินใจว่าการกระทำใดเป็นตัวแทนที่จะต้องดำเนินการ
นั่นเป็นภาพรวมระดับสูงว่าทำไมเราถึงทำเช่นนี้
และตอนนี้เรามาดูรายละเอียดเพิ่มเติมว่าเกิดอะไรขึ้นกับแนวคิดการเรียนรู้ที่ยอดเยี่ยมเมื่อเราถ่ายโอนเมื่อเราทำการเปลี่ยนแปลงจากหรือเปลี่ยนจากการเรียนรู้อย่างง่ายไปสู่
Killary ที่ลึกซึ้ง
ดังที่คุณเห็นในบทเรียนปรีชาก่อนหน้าเรามีสไลด์เช่นนี้ซึ่งเป็นรากฐานของการเรียนรู้ที่แตกต่างชั่วคราว
นี่คือสูตรสำหรับความแตกต่างทางโลกและโดยพื้นฐานแล้วเรามาดูกัน
โดยพื้นฐานแล้วเรามีตัวแทนที่อยู่ในสถานะนี้ตรงนี้ซึ่งระบุลูกศรสีน้ำเงิน
และเราเข้าใจว่าความแตกต่างทางโลกทำงานอย่างไรสำหรับค่านี้ยกตัวอย่างเช่น
และสิ่งที่เราเห็นที่นี่คือก่อนหน้านี้คือในคิลลารี่ธรรมดาไม่ใช่การเรียนรู้อย่างลึกซึ้งอยู่ในตัวนักฆ่าธรรมดา
สิ่งที่เราเห็นคือก่อนที่ตัวแทนจะมีค่าสีที่ตามมาซึ่งเขาได้เรียนรู้เกี่ยวกับการกระทำของการเพิ่มขึ้นนี้
จากนั้นเขาก็ตัดสินใจที่จะรักษาให้สูงขึ้น
และหลังจากที่เขาลงมือทำเขาก็จะได้รับรางวัลจากการกระทำนี้ในสถานะนี้
และนั่นคือรางวัลบวกตอนนี้เขาสามารถประเมินมูลค่าของสถานะปัจจุบันที่เขาอยู่ซึ่งเป็นค่าสูงสุดของค่า q
ใหม่ทั้งหมดของคิวบ์ทั้งหมดของการกระทำใหม่ที่เขาสามารถรับตำแหน่งสำคัญในสถานะใหม่เป็นสิ่งพิมพ์ อ่านคูณด้วยค่า DK
ของแกมม่า
นั่นคือคิวโดยพื้นฐานของค่าคิวบ์ใหม่หรือชนิดของค่าคิวเชิงประจักษ์ที่เขาเพิ่งได้รับจากการกระทำนั้น
และความนึกคิดสองคนนี้ควรจะเหมือนกัน
ดังนั้นค่า
Q ที่เขามีในความทรงจำของเขาเกี่ยวกับการกระทำนี้ในรัฐนี้ควรเทียบเคียงกับรางวัลจริงบวกกับแกมมาคูณค่าของสถานะที่เขาลงเอยด้วย
และนั่นคือวิธีที่เราคำนวณความแตกต่างทางโลกที่เราใช้ในสิ่งที่คุณเป็นหลังจากลบสิ่งที่เขาได้ในสิ่งที่เขามีอยู่ในใจสิ่งที่เขาคาดหวัง
คุณจะลบหนึ่งจากที่อื่น
นั่นคือความแตกต่างชั่วคราว
จากนั้นคุณใช้อัตราการเรียนรู้ของคุณอัลฟ่าเพื่อปรับค่าคิวของคุณค่าคิวใหม่ของคุณตามความแตกต่างชั่วคราว แต่ด้วยสัมประสิทธิ์อัลฟ่า
นั่นคือสาระสำคัญของการเรียนรู้อย่างง่าย
ทีนี้ลองมาดูกันว่ามันจะเปลี่ยนแปลงอย่างไรใน Killary ที่ลึกและเราจะยังคงทำงานกับสไลด์
แต่เราจะเห็นว่าเกิดอะไรขึ้น
ดังนั้นในการเรียนรู้อย่างลึกซึ้งโครงข่ายประสาทเทียมจะทำนายวาลิสอย่างที่เราเห็นในก่อนหน้านี้และอย่างที่เราจะเห็น
Donna Citronelle เครือข่ายประสาทเทียมจะทำนายค่าหรืออาจทำนายค่ามากขึ้นของการกระทำที่เป็นไปได้มากขึ้นในสถานะที่กำหนด
แต่ในกรณีนี้เรารู้ว่ามีเพียงการกระทำสี่อย่างที่ควรทำ
และดังนั้นโครงข่ายประสาทเทียมจะทำนายค่าสี่ค่าเหล่านี้ดังนั้นจะไม่มีจุดสิ้นสุดในสถานการณ์การเรียนรู้ที่ลึกเป็นสิ่งสำคัญคือไม่มีก่อนหรือหลัง
และนี่คือวิธีที่เราจะทำความรู้จักกับสิ่งนี้ให้ดีขึ้น
ดังนั้นโครงข่ายประสาทเทียมจะทำนายค่าสี่ค่าเหล่านี้และจะไม่เปรียบเทียบกับสิ่งที่จะเกิดขึ้นหลังจากนั้น
แต่โครงข่ายประสาทจะเปรียบเทียบกับค่าที่แน่นอนนี้ แต่เป็นค่าที่คำนวณในขั้นตอนก่อนหน้า
ดังนั้นในครั้งก่อนเมื่อตัวแทนอยู่ในสแควร์ที่แน่นอนนี้
สมมุติว่าฉันไม่รู้เมื่อกี้นี้ตัวแทนก็อยู่ในจตุรัสที่แน่นอนอีกครั้งและมันคำนวณค่านี้ก่อนหน้านี้
ดังนั้นในครั้งก่อนเมื่อนานมาแล้วตัวแทนคำนวณค่านี้ตัวแทนจึงเก็บค่านี้สำหรับอนาคตและตอนนี้อนาคตได้มา
ดังนั้นตอนนี้เขาอยู่ในจัตุรัสอีกครั้งและตอนนี้เขามีค่าลูกบาศก์เหล่านี้ซึ่งถูกทำนายไว้และหนึ่งในนั้นคือสำหรับการขึ้นสี่ครั้ง
ตอนนี้สิ่งที่เขาจะทำคือการเปรียบเทียบค่าที่คาดการณ์ของ Q
กับค่านี้ซึ่งเขาได้บันทึกไว้จากขั้นตอนก่อนหน้าและจะเข้าใจว่าทำไมสิ่งนี้ถึงสำคัญในตอนนี้
ไม่เคยมีเจ้าหน้าที่มาก่อนในจัตุรัสนี้เวลานี้
เราใช้ค่า Q
ที่เขาทำนายโดยใช้เครือข่ายประสาทในครั้งนี้และเราเปรียบเทียบกับค่านี้ซึ่งเขามีมาจากครั้งก่อนจากครั้งก่อนหน้าเขาอยู่ในจัตุรัสนี้เพื่อประเมินสถานการณ์ทั้งหมดและคุณรู้ว่าเหมือนก่อนหน้านี้ เวลาที่เขาทำสิ่งนี้จริง
ๆ
ดังนั้นเราไปกันเลย
ทีนี้ลองมาดูกันว่ามันทำงานอย่างไรในโครงข่ายประสาทและทำไม
ทำไมมันเหมือนฉันรู้ว่ามันฟังดูซับซ้อนเล็กน้อยในตอนนี้ แต่เราจะแยกมันออกเป็นคำศัพท์ง่ายๆในไม่กี่วินาที
ดังนั้นสิ่งนี้ในเครือข่ายของคุณเองเรากำลังป้อนสภาวะของสภาพแวดล้อมเข้าสู่เครือข่ายประสาทกำลังผ่านเลเยอร์ที่ซ่อนอยู่ซึ่งจะออกมาพร้อมกับผลลัพธ์เหล่านี้ Q1
Q2 Q3 Q4
ในสถานะเฉพาะเหล่านี้คือค่าคิวบ์ที่เครือข่ายประสาทคาดการณ์สำหรับการกระทำที่เป็นไปได้
นั่นคือสิ่งที่ไร้สาระ
ดังนั้นเราจึงปรากฏว่ามีเป้าหมายและเป้าหมายเหล่านี้มีอยู่จริงดังนั้นหากเรากลับไปที่นี่นี่คือเป้าหมายดังนั้นนี่คือค่าที่ถูกทำนายไว้
และจากนั้น แต่เราก็รู้ว่าเรามีเป้าหมายตั้งแต่ครั้งสุดท้ายที่เราอยู่ในจัตุรัส
เรามีเป้าหมายสำหรับการกระทำเดียวกันนี้ซึ่งมีขึ้นเพื่อเป็นตัวอย่าง
ดังนั้นที่นี่เรามีเป้าหมายและเราจะเปรียบเทียบเรากำลังเปรียบเทียบ Q1
กับเป้าหมายนั้นเรากำลังเปรียบเทียบ Q2 กับเป้าหมายเป้าหมายที่เรามีจากไตรมาสก่อนหน้านี้เมื่อเทียบกับเป้าหมายไตรมาสที่สี่กับเป้าหมาย
และนี่คือส่วนที่เครือข่ายประสาทหรือตัวแทนกำลังเรียนรู้ผ่านการเรียนรู้อย่างลึกซึ้งว่าจะผ่านไปได้อย่างไร
และประเด็นสำคัญที่นี่คือเรายังคงใช้การเรียนรู้ที่ยอดเยี่ยม แต่แนวคิดการตอบนั้นง่ายมากที่คุณเรียนรู้ที่คุณเรียนรู้ผ่านความแตกต่างทางโลกซึ่งตรงไปตรงมาซึ่งเราได้พูดคุยกันแล้วและเรารู้ดีว่าทำไม
แต่ในเวลาเดียวกันในการเรียนรู้อย่างลึกซึ้งเครือข่ายประสาทเรียนรู้เครือข่ายประสาทเรียนรู้ได้อย่างไรผ่านการปรับน้ำหนักของเรา
ดังนั้นเราจึงต้องปรับแนวคิดของการเสริมแรงแนวคิดของการเรียนรู้การฆ่าง่าย ๆ กับวิธีการทำงานของเครือข่ายประสาทเทียม
และนั่นคือการปรับปรุงน้ำหนักของพวกเขา
และนี่คือสิ่งที่เราพยายามหาที่นี่เราจะปรับแนวคิดของความแตกต่างชั่วคราวกับเครือข่ายของคุณเองเพื่อให้เราสามารถใช้ประโยชน์จากเครือข่ายประสาทเทียมได้อย่างเต็มประสิทธิภาพ
จนถึงตอนนี้เราได้สิ่งนี้มาแล้วดังนั้นเราจึงเข้าสู่สภาวะแวดล้อมของเราที่นี่เมื่อเวกเตอร์ผ่านเครือข่ายประสาทเราได้รับการทำนายค่าหลักและจากครั้งก่อนหน้าที่ตัวแทนอยู่ในสถานะนั้น
เรามีเป้าหมายใหม่เหล่านี้เพื่อกำหนดเป้าหมายหนึ่งสองสามและสี่สำหรับแต่ละการกระทำเหล่านี้
และตอนนี้เราก็ขึ้นอยู่กับ
ตกลงลองเปรียบเทียบกันกับแต่ละอัน
และจากตรงนี้มันจะค่อนข้างตรงไปตรงมาถ้าคุณเร่งความเร็วด้วยเครือข่ายประสาท
อีกครั้งที่อยู่บน Anax
หมายเลขหนึ่งที่เราจะคำนวณการสูญเสียซึ่งอยู่ที่นี่และเราจะเป็นเป้าหมาย q อันนี้หนึ่งลบ Q ลบอันนี้
เรากำลังสองกำลังสองนั่นก็คือผลต่างกำลังสองของแต่ละอันแล้วเราจะบวกพวกมัน
ดังนั้นเราจึงนำผลรวมของความแตกต่างยกกำลังสองของค่าเหล่านี้และเป้าหมายของพวกเขาและเราจะส่งพวกเขาและนั่นจะเป็นการสูญเสีย
และอย่างยอดเยี่ยมเช่นเดียวกับที่เราได้เรียนรู้ในความแตกต่างชั่วคราวดังนั้นถ้าเราย้อนกลับไปในความทรงจำครั้งที่สองเราพูดว่าอุดมคติเราต้องการให้นี่เท่ากับสิ่งนี้ดังนั้นเราต้องการความแตกต่างชั่วคราวเป็นศูนย์ การทำนายอย่างถูกต้องสิ่งที่คุณรู้ว่าค่า Q
คือเอเจนต์กำลังทำนายค่าทั้งหมดหรือว่าเขามีและหน่วยความจำนั้นมีความหมายถึงสภาพแวดล้อมอย่างแท้จริงและดังนั้นตัวแทนจึงไม่สามารถรับสภาพแวดล้อมได้อย่างถูกต้อง
ไม่มีเซอร์ไพร์สไม่มีของไม่มี ตราบใดที่ความแตกต่างทางโลกเป็นนักบินที่มีทั้งบวกและลบสูง
งั้นเราก็มีเซอร์ไพรสบ้าง
แต่ถ้าความแตกต่างทั่วไปเป็นศูนย์จากนั้นเขารู้สภาพแวดล้อมเป็นอย่างดีว่าเขาสามารถทำนายสิ่งที่เกิดขึ้นและเขาสามารถและดังนั้นนโยบายของเขาจะเป็นสิ่งที่ดีมากและเขาจะสามารถนำทาง
ดังนั้นที่นี่
สิ่งเดียวกันดังนั้นเราต้องการให้กฎนี้ใกล้เคียงกับศูนย์ฉันคิดว่าเล็กที่สุดเท่าที่จะเป็นไปได้
และนั่นคือสาเหตุที่ตอนนี้เรากำลังไปที่นี่เป็นส่วนที่เราจะใช้ประโยชน์จากพลังที่แท้จริงของเครือข่ายประสาทดังนั้นเราจะใช้การสูญเสียนี้และเราจะใช้การขยายพันธุ์แบบย้อนกลับ เพื่อรับความสูญเสียนี้และผ่านมันผ่านเครือข่ายโพสต์กลับหรือย้อนกลับแพร่กระจายผ่านเครือข่ายและผ่านวันที่ดีและเหมาะสมน้ำหนัก
สิ่งเหล่านี้ทั้งหมดในเครือข่ายเพื่อให้ครั้งต่อไปที่เราผ่านเครือข่ายนี้เป็นวิธีที่ดีกว่าที่จะอธิบายสภาพแวดล้อมและนั่นคือสิ่งที่เราเป็น
ดังนั้นที่นี่คุณมีถ้าคุณกลับไปนี่คือการคำนวณการสูญเสีย Kalka และเดาว่าผู้เผยแพร่โฆษณาสำหรับเครือข่ายที่มีการปรับปรุงน้ำหนัก
แล้วครั้งต่อไปที่เรามาถึงที่นี่สิ่งนี้เกิดขึ้นซ้ำแล้วซ้ำอีกที่นี่เกิดขึ้นอีกเรื่อย
ๆ และมันก็เกิดขึ้นเรื่อย
ๆ และนั่นก็เป็นสิ่งที่เอเจนต์นี้เรียนรู้ สื่อความหมายของสภาพแวดล้อมได้มากขึ้นดังนั้นเอเจนต์จึงสามารถนำทางสภาพแวดล้อมได้
เมื่อเราพูดถึงสภาพแวดล้อมที่สื่อความหมายโดยทั่วไปแล้วหมายความว่าเมื่อเราใส่สถานะของสภาพแวดล้อมที่เอเจนต์นี้อยู่เราก็มีแนวโน้มที่จะเข้าใกล้ค่าคิวจริงมากขึ้นและใกล้จะเกิดขึ้นเพราะค่าคิวที่เราต้องการ การกระทำและสิ่งนั้นเกิดขึ้นเพราะเป้าหมายใหม่เหล่านี้ได้มาจากการสังเกตุอย่างแท้จริงดังนั้นเขาทุกวันเขาจะหาเป้าหมายที่น่ารักเหล่านี้ได้อย่างไร
ที่จริงมีอยู่ที่นี่เพื่อให้เขาสังเกตเห็นจริง
ตกลงดังนั้นเมื่อฉันทำตามขั้นตอนนี้สิ่งที่ฉันได้รับคือรางวัล
แล้วค่าของรัฐนี้คืออะไร
เช่นเดียวกับที่เราเห็นก่อนหน้านี้ในการเรียนรู้ Q และสัญชาตญาณการเรียนรู้อย่างง่าย
ดังนั้นเขาจึงเรียนรู้สิ่งนี้ผ่านการลองผิดลองถูกและจากนั้นเขาก็สร้างเครือข่ายของเขาหรือนั่นคือวิธีที่มันเป็นไปในแบบที่ค่าที่ทำนายไว้นั้นใกล้เคียงกัน
พิจารณาว่าเป้าหมาย
ค่า Q นั้นคล้ายกับแนวคิดที่เรากล่าวถึงในการเรียนรู้ความแตกต่างชั่วคราวอย่างง่ายของอัลกอริทึมการเรียนรู้ทักษะอย่างง่าย
ดังนั้นคุณไป
นั่นคือวิธีที่ตัวแทนเรียนรู้
ดังนั้นเราถึงที่นี่
และนั่นคือส่วนการเรียนรู้