สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
ในเรื่องราวของวันนี้เรากำลังพูดถึงเรื่องสุดท้ายใน a 3C
เรากำลังพูดถึงความได้เปรียบ
ดังนั้นจึงเป็น
เราได้พูดถึงนักวิจารณ์ดาราและซิงโครนัสมาแล้ว
ดังนั้นเขาจึงสร้างวิธีการที่เราจะดูในวันนี้และด้วยความได้เปรียบเราจะรวมทุกอย่างเข้าด้วยกัน
ดังนั้นนี่คือสิ่งที่เรามีจนถึงตอนนี้เรามีเครือข่ายประสาทซึ่งแบ่งใช้ระหว่างตัวแทนตัวแทนแบบอะซิงโครนัสและจากนั้นเราก็มีนักวิจารณ์
ทั้งหมดนี้เป็นวิธีการเล่นและทำไมนักวิจารณ์นี้ร่วมกันระหว่างตัวแทน
ลองดูที่นั่น
เข้าใจดีกว่าเราจะไปดูตัวอย่างที่เราจะดูตัวอย่างนี้และดูว่าเกิดอะไรขึ้นเมื่อเขาอยู่ในสถานะที่แน่นอนและเขาต้องตัดสินใจว่าจะเล่นอะไรดี
ดังนั้นเอเจนต์นี้อยู่ในสถานะที่เขาเห็นภาพนี้แล้วสิ่งที่เกิดขึ้นคือข้อมูลนี้เข้าสู่เครือข่ายประสาทมันไปที่รังของถ้ำจากนั้นก็เข้าไปในถ้ำรวมแล้วมันก็เข้าไปในถ้ำที่แบน เลเยอร์ที่ซ่อนอยู่ของเครือข่ายนิวรัลและจากนั้นเขาจะได้รับค่านโยบายเหล่านี้ทั้งหมดที่ค่าของคุณคือนโยบาย
และเขายังได้รับคุณค่าจากนักวิจารณ์
ดังนั้นเมื่อเรารู้จักเครือข่ายประสาทเพื่อดำเนินการพวกเขาจำเป็นต้องเผยแพร่ข้อผิดพลาดหรือการสูญเสียกลับผ่านเครือข่าย
ดังนั้นวิธีนี้ในการปรับปรุงน้ำหนักดังนั้นสิ่งที่รอหรือเพื่อให้การสูญเสียสิ่งที่เราจะต้องจัดการกับที่นี่
ทีนี้เราขาดทุนสองครั้ง
เรามีการสูญเสียคุณค่าและการโพสต์
ดังนั้นการสูญเสียค่าจะเชื่อมโยงกับค่าการสูญเสียบางส่วนจึงเชื่อมโยงกับกลุ่มและมีค่ามาก
เราเคยจัดการกับมันมาก่อน
เรารู้ว่าเรามีรางวัลและเรารู้ว่าเรามีปัจจัยลดราคาดังนั้นโดยทั่วไปนี่คล้ายกับสิ่งที่เราพูดถึงในการเปลี่ยนใจเลื่อมใสในบทเรียนการเรียนรู้ลึก
โดยพื้นฐานแล้วเครือข่ายคาดการณ์ค่า
V และในเวลาเดียวกันเราสามารถประเมินสิ่งที่ควรเป็นไปตามสิ่งที่เรารู้เกี่ยวกับสภาพแวดล้อมจนถึงตอนนี้เราสามารถประเมินได้ว่าค่าควรอยู่ในสถานะใดและโดยการเปรียบเทียบทั้งสองเราสามารถคำนวณค่าได้ การสูญเสียแล้วกลับเครือข่ายการขยายการปรับปรุงน้ำหนัก
นั่นคือสิ่งที่ค้ำจุนสิ่งใหม่ที่นี่คือการสูญเสียนโยบาย
แล้วนโยบายนี้จะสูญเสียอะไรและมันทำงานอย่างไร
นี่คือส่วนที่สถานการณ์ทั้งหมดนี้ที่นักวิจารณ์ร่วมกันระหว่างนักแสดงหรือระหว่างตัวแทนจะเกิดขึ้นในที่สุด
เพื่อที่จะเข้าใจการสูญเสียของพัลซูเราจำเป็นต้องแนะนำค่าที่เรียกว่า Advantage ดังนั้นชื่อของส่วนนี้ของเรื่องราวในส่วนนี้ทั้งหมดของ Salyut ข้อดีและความได้เปรียบถูกคำนวณเป็น
Q ของ A ลบ
V
โดยทั่วไปแล้วค่า Q หรือว่าคุณเลือกที่จะเล่นการกระทำทั้งหมดที่คุณเลือกที่จะเล่นในสถานะที่คุณอยู่ในสถานะ S
ลบค่าของรัฐนั้น
นี่คือความแตกต่างระหว่างทั้งสองกับที่เรียกว่าอันนั้น
และมีการใช้ประโยชน์ในการคำนวณพัลส์
ตอนนี้เราจะไม่เข้าไปในสูตรการคำนวณแบบไม่มีชีพจรเพราะมันค่อนข้างซับซ้อนโดยใช้เอนโทรปีหรือคุณสามารถใช้เอนโทรปีได้โดยไม่ต้องทำ
เราจะไม่แยกสูตรนั้น แต่เราจะเข้าใจในระดับที่เข้าใจง่าย
เหตุใดเราจึงทำเช่นนี้เหตุใดเราคำนวณข้อได้เปรียบนี้และจะช่วยเราได้อย่างไร
ทีนี้ลองดูหลักฐานนี้สักครู่
ค่า Q ที่นี่มาจากสิ่งที่เครือข่ายประสาทคาดการณ์ไว้สำหรับเอเจนต์นี้และเพื่อการคาดการณ์ในการกระทำเฉพาะนี้ในสถานะที่เฉพาะเจาะจงนี้สำหรับการกระทำที่สามารถเล่นได้จึงได้รับการกระทำเหล่านี้และมันสามารถเลื่อนหนึ่งในนั้น
ในขณะที่ค่า
Wii เป็นค่าที่กำหนดโดยนักวิจารณ์
มันคือคุณค่าที่เรามีที่นี่ในส่วนที่แบ่งปันนี้และนั่นคือกุญแจสำคัญที่ว่าส่วนนี้จะถูกแบ่งปันดังนั้นนักวิจารณ์จึงหยุดเพราะนี่คือวิธีที่เครดิตเข้ามาเล่น
เนื่องจากเรามีค่าที่เราเลือกหรือการกระทำที่เราเลือกเล่นให้กับตัวแทนนี้ในรัฐนั้น
แต่จากนั้นนักวิจารณ์ก็สามารถบอกเราได้ว่าอะไรคือคุณค่าที่เป็นที่รู้จักของรัฐนั้นโดยรวมแล้วค่านิยมที่รู้จักสำหรับตัวแทนกลุ่มนี้ทั้งหมดที่ทำงานร่วมกันเพราะการแบ่งปันของพวกเขาไม่ได้ตอบ
พวกเขาทั้งหมดมีส่วนร่วมในสิ่งนี้กับค่า v เหล่านี้ที่ถูกคำนวณสำหรับชุดที่แตกต่างดังนั้นทั้งหมด
อัลกอริทึม z บอกว่าตกลง
นักวิจารณ์รู้ค่า v ว่ามูลค่า q ของคุณที่คุณเลือกนั้นดีกว่าค่า v ที่รู้จัก
นั่นคือสิ่งที่มันกำลังพูด
ดังนั้นโดยพื้นฐานแล้ว
เพื่อที่ฉันจะเลือกค่า q ที่นี่ตามนโยบายของฉันขึ้นอยู่กับว่าสิ่งที่เราใช้เช่นฟังก์ชัน soft max หรือบนหรือนโยบาย
Epsilon Grealy หรืออะไรทำนองนั้น
และแน่นอนว่าเราจะทำการสำรวจและแสวงหาประโยชน์ร่วมกันในนั้น แต่เราเลือกค่า Q
และตอนนี้คำถามคือสิ่งที่พิเศษ
คนที่ดุว่าอะไรคือข้อดีที่การกระทำที่คุณเลือกนำมาเปรียบเทียบกับมูลค่าที่รู้จักของรัฐนั้นและนั่นคือสาระสำคัญของความได้เปรียบและโดยทั่วไปแล้วจะใช้ในการคำนวณการสูญเสียนโยบายและจากนั้นการสูญเสียนโยบาย ผ่านกลับไปที่เครือข่าย
ดังนั้นทั้งคู่จึงแพร่กระจายผ่านเครือข่ายและน้ำหนักถูกปรับเพื่อให้เครือข่ายแสดงถึงคุณค่าของนักวิจารณ์ได้ดีขึ้นและนั่นก็เป็นส่วนบน
แต่นี่ก็เป็นส่วนหนึ่งของกุญแจตรงนี้นั่นก็คือคุณค่าของน้ำหนักคือ bakra
เมื่อใดที่ที่ทำการไปรษณีย์กลับมาลืมว่าอัตราจะถูกปรับเพื่อให้ได้ประโยชน์สูงสุดเช่นนี้นั่นคือด้านที่ใช้งานง่ายของความเข้าใจที่เข้าใจง่ายว่าเรากลับมาใช้นโยบายนี้อีกครั้งผ่านเครือข่ายเพื่อช่วย ข้อได้เปรียบนี้
และนั่นหมายความว่าโดยทั่วไปแล้วเมื่อเอเจนต์เจอกับการกระทำที่ไม่ดีเช่นการกระทำที่ค่า q
น้อยกว่าค่าที่รู้จักสำหรับรัฐ
ดังนั้นโดยทั่วไปแล้วอัลกอริธึม ATC ทั้งหมดรู้ว่าคุณค่าของรัฐคือสิ่งที่
X แล้วทันใดนั้นคุณก็เจอกับการกระทำที่แย่มากและคุณก็เลือกที่จะทำอะไร
และสิ่งที่มีความหมายสำหรับความกระตือรือร้นก็คือทำไมเราจะทำอะไรแบบนั้นเมื่อมันแย่กว่าที่เรารู้อยู่แล้วเกี่ยวกับสภาพแวดล้อมทั้งหมดนี้
ดังนั้นเราไม่ควรทำมากกว่านั้น
ดังนั้นน้ำหนักจึงเป็นไปได้ยาก
ดังนั้นจึงเกิดขึ้นน้อยกว่าที่หายาก
ดังนั้นนั่นเป็นเหตุการณ์ที่เกิดขึ้นน้อยครั้งที่เราเลือกการกระทำที่ไม่ดีนั้น
ในทางกลับกันถ้าคุณเลือกการกระทำที่ดีมากที่ค่า q มากกว่า V
หรือมากกว่านั้นในระหว่างที่ backwardation
ของการสูญเสียโปแลนด์ผ่านเครือข่ายนี้น้ำหนักจะได้รับการอัปเดต กระตุ้นให้เกิดความมั่นใจว่าจะเกิดขึ้นอีกครั้งเพื่อให้มีการปรับน้ำหนักในลักษณะที่ดังนั้นอัลกอรึทึม Atresia จะคิดว่าดีจริง ๆ แล้วมันยอดเยี่ยมจริง
ๆ ที่ Wantage สูงมากที่นั่น
ฉันควรทำสิ่งนั้นให้มากขึ้นและดังนั้นคุณจะปรับปรุงน้ำหนักด้วยวิธีที่จะเกิดขึ้นในอนาคต
ดังนั้นและนั่นคือคุณรู้ว่าเครือข่ายจะค่อยๆปรับตัวช้าและค่อยๆสร้างตัวเองเป็นสิ่งที่ในมือข้างหนึ่งคำนวณค่าอย่างถูกต้องแล้วในอีกทางหนึ่ง
ในทางกลับกันมันสนับสนุนหรือมีการกระทำที่มีความได้เปรียบสูง
นั่นคือส่วนนี้
และตอนนี้เรามาดูอีกเรื่องหนึ่งเพื่อเสริมสิ่งที่เราเพิ่งพูดถึงในอันดับ 1
สิ่งเดียวกันที่นี่
หน่วยงานชั้นนำสถานการณ์ที่รัฐอยู่ในสถานะแล้วต้องตัดสินใจว่าจะทำอย่างไรเนื่องจากข้อมูลนี้ไปยังเครือข่ายของภาพนี้ใช้อินเทอร์เน็ต regrows เพื่อ convolutional
พวกเขากำลังดึง Lehre
แบนของพวกเขาเข้าไปในชั้นที่ซ่อนอยู่และจากที่นี่ เราได้ผลลัพธ์ที่เราได้รับค่าเฉียบพลันของนโยบายที่เราได้รับค่า V
อีกครั้งในสิ่งเดียวกันกับที่เราได้รับการสูญเสียสองครั้ง
เรามีค่าการสูญเสียซึ่งอยู่ที่นี่การสูญเสียของโปแลนด์ซึ่งคือการสูญเสียมูลค่า
เรารู้วิธีคำนวณแล้ว
เมื่อเราพูดถึงเรื่องนี้ในการเรียนรู้ Q อย่างลึกซึ้งและเพียงแค่คุยกันในตอนนี้
นั่นคือวิธีการคำนวณค่าและจากนั้นนโยบายจะสูญเสียอีกครั้งเพื่อคำนวณสิ่งที่เราจะไม่เข้าไปหาเขา
แต่ในระดับที่ใช้งานง่ายเรากำลังคำนวณความได้เปรียบที่ไม่เป็นไรดังนั้นเราจึงดำเนินการบางอย่างเราเลือกการกระทำบางอย่างตามนโยบายการเลือกของเราไม่ว่าจะเป็น
Max Max หรือโลภมาก
แล้วการกระทำที่เราทำตอนนี้ลองเปรียบเทียบกับสิ่งที่รู้จักและคุณค่าของรัฐซึ่งมาจากนักวิจารณ์ที่ใช้ร่วมกันดังนั้นนักวิจารณ์คนนี้จะเป็นอย่างไรถ้าคุณคิดว่ามันเป็นการสังเกตตัวแทนทั้งหมดในเวลาเดียวกัน ที่นี่ดูที่นี่คนนี้พวกเขาทั้งหมดมีส่วนร่วมในการวิจารณ์เพื่อให้นักวิจารณ์ได้เร็วขึ้นกับสภาพแวดล้อมเพื่อให้แน่ใจว่านักวิจารณ์เป็นตัวแทนของสิ่งที่เกิดขึ้นในสภาพแวดล้อมที่เกิดขึ้นจริงเพื่อให้น้ำหนัก
นี่คือที่ที่การสูญเสียค่ามาเพื่อให้น้ำหนักของเครือข่ายประสาทจริงที่พวกเขาสะท้อนสถานการณ์ที่เกิดขึ้นจริงของสิ่งต่าง
ๆ ในสภาพแวดล้อมเพื่อให้พวกเขาสามารถพึ่งพาค่านี้และใช้ที่นี่
ดังนั้นโดยทั่วไป
ดังนั้นตัวแทนทั้งหมดเหล่านี้ตัวแทนทั้งหมดเหล่านี้มีส่วนทำให้นักวิจารณ์คนนี้
แต่ในเวลาเดียวกันก็ผ่านสิ่งที่ไร้ค่า แต่ในเวลาเดียวกันนักวิจารณ์ก็กำลังสังเกตการตัดสินใจหรือนโยบายของหน่วยงานเหล่านี้
มันเหมือนกับว่ากำลังมองย้อนกลับไปเหมือนฉันกำลังพยายามวาดเหมือนลูกศรไปที่เสาและลูกศรและลูกศร
ดังนั้นเมื่อมองย้อนกลับไปที่การตัดสินใจที่พวกเขากำลังทำคือวิจารณ์การตัดสินใจเหล่านี้ผ่านข้อได้เปรียบนั้นและพูดว่าตกลงคุณได้ตัดสินใจเลือกสิ่งนี้
เยี่ยมมาก
ทีนี้ลองคำนวณความได้เปรียบหรือความเสียเปรียบของฟาร์มปศุสัตว์เท่ากับคุณรู้ว่าค่า
Q ของอาจจะทำให้การตัดสินใจของฉันหรือทางเลือกที่ฉันทำกับฉันฉันเลือกที่จะใช้ลบค่าที่รู้จักกับนักวิจารณ์
ไม่เกี่ยวกับนักวิจารณ์
ดังนั้นความแตกต่างของ Kalika ถ้ามันแตกต่างกันเล็กน้อยคุณเป็นคนโปแลนด์แล้วเมื่อคุณขัดการขาดทุนของคุณกลับสู่การแพร่กระจายผ่านเครือข่ายวิธีที่มันจะถูกปรับจะส่งเสริมให้มีการปรับน้ำหนักแบบที่ไม่เกิดขึ้น
อีกครั้งว่าค่า
Q หรือค่า Q
จะลดลงเนื่องจากนโยบายของเราเลือกการดำเนินการตามค่า q ยิ่งค่า Q ยิ่งสูงโอกาสที่จะถูกเลือกก็จะยิ่งสูงขึ้น
ดังนั้นหากเราใช้นโยบาย arc Max
เราก็แค่เลือกหนึ่งในค่าสูงสุดตามที่คุณจำได้ว่าเราพูดถึงสิ่งนี้อยู่เสมอเราก็เลือกค่าที่มีค่าสูงสุด
แต่จริงๆแล้วเรากำลังใช้วิธีความน่าจะเป็นที่ฉันใช้เช่น soft Max หรือนโยบายโลภมาก
จากนั้นเราก็เลือกตำแหน่งที่เราสามารถเลือกอันใดอันหนึ่งได้ แต่ยิ่งลูกบาศก์ยิ่งสูงก็ยิ่งดี
ดังนั้นถ้าเราเลือกบางอย่างแล้วข้อดีก็ต่ำมากแล้วระเบิดเครือข่ายจะถูกเพิ่มเข้าไปในลักษณะที่ว่าครั้งต่อไปมูลค่าของการกระทำนั้นจะน้อยลง
นั่นคือวิธีที่ถูกแยกออกและในทางกลับกันถ้าเราเลือกสิ่งที่ประโยชน์นั้นจะสูงแล้วนี่จะเป็นไปตามกฎหมายนโยบายจากนั้นเครือข่ายและเราอัปเดตมันเพื่อให้เป็นเหตุการณ์ที่สังเกตได้โดยทั่วไป สถานการณ์
ดังนั้นโดยพื้นฐานแล้วการสูญเสียทั้งหมดของโปแลนด์ช่วยให้เครือข่ายสามารถปรับตัวหรือเปลี่ยนแปลงรูปร่างในแบบที่เราทำ
คุณธรรมของสิ่งที่ดีการกระทำที่ดีดีและสิ่งที่ดีและทำสิ่งที่ไม่ดีน้อยลง
และนั่นคือวิธีที่การสูญเสียสองครั้งนี้เข้ามามีบทบาท
ดังนั้นหวังว่าการล้างข้อมูลด้วยวิธีที่ง่ายมากแน่นอนเราไม่ได้เข้าไปในสูตรทางคณิตศาสตร์ที่ซับซ้อนที่อยู่เบื้องหลังทั้งหมดนี้และชอบในรายละเอียดที่ซับซ้อนมาก
แต่ในขณะเดียวกันก็หวังว่าวิธีที่ใช้งานง่ายในวิธีที่ใช้งานง่าย
ทั้งหมดนี้เป็นการสรุปสาเหตุที่เรามีนักแสดงและนักวิจารณ์และวิธีที่พวกเขาโต้ตอบกันว่าคุณรู้หรือไม่ว่าคุณมีตัวแทนเหล่านี้ในด้านที่ไม่ตรงกัน
นี่คือนักแสดงและนักวิจารณ์ของคุณและนี่คือข้อดีและวิธีการเล่นทั้งหมด
ดังนั้นนี่คือเอเจนต์ซิงโครนัส
พวกเขากำลังไป
พวกเขากำลังเล่นสิ่งนี้หรือสำรวจสภาพแวดล้อมและทำงานผ่านสภาพแวดล้อมและพวกเขาล้วนมีส่วนร่วมในการวิจารณ์ซึ่งเป็นการปฏิบัติตามนโยบายของพวกเขาเพื่อสังเกตนักแสดง
และเมื่อมองผ่านข้อได้เปรียบนั้นจึงเกิดขึ้นสิ่งนี้ทำให้เกิดการสูญเสียและจากนั้นการสูญเสียนโยบายและมูลค่าหรือย้อนกลับไปยังเครือข่ายเพื่อ
ในมือข้างหนึ่งเป็นตัวแทนของวิธีที่แท้จริงของสิ่งต่าง ๆ ในสภาพแวดล้อม
มืออีกข้างเพื่อปรับปรุงการแสดง
ดังนั้นเราไปกันเลย
นั่นคือการสรุปอย่างรวดเร็วของสัญชาตญาณที่เราพูดถึง
หวังอีกครั้งว่าทั้งหมดนี้จะมารวมกันในระดับที่ใช้งานง่ายและแน่นอนในแบบฝึกหัดที่ใช้งานจริงเราจะพูดคุยเพิ่มเติมเกี่ยวกับวิธีการทำงานทั้งหมดในแอตแลนต้าเราจะพาคุณผ่านกระบวนการสร้างเจ้าของ
แต่การมีภาพนี้ในใจของคุณและสิ่งนี้เป็นเหมือนแผนงานของทุกสิ่งที่มันมารวมกันจะเป็นไปด้วยดีฉันหวังว่าจะมีประโยชน์มากสำหรับคุณที่จะนำทางด้านต่าง
ๆ ของสิ่งต่างๆ
และในแง่ของการอ่านเพิ่มเติมสำหรับวันนี้เรามีสององค์ประกอบดังนั้นสิ่งแรกคือข้อดี
ดังนั้นที่นี่เรามีการควบคุมอย่างต่อเนื่อง demential สูงโดยใช้การประเมินความได้เปรียบทั่วไปโดย John
Shulman และนี่คือภาพของรูปแท่งที่ลุกขึ้นยืนเหมือนยืน
และที่นี่คุณจะพบมากยิ่งขึ้นเกี่ยวกับข้อได้เปรียบและความได้เปรียบและคุณจะพบกับข้อดีที่แตกต่างกันทั้งหมด
คุณมีข้อได้เปรียบทั่วไปในการประมาณค่าและคุณมีข้อได้เปรียบที่คุณใช้จริงในแบบฟอร์มในการคำนวณดังนั้นหากคุณต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับความได้เปรียบและวิธีการทำงานของสูตรที่อยู่เบื้องหลังและบางส่วนของ องค์ประกอบบนสุดหรือสูตรและไม่มีรูในพื้นที่ของข้อได้เปรียบนี้
เราพูดถึงพวกเขา
นี่คือบทความที่จะไป
และอีกหนึ่งองค์ประกอบอื่น ๆ ที่เราต้องการเตือนคุณเกี่ยวกับงานชิ้นนี้คือบล็อกชุดของบล็อกโพสต์โดย Arthur Giuliani
ซึ่งเราได้พูดถึงสองสามครั้ง
นี่คือส่วนที่แปดซึ่งมีเฉพาะเกี่ยวกับทะเล A-3
ดังนั้นที่นี่คุณจะได้รับคำอธิบายที่ดีกว่า
ดังนั้นด้วยคณิตศาสตร์อีกเล็กน้อยเกี่ยวกับสิ่งที่เกิดขึ้นและคุณอาจรับสิ่งเพิ่มเติมจากที่นี่
สิ่งที่ควรทราบเป็นอันดับแรกคือบล็อกนี้คือผู้ติดตามที่มีความเข้มข้นที่เราใช้ pi torch
ดังนั้นจงจำไว้
และสิ่งที่สองคือวิธีที่เราจัดโครงสร้างแนวทางของเราคือเราพูดถึงนักวิจารณ์ที่กระตือรือร้นก่อนแล้วเราพูดถึงเรื่องซิงโครนัส
และจากนั้นเราก็พูดคุยเกี่ยวกับความได้เปรียบในขณะที่ในบันทึกแรกของอาเธอร์พูดถึง Synchronoss
นักแสดงนักวิจารณ์ได้เปรียบดังนั้นจงระลึกไว้เสมอว่าหวังว่าจะไม่ทำให้คุณผิดหวัง
แต่นอกเหนือจากนั้นแน่นอนเป็นเนื้อหาที่ยอดเยี่ยม
และเราขอแนะนำให้ตรวจสอบข้อมูลเพิ่มเติมบางอย่าง
ดังนั้นเราไปที่นั่นหวังว่าจะสนุกกับการกวดวิชาของวันนี้
และฉันหวังว่าจะได้พบคุณในครั้งต่อไป
จนกว่าจะสนุกแล้ว
ผม.