สวัสดีและยินดีต้อนรับสู่การสอน Python นี้
เอาล่ะ
ในน้ำมันนี้เราจะสร้างฟังก์ชั่นที่จะเลือกการกระทำที่เหมาะสมและทุกครั้ง
โดยพื้นฐานแล้วเราจะใช้ชิ้นส่วนที่จะทำให้รถเคลื่อนที่ถูกต้อง
และทุกครั้งที่มันออกไปตรงหรือไปทางขวาเพื่อไปให้ถึงเป้าหมายและเพื่อหลีกเลี่ยงอุปสรรคที่สืบเชื้อสายมา
ลองทำกันตอนนี้
เราจะเริ่มต้นตามปกติด้วยคนหูหนวกเพื่อกำหนดฟังก์ชั่นแล้วเราให้ชื่อฟังก์ชั่นของเราซึ่งเราจะเรียกการกระทำที่เลือกกว่าวงเล็บบางส่วนและฟังก์ชั่นการกระทำที่เลือกนี้จะมีสองอาร์กิวเมนต์
สิ่งแรกคือตัวคุณเองเมื่อคุณโตขึ้นเพื่ออ้างถึงวัตถุและอาร์กิวเมนต์ที่สองซึ่งตามที่คุณกำลังจะเป็นที่หนึ่ง
มันอาจเป็นไปได้
ถ้าคุณคิดเกี่ยวกับมันการกระทำที่เราเลือกมาจากเอาท์พุทของโครงข่ายประสาทเทียมเพราะเอาต์พุตของโครงข่ายประสาทหรือค่า q สำหรับแต่ละการกระทำที่เป็นไปได้สามข้อ
เครือข่ายนิวรัลขึ้นอยู่กับสถานะอินพุตและสถานะอินพุตเป็นอาร์กิวเมนต์ที่สองที่เราต้องการด้วยฟังก์ชันการทำงานที่เลือก
เป็นเพราะเรากำลังจะเอาท์พุทของเครือข่ายประสาท
และแน่นอนว่าผลลัพธ์ของเครือข่ายประสาทโดยตรงขึ้นอยู่กับอินพุตของเครือข่ายประสาท
นั่นจะเป็นข้อโต้แย้งของเรา
และตอนนี้เราสามารถตั้งชื่อได้จริง
ๆ แล้วเราจะเรียกมันว่าสถานะเพราะอินพุตของเครือข่ายประสาทเทียมคือสถานะอินพุตที่และเขียนโดยเวกเตอร์ขนาดห้าถึงสามทิศทางการวางแนวและลบ
และตอนนี้ทุกอย่างก็ง่ายขึ้น
เราจะป้อนสถานะอินพุตเข้าสู่เครือข่ายประสาทเทียมที่เราสร้างขึ้นด้านบนตรงนี้กับคลาสถัดไปจากนั้นเราจะได้ผลลัพธ์ซึ่งเป็นค่าคีย์สำหรับการกระทำที่เป็นไปได้สามอย่างจากนั้น
ใช้วิธี soft
max ซึ่งฉันจะอธิบายในบทช่วยสอนนี้
เรากำลังจะได้ฉากสุดท้ายที่จะเล่น
งั้นลองทำฟังก์ชั่นกันดู
ดังนั้นสิ่งแรกที่เราต้องเริ่มต้นคือเกี่ยวกับสิ่งที่ฉันเพิ่งกล่าวถึง soughed Max ความคิดของ
soft max คือการที่เรากำลังพยายามที่จะเล่นให้ดีที่สุดในแต่ละครั้ง
แต่ในเวลาเดียวกันเราจะสำรวจการกระทำที่แตกต่างกัน
และเราจะทำอย่างไร
เราจะได้รับการดำเนินการที่ดีที่สุดในการเล่นในขณะที่ยังคงสำรวจการกระทำอื่น ๆ
ทีนี้เราใช้ความคิดเรื่องนี้ซึ่งประกอบด้วยการแจกแจงความน่าจะเป็นสำหรับค่า q แต่ละค่า
การกระทำ Q States
ตอนนี้เรามีค่า Q หนึ่งค่าสำหรับแต่ละการกระทำไปทางซ้ายหรือตรง
แต่ค่า q นี้ยังขึ้นอยู่กับสถานะอินพุต
นั่นคือฟังก์ชั่น Q ที่ใช้ในการบรรยายปรีชา
ฟังก์ชั่น Q นี้เป็นฟังก์ชั่นของรัฐและการกระทำ
ดังนั้นเนื่องจากเรามีสถานะอินพุตหนึ่งสถานะซึ่งเป็นสถานะที่นี่และสามการกระทำที่เป็นไปได้เราจึงมีค่าใหม่สามค่า
การกระทำของรัฐ 1 Q การกระทำของรัฐ 2 และสองการกระทำของรัฐ 3 และเราจะสร้างการกระจายของความน่าจะเป็นที่เกี่ยวกับค่านิยมทั้งสาม
นั่นคือเราจะมีความน่าจะเป็นหนึ่งสำหรับค่า Q แรกความน่าจะเป็นหนึ่งสำหรับค่า
Q ที่สองและความน่าจะเป็นที่สามสำหรับ Q ที่สามและความน่าจะเป็นทั้งสามนั้นจะรวมกันเป็น 1
ดังนั้นเราจะทำทั้งหมดนี้ด้วยค่าสูงสุดของ soughed และค่า soughed Max จะให้ค่าความน่าจะเป็นที่สูงของค่า Q
สูงสุด
นั่นเป็นเหตุผลว่าทำไมทางเลือกของ soft max จึงเป็น RMX แบบง่ายๆที่ไม่รับค่า q
สูงสุดโดยตรง แต่ในกรณีนี้เราไม่ได้สำรวจการกระทำอื่น ๆ
ด้วยความน่าจะเป็นที่เราสามารถสำรวจได้จากที่อื่นโดยใช้พารามิเตอร์อุณหภูมิที่เราจะเห็นได้อย่างรวดเร็ว
เรายังสามารถสำรวจพวกมันได้โดยการกำหนดค่าพารามิเตอร์อุณหภูมินี้
นั่นเป็นเหตุผลทั่วไปสำหรับความปลอดภัยฉันขอแนะนำให้ใช้ soft x มากกว่า RMX ธรรมดา
เอาล่ะมาลองใช้ X กันเถอะ
เนื่องจาก soughed Max ส่งคืนความน่าจะเป็นของแต่ละค่า Q ทั้งสามสำหรับการดำเนินการสามอย่าง
ตัวแปรแรกที่เราจะสร้างอาจอ้างอิงถึงความน่าจะเป็นเหล่านี้
ดังนั้นอุปกรณ์ประกอบฉากเท่ากับและตอนนี้เรากำลังจะใช้ฟังก์ชันถัดไปที่ทำให้เค็มของเราและตามที่คุณจะไปจากที่ใด
แน่นอนว่าเราจำได้ว่านำเข้า
และจากนั้นฟังก์ชั่น submodule ที่ฉันเตือนคือโมดูลที่มีการดำเนินการส่วนใหญ่ในการนำเครือข่ายประสาท
เราให้มันเป็นทางลัด F และนั่นก็คือจากฟังก์ชั่น submodule
ที่เราจะทำหน้าที่ต่อไป
แต่เนื่องจากเราให้ทางลัด f เราจึงเริ่มต้นที่นี่ด้วย Neph
ซึ่งเป็นตัวแทนของฟังก์ชันที่เราใช้ในฟังก์ชันถัดไป
นี่มันคือ
นั่นคืออันแรกและวงเล็บ
เอาล่ะ
ทีนี้เราต้องใส่อะไรในฟังก์ชั่นถัดไป
แน่นอนว่าเป็นเอนทิตีที่เราต้องการสร้างการแจกแจงความน่าจะเป็น
และหน่วยงานเหล่านี้คืออะไร
แน่นอนว่าสิ่งเหล่านี้คือค่านิยมหลัก
ตอนนี้คำถามคือเราจะได้ค่า q อย่างไร
แน่นอนว่าค่า q คือผลลัพธ์ของโครงข่ายประสาทและเพื่อให้ได้ผลลัพธ์เหล่านี้ของ
เราไปกันดีกว่า
เราจำเป็นต้องใช้เครือข่ายใหม่ของเรา
แต่ในความเป็นจริงเรามีอยู่แล้วเพราะนั่นคือสิ่งที่เริ่มต้นได้ในตอนท้าย
รู้ว่าเราสร้างรูปแบบการเรียนรู้ด้วยตนเองซึ่งไม่มีอะไรอื่นที่จะไม่ทำงานเพราะเป็นวัตถุใหม่ของคลาสเครือข่าย
และนั่นก็สมบูรณ์แบบ
เราสามารถนำโมเดลของเรามาที่นี่และสิ่งต่อไปจะใช้โมเดลนี้กับสถานะอินพุตซึ่งเป็นอาร์กิวเมนต์ที่นี่
นั่นคือค่าที่สำคัญ
ดังนั้นตอนนี้สัญชาตญาณของคุณว่าทำไมเราต้องนำแบบจำลองนี้ไปใช้เพื่อแนะนำในฟังก์ชัน
ผู้ที่เริ่มต้นด้วยการเขียนโปรแกรมเชิงวัตถุคุณจะเห็นว่าทั้งหมดนี้จะกลายเป็นธรรมชาติที่อ่อนนุ่มต่อไป
ดังนั้นเราจึงนำแบบจำลองของเราเองมาใช้เพราะนี่จะต้องเป็นแบบจำลองของวัตถุที่เราสร้างขึ้นที่นี่
แต่จากนั้นเราจำเป็นต้องรับเอาท์พุทของโมเดลโครงข่ายประสาทของเราและดังนั้นเราจะได้ยินวงเล็บบางตัวที่เราจะใส่เข้าไป
ดังนั้นสิ่งที่เราต้องการทำในตอนแรกคือเข้าสู่สถานะ แต่ตอนนี้เราต้องระวังสิ่งที่รัฐดูเหมือนจะเป็นชุดที่เรียบง่ายในขณะนี้
แต่จำไว้ว่ารัฐนั้นจะเป็นเซ็นเซอร์คบเพลิงเพราะในภายหลังเราจะใช้เซลล์นี้ในสถานะที่น้อยลงเพื่อใช้เป็นอาร์กิวเมนต์ของฟังก์ชั่นเลือกการกระทำ
การโต้เถียงของรัฐที่อยู่ที่นี่กำลังจะกลายเป็นรัฐที่สอนตัวเองน้อยกว่า
และเนื่องจากนี่เป็นโลกแห่งคำตอบที่ทรมานรูปแบบจะยอมรับ
นั่นเป็นเรื่องปกติ
แต่ตอนนี้เราสามารถปรับปรุงอัลกอริทึม
ดังนั้นทันทีที่รัฐเป็นเซ็นเซอร์ไฟฉายและอย่างที่เราได้กล่าวไปแล้วก่อนหน้านี้
สิ่งนี้จะมีการไล่ระดับสี
ตอนนี้สิ่งที่เราจะทำก่อนคือห่อสถานะอินพุตนี้ซึ่งเป็นเมตริกซ์เข้าไปในไฟฉายได้ดี แต่เนื่องจากนี่คือสถานะอินพุต
เราจะไม่ใช้การไล่ระดับสีของ
Voivode ของไฟฉายสถานะนี้และนั่นอาจเป็นสถานีดังนั้นสิ่งที่เรากำลังจะทำตอนนี้คือการแปลงสถานะเซ็นเซอร์ไฟฉายนี้เป็นตัวแปรไฟฉายเช่นนี้
แต่เพื่อระบุว่าเราไม่ต้องการการไล่ระดับสีในกราฟที่สามารถปล้นได้ในตอนท้ายของ Mudgal
ทีนี้เราจะได้ค่าความผันผวนเท่ากับจริง
ดังนั้นตอนนี้เรามีเซ็นเซอร์คบเพลิงของรัฐเป็นไฟฉายได้ดีมาก แต่ต้องขอบคุณ Votel นี้เท่ากับบารอมิเตอร์จริง
ทีนี้เราจะรวมการไล่ระดับสีที่เกี่ยวข้องกับสถานะอินพุตนี้เข้ากับกราฟของเงื่อนไขทั้งหมดของจุดจบในโมเดลนั้น
นั่นคือเคล็ดลับทางเทคนิคอื่น
สิ่งนี้จะช่วยให้เรามีความทรงจำและดังนั้นสิ่งนี้จะปรับปรุงประสิทธิภาพ
ดังนั้นฉันขอแนะนำให้ทำและตอนนี้เรากำลังจะเพิ่มสิ่งที่สนุกกว่า
มันเกี่ยวกับพารามิเตอร์อุณหภูมิที่ฉันเพิ่งพูด
ดังนั้นพารามิเตอร์อุณหภูมินี้เป็นพารามิเตอร์ที่จะช่วยให้เราปรับเปลี่ยนวิธีการที่เครือข่ายประสาทจะต้องแน่ใจว่าการกระทำที่ควรจะเล่น
ดังนั้นพารามิเตอร์อุณหภูมินี้จะเป็นตัวเลขบวกและยิ่งเข้าใกล้มากเท่าใดก็จะยิ่งเป็นศูนย์ยิ่งแน่ใจว่าเครือข่ายประสาทเทียมจะเล่นเมื่อมีการเคลื่อนไหวและยิ่งพารามิเตอร์อุณหภูมิสูงขึ้นเท่าใด .
และเพื่อเพิ่มพารามิเตอร์นี้ฉันจะคูณเอาท์พุทซึ่งเป็น Kugan ที่ใช้โดยพารามิเตอร์อุณหภูมินี้
งั้นลองเริ่มตัวอย่างด้วย 7 แล้วผมจะระบุที่นี่ความคิดเห็นเล็กน้อย T เท่ากับ 7
นั่นคือพารามิเตอร์อุณหภูมิ
ฉันขอโทษไปที่ 7
เราจะลองอันอื่น แต่ฉันอยากเริ่มด้วยอันเล็ก ๆ เพราะคุณจะเห็นด้วยอันเล็ก
ๆ
รถของเราจะยังคงทำตัวเหมือนแมลงบางชนิด แต่จากนั้นการเพิ่มพารามิเตอร์อุณหภูมิรหัสของเราจะดูเหมือนรถและตัดสินใจขายการขับขี่จะดีขึ้นมาก
และนั่นก็สมเหตุสมผลเนื่องจากค่าที่สูงกว่าคือพารามิเตอร์อุณหภูมิที่สูงกว่าจะเป็นความน่าจะเป็นของ Juval
ที่ชนะเพราะตัวอย่างเช่นถ้าเรามีค่า q สูงสุด
ลองหาตัวเลขง่ายๆหนึ่งสองสามถ้ายัดได้สูงสุดหนึ่งถึงสามเท่ากับ
ตัวอย่างเช่น 0 04 0. 11 และเปิดแปดสิบห้า
จากนั้นเพิ่มอุณหภูมิโดยการเพิ่มอุณหภูมิ
ตอนนี้อุณหภูมิเท่ากับหนึ่งโดยการใช้อุณหภูมิสูงเช่นตัวอย่างการลบ
Tussaud ลองคัดลอกแล้วคูณด้วยตัวอย่างสองหรือสามถัดไปมีค่าเท่ากัน แต่คูณด้วยพารามิเตอร์อุณหภูมิสาม
ทีนี้เราจะได้อะไรที่เป็นศูนย์สำหรับค่าคิวแรกเพราะนี่มีความน่าจะเป็นที่ต่ำมากที่บางสิ่งรอบศูนย์แล้วบางสิ่งที่เล็กมากสำหรับความน่าจะเป็นที่สองเพราะนี่ยังคงเป็นความน่าจะเป็นต่ำ
สมมุติว่าเป็นตัวอย่างหรือจุด 0 2
แต่ความน่าจะเป็นที่สามนี้เพราะมันเป็นอันที่ใหญ่ที่สุดและอันที่สูงมาก
การเพิ่มอุณหภูมิความน่าจะเป็นนี้จะยิ่งใหญ่ขึ้นเพราะเราจะต้องแน่ใจมากขึ้นว่านี่คือค่า
Q ที่ถูกต้องซึ่งสอดคล้องกับการกระทำที่เราต้องเล่นดังนั้นนี่จึงเป็น 0
2 98.
ทีนี้โดยการเพิ่มพารามิเตอร์อุณหภูมิตอนนี้เรามั่นใจมากขึ้นว่าการกระทำที่สามที่นี่ควรเป็นการกระทำที่จะเล่นเพราะความน่าจะเป็นสำหรับค่า q
ของการกระทำนี้ไม่เพียง แต่ใหญ่ที่สุด แต่ยังสูงมาก
นั่นคือสิ่งที่พารามิเตอร์อุณหภูมินี้เกี่ยวกับ
มันเกี่ยวกับความมั่นใจในทิศทางที่เราควรตัดสินใจเล่น
เอาล่ะ
ดังนั้นฉันจะลบความคิดเห็นนี้
นี่เป็นเพียงการอธิบาย
และตอนนี้เรามาลงมือทำกันดีกว่า
ดังนั้นคุณจะทำอย่างไร
หลักการของวิธีการต่อไปไม่เพียง แต่จะสร้างการแจกแจงความน่าจะเป็นสำหรับค่าคีย์แต่ละค่า
แต่ยังและนั่นคือขั้นตอนที่สองของวิธีการอ่อนตัวถัดไป
เราใช้การสุ่มจับจากการแจกแจงนี้เพื่อรับการกระทำขั้นสุดท้าย
และแน่นอนว่าเราจะมีโอกาสสูงที่จะได้รับการกระทำที่สอดคล้องกับค่า Q
ที่มีความน่าจะเป็นสูงสุดเพราะนั่นคือวิธีการแจกแจง
ดังนั้นเราไปกันเลย
มาลงมือทำกันดีกว่า
ดังนั้นเราจะแนะนำ Voivode
ใหม่คือเราจะเรียกแอคชั่นและการกระทำนี้จะเป็นการสุ่มเลือกการแจกแจงความน่าจะเป็นที่เราเพิ่งสร้างขึ้นก่อนหน้านี้
แล้วเราจะได้รับการสุ่มแบบสุ่มได้อย่างไร
ทีนี้เราจะลองใช้ความน่าจะเป็นของแต่ละค่าหลักที่เราใช้ประกอบฉากแล้วโผแล้วเราจะใช้ฟังก์ชั่นหลาย
Gnomeo และนั่นจะให้ผลการสุ่มจากกระบวนการกระจาย
นั่นคือทั้งหมดที่จะได้รับปฏิกิริยาของเขา
สมบูรณ์
และแน่นอนตอนนี้เรากำลังจะกลับมาดำเนินการ
มีเคล็ดลับเล็กน้อยที่นี่
อะไรคือความจริงที่ว่า Propst ที่ multinomial คืนค่า PI ไปสู่การใช้งานได้กับป้ายปลอม
คุณรู้ว่าเพชรปลอมนี้และสอดคล้องกับชุดและเพื่อให้ได้ผลลัพธ์ที่ถูกต้องที่เราต้องการนั่นคือการกระทำใน 0 1 หรือ
2
เราต้องเพิ่มข้อมูลที่นี่จากนั้นวงเล็บและการกระทำที่นี่เป็นหนึ่งหรือสองอย่างที่เรากำลังค้นหาคือเนื้อหาและดัชนีคือ 0 และ
0
เอาล่ะ
และเราไปกันแล้ว
ตอนนี้เรามีการกระทำของเราด้วยฟังก์ชั่นการกระทำที่เลือก AI ตอนนี้จะรู้ว่าการกระทำที่จะเล่น
และแต่ละครั้ง
มากมาย
ดังนั้นตอนนี้เราสามารถไปยังฟังก์ชั่นถัดไปซึ่งจะเป็นฟังก์ชั่นเรียนรู้
และนั่นคือสิ่งที่เราจะฝึกอบรมเครือข่ายประสาททั้งหมดที่คุณรู้จักด้วยการแพร่กระจายไปข้างหน้าทั้งหมดจากนั้นการขยายพันธุ์กลับคือการจัดหมวดหมู่ตามความหมาย
โดยพื้นฐานแล้วเราจะทำการฝึกอบรมรูปแบบการเรียนรู้อย่างลึกซึ้งทั้งหมดซึ่งเป็นหัวใจสำคัญของปัญญาประดิษฐ์ของเรา
ดังนั้นฉันไม่สามารถรอที่จะทำ
นี่จะเป็นการสอนที่น่าตื่นเต้นดังนั้นฉันจะพบคุณใน Statoil ครั้งต่อไป
จนกว่าจะสนุกแล้ว
ผม.