สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรการเรียนรู้อย่างลึกล้ำในแบบฝึกหัดวันนี้เรากำลังพูดถึงการไล่ระดับสี
สิ่งที่เราได้เรียนรู้ก่อนหน้านี้คือเพื่อให้เครือข่ายประสาทเพื่อเรียนรู้สิ่งที่ต้องเกิดขึ้นคือการแพร่กระจายกลับและนั่นคือเมื่อข้อผิดพลาดความแตกต่างหรือผลรวมของความแตกต่างยกกำลังสองระหว่าง y หมวก
จะถูกปรับตาม
ดังนั้นเราจึงเห็นสิ่งนั้นและวันนี้เราจะได้เรียนรู้อย่างแม่นยำถึงวิธีการปรับน้ำหนักเหล่านี้
ดังนั้นเรามาดู
นี่เป็นงานง่าย ๆ
ของเราในการทำงานของประสาทประสาท Trauner ซึ่งเป็นเครือข่ายนิวรัลแบบป้อนตัวอักษรและสิ่งที่เราเห็นนี่คือกระบวนการทั้งหมดนี้ในการดำเนินการ
ถูกนำไปใช้
เราได้รับ y hat แล้วเราเปรียบเทียบกับค่าจริงที่เราคำนวณฟังก์ชันต้นทุน
ดังนั้นเราจะลดฟังก์ชั่นลดค่าใช้จ่ายลงได้อย่างไร
เราทำอะไรได้บ้าง
วิธีการหนึ่งในการทำมันคือวิธีการบังคับสัตว์เดรัจฉานซึ่งเราใช้น้ำหนักที่เป็นไปได้ที่แตกต่างกันมากมายและดูพวกมันและดูว่าวิธีใดที่ดูดีที่สุดและสิ่งที่เราทำคือตัวอย่างเราจะลองยกตัวอย่างเช่น
และเราลองพวกมันออกมาว่าจะได้อะไรแบบนี้สำหรับฟังก์ชันต้นทุนและนี่คือแผนภูมิของแกน Y ของ
cross-functional แกนตั้งในแกนนอนของแกน y
และเพราะคุณเห็นสูตรที่ผมลบ Y กำลังสองได้
นี่คือสิ่งที่ฟังก์ชั่นค่าใช้จ่ายจะมีลักษณะเช่นนั้น
และโดยพื้นฐานแล้วคุณจะพบว่าสิ่งที่ดีที่สุดอยู่ตรงนี้
วิธีการที่ง่ายมาก ๆ
ทำไมไม่ทำเช่นนี้วิธีการบังคับดุร้าย
ทำไมไม่ลองใช้ค่าใช้จ่ายที่แตกต่างกันหลายพันค่าสำหรับพารามิเตอร์หรืออินพุตที่แตกต่างกันหลายพันค่าสำหรับน้ำหนักและดูว่าแบบใดดีที่สุด
คุณจะได้พบกับสิ่งที่ดีที่สุด
ถ้าคุณมีวิธีเดียวที่จะเพิ่มประสิทธิภาพสิ่งนี้อาจใช้งานได้
แต่เมื่อคุณเพิ่มจำนวนน้ำหนักเพิ่มจำนวน Synopsys ในเครือข่ายของคุณคุณจะต้องเผชิญกับคำสาปของมิติ
แล้วสาเหตุของมิติข้อมูลคืออะไร
วิธีที่ดีที่สุดในการอธิบายสิ่งนี้หรืออธิบายก็คือให้ดูตัวอย่างที่ใช้งานได้จริง
ดังนั้นโปรดจำไว้ว่าตัวอย่างนี้เรามีเมื่อเรากำลังพูดถึงวิธีการทำงานของเครือข่ายประสาทที่เรากำลังสร้างหรือใช้เครือข่ายประสาทสำหรับการประเมินค่าทรัพย์สิน
ดังนั้นนี่คือสิ่งที่ดูเหมือนว่าเมื่อฝึกแล้วดีเมื่อไม่ได้รับการฝึกฝนก่อนที่จะได้รับการฝึกฝนก่อนที่เราจะรู้ว่าสิ่งที่เป็นน้ำหนัก
เครือข่ายประสาทที่แท้จริงมีลักษณะเช่นนี้
ถูกต้องเพราะเรามีบทสรุปที่เป็นไปได้ที่แตกต่างกันเหล่านี้และเรายังต้องฝึกน้ำหนักและตรงนี้เรามีน้ำหนักทั้งหมด 25
น้ำหนักดังนั้นสี่คูณห้าในตอนเริ่มต้นและอีกห้าจากน้ำหนักรวม 25 น้ำหนัก
ลองดูกันว่าเราสามารถดุร้ายกำลัง 25 วิธีได้อย่างไร
นี่คือเครือข่ายประสาทที่ง่ายมากตรงนี้
ง่ายมากเพียงหนึ่งตีในนั้นและวิธีที่เราสามารถเดรัจฉานบังคับวิธีการของเราผ่านเครือข่ายประสาทขนาดนี้
มีการคำนวณทางคณิตศาสตร์ง่ายๆ
เรามี 25 น้ำหนัก
นั่นหมายความว่าหากเรามีชุดค่าผสมหนึ่งพันชุดที่เราจะแก้ปัญหาสำหรับน้ำหนักทุกชุดจำนวนชุดค่าผสมคือ 1,000 ต่อกำลัง
25 หรือหนึ่งพันหรือ 10 หรือ 10 เพื่อแยกชุดค่าผสมห้าชุด
ตอนนี้เรามาดูกันว่าซันมีวิธีอย่างไรในการส่องสว่างซูเปอร์คอมพิวเตอร์ของ Fosse โลกเมื่อเดือนมิถุนายน 2559 ว่ามันจะเข้าใกล้ปัญหานี้อย่างไร
ดังนั้นซันเวย์จึงผูกเน็คไทให้สว่าง
ดูเหมือนว่านี่เป็นอาคารขนาดใหญ่ทั้งสวยมากสำหรับซูเปอร์คอมพิวเตอร์เครื่องนี้และได้รับ Guinness World Record สำหรับการเป็นซูเปอร์คอมพิวเตอร์
Fosses
ตอนนี้มันเป็นซูเปอร์คอมพิวเตอร์ที่เร็วที่สุดในโลกและบางวิธีการผูกไฟสามารถทำงานได้ที่ความเร็ว 93 จาก
flops
Flop ย่อมาจากการดำเนินการลอยตัวต่อวินาที
ดังนั้นสามารถทำน้ำมันเก้าสิบสามได้
คูณสิบสู่พลังของการลอยตัว 15 ครั้งต่อวินาที
นั่นเป็นวิธีที่รวดเร็วในการเปรียบเทียบ
คอมพิวเตอร์โดยเฉลี่ยตอนนี้พวกเขาชอบมากกว่า gigaflops และอื่น ๆ
ดังนั้นมันจึงเหมือนกับช่วงเหล่านั้น
น้อยกว่าแสงประเภท TEI Sunway
ทันใดนั้นมันก็เป็นเรื่องโกหกอยู่ในระดับแนวหน้าของเทคโนโลยี
และสมมุติว่ามันสามารถทำการทดสอบหนึ่งชุดหนึ่งรวมกันสี่ชุดบนเครือข่ายของคุณในฟลอปปีดิสก์เดียวและการดำเนินการแบบลอยหนึ่งที่ไม่สามารถทำได้ซึ่งคุณไม่สามารถทำได้เพราะคุณต้องการการทดสอบแบบลอยตัวหลายครั้ง น้อย
แต่ถึงอย่างนั้นเรามาเริ่มกันเลยดีกว่า
สมมติว่ามันสามารถทำได้ในโลกอุดมคติที่สามารถทำได้ในการดำเนินการแบบลอยตัวครั้งเดียวก็สามารถทำการทดสอบหนึ่งครั้งต่อการดำเนินการลอยหนึ่ง
นั่นหมายความว่า Doddridge จะยังคงต้องมีแนวโน้มที่จะห้า
หารด้วยเก้าสิบสามเท่าสิบถึงประมาณ 15 วินาทีเพื่อเข้าทดสอบทั้งหมดเหล่านี้
นั่นหมายความว่าหนึ่งหรือโดยประมาณมีแนวโน้มที่จะใช้พลังงาน 58 วินาทีและนั่นก็เหมือนกับพลังงานของ 50
ปี
นั่นเป็นจำนวนมากที่มีความยาวมากกว่าเอกภพที่มีอยู่และนั่นจะไม่เป็นไปอย่างง่ายดายเพียงแค่จำนวนนี้มีขนาดใหญ่มากมันก็ไม่ได้ทำงานให้กับเราในการเพิ่มประสิทธิภาพของเรา
ดังนั้นเราไปกันเลย
นี่คือไม่ไม่
แม้กระทั่งบนไฟท้ายซูเปอร์คอมพิวเตอร์ Sunway ที่เร็วที่สุดในโลก
ดังนั้นเราต้องหาวิธีที่แตกต่างกันว่าเราจะหาน้ำหนักที่เหมาะสมได้อย่างไร
ด้วยวิธีนี้เครือข่ายประสาทของเรานั้นง่ายมากถ้าเครือข่ายประสาทมีลักษณะเช่นนี้หรือยิ่งใหญ่กว่านั้นใช่มันจะไม่เกิดขึ้นเลย
ดังนั้นวิธีการที่จะดูที่เรียกว่าการไล่ระดับสีและคุณอาจเคยได้ยินมาแล้ว
ถ้าไม่เราจะหาว่ามันคืออะไรตอนนี้
ดังนั้นฟังก์ชั่นค่าใช้จ่ายของเราและตอนนี้เราไปดูว่าเราสามารถส่งเสริมวิธีการที่รวดเร็วขึ้นในการค้นหาตัวเลือกที่ดีที่สุดได้อย่างไร
สมมติว่าเราเริ่มต้นที่ไหนสักแห่งที่คุณกำลังจะเริ่มต้นที่ไหนสักแห่ง
ดังนั้นเราเริ่มต้นตรงนั้น
และจากจุดนั้นที่มุมบนซ้ายสิ่งที่เราจะทำคือเราจะดูมุมของฟังก์ชันต้นทุนของเราตรงจุดนั้น
เราจะไม่ดูสมการทางคณิตศาสตร์
เราจะให้คำแนะนำในการอ่านเพิ่มเติมในตอนท้ายของการบรรยายครั้งต่อไป
แต่โดยพื้นฐานแล้วคุณแค่ต้องแยกความแตกต่างค้นหาว่าความชันอยู่ตรงจุดใดและหาว่าความชันนั้นเป็นบวกหรือลบ
ถ้าหากความชันเป็นลบเช่นในกรณีนี้หมายความว่าคุณกำลังตกต่ำดังนั้นทางด้านขวาจะลงเนินไปทางซ้ายเป็นทางขึ้นเขา
และจากที่นั่นหมายความว่าคุณต้องไปทางขวา
โดยทั่วไปคุณต้องลงเขา
และนั่นคือสิ่งที่เรากำลังจะทำ
บูมก้าวไปข้างหน้า
ลูกบอลกลิ้งลงมาอีกครั้ง
สิ่งเดียวกัน
คุณคำนวณความชันและความชันเป็นบวกความหมายของนักเขียนทางซ้ายขึ้นและลงคุณต้องไปทางซ้าย
และอีกครั้งที่คุณคำนวณความชันและคุณก็อยู่ในนั้นได้แล้วนั่นคือวิธีที่คุณค้นหาในแง่ง่าย
ๆ นั่นคือวิธีที่คุณจะได้พบกับการรอคอยที่ดีที่สุดสถานการณ์ที่ดีที่สุดที่ลดฟังก์ชันต้นทุนของคุณ
แน่นอนว่ามันจะไม่เหมือนกับการกลิ้งลูกบอลจะเป็นวิธีการแบบซิกแซกมาก แต่มันง่ายกว่าที่จะจดจำหรือชนิดของมันสนุกกว่าที่จะมองว่ามันเป็นลูกบอลกลิ้ง
แต่ในความเป็นจริงใช่แล้วคุณก็จะเป็นเหมือนวิธีการทีละขั้นตอนจะเป็นวิธีการซิกแซก
ใช่แล้วยังมีองค์ประกอบอื่นอีกมากมาย
มีหลายสิ่งหลายอย่างเช่นทำไมทำไมมันถึงลงไปทำไมมันไม่ไปทางเหนือเส้นเพื่อให้มันสามารถกระโดดออกมาจากด้านบนขึ้นด้านบนแทนที่จะเป็นด้านล่างและแบบนี้ดังนั้นจึงมีพารามิเตอร์ที่คุณสามารถปรับแต่งได้
และอีกครั้งเราจะพูดถึงที่ที่คุณสามารถหาข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนั้น
และบวกกับเราจะมีสิ่งนี้ในแอปพลิเคชั่นที่ใช้งานได้จริง แต่ในวิธีที่ใช้งานง่ายที่สุดนี่คือสิ่งที่เกิดขึ้น
เราไปถึงจุดต่ำสุดโดยเพียงแค่ทำความเข้าใจว่าเราต้องไปทางไหน
แทนที่จะเป็นสัตว์เดรัจฉานบังคับให้ผ่านพันและพันและล้านและพันล้านและ quadrillions ของชุดค่าผสม
เราสามารถเพียงแค่ทุกครั้งที่ได้ดูว่ามันอยู่ที่ไหนที่มันลาดชันเหมือนคุณหรือคุณจินตนาการว่าคุณกำลังยืนอยู่บนเนินเขา
วิธีใดรู้สึกว่ามันกำลังลงและไม่ว่าจะลงไปทางไหนและคุณก็เดินไปเรื่อย ๆ
ในแบบที่คุณชอบเดินไป 50 ก้าวแล้วคุณประเมินอีกครั้ง
ตกลงและฉันจะใช้ขั้นตอน 50 หรือน้อยกว่าใช้ขั้นตอนที่ 40
ดังนั้นมันจึงน้อยลงเรื่อย ๆ เมื่อคุณเข้าใกล้
นี่คือตัวอย่างของการลดลงของการไล่ระดับสีที่ใช้ในพื้นที่สองมิติ
นั่นคือตัวอย่างหนึ่งมิติ
ที่นี่เรามีช่องว่างสองมิติสำหรับการไล่ระดับสีตามที่คุณเห็นว่ามันเข้าใกล้ขั้นต่ำที่สุดและมันก็เรียกว่าการไล่ระดับสีแบบลาดชันเพราะคุณกำลังลดระดับลงมาที่ฟังก์ชันค่าใช้จ่ายขั้นต่ำและพบว่าเขามีการไล่ระดับสี มิติ
นี่คือสิ่งที่ดูเหมือนว่าหากคุณฉายภาพลงบนมิติที่สองคุณสามารถเห็นคดเคี้ยวไปมาจนสุด
คุณไปที่นั่นหรือไม่ว่ามันคือดัชนีการไล่ระดับสีของ Tauriel เราจะพูดถึง stochastic
การไล่ระดับสีเป็นความต่อเนื่องของบทช่วยสอนนี้
และฉันหวังว่าจะได้พบคุณที่นั่น
ดังนั้นในครั้งต่อไปจึงเพลิดเพลินไปกับการเรียนรู้อย่างลึกซึ้ง