สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรการเรียนรู้อย่างลึกล้ำวันนี้เรากำลังพูดถึง Max pooling
และเรามีสไลด์ที่น่าตื่นเต้นมากขึ้นมา
และแม้แต่ความประหลาดใจเป็นพิเศษในตอนท้ายของบทช่วยสอน
ดังนั้นเรามาเริ่มกันเลย
คำถามแรกคืออะไรที่รวมกำไรกันแล้วทำไมเราถึงต้องการมัน
ทีนี้เพื่อตอบคำถามนั้นเรามาดูภาพเหล่านี้ในภาพเหล่านี้
เรามีเสือชีตาห์
ในความเป็นจริงมันเป็นเสือชีต้าที่แน่นอนเหมือนกันในภาพแรก
ภาพนั้นอยู่ในตำแหน่งที่เหมาะสมและเธอมองตรงไปที่คุณในภาพที่สอง
มันหมุนไปเล็กน้อย
และภาพที่สามบีบอัดเล็กน้อย
และสิ่งที่อยู่ตรงนี้คือเราต้องการให้เครือข่ายประสาทเทียมสามารถรับรู้เสือชีตาห์ในทุก ๆ ภาพ
ในความเป็นจริงนี่เป็นเพียงเสือชีตาห์ตัวเดียว
เกิดอะไรขึ้นถ้าเรามีนักกีฬาที่แตกต่างกันมากมาย
นี่คือเสือชีต้า
เขาเป็นเสือชีตาห์
นี่คือเสือชีตาห์อีกตัวของเขา
Ashira Ishida
cheetah ของเขาและเขาเป็นเสือชีตาห์และเราต้องการให้เครือข่ายประสาทรับรู้ทั้งหมดของนักแม่นปืนเหล่านี้เป็นคนขี้โกงและจะทำเช่นนั้นได้อย่างไร ภาพที่พวกเขาเหมือนใบหน้าของพวกเขาอยู่ในตำแหน่งที่แตกต่างกันของภาพที่มีคนอยู่ทางขวามือบางคนที่มุมซ้ายหรือคนที่อยู่ตรงกลาง
พวกมันต่างกันเล็กน้อยและพื้นผิวก็แตกต่างกันเล็กน้อย
แสงแตกต่างกันเล็กน้อย
มีความแตกต่างเล็ก ๆ น้อย ๆ
มากมายดังนั้นหากเครือข่ายประสาทเทียมมองหาคุณสมบัติบางอย่างเช่นคุณสมบัติที่โดดเด่นของเสือชีตาห์คือน้ำตาที่อยู่บนใบหน้าที่เกิดจากดวงตาหรือเงาเงาที่ดูเหมือนน้ำตา รูปแบบที่เกิดขึ้นจากดวงตาของมันลงมานั้นอยู่ที่ด้านข้างของจมูกและดูเหมือนน้ำตาที่เป็นลักษณะเฉพาะของเสือชีต้า
แต่ถ้ามันกำลังมองหาคุณสมบัติที่มันเรียนรู้จากเสือชีตาห์บางตัวในตำแหน่งที่แน่นอนหรือรูปร่างหรือรูปร่างหรือพื้นผิวที่แน่นอน
ดังนั้นเราต้องตรวจสอบให้แน่ใจว่าเครือข่ายประสาทของเรามีคุณสมบัติที่เรียกว่า spatial
invariance ซึ่งหมายความว่ามันไม่สนใจว่าคุณสมบัติจะไม่ได้อีกครั้งเท่าที่คันซึ่งเป็นส่วนหนึ่งของภาพเพราะเราเราถ่าย
เมื่อพิจารณาถึงแผนที่ของเราเราก็ไม่ดีกับ convolutional ของเราที่นั่น แต่มันไม่จำเป็นต้องสนใจว่าฟีเจอร์นั้นจะเอียงบ้างไหมถ้าฟีเจอร์นั้นมีความแตกต่างในพื้นผิวเล็กน้อยหากฟีเจอร์นั้นอยู่ใกล้กับฟีเจอร์มากขึ้น
สัมพันธ์กับญาติ
ดังนั้นหากคุณสมบัตินั้นผิดเพี้ยนไปเล็กน้อยเครือข่ายประสาทของเราจะต้องมีความยืดหยุ่นในระดับหนึ่งเพื่อให้สามารถค้นหาคุณลักษณะนั้นได้
และนั่นคือสิ่งที่รวมทุกอย่างเกี่ยวกับ
ดังนั้นเรามาดูวิธีการรวมกำไรกัน
นี่คือแผนที่คุณลักษณะของเราเพื่อให้เราได้ทำการ convolutions ของเราแล้วและเราได้ทำส่วนนั้นเสร็จแล้วและตอนนี้เรากำลังทำงานร่วมกับ convolutional
ที่นั่น
ตอนนี้เรากำลังจะใช้การรวมกำไรกัน
มันทำงานอย่างไร
เรากำลังจะนำแอปกลับมารวมกัน
มีหลายประเภทการเล่นที่สอดคล้องกันหมายถึงการรวมกำไรสูงสุดรวมกำไรบางส่วนและจะแสดงความคิดเห็นในส่วนท้ายของเรื่อง
แต่สำหรับตอนนี้เราเพิ่งใช้
Max ร่วมกันดังนั้นเราจึงใช้กล่องขนาดสองคูณสองพิกเซลเช่นนั้นและไม่ต้องเป็นสองต่อสองคุณสามารถเลือกกล่องขนาดใดก็ได้ Tauriel และคุณวางไว้ที่มุมบนซ้ายมือแล้วคุณจะพบค่าสูงสุดในกล่องนั้นจากนั้นคุณบันทึกเฉพาะค่านั้นและคุณไม่สนใจอีกสามค่า
ดังนั้นในกล่องของคุณคุณมีค่าสี่ค่าคุณไม่สนใจค่าสามค่าคุณเก็บค่าสูงสุดไว้ซึ่งเป็นค่าหนึ่งในกรณีนี้
จากนั้นคุณย้ายกล่องของคุณไปทางด้านขวาโดยย่างเท้าคุณเลือกกางเกงอีกครั้ง
ดังนั้นที่นี่เราเลื่อนไปก้าวเท้าของสองและนั่นคือสิ่งที่คุณ psyched ปกติคุณสามารถพูดเหมือนก้าวของคุณสามารถเลือก
ดังนั้นจึงมีกล่องซ้อนกันคุณสามารถเลือกการนัดหยุดงานชนิดใดก็ได้ที่คุณต้องการแม้กระทั่งสามกล่องหากคุณต้องการ แต่เรากำลังเลือกก้าวเดินสองช่องที่นี่และนั่นคือสิ่งที่ใช้กันทั่วไป
และจากนั้นคุณทำซ้ำตามขั้นตอนที่คุณบันทึกไว้สูงสุดที่นี่ถ้าคุณข้ามไปและไม่สำคัญว่าคุณจะทำสิ่งที่คุณทำต่อไป
ดังนั้นคุณยังคงบันทึกค่าสูงสุดไว้ที่นี่ 0 ตรงนี้ค่าสูงสุดคือสี่
นี่คือค่าสูงสุดถึงที่นี่ค่าสูงสุดคือ 1 0 1 หรือ 2 และ 1
ดังนั้นคุณจะเห็นสิ่งต่าง ๆ เกิดขึ้น
ก่อนอื่นเรายังคงสามารถรักษาคุณสมบัติไว้ได้
จำนวนสูงสุดที่เป็นตัวแทนเพราะเรารู้ว่าข้อสรุปของ Lehre ทำงานอย่างไร
เรารู้ว่าจำนวนสูงสุดหรือจำนวนมากในแผนที่คุณลักษณะของคุณจะแสดงถึงสถานที่ที่คุณพบความคล้ายคลึงกันใกล้เคียงที่สุดกับสถานที่จริง
แต่ด้วยการรวมคุณสมบัติเหล่านี้เราเป็นคนแรกที่กำจัด
75 เปอร์เซ็นต์ของข้อมูลที่ไม่ใช่คุณสมบัติที่ไม่ใช่สิ่งสำคัญที่เรามองหาเพราะเราแค่สามพิกเซลจากสี่ .
ดังนั้นเราจะได้รับ 25 เปอร์เซ็นต์เท่านั้น
แล้วก็เพราะเราใช้พิกเซลสูงสุดที่เราหรือค่าที่เรามีดังนั้นเราจึงพิจารณาความเพี้ยน
ดังนั้นตัวอย่างเช่นสองภาพที่ยกตัวอย่างเช่นน้ำตาของสิบแปดมงกุฎที่อยู่ในดวงตาในภาพหนึ่งมีบิตไปทางซ้ายหรือหมุนไปทางซ้ายเล็กน้อยและอีกอันหนึ่งมีบิต
และเป็นวิธีที่พวกเขาควรจะเป็นหรือวิธีที่เราชอบถ้าคุณใช้หนึ่งเป็นฐานและอีกคนมีบิตหมุนไปทางซ้าย
คุณสมบัติ puled จะเหมือนกันทุกประการ
ดังนั้นคุณสามารถดูได้ที่นี่ถ้าเรากำลังพูดถึงน้ำตาของสิบแปดมงกุฎแล้วสมมติว่านี่คือสี่และนี่คือที่ที่มันอยู่ที่นี่แล้วถ้ามันหมุนเล็กน้อย
ตัวอย่างเช่นสี่จบลงที่นี่
จากนั้นเมื่อเราทำการรวมกำไรเราจะยังคงได้รับแผนที่คุณลักษณะของพูลเดียวกันและนั่นคือหลักการที่อยู่เบื้องหลัง
มันเป็นคำอธิบายคร่าวๆอีกครั้ง
แต่ก็เป็นจุดรวมที่เรายังคงสามารถรักษาคุณสมบัติและบัญชีสำหรับความเป็นไปได้เชิงพื้นที่หรือเนื้อสัมผัสหรือการบิดเบือนอื่น ๆ
และนอกเหนือจากทั้งหมดที่เรากำลังลดขนาดเพื่อให้มีประโยชน์อื่น
ดังนั้นเราจึงได้เรากำลังรักษาคุณสมบัติที่เราแนะนำค่าคงที่เชิงพื้นที่เราลดขนาดลง
75% ซึ่งใหญ่มากซึ่งจะช่วยเราในการประมวลผล
และยิ่งไปกว่านั้นประโยชน์อีกประการของการรวมกำไรคือเรากำลังลดจำนวนพารามิเตอร์ดังนั้นเราจึงลดอีกครั้งโดย 75
เปอร์เซ็นต์หรือลดจำนวนพารามิเตอร์ที่จะเข้าสู่ Lares สุดท้ายของเครือข่ายประสาทดังนั้นเราจึงป้องกันไม่ให้เกิดการล้น
มันเป็นประโยชน์ที่สำคัญมากของการรวมกำไรที่เรากำลังลบข้อมูลและนั่นเป็นสิ่งที่ดี
นั่นเป็นสิ่งที่ดีเพราะวิธีการที่แบบจำลองของเราไม่สามารถพอดีกับข้อมูลนั้นได้เพราะโดยเฉพาะอย่างยิ่งเพราะข้อมูลนั้นไม่ดีและจำได้ว่าตอนเริ่มต้นเรากำลังพูดถึงแม้สำหรับมนุษย์ในฐานะมนุษย์เป็นสิ่งสำคัญที่จะต้องดู
คุณสมบัติตรงข้ามกับเสียงรบกวนอื่น ๆ ที่เข้ามาในดวงตาของเรา
สิ่งเดียวกันสำหรับเครือข่ายประสาทเทียมพวกเขาโดยไม่สนใจการก่อตัวที่ไม่สำคัญที่ไม่จำเป็นซึ่งเรากำลังช่วยป้องกันไม่ให้เกิดการล้น
ดังนั้นเราไปที่นั่นคือสิ่งที่รวมกำไรกัน
และคำถามที่นี่คือแน่นอนว่าเหตุใด WiMax
จึงรวมกันได้หลายประเภทและมีขนาดกว้างที่กว้างเกินไปที่มีขนาดสองคูณสองพิกเซลจำนวนมากของสิ่งเหล่านี้
และในบันทึกนั้นฉันอยากจะแนะนำคุณกับรายงานการวิจัยที่น่ารักนี้ที่เรียกว่าการประเมินผลการดำเนินการรวมกันในสถาปัตยกรรม convolutional เพื่อการจดจำวัตถุโดย Dominic Scherrer
จาก University of Bonn
มีลิงค์และความงามเกี่ยวกับบทความนี้คือมันง่ายมาก ๆ
ตรงไปตรงมาดังนั้นหากคุณไม่เคยอ่านบทความวิจัยมาก่อนสิ่งที่คุณต้องการให้มันเป็นไป
นี่คือสถานที่ที่ดีในการเริ่มต้นมันสั้นมาก
เพียง 10 หน้า
อ่านง่ายมาก
และบวกกับสิทธิประโยชน์พิเศษคือตอนนี้เราได้พูดถึงการบิดและการรวมคุณจะรู้สึกสบายใจกับทุกสิ่งที่พวกเขากำลังพูดถึงในบทความนี้ในคุณ
นี่เป็นวิธีที่ยอดเยี่ยมในการเสริมกำลังจริงและฉันขอแนะนำให้ตรวจสอบบทความนี้
ฉันจะใช้เวลาอ่านประมาณ 20 นาทีและคุณสามารถข้ามส่วนที่ 2
ซึ่งเรียกว่างานที่เกี่ยวข้องได้
แค่อย่าอ่านส่วนนั้น
ตรงไปจากตอนที่ 1 ถึงตอนที่ 3
และสิ่งหนึ่งที่คุณจำเป็นต้องรู้เกี่ยวกับกระดาษนี้พวกเขาพูดถึงแนวคิดที่เรียกว่า subsampling ซึ่งเป็นการ subsampling
นั้นโดยทั่วไปแล้วรวม
ดังนั้นโปรดจำไว้ว่าเรามาที่นี่อย่างไร
เรากำลังทำอย่างสูงสุด
ดังนั้นใน Squarer ของเราที่ใช้ค่าสูงสุดจึงมีแนวคิดที่เรียกว่า Mean pooling
หรือมีการดึงบางอย่างในขณะที่คุณมีค่าเหล่านี้สูงกว่าค่า pooling เฉลี่ยหรือ Meaning
pooling คุณเอาค่าเฉลี่ยออกจากค่าเหล่านี้ ของผู้ชายรวมกำไร
มันเป็นวิธีการทั่วไปที่ใช้ในการหาค่าเฉลี่ยของค่าเหล่านี้
และคุณสามารถอ่านเพิ่มเติมในกระดาษได้ แต่อย่างอื่นลองคิดว่ามันเป็นการรวมกำไรโดยเฉลี่ยเมื่อคุณอ่านกระดาษ
และนั่นคือที่ที่คุณสามารถรับข้อมูลเพิ่มเติมเกี่ยวกับหัวข้อนี้และตอนนี้เรามาสรุปกันว่าเราไปที่ไหน
ดังนั้นจึงมีภาพอินพุตของเรา
จากนั้นเราใช้การดำเนินการสังสรร
และตอนนี้ไปยังแผนที่คุณลักษณะแต่ละรายการที่เราได้รับเราได้ใช้ Pullinger
ดังนั้นเราจึงได้ทำวิวัฒนาการสองขั้นตอนและรวมกำไรกันแล้วตอนนี้เรากำลังจะทำสิ่งที่สนุกมากสิ่งที่น่าตื่นเต้น
เรากำลังจะทดลองกับสิ่งนี้ดังนั้นนี่เป็นภาพหน้าจอที่ฉันถ่ายจากเครื่องมือที่สร้างโดย Adam Harley ตั้งแต่ตอนที่เขาอยู่ที่วิทยาการคอมพิวเตอร์ของมหาวิทยาลัย
Ryerson และตอนนี้เขาอยู่ที่ Carnegie Mellon ฉันคิดว่ากำลังทำหน้าของเขาอยู่
และเครื่องมือที่ยอดเยี่ยมเพื่อให้เปิดขึ้นมาดูกัน
ดังนั้นคุณสามารถค้นหาได้คุณสามารถค้นหาได้จริงผ่าน Google
คุณต้องรู้บทบาทของคุณ
มันเป็นเรื่องยากที่จะค้นหาผ่าน Google เพราะไม่มีข้อความใด ๆ เหมือนที่เราเป็นในปีนี้
ฉันจะเริ่มดูเอกสารของ Reierson และสิ่งนี้
และโดยทั่วไปนี่คือสิ่งที่เรากำลังทำอยู่ แต่เห็นภาพดังนั้นที่นี่คุณต้องวาดตัวเลขเพื่อบอกว่าฉันวาดเลขสี่แล้วเครื่องมือนี้จะใส่หมายเลขสี่ตรงนี้
นั่นคือภาพของคุณ
ในขั้นตอนแรกของเรานี่คือขั้นตอนการโน้มน้าวใจ
ขวา.
และนี่คือขั้นตอนการรวมกำไรและการรวมกำไรโดยวิธีนี้เรียกว่าการสุ่มตัวอย่าง
ดังนั้นการดึงและการสุ่มตัวอย่างจึงเป็นสิ่งเดียวกัน
ดังนั้นคุณจะเห็นได้ว่ามันใช้วิธีการโน้มน้าวจากนั้นนำมาใช้ร่วมกันและคุณสามารถดูว่ามันทำงานอย่างไร
คุณสามารถดูประเภทของความเชื่อมั่นที่ได้นำไปใช้หรือตัวกรองประเภทใดที่นำไปใช้ในลักษณะที่ปรากฏ
คุณสมบัติอะไรที่กำลังมองหา
แล้วก็ใช้การรวมกำไรกันเพื่อลดขนาดและคุณจะเห็นได้ว่านี่เป็นสิ่งสำคัญ
ดังนั้นคุณจะเห็นได้ว่านี่คือภาพที่ได้รับความเชื่อถือและนี่คือภาพที่เป็น puled และคุณยังสามารถเห็นคุณสมบัติเดียวกันเป็นเพียงข้อมูลน้อยลง
แต่คุณสมบัติเดียวกันที่ถูกต้องยังคงอยู่
นั่นเป็นส่วนสำคัญ
และยิ่งไปกว่านั้นถ้าคุณรู้ว่าทั้งสี่นั้นเหมือนหมุนไปทางด้านข้างเล็กน้อยมันก็ยังคงสามารถรับ Lares ที่คล้ายกันได้
หลังจากนั้นก็มีตัวอักษรมากขึ้นเรายังไม่ได้พูดถึง
ดังนั้นเขาจึงมีถ้ำอีกแห่งหนึ่งที่นี่ซึ่งเราจะไม่มี
แล้วเขาก็มีถ้ำที่น่าสงสารอีกแห่ง แต่โดยทั่วไปเขาก็แค่ทำซ้ำกระบวนการเดียวกัน
แล้วหลังจากนั้นนี่คือสิ่งที่เรากำลังจะพูดคุยกันต่อไปในหลักสูตร
เขามี Lares ที่เชื่อมต่ออย่างสมบูรณ์และอื่น ๆ
แต่คุณสามารถเล่นกับสิ่งนั้นได้อย่างแน่นอน
ดังนั้นถ้าฉันลบที่คุณชอบถ้าฉันวาด 7 คุณจะเห็นว่าจริง ๆ แล้วบอกคุณว่าการเดาคือการเดาคือนี่คือ 7
และครั้งที่สองคาดเดาโอกาสที่สองคือสาม
ดังนั้นคุณสามารถวาดสิ่งที่ท้าทายและดูว่ามันสามารถหยิบมันได้หรือไม่
สมมุติว่าถ้าฉันวาดบางอย่างที่ดูเหมือน 0 แต่มันไม่ใช่ 0 ที่เสร็จแล้วมันจะหยิบมันขึ้นมาคราวนี้ไม่ได้หยิบมันขึ้นมา
ดูเหมือนว่า 9 กับภาพ
ถ้าหากฉันชอบทำมันให้สำเร็จ
ดังนั้นตอนนี้มันจึงคิดว่าเป็น 0 หรือ 9 และคุณสามารถเห็นตรงนี้ว่ามีอะไรสว่างขึ้น 0
แต่เราจะพูดถึงส่วนนั้นด้วยความสงสัย
ทำอย่างอื่นมากกว่าสมมติว่าเช่น 8
ฉันคิดว่ามันค่อนข้างยากสำหรับตอนนี้ที่รับ 8
คุณจะเห็นได้ว่ามันกลายเป็น 8 แล้วหลังจากนั้นมันก็หยุดการจดจำได้การหยุดจะทำให้มนุษย์เราเข้าใจ
ขวา.
คุณสมบัติเหล่านี้ที่ใช้งานได้
แต่ในขณะเดียวกันก็จำได้อย่างถูกต้องว่ามันคือ 8
ดังนั้นลองเล่นกับแน่นอนว่าคุณสามารถวาดหน้ายิ้มได้
จะเกิดอะไรขึ้น
ดูเหมือนว่าเครื่องมือนี้จะมีสามถึงสามเพราะเครื่องมือนี้ได้รับการฝึกฝนโดยใช้ตัวเลขตั้งแต่ 0 ถึงเก้าเท่านั้น
ดังนั้นจึงต้องจดจำสิ่งที่มีอยู่และจดจำสามสิ่งนี้ในชีวิตเมื่อคุณเห็นสิ่งที่เป็นผลไม้ชนิดหนึ่งที่คุณไม่เคยเห็นมาก่อนเช่นแอปเปิ้ลสังขยาหรืออะไรบางอย่างและคุณคิดว่ามันเป็นแบบนั้น ลูกแพร์เพราะคุณไม่เคยเห็นใครมาก่อนที่คุณจะไม่รู้ว่าจะแบ่งมันเป็นสิ่งเดียวกันที่นี่หรือไม่ดังนั้นจึงไม่ได้ฝึกฝนบนใบหน้าที่ยิ้มแย้มจริง ๆ
และนั่นเป็นเหตุผลว่าทำไมมันถึงคิดว่ามันเป็นต้นไม้
ดังนั้นคุณจะไปเป็นเครื่องมือที่ทรงพลังมากมันจะเป็นประโยชน์สำหรับคุณที่จะเล่นมันจริง ๆ
เมื่อคุณวางเมาส์เหนือพิกเซลพิกเซลที่จะแสดง
มันแสดงให้คุณเห็นว่าตัวตรวจจับคุณลักษณะนั้นหยิบพิกเซลนั้นขึ้นมาเพื่อให้คุณสามารถดูว่าพิกเซลเหล่านั้นมาจากที่ใดและเพื่อให้คุณสามารถดูว่าตัวกรองนั้นเป็นอย่างไรเช่นผ่านภาพอย่างที่เราพูดถึงและแน่นอนและที่นี่ คุณจะเห็นว่าคุณสามารถเห็นการรวมกำไรที่คุณเห็นได้ว่าการดึงเสร็จสิ้นด้วยการดึงเสร็จแล้วด้วยขนาดสี่เหลี่ยมจัตุรัสขนาดเล็กสองคูณสองและคุณจะเห็นว่ามันเป็นก้าวที่สองเช่นเดียวกับที่เราได้กล่าวถึงในวันนี้
ดังนั้นจะมีการเล่นหรือมีการเล่นกับที่และฉันหวังว่าคุณจะสนุกกับเซสชั่นวันนี้
ฉันหวังว่าจะได้พบคุณอีกในครั้งต่อไป
และจนกว่าจะสนุกกับการเรียนรู้ลึก