สิ่งที่แอลลิสันควรรู้ว่าคุณกำลังพูดอะไรฉันไม่รู้ว่าอินเทอร์เน็ตคือคอมพิวเตอร์เครื่องใหญ่
ตอนนี้เป็นคนที่ใหญ่จริงๆ
คุณหมายถึงอะไร
นั่นเป็นเพียงสิ่งที่คุณรู้ว่าสิ่งที่คุณเขียนถึงสิ่งที่เหมือนฉันไม่รู้จักผู้คนจำนวนมากใช้และสื่อสาร
ฉันเดาว่าพวกเขาสามารถสื่อสารกับนักเขียนและผู้ผลิตของ NBC ได้
แอลลิสันคุณสามารถอธิบายได้ว่าอินเทอร์เน็ตนั้นน่าทึ่งขนาดไหน
เมื่อ 20 กว่าปีก่อนผู้คนไม่รู้ด้วยซ้ำว่าอินเทอร์เน็ตคืออะไร
และวันนี้เราไม่สามารถจินตนาการได้ว่าชีวิตของเรามีไว้เพื่อมัน
ยินดีต้อนรับสู่ผู้ที่มีรายได้ ETAs แน่นอน
ชื่อของฉันคือ Cora Menko และผู้รับเหมามี Lunda Pontmercy รู้สึกตื่นเต้นสุด ๆ
ที่ได้ร่วมงานกับคุณ
และวันนี้เราจะให้ภาพรวมโดยย่อเกี่ยวกับสิ่งที่น่าเสียดายและทำไมตอนนี้ถึงมารับ
ดังนั้นเรามาเริ่มกันเลย
ทำไมเราถึงได้ดูคลิปนั้นและรูปนี้คืออะไรที่นี่
คลิปนั่นมาจากปี 1994
นี่คือภาพคอมพิวเตอร์จากปี 1980
และสาเหตุที่เราขุดลึกลงไปในประวัติศาสตร์นิดหน่อยก็เพราะว่าเครือข่ายประสาทพร้อมกับการเรียนรู้อย่างลึกล้ำมานานแล้วและพวกเขาเพิ่งเริ่มหยิบขึ้นมาและส่งผลกระทบต่อโลกในขณะนี้
แต่ถ้าคุณมองย้อนกลับไปในยุค 80 คุณจะเห็นว่าแม้ว่าพวกเขาจะถูกประดิษฐ์ขึ้นในยุค
60 และ 70 พวกเขาติดเทรนด์หรือเรียกว่าลมหนาวในยุค 80 ดังนั้นผู้คนจึงพูดถึงพวกเขามากมาย
มีการวิจัยจำนวนมากในพื้นที่นั้นและทุกคนคิดว่าการเรียนรู้อย่างลึกล้ำหรือเครือข่ายประสาทเป็นสิ่งใหม่ที่จะส่งผลกระทบต่อโลกกำลังจะเปลี่ยนแปลงทุกอย่างกำลังจะแก้ปัญหาของโลก ออกไปในทศวรรษหน้า
แล้วเกิดอะไรขึ้นทำไมทำไมเครือข่ายประสาทไม่รอดและไม่เปลี่ยนโลกด้วยมัน
เหตุผลที่พวกเขาไม่ดีพอที่พวกเขาไม่เก่งในการทำนายสิ่งต่าง ๆ
ไม่ดีในการสร้างแบบจำลองและยุ่งเหยิงไม่ใช่การประดิษฐ์ที่ดี
หรือมีเหตุผลอื่น
ที่จริงมีอีกเหตุผลหนึ่งและเหตุผลก็อยู่ข้างหน้าเรานั่นคือความจริงที่ว่าเทคโนโลยีในตอนนั้นไม่ได้มาตรฐานที่เหมาะสมในการอำนวยความสะดวกให้กับเครือข่ายประสาทเทียมเพื่อให้เครือข่ายประสาทและการเรียนรู้เชิงลึกทำงานได้อย่างถูกต้อง
คุณต้องการสองสิ่งที่คุณต้องการข้อมูลและคุณต้องการข้อมูลจำนวนมากและคุณต้องการพลังการประมวลผลที่คุณต้องการคอมพิวเตอร์ที่แข็งแกร่งในการประมวลผลข้อมูลนั้นและอำนวยความสะดวกและคุณรู้ว่ามันทำงานได้
ดังนั้นเรามาดูกันว่าข้อมูลหรือการจัดเก็บข้อมูลมีการพัฒนาอย่างไรในช่วงหลายปีที่ผ่านมาและจากนั้นเราจะดูว่าเทคโนโลยีมีการพัฒนาอย่างไร
ดังนั้นที่นี่เราไปได้สามปี 1956 1980 2017
ที่เก็บข้อมูลมองย้อนกลับไปในปี 1956
มีฮาร์ดไดรฟ์และฮาร์ดไดรฟ์นั้นมีแค่ห้าตัวเท่านั้น
รอฮาร์ดไดรฟ์เมกะไบต์นั่นคือห้าเมกะไบต์ที่นั่นบนรถยกขนาดของห้องเล็ก ๆ
ที่ฮาร์ดไดรฟ์ถูกส่งไปยังตำแหน่งอื่นบนเครื่องบิน
และนั่นคือที่เก็บข้อมูลที่ดูเหมือนใน
ในปี 1956 คุณต้องจ่ายเงิน
บริษัท ต้องจ่ายสองพันห้าพันดอลลาร์ของวันนั้นดอลลาร์เพื่อเช่าฮาร์ดไดรฟ์ที่เช่าไม่ซื้อหรือเช่าเป็นเวลาหนึ่งเดือน
ในปี 1980 สถานการณ์ดีขึ้นเล็กน้อย
ดังนั้นที่นี่เรามีฮาร์ดไดรฟ์ 10 เมกะไบต์สำหรับสามและครึ่งพันดอลลาร์ยังคงมีราคาแพงมากและเพียง 10
เมกะไบต์ดังนั้นมันจึงเป็นเหมือนรูปหนึ่งวันนี้
และวันนี้ในปี 2560 เรามีการ์ด SD ขนาด 256 กิกะไบต์ราคา $ 150 ซึ่งพอดีกับนิ้วของคุณ
และถ้าคุณกำลังดูวิดีโอนี้ในอีกหนึ่งปีต่อมาหรือชอบในปี 2019 หรือ 2025
คุณอาจจะหัวเราะกับพวกเราทุกคนเพราะเมื่อนั้นคุณจะมีความจุมากขึ้น
แต่ถึงกระนั้นประเด็นก็คือถ้าเราเปรียบเทียบสิ่งเหล่านี้ในกระดานและเรายังคำนึงถึงราคาและขนาดด้วยการพิจารณาความสามารถของสิ่งที่กำลังได้รับความนิยมในขณะนั้น
ดังนั้นจากปี 1956 ถึง 1980 กำลังการผลิตเพิ่มขึ้นเป็นสองเท่า
แล้วมันก็เพิ่มขึ้นประมาณสองหมื่นห้าร้อยหกร้อยเท่าและระยะเวลาที่รู้นั้นไม่แตกต่างจากปี 1956 ถึง 1980 24
ปีจากปี 1980 ถึง 2013
สามสิบเจ็ดปีดังนั้นจึงไม่เพิ่มขึ้นมากนัก ความก้าวหน้าทางเทคโนโลยี
และนั่นแสดงว่านี่ไม่ใช่แนวโน้มเชิงเส้น
นี่คือการเติบโตแบบทวีคูณของเทคโนโลยีและถ้าเราเพิ่มเข้าไปในคำนึงถึงราคาและขนาดบัญชีคุณจะเพิ่มขึ้นหลายล้าน
ที่นี่เรามีแผนภูมิเป็นมาตราส่วนลอการิทึม
ดังนั้นหากเราวางแผนต้นทุนฮาร์ดไดรฟ์ต่อกิกะไบต์คุณจะเห็นว่ามีลักษณะเช่นนี้
เราเข้าใกล้ศูนย์อย่างรวดเร็วมาก
ตอนนี้คุณสามารถรับพื้นที่เก็บข้อมูลบน Dropbox และ Google Drive ซึ่งไม่เสียค่าใช้จ่ายอะไรเลย
ที่เก็บข้อมูลบนคลาวด์และสิ่งที่จะดำเนินต่อไปและในความเป็นจริงในช่วงหลายปีที่ผ่านมา
ตอนนี้นักวิทยาศาสตร์กำลังมองหาการใช้ DNA สำหรับการจัดเก็บ
และตอนนี้มันค่อนข้างแพงมีค่าใช้จ่าย $ 7,000 ในการสังเคราะห์ข้อมูลสองเมกะไบต์
แต่แบบนั้นทำให้คุณนึกถึงสถานการณ์ทั้งหมดของฮาร์ดไดรฟ์และเครื่องบินที่คุณรู้ว่าสิ่งนี้จะถูกลดลงอย่างรวดเร็วมากด้วยเส้นโค้งเลขชี้กำลัง 10 ถึง
10 ปีจากนี้ 20
ปีจากนี้ทุกคนกำลังใช้ที่เก็บดีเอ็นเอ เราลงไปในทิศทางนี้
และนี่คือสถิติบางอย่างที่คุณสามารถสำรวจเพิ่มเติมได้อาจหยุดวิดีโอชั่วคราวหากคุณต้องการอ่านเพิ่มเติมเกี่ยวกับเรื่องนี้
นี่คือจากธรรมชาติดอทคอม
และโดยทั่วไปคุณสามารถจัดเก็บข้อมูลทั้งหมดของโลกได้ในที่เก็บ DNA เพียงหนึ่งกิโลกรัมหนึ่งกิโลกรัมหรือคุณสามารถเก็บข้อมูลได้ประมาณ 1 พันล้านเทราไบต์ในที่เก็บ
DNA หนึ่งกรัม
นั่นเป็นเพียงสิ่งที่แสดงให้เห็นว่าเรากำลังก้าวหน้าอย่างรวดเร็วและนี่คือเหตุผลว่าทำไมการเรียนรู้อย่างลึกซึ้งจึงมาถึงตอนนี้ในที่สุดเราก็อยู่ในขั้นตอนที่เรามีข้อมูลเพียงพอที่จะฝึกโมเดลนางแบบสุดเท่ห์สุดยอด
ย้อนกลับไปในยุค 80 เมื่อตอนที่ฉันคิดค้นน้ำผลไม้เป็นครั้งแรก
และสิ่งที่สองที่เราพูดถึงคือความสามารถในการประมวลผลดังนั้นที่นี่เรามีเส้นโค้งแบบเอ็กซ์โพเนนเชียลอีกครั้งในระดับบันทึก
มันแสดงให้เห็นอย่างสมบูรณ์แบบที่นี่ แต่ทางด้านขวาเพราะมันเป็นสเกลบันทึกและนี่คือวิธีที่คอมพิวเตอร์วิวัฒนาการมา
ดังนั้นอีกครั้งโปรดโพสต์สไลด์นี้เรียกว่ากฎของมัวร์ที่คุณเคยได้ยินมาว่าความสามารถในการประมวลผลของคอมพิวเตอร์ได้พัฒนาไปอย่างรวดเร็วเพียงใด
ตอนนี้เราอยู่ที่ไหนสักแห่งตรงนี้ที่ซึ่งคอมพิวเตอร์โดยเฉลี่ยสามารถซื้อได้หนึ่งพันเหรียญคิดว่าด้วยความเร็วของสมองของหนูและระหว่างสองถึงห้าจะเป็นความเร็วของมนุษย์หรือ
20:23 แล้วโดย 2050
หรือ 2045 มันจะเกินมนุษย์ทุกคนรวมกัน
โดยพื้นฐานแล้วเรากำลังเข้าสู่ยุคของคอมพิวเตอร์ที่มีพลังมหาศาลที่สามารถประมวลผลสิ่งต่าง ๆ
ได้เร็วขึ้นจากนั้นเราก็สามารถจินตนาการได้
และนั่นคือสิ่งที่อำนวยความสะดวกในการเรียนรู้
ดังนั้นทั้งหมดนี้ทำให้เราเกิดคำถามว่าอะไรคือการเรียนรู้อย่างลึกซึ้งว่าสถานการณ์เครือข่ายประสาททั้งหมดนี้คืออะไรสิ่งที่เกิดขึ้นในสิ่งที่เรากำลังพูดถึงอยู่ที่นี่
และคุณอาจเห็นรูปหรืออะไรแบบนี้
งั้นลองดำดิ่งลงไป
การเรียนรู้อย่างลึกซึ้งของสุภาพบุรุษคนนี้ตรงนี้เจฟฟรีย์ฮินตันเป็นที่รู้จักกันในนามพ่อทูนหัวของสิ่งลึก
และเขาได้ทำการวิจัยเกี่ยวกับการเรียนรู้อย่างลึกซึ้งในยุค 80
และเขาได้ทำเอกสารวิจัยจำนวนมากที่เขาตีพิมพ์ในการเรียนรู้อย่างลึกซึ้งในตอนนี้
เขาทำงานที่ Google
หลายสิ่งหลายอย่างที่เรากำลังจะพูดถึงมาจากเจฟฟรีย์ฮินตันจริง ๆ แล้วคุณจะเห็นอะไรมากมาย
เขามีวิดีโอ YouTube ค่อนข้างน้อย
เขาอธิบายสิ่งต่าง ๆ ได้ดีมากดังนั้นฉันขอแนะนำให้ลองดูพวกเขา
ดังนั้นแนวคิดที่อยู่เบื้องหลังการเรียนรู้อย่างลึกล้ำคือการมองสมองของมนุษย์
และผู้ชายคนนี้กำลังจะประสาทวิทยาศาสตร์ขึ้นมาบ้าง
และในบทเรียนเหล่านี้และสิ่งที่เราพยายามทำที่นี่คือเลียนแบบการทำงานของสมองมนุษย์
และคุณรู้ว่าเราไม่รู้ว่าคุณไม่รู้ทุกอย่างเกี่ยวกับสมองมนุษย์ แต่ผู้ชายตัวเล็กที่เราทุกคนรู้ว่าเราต้องการเลียนแบบมันและสร้างมันขึ้นมาใหม่
และทำไมเป็นอย่างนั้น
เพราะสมองมนุษย์ดูเหมือนจะเป็นหนึ่งในเครื่องมือที่ทรงพลังที่สุดในโลกนี้สำหรับการเรียนรู้สำหรับการเรียนรู้ทักษะการปรับตัวและนำไปใช้และถ้าคอมพิวเตอร์สามารถคัดลอกได้
อัลกอริธึมทั้งหมดที่ตัดสินใจได้นั้นดีที่สุดซึ่งจะใช้ประโยชน์ได้
ทำไมต้องปั่นจักรยาน
ดังนั้นเรามาดูวิธีการทำงาน
ที่นี่เรามีเซลล์ประสาทบางส่วนดังนั้นเซลล์ประสาทเหล่านี้ที่ถูกทาลงบนกระจกแล้วมองดูด้วยกล้องจุลทรรศน์ด้วยสี
และนี่คือคุณสามารถเห็นสิ่งที่พวกเขาดูเหมือนดังนั้นพวกเขามีเหมือนร่างกายพวกเขามีกิ่งไม้เหล่านี้และพวกเขามีหางและดังนั้นคุณสามารถเห็นพวกเขาพวกเขามีนิวเคลียสภายในตรงกลาง เหมือนในสมองมนุษย์
มีเซลล์ประสาทรวมกันประมาณ 100
พันล้านเซลล์ดังนั้นเซลล์เหล่านี้จึงเป็นเซลล์ประสาทส่วนบุคคลซึ่งจริง ๆ แล้วเป็นเซลล์ประสาทยนต์เนื่องจากมีขนาดใหญ่กว่านั้นจะมองเห็นได้ง่ายกว่า แต่มีเซลล์ประสาทหนึ่งแสนล้านในสมองมนุษย์
และมันเชื่อมต่อกับคนมากถึงประมาณพันเพื่อนบ้าน
ดังนั้นเพื่อให้คุณมีภาพนี่คือสิ่งที่ดูเหมือนว่า
นี่คือส่วนข้อมูลจริงของสมองมนุษย์
และนี่คือ cerebellum ซึ่งเป็นส่วนหนึ่งของสมองของคุณที่ด้านหลัง
มันมีหน้าที่รับผิดชอบเช่น Torex มากขึ้นและคุณรู้ว่าการรักษาความสมดุลและความสามารถทางภาษาและบางอย่างเช่นนั้น
นี่เป็นเพียงการแสดงให้เห็นว่า Vorst
มีเซลล์ประสาทจำนวนเท่าใดที่มีเหมือนพันล้านพันล้านและพันล้านเซลล์ประสาทที่เชื่อมต่อกันเหมือนว่าเรากำลังพูดถึงเซลล์ประสาทห้าหรือห้าร้อยหรือพันล้านในนั้น
นั่นคือสิ่งที่เรากำลังจะพยายามสร้างขึ้นมาใหม่
ดังนั้นเราจะสร้างมันขึ้นมาใหม่ในคอมพิวเตอร์ได้อย่างไร
ทีนี้เราสร้างโครงสร้างเทียมที่เรียกว่าโครงข่ายประสาทเทียมที่เรามีโหนดหรือเซลล์ประสาทและเราจะมีเซลล์ประสาทบางส่วนสำหรับค่าอินพุตดังนั้นนี่คือค่าที่คุณรู้เกี่ยวกับสถานการณ์บางอย่าง
ตัวอย่างเช่นคุณกำลังสร้างแบบจำลองบางอย่างที่คุณต้องการทำนายสิ่งที่คุณมักจะมีบางสิ่งบางอย่างที่จะเริ่ม
การคาดคะเนของคุณปิดอยู่ซึ่งเรียกว่าเลเยอร์อินพุต
จากนั้นคุณมีเอาท์พุท
นั่นคือคุณค่าที่คุณต้องการทำนายหรือแปลกใจว่ามีใครบางคนกำลังจะออกจากธนาคารหรืออยู่ในธนาคาร
นี่เป็นธุรกรรมที่ฉ้อโกงหรือเป็นธุรกรรมจริงและอื่น ๆ
นั่นจะเป็นเอาต์พุตที่ต่ำกว่า
และในระหว่างนั้นเราจะมีเลเยอร์ที่ซ่อนอยู่
ดังนั้นอย่างที่คุณเห็นในสมองของคุณคุณมีเซลล์ประสาทจำนวนมากดังนั้นข้อมูลบางอย่างผ่านเข้ามาทางหูจมูกหูจมูก
แล้วมันไม่ใช่แค่ไปที่ผลลัพธ์ที่คุณได้รับผ่านพันล้านและพันล้านและเซลล์ประสาทพันล้านทั้งหมดก่อนที่จะเดาผลลัพธ์และนี่คือแนวคิดทั้งหมดที่อยู่เบื้องหลังว่าเรากำลังจะจำลองสมอง .
ดังนั้นเราต้องการเลเยอร์ที่ซ่อนอยู่เหล่านี้ที่มีอยู่ก่อนหน้าเอาต์พุตดังนั้นเซลล์ประสาทอินพุต Lares
เชื่อมต่อกับเซลล์เลเยอร์ที่ซ่อนอยู่ซึ่งเซลล์ประสาทเชื่อมต่อกับเอาต์พุต
และนี่คือนี่มันเท่มาก
แต่ทั้งหมดนี้เกี่ยวกับอะไร
การเรียนรู้อย่างลึกซึ้งอยู่ที่นี่หรือเหตุใดจึงเรียกว่าไม่มีอะไรลึกซึ้งในที่นี่
ในขณะที่นี้เป็นเหมือนตัวเลือกที่หนึ่งอาจเรียกการเรียนรู้ตื้นที่มีไม่มากเกิดขึ้นจริง
แต่ทำไมถึงเรียกว่าน่าเสียดาย
เพราะเราจะยกระดับไปสู่ระดับถัดไปเราแยกมันออกไปมากขึ้นและเราไม่ได้ตีแค่ครั้งเดียวและที่นั่นเรามีเลเยอร์ที่ซ่อนอยู่มากมายและมากมายและจากนั้นเราเชื่อมต่อทุกอย่างเหมือนในสมองของมนุษย์
และนั่นคือวิธีการประมวลผลค่าอินพุตผ่านเลเยอร์ที่ซ่อนอยู่ทั้งหมดนี้เหมือนกับในสมองของมนุษย์
จากนั้นเรามีค่าผลลัพธ์และตอนนี้เรากำลังเรียนรู้อย่างลึกซึ้ง
นั่นคือสิ่งที่การเรียนรู้เกี่ยวกับในระดับนามธรรม
และบทเรียนเพิ่มเติมที่เราจะผ่าและดำดิ่งลงสู่การเรียนรู้อย่างลึกซึ้งและในตอนท้ายคุณจะรู้ว่าการวางแผนนั้นเกี่ยวกับอะไร
ตื่นเต้นเป็นอย่างยิ่งเกี่ยวกับการรอคอยนี้เพื่อเริ่มต้นและฉันหวังว่าจะได้ดูบทแนะนำถัดไป
จนกว่าจะสนุกกับการเรียนรู้ลึก