สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรการเรียนรู้ลึก
เอาล่ะวันนี้เรากำลังพูดถึงฟังก์ชั่นการเปิดใช้งาน
ลองตรงเข้าไปดู
ดังนั้นนี่คือที่เราทิ้งไว้ก่อนหน้านี้เราได้พูดคุยเกี่ยวกับโครงสร้างของเซลล์ประสาทหนึ่ง
ดังนั้นมันอยู่ตรงกลางเรารู้ว่ามันมีค่าอินพุตบางอย่างที่เข้ามามันมีน้ำหนักบางส่วนจากนั้นจะเพิ่มวิธีการคำนวณวิธีที่อินพุตเหล่านั้นบางส่วนจากนั้นใช้ฟังก์ชันเปิดใช้งานในขั้นตอนที่ 3
มันส่งสัญญาณไปยังปีหน้าและนั่นคือสิ่งที่เรากำลังพูดถึงในวันนี้เรากำลังพูดถึงคุณค่าที่กำลังจะถูกส่งผ่าน
ดังนั้นเรากำลังพูดถึงฟังก์ชั่นการเปิดใช้งานที่ถูกนำมาใช้
เรามีตัวเลือกอะไรสำหรับฟังก์ชั่นเปิดใช้งาน
ทีนี้เราจะดูฟังก์ชั่นการเปิดใช้งานสี่แบบที่คุณสามารถเลือกได้
แน่นอนว่ามีฟังก์ชั่นการเปิดใช้งานหลากหลายประเภท แต่สิ่งเหล่านี้เป็นฟังก์ชั่นเด่นที่คุณจะได้ยินและเราจะใช้ในหลักสูตรนี้
นี่คือฟังก์ชันขีด จำกัด
นี่คือสิ่งที่ดูเหมือน
ดังนั้นบนแกน x คุณได้ให้น้ำหนักบางส่วนของอินพุตบนแกน y
คุณเพิ่งรู้ค่าจาก 0 ถึง 1
และโดยทั่วไปแล้วฟังก์ชันขีด จำกัด นั้นง่ายมากพิมพ์ฟังก์ชันที่ถ้าค่าน้อยกว่าศูนย์แล้วฟรี
ขอบคุณ ssion ส่งผ่านศูนย์
หากค่ามากกว่าศูนย์หรือเท่ากับศูนย์ดังนั้นฟังก์ชันขีด จำกัด จะกระทบกับ 1
ดังนั้นโดยพื้นฐานแล้วมันก็เหมือนกับว่าใช่ไม่มีฟังก์ชั่น
ตรงไปตรงมามากมาก
ฟังก์ชั่นแบบแข็งมาก ๆ ทั้งใช่หรือไม่ใช่
ไม่มีตัวเลือกอื่น
ดังนั้นคุณไป
มันเป็นวิธีการทำงาน
ฟังก์ชั่นที่ง่ายมาก
มาทำเรื่องที่ซับซ้อนกว่านี้กันหน่อย
ตอนนี้ฟังก์ชัน sigmoid น่าสนใจมากสูตรที่เรามีตรงนี้คุณจะเห็นว่าตอนนี้มีหนึ่งหารด้วยหนึ่งบวกละ
พลังของลบ X ในขณะที่ในกรณีนี้ของหลักสูตร X คือค่าของผลบวกของวิธี
และใช่
นี่คือสิ่งที่ sigmoid ดูเหมือน
มันเป็นฟังก์ชั่นที่ใช้ในการถดถอยโลจิสติก
หากคุณจำได้จากหลักสูตรการเรียนรู้ของเครื่อง
ดังนั้นสิ่งที่ดีเกี่ยวกับฟังก์ชั่นนี้คือมันราบรื่น
ไม่เหมือนฟังก์ชั่นเสมือนจริง
อันนี้ไม่มีเส้นโค้งที่โค้งงอดังนั้นมันจึงเป็นความก้าวหน้าที่ดีและราบรื่น
ดังนั้นอะไรก็ตามที่ต่ำกว่า 0 ก็เหมือนกับหยดลงมาเหนือศูนย์
มันทำหน้าที่ใกล้เคียงกับหนึ่งและฟังก์ชั่น sigmoid นี้มีประโยชน์มากใน Lehren สุดท้ายชั้นเลเยอร์
โดยเฉพาะเมื่อคุณพยายามทำนายความน่าจะเป็น
และเราจะเห็นสิ่งนั้นตลอดหลักสูตร
จากนั้นเราก็มีฟังก์ชั่น rectifier
ฟังก์ชั่นแม้ว่ามันจะมี kink เป็นหนึ่งในฟังก์ชั่นที่ได้รับความนิยมมากที่สุดสำหรับเครือข่ายประสาทเทียม
จากนั้นมันก็ค่อยๆดำเนินไปเรื่อย ๆ เมื่อค่าอินพุทเพิ่มขึ้นเช่นกันและเราจะเห็นว่าตลอดหลักสูตรเราจะเห็นว่าในบทเรียนปรีชาอื่น
ๆ
และเรายังเห็นด้วยว่า ฉันจะแสดงความคิดเห็นเกี่ยวกับเรื่องนี้อีกเล็กน้อยในไม่กี่สไลด์จากนี้
ดังนั้นโปรดจำไว้ว่าฟังก์ชั่นไฟโดยตรงเป็นหนึ่งในฟังก์ชั่นที่ใช้มากที่สุดในเครือข่ายประสาทเทียม
และในที่สุดเราก็มีฟังก์ชั่นอีกหนึ่งฟังก์ชั่นที่คุณอาจได้ยิน
มันคือฟังก์ชันไฮเพอร์โบลิกแทนเจนต์
มันคล้ายกับฟังก์ชั่น sigmoid แต่ที่นี่ฟังก์ชั่นไฮเพอร์โบลิกแทนเจนต์มีค่าต่ำกว่าศูนย์ดังนั้นค่าจาก 0 ถึง 1 หรือประมาณ
2 1 และไปจากศูนย์ถึงลบ 1 ในอีกด้าน
และนั่นอาจเป็นประโยชน์ในบางแอปพลิเคชัน
ดังนั้นเราจะไม่ไปลงลึกในแต่ละฟังก์ชั่นเหล่านี้มากเกินไปฉันแค่อยากจะรู้จักคุณกับพวกมันเพื่อที่คุณจะได้รู้ว่ามันมีหน้าตาอย่างไร
หากคุณต้องการอ่านเพิ่มเติมจากนั้นลองดูบทความนี้ด้วยการจับสลาก 75 ปี
คุณมีจำนวนมากที่เรียกว่า Deep sparse rectifies network 2000 paper
แล้วคุณจะพบว่าทำไมฟังก์ชั่น rectifier จึงเป็นฟังก์ชันที่มีคุณค่าว่าทำไมมันจึงใช้กันอย่างแพร่หลาย
แต่กระนั้นสำหรับตอนนี้เราไม่จำเป็นต้องรู้ทุกสิ่งจริงๆ
สำหรับตอนนี้เรากำลังจะเริ่มใช้สิ่งเหล่านี้ซึ่งคุณจะเริ่มใช้มันมากขึ้นเรื่อย ๆ
ดังนั้นเมื่อคุณรู้สึกสะดวกสบายกับการใช้งานจริงของสิ่งต่าง ๆ
คุณสามารถไปอ่านบทความนี้แล้วคุณจะสามารถซึมซับความรู้นั้นได้เร็วขึ้นมาก
แต่โปรดจำไว้ว่าเมื่อคุณพร้อมเมื่อคุณรู้สึกว่าพร้อมแล้วคุณสามารถไปค้นคว้ารายงานและรับความรู้ที่มีค่าจากพวกเขา
ดังนั้นเพื่อสรุปอย่างรวดเร็วเรามีฟังก์ชั่นการเปิดใช้งานเกณฑ์ซึ่งจะเป็นเช่นนี้ฟังก์ชั่นการเปิดใช้งาน sigmoid ซึ่งมีลักษณะเช่นนี้
เรามีฟังก์ชัน rectifier
และเรามีฟังก์ชั่นแทนเจนต์ไฮเพอร์โบลิกและตอนนี้ให้ทำแบบฝึกหัดนี้เสร็จเร็ว ๆ นี้ลองทำแบบฝึกหัดสองสามข้อเพื่อให้การออกกำลังกายสองอย่างรวดเร็ว
อย่างแรกคือเรามีตัวอย่างนี่ของโครงข่ายประสาทของเซลล์ประสาทเพียงเส้นเดียวและนั่นก็คือชั้นเลเยอร์เอาท์พุท
และคำถามก็คือสมมติว่าตัวแปรตามของคุณคือไบนารีดังนั้นมันอาจเป็น 0 หรือ 1 ซึ่งคุณจะใช้ฟังก์ชันขีด จำกัด
จากสิ่งที่เราได้พูดถึงเรามีฟังก์ชันขีด จำกัด
ฟังก์ชัน sigmoid ของฟังก์ชันเรียงกระแสและเรามีฟังก์ชันไฮเพอร์โบลิกแทนเจนต์ในรูปแบบม้วนซึ่งคุณสามารถใช้สำหรับตัวแปรไบนารีได้
ตกลง.
ดังนั้นคำตอบที่นี่มีสองตัวเลือกที่เราสามารถเข้าถึง
ดังนั้นหนึ่งคือฟังก์ชั่นการเปิดใช้งานเกณฑ์เนื่องจากเรารู้ว่ามันอยู่ระหว่าง 0 ถึง 1 และมันให้
0 ร่มแอนเดอร์สันของเรา
มันลงตัวพอดีกับความต้องการนี้อย่างสมบูรณ์และคุณสามารถบอกว่า y เท่ากับฟังก์ชันขีด จำกัด
ของการแกว่งของคุณกับบางสิ่ง
และในกรณีที่สองซึ่งคุณสามารถใช้เป็นฟังก์ชั่นการเปิดใช้งาน sigmoid
เป็นจริงระหว่าง 0 และ 1 เพียงแค่สิ่งที่เราต้องการ
แต่ในเวลาเดียวกันคุณต้องการเพียงหนึ่งเดียวคุณจึงไม่ใช่สิ่งที่เราต้องการ แต่ในกรณีนี้ซึ่งคุณสามารถใช้มันได้เนื่องจากความน่าจะเป็นของ Y
คือใช่หรือไม่ใช่
เราอยากให้ Y เป็น 0 1 แต่เราจะบอกว่าฟังก์ชัน sigmoid ฟังก์ชันการเปิดใช้งาน
Simoun บอกเราว่ามันจะบอกเราว่าความน่าจะเป็นของ Y เท่ากับ 1
ดังนั้นโดยทั่วไปยิ่งคุณอยู่ใกล้จุดสูงสุดเท่าไหร่โอกาสที่จะได้มากขึ้นก็คือว่านี่คือหนึ่งหรือใช่มากกว่าไม่ใช่
และนั่นก็คล้ายกับวิธีการถดถอยโลจิสติก
และนี่เป็นเพียงสองตัวอย่าง
หากคุณมีตัวแปรไบนารี
ตอนนี้เรามาดูการประยุกต์ใช้จริงอื่น
เรามาดูกันว่าสิ่งเหล่านี้จะเกิดขึ้นได้อย่างไรถ้าเรามีความเป็นธรรมชาติแบบนี้
ดังนั้นในชั้นแรกเรามีอินพุตบางส่วน
พวกมันจะถูกส่งไปยังเลเยอร์ที่ซ่อนอยู่แรกของเราจากนั้นจะเปิดใช้งานฟังก์ชั่น
และโดยปกติสิ่งที่คุณจะใช้ที่นี่และสิ่งที่คุณจะเห็นตลอดทั้ง Scorsese
จะใช้ฟังก์ชั่นการเปิดใช้งานวงจรเรียงกระแสดังนั้นมันจะมีลักษณะเช่นนั้น
เราใช้ฟังก์ชั่นการเปิดใช้งาน rectifier จากนั้นสัญญาณจะถูกส่งต่อไปยังเลเยอร์เอาท์พุทที่จะใช้ฟังก์ชั่นการเปิดใช้งาน
sigmoid และนั่นจะเป็นผลลัพธ์สุดท้ายของเรา
และนั่นสามารถทำนายความน่าจะเป็นเช่นชุดค่าผสมนี้จะเป็นเรื่องธรรมดามากที่ในเลเยอร์ที่ซ่อนอยู่เราใช้ฟังก์ชันตัวเรียงกระแสแล้วส่งออกตรงนั้นเราใช้ฟังก์ชัน sigmoid
ดังนั้นเราไปกันเลย
หวังว่าคุณจะสนุกกับการสอนนี้ตอนนี้คุณค่อนข้างรอบรู้ในฟังก์ชั่นการเปิดใช้งานสี่ประเภทที่แตกต่างกันและคุณจะได้สัมผัสกับประสบการณ์เชิงปฏิบัติกับพวกเขาในหลักสูตรนี้ และคุณควรจะค่อนข้างสบายใจกับพวกเขา
แต่สำหรับตอนนี้นี่คือความรู้ที่คุณต้องการเพื่อความก้าวหน้าและเข้าใจสิ่งที่เขากำลังจะเกิดขึ้นต่อไปในหลักสูตรนี้
และในบันทึกนั้นฉันหวังว่าจะได้พบคุณในครั้งต่อไป
จนแล้วสนุกกับการเรียน