أهلا ومرحبا بكم مرة أخرى في دورة التعلم العميق.
حسنا.
نتحدث اليوم عن وظيفة التنشيط.
دعنا ندخله مباشرة.
هذا هو المكان الذي توقفنا عنده.
في السابق ، تحدثنا عن بنية خلية عصبية واحدة.
لذلك هناك في المنتصف.
نعلم أن لها بعض المدخلات ، والقيم الواردة ، ولديها بعض الأوزان ، ثم تضيف القيم الموزونة ، وتحسب
بعضًا من هذه المدخلات المرجحة ، ثم تطبق وظيفة التنشيط.
وفي الخطوة الثالثة ، تمرر الإشارة إلى الخلية العصبية التالية.
وهذا ما نتحدث عنه اليوم.
نحن نتحدث عن القيمة التي سيتم تجاوزها.
لذلك نحن نتحدث عن وظيفة التنشيط التي يتم تطبيقها.
إذن ما هي الخيارات المتوفرة لدينا لوظيفة التنشيط؟
حسنًا ، سنلقي نظرة على أربعة أنواع مختلفة من وظائف التنشيط التي يمكنك الاختيار من بينها.
بالطبع ، هناك أنواع مختلفة من وظائف التنشيط ، ولكن هذه هي الوظائف السائدة التي
ستسمع عنها والتي سنستخدمها في هذه الدورة التدريبية.
إذن هذه هي وظيفة العتبة.
هذا ما يبدو عليه.
إذن على المحور x لديك المجموع المرجح للمدخلات.
على المحور ص ، لديك فقط القيم من 0 إلى 1.
وبشكل أساسي ، تعد وظيفة الحد نوعًا بسيطًا جدًا من الوظائف حيث إذا كانت القيمة أقل من
الصفر ، فإن دالة الحد تمر على الصفر.
إذا كانت القيمة أكثر من الصفر أو تساوي الصفر ، فإن دالة الحد تمر على قيمة واحدة.
لذا فهي تشبه نوعًا ما ، نعم ، لا يوجد نوع من الوظائف ، واضح جدًا جدًا ، نوعًا ما يشبه نوعًا
صارمًا من الوظائف إما نعم أو لا.
لا توجد خيارات أخرى.
لذا ها أنت ذا.
هذه هي الطريقة التي يعمل.
وظيفة بسيطة للغاية.
دعنا ننتقل إلى شيء أكثر تعقيدًا.
الآن ، الدالة السينية ، صيغة مثيرة جدًا للاهتمام لدينا هنا.
سترى الآن أن هناك واحدًا مقسومًا على واحد زائد E أس ناقص X ، بينما في
هذه الحالة ، بالطبع ، x هي قيمة مجموع المجاميع الموزونة.
حسنًا ، هذا ما يبدو عليه السيني.
إنها وظيفة تُستخدم في الانحدار اللوجستي ، إذا كنت تتذكر ، من دورة التعلم الآلي.
إذن ما هو جيد في هذه الوظيفة هو أنها سلسة ، على عكس وظيفة العتبة.
هذا لا يحتوي على مكامن الخلل في منحنىه ، وبالتالي فهو مجرد تقدم تدريجي لطيف وسلس.
لذا فإن أي شيء تحت الصفر يشبه تمامًا السقوط فوق الصفر.
تبدو تقريبية تجاه واحد.
وهذه الوظيفة السينية مفيدة جدًا في الطبقة النهائية ، في طبقة المخرجات ، خاصةً عندما تحاول
توقع الاحتمالات.
وسنرى ذلك طوال هذه الدورة.
ثم لدينا وظيفة المعدل.
تعد وظيفة المقوم ، على الرغم من وجود تشابك فيها ، واحدة من أكثر الوظائف شيوعًا للشبكات العصبية الاصطناعية.
لذلك يذهب على طول الطريق إلى الصفر.
إنه صفر.
ثم من هناك تتقدم تدريجيًا مع زيادة قيمة الإدخال أيضًا.
وسنرى ذلك طوال الدورة.
سنرى ذلك في دروس الحدس الأخرى وسنرى أيضًا كيف نستخدم هذه الوظيفة
في الجانب العملي من الدورة وسأعلق عليها أكثر قليلاً في بضع شرائح من الآن.
لذا تذكر فقط أن وظيفة المعدل هي إحدى الوظائف الأكثر استخدامًا في الشبكات العصبية الاصطناعية.
وأخيرًا ، لدينا وظيفة أخرى ربما تسمع عنها.
إنها دالة الظل الزائدية.
إنها تشبه إلى حد كبير الدالة السينية ، ولكن هنا تكون دالة الظل الزائدية أقل من الصفر ،
لذلك تنتقل القيم من 0 إلى 1 أو تقريبًا إلى واحد وتنتقل من 0 إلى -1 على الجانب الآخر.
ويمكن أن يكون ذلك مفيدًا في بعض التطبيقات.
لذلك لن نتعمق كثيرًا في كل واحدة من هذه الوظائف.
أردت فقط أن أعرفك عنهم حتى تعرف كيف يبدون وما يطلق عليهم.
إذا كنت ترغب في الحصول على بعض القراءة الإضافية ، فراجع هذه الورقة بقلم Xavier Claret الذي كتبته بعنوان A Deep Space
Rectifier Neural Networks ، ورقة 2011.
وهناك سوف تكتشف بالضبط لماذا تعتبر وظيفة المعدل وظيفة قيّمة ، ولماذا يتم استخدامها
بشكل شائع.
لكن مع ذلك ، في الوقت الحالي ، لا تحتاج حقًا إلى معرفة كل هذه الأشياء.
في الوقت الحالي ، سنبدأ في تطبيقها.
نبدأ في استخدامها أكثر فأكثر.
وهكذا عندما تشعر بالراحة مع الجانب العملي للأشياء ، يمكنك الذهاب والرجوع إلى هذه الورقة
وبعد ذلك ستتمكن من امتصاص هذه المعرفة بشكل أسرع وستكون أكثر منطقية.
لكن ضع في اعتبارك أنه عندما تكون جاهزًا ، عندما تشعر أنك جاهز ، يمكنك الذهاب والرجوع
إلى هذه الورقة والحصول على بعض المعرفة القيمة من هناك.
لذا فقط للتلخيص السريع ، لدينا وظيفة تنشيط العتبة التي تبدو هكذا ، وظيفة التنشيط السيني
التي تبدو هكذا.
لدينا وظيفة المعدل ولدينا وظيفة الظل الزائدية.
والآن لإنهاء هذا البرنامج التعليمي ، دعنا نقوم ببعض التمارين بسرعة.
لذلك سنقوم فقط بتمرينين سريعين للمساعدة على استيعاب هذه المعرفة.
أولًا لدينا مثال هنا لشبكة عصبية بها خلية عصبية واحدة فقط.
ثم على الفور طبقة الإخراج.
والسؤال هو ، بافتراض أن المتغير التابع الخاص بك هو ثنائي ، لذا فهو إما صفر واحد ، ما وظيفة
العتبة التي ستستخدمها؟
إذن من بين تلك التي ناقشناها ، لدينا وظيفة العتبة ، الدالة السينية ، وظيفة
المعدل ، ولدينا وظيفة الظل الزائدية في أشكالها الأدارية.
أي منها يمكنك استخدامه لمتغير ثنائي؟
إذن ، الإجابات هنا هي خياران يمكننا التعامل معه.
إذن ، الرقم واحد هو وظيفة تنشيط العتبة لأننا نعلم أنها تقع بين صفر وواحد وتعطيك
صفرًا تحت قيم معينة ، وإلا فإنها تمنحك واحدًا.
لذلك يمكن أن يمنحك قيمتان فقط.
إنه مناسب تمامًا ، ويناسب هذا المطلب تمامًا ، وبالتالي يمكنك فقط القول أن Y تساوي دالة الحد
لمجموعك المرجح ، وهذا كل شيء.
وفي الحالة الثانية ، التي يمكنك استخدامها هي وظيفة التنشيط السيني ، فهي في الواقع أيضًا
بين صفر وواحد ، ما نحتاجه فقط.
لكن في نفس الوقت الذي تريده هو صفر واحد ، أليس كذلك؟
إذن أنت ليس ما نحتاجه بالضبط ، ولكن في هذه الحالة ، ما يمكنك استخدامه
هو احتمال أن يكون y نعم أو لا.
إذن نريد أن يساوي y صفرًا واحدًا.
لكن بدلاً من ذلك ، سنقول إن الدالة السينية ، وظيفة التنشيط السيني تخبرنا ما إذا كانت تخبرنا باحتمال
أن يكون Y يساوي واحدًا.
لذلك ، كلما اقتربت من القمة ، زاد احتمال أن تكون الإجابة بنعم أو نعم وليس
لا.
ونعم ، هذا مشابه جدًا لنهج الانحدار اللوجستي.
وهذان مجرد مثالين.
إذا كان لديك متغير ثنائي.
والآن دعونا نلقي نظرة على تطبيق عملي آخر.
دعونا نلقي نظرة على كيفية حدوث كل هذا إذا كان لدينا شبكة عصبية كهذه.
إذن في طبقة الإدخال الأولى ، لدينا بعض المدخلات.
يتم إرسالها إلى أول طبقة مخفية لدينا ثم يتم تطبيق وظيفة التنشيط.
وعادة ما تقوم بتطبيقه هنا وما ستراه خلال هذه الدورة هو أننا نطبق
وظيفة تنشيط المعدل.
لذلك سيبدو شيء من هذا القبيل.
نقوم بتطبيق وظيفة تنشيط المعدل ومن ثم يتم تمرير الإشارات إلى طبقة الإخراج حيث سيتم
تطبيق وظيفة التنشيط السيني وهذا سيكون ناتجنا النهائي ويمكن أن يتنبأ باحتمالية
، على سبيل المثال.
لذلك سيكون هذا المزيج شائعًا جدًا حيث نطبق في الطبقات المخفية وظيفة
المعدل ، ثم في طبقة الإخراج نطبق وظيفة السيني.
لذا ها نحن ذا.
آمل أن تكون قد استمتعت ببرنامج اليوم التعليمي.
أنت الآن على دراية جيدة بالأنواع الأربعة المختلفة لوظائف التنشيط وستحصل على
بعض الخبرة العملية معهم طوال هذه الدورة.
سنستخدمهم في كل مكان حتى تتعرف عليهم عن كثب ويجب أن تكون مرتاحًا
لهم تمامًا.
ولكن في الوقت الحالي ، هذه هي المعرفة التي تحتاجها للتقدم وفهم ما سيحدث في هذه الدورة
التدريبية.
وفي هذه الملاحظة ، أتطلع إلى رؤيتك في المرة القادمة.
حتى ذلك الحين ، استمتع بالتعلم العميق.