أهلا ومرحبا بكم مرة أخرى في دورة التعلم العميق.
في درس اليوم نتحدث عن الانحدار المتدرج.
ما تعلمناه سابقًا هو أنه لكي تتعلم الشبكة العصبية ، ما يجب أن يحدث هو إعادة
الانتشار.
وذلك عندما يتم نشر الخطأ أو الفرق أو مجموع الفروق التربيعية بين y hat و y مرة أخرى عبر
الشبكة العصبية ويتم تعديل الأوزان وفقًا لذلك.
لذلك رأينا ذلك واليوم سوف نتعلم بالضبط كيف يتم ضبط هذه الأوزان.
لذلك دعونا نلقي نظرة.
هذه هي نسختنا البسيطة جدًا من الشبكة العصبية ، أو مدرك أو شبكة عصبية متجهة إلى الأمام بطبقة واحدة.
وما يمكننا رؤيته هنا هو هذه العملية برمتها قيد التنفيذ حيث حصلنا على بعض القيمة المدخلة
، ثم أصبح لدينا وزن ، ثم يتم تطبيق وظيفة التنشيط.
لدينا قبعة بيضاء ثم نقارنها بالقيمة الفعلية.
نحسب دالة التكلفة.
فكيف يمكننا تقليل دالة التكلفة؟
مالذي يمكننا فعله حيال هذا؟
حسنًا ، أحد الأساليب للقيام بذلك هو نهج القوة الغاشمة حيث نأخذ جميع الأوزان الممكنة المختلفة
وننظر إليها ونرى أيها يعمل بشكل أفضل.
وما نقوم به هو ، على سبيل المثال ، أن نجرب ، لنقل ، على سبيل المثال ، 1000 أوزان ونجرب النموذج.
سنحصل على شيء مثل هذا لوظيفة التكلفة.
وهذا مخطط على المحور ص لديك دالة تكلفة أو المحور الرأسي.
على المحور الأفقي لديك قبعة y ولأنك ترى أن الصيغة هي y قبعة ناقص y تربيع ، هذا ما ستبدو عليه
دالة التكلفة ، شيء من هذا القبيل.
وستجد أساسًا أن أفضل واحد موجود هنا.
نهج بسيط للغاية وبديهي للغاية.
لماذا لا تفعل هذا الأسلوب القوة الغاشمة؟
لماذا لا تقوم فقط بتجربة 1000 تكلفة مختلفة ، أو ألف معلمة أو مدخلات مختلفة للأوزان ومعرفة أيها يعمل بشكل
أفضل؟
ستجد الأفضل بهذه الطريقة.
حسنًا ، إذا كان لديك طريقة واحدة فقط للتحسين ، فقد ينجح ذلك.
ولكن مع زيادة عدد الأوزان وزيادة عدد نقاط الاشتباك العصبي في شبكتك ، عليك
مواجهة لعنة الأبعاد.
إذن ما هي لعنة الأبعاد؟
أفضل طريقة لوصف هذا أو شرحه هي مجرد إلقاء نظرة على مثال عملي.
لذا تذكر هذا المثال الذي كان لدينا عندما كنا نتحدث عن كيفية عمل الشبكات
العصبية بالفعل ، حيث كنا نبني أو نشغل شبكة عصبية لتقييم الخصائص.
إذن هذا ما بدا عليه عندما تم تدريبه بالفعل.
حسنًا ، عندما لا يتم تدريبه من قبل ، يتم تدريبه من قبل.
نحن نعلم أي الأوزان ، الشبكة العصبية الفعلية تبدو هكذا.
حسنًا ، لأن لدينا كل هذه المشابك العصبية المحتملة المختلفة ولا يزال يتعين علينا تدريب الأوزان.
ولدينا هنا إجمالي 25 وزنًا ، إذن أربعة في خمسة في البداية ، بالإضافة إلى خمسة من الطبقة المخفية
إلى الطبقة الناتجة ، إجمالي 25 وزنًا.
ودعونا نرى كيف يمكننا القوة الغاشمة 25 أوزانًا.
إنها شبكة عصبية بسيطة جدًا هنا ، بسيطة جدًا.
طبقة واحدة مخفية فقط.
وكيف يمكننا أن نجبر طريقنا من خلال شبكة عصبية بهذا الحجم؟
حسنًا ، لنقم ببعض العمليات الحسابية البسيطة.
لدينا 25 أوزان.
هذا يعني أنه إذا كان لدينا 1000 مجموعة سنختبرها لكل وزن
، فإن العدد الإجمالي للتركيبات هو 1000 أس 25 أو 1000 أو عشرة أس 75 توليفة مختلفة.
الآن دعونا نرى كيف تضيء Sunway العنوان أسرع كمبيوتر عملاق في العالم اعتبارًا من يونيو 2016.
كيف ستتعامل مع هذه المشكلة؟
الصحيح.
لذا بطريقة ما مرتبطة بالضوء ، تبدو هكذا.
إنه مبنى ضخم بالكامل بالنسبة لهذا الكمبيوتر العملاق.
وقد حصل على رقم غينيس للأرقام القياسية لكونه أسرع كمبيوتر عملاق.
الآن ، هو أسرع كمبيوتر عملاق في العالم.
ويمكن أن يعمل Sunway Tiger Light بسرعة 93 بيتافلوبس.
يشير التقليب إلى العملية العائمة في الثانية ، لذا يمكنها القيام بـ 93 أس مضروبًا في عشرة
أس 15 عملية عائمة في الثانية.
هذا هو مدى سرعة المقارنة.
أجهزة الكمبيوتر العادية في الوقت الحالي تحب ما يزيد قليلاً عن عدة جيجا يتخبط وما إلى ذلك.
لذا مثل نوع من تلك النطاقات أقل بكثير من صنواي توايلايت.
لذا صنواي توايلايت في طليعة التكنولوجيا.
ودعونا نقول نظريًا أنه يمكن إجراء اختبار واحد ، اختبار واحد ، مجموعة واحدة لشبكتنا العصبية في فشل واحد
، بشكل أساسي في عملية عائمة واحدة.
ذلك غير ممكن.
هذا ليس عمليًا لأنك تحتاج إلى عمليات عائمة متعددة لاختبار وزن واحد في شبكتك العصبية.
ولكن حتى دعونا نعطيها السبق.
لنفترض أنها تستطيع فعل ذلك في عالم مثالي.
يمكنه القيام بذلك في عملية عائمة واحدة.
يمكنها إجراء اختبار واحد لكل عملية عائمة واحدة.
هذا يعني أنه سيظل يتطلب عشرة أس 75 مقسومًا على 93 مرة ، من عشرة إلى بار ، و 15 ثانية قادمة ، لإجراء
كل تلك الاختبارات للقوة الغاشمة عبر تلك الشبكة.
هذا يعني واحدًا أو ما يقرب من عشرة أس 58 ثانية ، وهذا يساوي
عشرة أس 50 عامًا.
هذا هو عدد كبير.
هذا أطول من وجود الكون.
وهذا بالتأكيد لن يعني ببساطة أن هذا الرقم ضخم جدًا.
من المؤكد أنها لن تعمل من أجلنا على الإطلاق في التحسين.
لذا ها نحن ذا.
هذا هو لا.
حتى على ضوء العنوان sunway أسرع كمبيوتر عملاق في العالم.
لذلك علينا أن نتوصل إلى نهج مختلف.
كيف سنجد الوزن الأمثل؟
بالمناسبة ، كانت شبكتنا العصبية بسيطة للغاية.
ماذا لو كانت الشبكات العصبية تبدو مثل هذا ، أليس كذلك؟
أو أكبر من ذلك أيضًا ، حسنًا ، لن يحدث هذا على الإطلاق.
الطريقة التي سنتناولها تدعى الانحدار.
وربما سمعت عنها بالفعل.
إذا لم يكن الأمر كذلك ، فسنكتشف ما هو عليه الآن.
إذن ، هناك دالة التكلفة الخاصة بنا وسنرى الآن كيف يمكننا إيجاد طريقة أسرع للعثور
على.
الخيار الأفضل.
لنفترض أننا بدأنا من مكان ما.
عليك أن تبدأ من مكان ما.
لذا نبدأ من هناك ومن تلك النقطة في أعلى اليسار ، ما سنفعله هو أننا
سننظر إلى زاوية دالة التكلفة عند تلك النقطة.
لذلك سنقوم بشكل أساسي بهذا السبب في تسميته بالتدرج ، لأنه يجب عليك الاشتقاق.
لن ننظر إلى المعادلات الرياضية.
سنقدم بعض النصائح حول القراءة الإضافية في نهاية المحاضرة التالية.
لكن في الأساس تحتاج فقط إلى الاشتقاق ، ومعرفة الميل في تلك النقطة المحددة ومعرفة ما إذا كان
الميل موجبًا أم سالبًا.
إذا كان المنحدر سالبًا ، في هذه الحالة يعني أنك تنحدر.
إذن ، إلى اليمين هو انحدار ، إلى اليسار صعودًا.
ومن هناك ، فهذا يعني أنك بحاجة إلى السير في الاتجاه الصحيح.
في الأساس ، أنت بحاجة إلى النزول إلى منحدر وهذا ما سنفعله.
الغرفة تأخذ خطوة ، أليس كذلك؟
الكرة تتدحرج مرة أخرى.
نفس الشيء.
تقوم بحساب المنحدر.
هذه المرة يكون المنحدر موجبًا ، أي أن اليمين صعودًا ، واليسار هبوطًا
، وعليك أن تتجه يسارًا وتدحرج الكرة لأسفل ومرة أخرى تحسب المنحدر وتدحرج الكرة لليمين.
هناك نذهب.
هذه هي الطريقة التي تجدها بعبارات بسيطة ، هكذا تجد أفضل الأوزان ، أفضل موقف يقلل من دالة التكلفة
الخاصة بك.
بالطبع ، لن تكون مثل الكرة.
سيكون التدحرج أسلوبًا متعرجًا للغاية ، ولكن من الأسهل تذكر نوعًا من أنه من الممتع النظر
إليه على أنه كرة تتدحرج.
لكن في الواقع ، نعم ، ستكون مجرد نهج خطوة بخطوة.
لذلك ستكون طريقة من النوع المتعرج.
نعم.
وهناك أيضًا الكثير من العناصر الأخرى.
هناك أشياء مثل ، على سبيل المثال ، لماذا مثل لماذا تنخفض؟
لماذا لا يحب الذهاب بعيدًا عن الخط؟
لذلك كان من الممكن أن يقفز من هذا إلى الأعلى بدلاً من الأسفل وأشياء من هذا القبيل.
لذلك فهي معلمات يمكنك تعديلها.
ومرة أخرى ، سنذكر أين يمكنك معرفة المزيد عن ذلك.
بالإضافة إلى ذلك ، سيكون لدينا هذا في تطبيق عملي ، ولكن بأبسط نهج بديهي.
هذا هو ما يحدث.
نحن نصل إلى القاع فقط من خلال فهم الطريقة التي يجب أن نسلكها بدلاً من التأثير الغاشم عبر
الآلاف والآلاف والملايين والمليارات والمليارات من المجموعات.
يمكننا ببساطة في كل مرة أن نلقي نظرة على مكان وجوده ، وأي اتجاه يكون منحدرًا.
لذا تمامًا كما تتخيل أنك تقف على تل ، ما هي الطريقة التي تشعر بها أنها تتجه لأسفل وأيًا كانت الطريقة
التي تتجه لأسفل ، فأنت تستمر في السير بهذه الطريقة.
أنت مثل ، تتخذ 50 خطوة بهذه الطريقة ثم تقوم بالتقييم مرة أخرى ، ما هي الطريقة التي تسير بها؟
إلى أسفل بهذه الطريقة.
حسنًا ، اتخذ الآن 50 خطوة أو أقل.
اتخذ 40 خطوة بهذه الطريقة ، بحيث تصبح أقل وأقل وأقل كلما اقتربت.
هذا مثال على الانحدار المتدرج المطبق في فضاء ثنائي الأبعاد.
لذلك كان هذا مثالًا ذا بعد واحد.
لدينا هنا مساحة ثنائية الأبعاد للهبوط المتدرج.
كما ترى ، فإنه يقترب من الحد الأدنى ويسمى أيضًا نزول التدرج
لأنك تنزل إلى الحد الأدنى من دالة التكلفة.
وأخيرًا ، هذا هو الانحدار المتدرج المطبق في ثلاثة أبعاد.
هذا ما يبدو عليه.
إذا قمت بإسقاطها على بعدين ، يمكنك أن ترى أنها تتعرج في طريقها إلى الحد الأدنى.
لذا ها أنت ذا.
كان هذا نزولًا متدرجًا في البرنامج التعليمي الذي سنتحدث فيه عن نزول التدرج العشوائي سيكون استمرارًا
لهذا البرنامج التعليمي وأتطلع إلى رؤيتك هناك.
وهكذا في المرة القادمة استمتع بالتعلم العميق.