أهلا ومرحبا بكم مرة أخرى في دورة التعلم العميق.
نتحدث اليوم عن النسب المتدرج العشوائي.
لقد تعلمنا سابقًا عن النسب المتدرج واكتشفنا أنه طريقة فعالة للغاية لحل
مشكلة التحسين حيث نحاول تقليل دالة التكلفة.
يستغرق الأمر منا في الأساس من عشرة إلى قوة 57 عامًا لحل مشكلة في غضون دقائق أو ساعات أو في غضون يوم
أو نحو ذلك.
وهو يساعد حقًا في تسريع الأمور لأنه يمكننا أن نرى أي طريق ينحدر ويمكننا فقط السير في هذا الاتجاه
واتخاذ الخطوات والوصول إلى الحد الأدنى بشكل أسرع.
لكن الشيء الذي يتعلق بالعصا مع النسب المتدرج هو أن هذه الطريقة تتطلب أن تكون دالة التكلفة
محدبة.
وكما ترى هنا ، اخترنا على وجه التحديد دالة تكلفة محدبة.
تعني محدبة بشكل أساسي أن الوظيفة تبدو مشابهة لما نراه الآن ، وأنها محدبة في
اتجاه واحد وأنها في جوهرها لها حد أدنى عالمي واحد وهذا هو الذي سنجده.
ولكن ماذا لو كانت وظيفتنا ليست محدبة؟
ماذا لو كانت دالة التكلفة لدينا ليست محدبة؟
ماذا لو بدا شيئًا كهذا؟
حسنًا ، أولاً وقبل كل شيء ، كيف يمكن أن يحدث ذلك؟
حسنًا ، يمكن أن يحدث ذلك لأننا إذا اخترنا ، أولاً وقبل كل شيء ، دالة تكلفة ، وهي ليست الفرق التربيعي
بين y hat و y ، أو إذا اخترنا دالة التكلفة ، والتي هي من هذا القبيل ، ولكن بعد ذلك في أبعاد متعددة
الفضاء ، يمكن أن يتحول في الواقع إلى شيء غير محدب.
وماذا سيحدث في هذه الحالة إذا حاولنا فقط تطبيق طريقة الانحدار العادي؟
شيء من هذا القبيل يمكن أن يحدث.
يمكننا إيجاد حد أدنى محلي لدالة التكلفة بدلاً من الدالة العالمية.
لذلك كان هذا هو الأفضل ووجدنا الخطأ.
وبالتالي ليس لدينا الأوزان الصحيحة.
ليس لدينا شبكة عصبية محسنة ، لدينا شبكة عصبية دون المستوى.
فماذا سنفعل في هذه الحالة؟
حسنًا ، الإجابة هنا هي النسب المتدرج العشوائي.
واتضح أن الانحدار العشوائي لا يتطلب أن تكون دالة التكلفة محدبة.
لذلك دعونا نلقي نظرة على الفروقين بين الانحدار الطبيعي الذي تحدثنا عنه والتدرج
العشوائي.
لذا فإن الانحدار الطبيعي هو عندما نأخذ كل صفوفنا ، نقوم بتوصيلها بشبكتنا العصبية.
ومرة أخرى ، تم نسخ الشبكة العصبية عدة مرات ، لكن الصفوف يتم توصيلها بنفس
الشبكة العصبية في كل مرة.
لذلك هناك شبكة عصبية واحدة فقط.
هذا فقط لأغراض التصور.
وبمجرد أن نعوضهم ، قمنا بحساب دالة التكلفة الخاصة بنا بناءً على الصيغة
الموجودة على اليمين وننظر إلى الرسم البياني في الأسفل ثم نعدل الأوزان.
ثم يسمى هذا بطريقة نزول التدرج أو أنه أيضًا المصطلح المناسب هو طريقة نزول الدُفعة.
لذلك نأخذ الدفعة الكاملة من العينة الخاصة بنا ، ونطبقها ثم نقوم بتشغيلها.
طريقة الانحدار العشوائي مختلفة قليلاً هنا.
نأخذ الصفوف واحدة تلو الأخرى ، لذلك نأخذ هذا الصف ، وندير شبكتنا العصبية ثم نضبط الأوزان.
ثم ننتقل إلى الصف الثاني ، نأخذ الصف الثاني ، ونشغل شبكتنا العصبية ، وننظر إلى دالة
التكلفة ، ثم نعدل الأوزان مرة أخرى.
ثم نأخذ صفًا آخر ، نأخذ الصف الثالث.
نحن ندير شبكتنا العصبية.
سننظر في دالة التكلفة.
نحن مجرد الوزن.
لذلك نحن في الأساس ننظر إلى أننا نعدل الأوزان بعد كل صف بدلاً من القيام بكل شيء معًا ثم
نضبط الأوزان وفقًا للطرق المختلفة.
والآن سنقارن الاثنين جنبًا إلى جنب.
لذا ها هم.
هذه هي الطريقة التي نتذكرها بصريًا.
إذاً لديك نزول متدرج للدفعة حيث تقوم بتعديل الأوزان بعد تشغيلها ، بعد
تشغيل كل الصفوف في شبكتك العصبية.
ثم تقوم في الأساس بضبط الأوزان وتشغيل كل شيء مرة أخرى ، التكرار ، التكرار ،
التكرار.
في طريقة الانحدار العشوائي ، تقوم بتشغيل صف واحد في كل مرة وتضبط الأوزان ، وتضبط الأوزان
، وتضبط الأوزان ، ثم تفعل كل شيء مرارًا وتكرارًا.
وتلك تسمى هذه الفئة.
بهذه الطريقة.
يتمثل الاختلافان الرئيسيان في أن طريقة نزول التدرج العشوائي تساعدك على تجنب المشكلة
حيث تجد تلك الحدود القصوى المحلية أو الحدود الدنيا المحلية بدلاً من الحد الأدنى الشامل العام.
والسبب في ذلك بعبارات بسيطة هو أن طريقة SGD أو طريقة الانحدار العشوائي بها تقلبات أعلى
بكثير لأنها يمكن أن تتحملها.
إنها تقوم بتكرار واحد أو صف واحد في كل مرة ، وبالتالي فإن التقلبات أعلى بكثير
ومن المرجح أن تجد الحد الأدنى العالمي بدلاً من الحد الأدنى المحلي فقط.
والشيء الآخر حول طريقة النسب العشوائية للتدرج مقارنةً بالتدرج اللوني للدفعة هو أنها
أسرع.
مثل الانطباع الأول الذي قد يكون لديك لأنه يفعل كل شيء.
بالدور.
إنها أبطأ ، لكنها في الواقع أسرع لأنها لا تحتاج إلى تحميل جميع البيانات في الذاكرة
وتشغيلها والانتظار حتى تدور كل هذه البيانات معًا.
يمكنه فقط تشغيلهم واحدًا تلو الآخر.
لذا فهي خوارزمية أخف بكثير.
إنه أسرع بكثير بهذا المعنى.
لذلك على الرغم من أنه يحتوي على الكثير وهذا في هذه المعاني ، إلا أنه يتمتع بمزايا أكثر على طريقة نزول
الدُفعة.
الميزة الرئيسية أو النوع الرئيسي من مثل المحترفين لطريقة نزول الدُفعات هي أنها
خوارزمية حتمية أو بدلاً من أن تكون نزول التدرج العشوائي خوارزمية عشوائية ، مما
يعني أنها عشوائية وأفضل طريقة نزول التدرج طالما لديك نفس أوزان البداية لشبكتك العصبية ،
في كل مرة تقوم فيها بتشغيل طريقة الانحدار الدفعي ، ستحصل على نفس التكرارات ،
ونفس النتائج بالنسبة للطريقة التي يتم بها تحديث أوزانك.
الأول بالنسبة لطريقة الانحدار العشوائي.
لن تحصل على ذلك لأنها طريقة عشوائية.
أنت تختار صفوفك ربما بشكل عشوائي وتقوم بتحديث شبكتك العصبية بطريقة عشوائية.
وبالتالي ، ستنتقل إلى كل مرة تقوم فيها بتشغيل طريقة الانحدار العشوائي
، حتى لو كان لديك نفس الأوزان في البداية ، فستكون لديك عملية مختلفة وتكرارات مختلفة
للوصول إلى هناك.
هذا باختصار ما هو الانحدار العشوائي.
أيضًا ، هناك طريقة بين الاثنين تسمى طريقة نزول الدُفعة المصغرة حيث يمكنك الجمع
بين الاثنين وتشغيل بشكل أساسي بدلاً من تشغيل مجموعة كاملة أو تشغيل دفعة واحدة في كل مرة ، تقوم بتشغيل مجموعات من الصفوف
، ربما من 5 إلى 10 ، 100 منهم المعادن.
عليك أن تقرر التعيين ، وتقوم بتشغيل ذلك العدد من الصفوف في الوقت الحالي.
ثم تقوم بتحديث الأوزان الخاصة بك وتقوم بتحديث الأوزان الخاصة بك وما إلى ذلك.
وهذا ما يسمى طريقة نزول الدفعة المصغرة.
إذا كنت ترغب في معرفة المزيد عن Gradient Descent ، فهناك مقال رائع يمكنك إلقاء نظرة عليه.
يطلق عليه A Neural Network و 13 Lines of Python Part II Gradient Descent بواسطة Andrew Trask والروابط
أدناه.
إنه على GitHub 2015 مقال مكتوب بشكل جيد للغاية بعبارات بسيطة للغاية.
يحتوي على بعض الأفكار الفلسفية المثيرة للاهتمام أو مجرد أفكار مثيرة للاهتمام حول كيفية تطبيق النسب المتدرج
، وما هي المزايا والعيوب وكيف تكون كيفية القيام بالأشياء في مواقف معينة؟
لذا فقد حصل على بعض النصائح والحيل والخدع الرائعة ، سهلة القراءة للغاية.
لذا تأكد من ذلك.
وأخرى ، قراءة أثقل قليلاً.
بالنسبة لأولئك الذين يهتمون بالرياضيات ويريدون الوصول إلى جوهر الرياضيات ، لماذا يكون الانحدار
المتدرج محددًا إلى هذا الحد؟
ما هي الصيغ التي تقود التدرجات وكيف يتم حسابها وما إلى ذلك؟
تحقق من المقال أو في الواقع الكتاب.
إنه كتاب مجاني على الإنترنت يسمى الشبكات العصبية والتعلم العميق من تأليف مايكل نيلسن 2015 كتاب.
كل شيء موجود على الإنترنت.
يمكنك المضي قدما والتحقق من ذلك هناك.
وهناك مرة أخرى ، مقدمة ناعمة جدًا للرياضيات.
ولكن بعد ذلك للرياضيات.
لكن الرياضيات ثقيلة جدًا مع تقدمك ، أثناء قراءة المقال.
ولكن في نفس الوقت ، فإنه يجعلك في هذا المزاج.
أعتقد أنه يشبه فصل الإحماء حيث تقوم بالإحماء أولاً بالرياضيات ثم تقفز إليها.
مهتم جدًا بالرياضيات ، فهذه هي المقالة التي نذهب إليها وهناك نذهب.
هذا باختصار الفرق بين النسب الكبير والانحدار العشوائي وكيفية العمل.
وفي هذه الملاحظة ، سنختتم درس اليوم.
أتطلع إلى رؤيتك في المرحلة التالية.
وحتى ذلك الحين ، استمتع بالتعلم العميق.