أهلا ومرحبا بكم مرة أخرى في دورة التعلم العميق.
هذا برنامج تعليمي إضافي للحديث عن أجهزة Mac اللينة ووظائف الانتروبيا المتقاطعة.
ليس من الضروري بنسبة 100٪ أن تمر عبر كل الأجزاء التي مررنا بها في الجزء الرئيسي
من هذا القسم حيث نتحدث عن الشبكات العصبية التلافيفية.
لكن في الوقت نفسه ، اعتقدت أنها ستكون إضافة جيدة لمجموعة المعرفة والمهارات الخاصة بك.
لذلك دعونا نمضي قدمًا ونبحث في هذه الوظائف.
لنبدأ ، ما لدينا هنا هو الشبكة العصبية التلافيفية التي أنشأناها في الجزء الرئيسي من القسم ، ثم
في النهاية تظهر بعض الاحتمالات للصفر. 95 لكلب و 0. 055 أو 5٪ للقطط.
بالنظر إلى تلك الصورة الموجودة على اليسار كمدخلات ، فهذا بعد إجراء القطار.
هذا هو في الواقع قيد التشغيل ويقوم بتصنيف صورة معينة.
والسؤال هنا هو ، كيف يتم جمع هاتين القيمتين حتى واحد؟
لأنه على حد علمنا ، من كل ما تعلمناه عن الشبكات العصبية الاصطناعية ، لا يوجد
ما يقال أن هاتين العصبيتين النهائيتين متصلتان ببعضهما البعض.
فكيف سيعرفون ما هي قيمة كيف يعرف كل منهم ، ما هي قيمة الآخر ، وكيف
يعرفون أن يضيفوا قيمهم إلى قيمة واحدة؟
حسنًا ، الجواب هو أنهم لن يكونوا في النسخة الكلاسيكية من الشبكة العصبية الاصطناعية.
والطريقة الوحيدة التي يقومون بها هي أننا نقدم وظيفة خاصة تسمى دالة soft max من أجل مساعدتنا
في الخروج من هذا الموقف.
عادة ما يحدث هو أن الخلايا العصبية في الكلاب والقطط سيكون لها أي نوع من القيم الحقيقية.
لا يجب أن يكونوا من الفئة "ب" ، ولا يتعين عليهم إضافة ما يصل إلى واحد.
ولكن بعد ذلك سنقوم بتطبيق دالة soft max ، والتي تمت كتابتها هناك في الأعلى ، وهذا
سيجعل هذه القيم بين صفر وواحد وستجعلها تضاف إلى واحد.
وللاقتباس من ويكيبيديا ، فإن دالة المصدر القصوى أو الوظيفة الأسية المعيارية هي تعميم للوظيفة
اللوجيستية التي تقتبس من دون اقتباس يسحق متجه k الأبعاد للقيم الحقيقية التعسفية إلى متجه k الأبعاد
للقيم الحقيقية في النطاق من 0 إلى 1 التي تضيف ما يصل إلى واحد.
لذلك فهو في الأساس يفعل ما نريده بالضبط.
إنها تجعل هذه القيم بين صفر وواحد وتتأكد من أنها تضيف ما يصل إلى واحد.
والطريقة التي يعمل بها هي أن هذا ممكن.
هل هذا لأنه في الأسفل هنا ، يمكنك أن ترى أن هناك مجموعًا.
لذلك يأخذ الأس ويضعه في قوة Z ويضيفه.
إذن Z واحد هو اثنان في جميع فئاتك ، كل هذه القيم.
وهذا هو تطبيعك يحدث هناك.
هذه هي الطريقة التي تعمل بها وظيفة soft max.
ومن المنطقي إدخال وظيفة soft max في الشبكات العصبية التلافيفية ، لأنه سيكون
من الغريب أن يكون لديك فئتان محتملتان من كلب وقطة ، وبالنسبة لفئة الكلاب لديك احتمال
80٪ ، وبالنسبة للقطط فئة لديك احتمال 45٪.
حق؟
إنه ليس له معنى من هذا القبيل.
وبالتالي ، يكون الأمر أفضل بكثير عندما تقوم بإدخال هذه الوظيفة off max وهذا ما
ستجده يحدث معظم الوقت في الشبكات العصبية التلافيفية.
الآن ، الشيء الآخر هو أن وظيفة soft max تأتي جنبًا إلى جنب مع شيء يسمى وظيفة الانتروبيا
المتقاطعة.
وهو أمر مفيد للغاية بالنسبة لنا.
لنلق نظرة على الصيغة أولًا.
هذا ما تبدو عليه وظيفة الانتروبيا المتقاطعة.
سنستخدم بالفعل عملية حسابية مختلفة.
سنستخدم هذا التمثيل للدخول المتقاطع ، لكن النتيجة هي نفسها في الأساس.
هذا فقط أسهل في الحساب.
وما أعلم أن هذا قد يبدو غير مرتبط بأي شيء في الوقت الحالي ، مجرد صيغ على شاشتك ، ولكن سيكون هناك
بعض القراءة الإضافية الموصى بها في نهاية هذا القسم.
لذلك لا تقلق إذا لم تكن تعلم الرياضيات ، مثل إذا لم نقم بشرح الرياضيات الآن.
لكن النقطة هنا هي أن ما هو الانتروبيا المتقاطعة؟
حسنًا ، دالة إنتروبيا متقاطعة.
تذكر كيف كنا في السابق في الشبكات العصبية الاصطناعية ، كانت لدينا وظيفة تسمى دالة الخطأ التربيعي
المتوسط ، والتي استخدمناها كدالة التكلفة لتقييم أداء شبكتنا.
وكان هدفنا هو تقليل MSI من أجل تحسين أداء شبكتنا.
حسنًا ، كانت هذه دالة التكلفة ثم هناك.
وفي الشبكات العصبية التلافيفية ، لا يزال بإمكاننا استخدام MSI ، ولكن تبين أن الخيار الأفضل في الشبكات العصبية
التلافيفية بعد تطبيق وظيفة max soft هو وظيفة الانتروبيا المتقاطعة.
وفي الشبكات العصبية التلافيفية ، عندما تقوم بتطبيق وظائف الانتروبيا المتقاطعة ، لم تعد تكلفتها تسمى
وظيفة التكلفة ، إنها تسمى وظيفة الخسارة ، وهي متشابهة جدًا.
إنها مجرد اختلافات طفيفة في المصطلحات وتختلف قليلاً فيما تعنيه.
لكن لأغراضنا ، إنه نفس الشيء إلى حد كبير و.
ما يحدث هو وظيفة الخسارة ، مرة أخرى ، شيء نريد تقليله من أجل تعظيم
أداء شبكتنا.
لذلك دعونا نلقي نظرة على مثال سريع حول كيفية تطبيق هذه الوظيفة.
لنفترض أننا وضعنا صورة لكلب في شبكتنا.
القيمة المتوقعة للكلب هي 0. 9 وهذا أثناء التدريب.
لذلك نحن نعلم أننا نعرف التسمية التي تشير إلى الكلب.
إذن القيمة التنبؤية هي 0. 9.
القيمة التنبؤية للقط هي 0. 1.
ثم هنا لدينا التسمية.
لذلك نحن نعلم أنه كلب لأن هذا تدريب وآخر للكلاب ، صفر للقطط.
وهكذا في هذه الحالة ، تحتاج إلى استخدام.
يجب عليك إدخال هذه الأرقام في معادلة الانتروبيا المتقاطعة.
إذن كيف تفعل ذلك هل القيم الموجودة على اليسار تذهب إلى المتغير؟
س الذي يوجد تحت اللوغاريتم في الجانب الأيمن والقيم من اليمين ستنتقل إلى P ولذا
فمن المهم أن تتذكر أي واحد يذهب إلى هناك لأنه إذا أخطأت في فهمه ، فأنت
لا تريد أن تأخذ لوغاريتم من a ، من قيمة صفرية أو لوغاريتم من واحد.
لذا فأنت تريد فقط توصيلها ، وتأكد من توصيلها في الأماكن الصحيحة ثم تضيفها بشكل أساسي.
هذه هي الطريقة التي يعمل بها الإدخال المتقاطع.
وسننظر الآن في الواقع سنلقي نظرة على مثال محدد خطوة بخطوة لتطبيق هذه الوظيفة في
الحياة الواقعية.
وسيكون من المنطقي نوعًا ما ما هو الانتروبيا المتقاطعة.
وسيكون هدفي أقل في هذا الدرس هو أن أجعلك أكثر راحة مع الإنتروبيا المتقاطعة
، لأنها يمكن أن تبدو معقدة للغاية ولا يقصد بها التورية ، يمكن أن تحب الشبكات العصبية التلافيفية ، يمكن أن
تبدو معقدة للغاية.
الصحيح.
مخيف ، لكنه ليس كذلك.
هذا هو بيت القصيد.
لذلك دعونا نمضي قدمًا ونطبقه فقط حتى نعرف أنه ليس مخيفًا.
إذن ها هي الشبكة العصبية.
وهذا سيوضح أيضًا سبب قيامنا بذلك ، ولماذا ننظر إلى وظائف الفصل المختلفة.
إذاً الشبكة العصبية الأولى ، الشبكة العصبية الثانية ، لنفترض
أن لدينا شبكتين عصبيتين ثم مررنا صورة لكلب ونعلم أن هذا كلب وليس قطة.
ثم لدينا صورة أخرى لقط هذه المرة حيوان.
وهي قطة وليست كلب.
وهنا لدينا حيوان غريب المظهر ، وهو في الحقيقة كلب وليس قطة ، إذا نظرت
عن كثب.
لذلك نريد أن نرى ما كانت شبكاتنا العصبية.
سيتنبأ في الحالة الأولى شبكة عصبية واحدة 90٪ كلب 10٪ قطة.
صحيح.
الشبكة العصبية الثانية 60٪ كلب 40٪ قطة ما زالت صحيحة.
أسوأ لكن صحيح.
الخيار الثاني أول شبكة عصبية 10٪ قطة كلب 90٪ قطة صحيحة.
وأنت تتحدث فقط عن كلبين بنسبة 30٪ و 70٪ قطة.
أسوأ ، لكنه لا يزال صحيحًا.
وأخيرًا ، الشبكة العصبية واحدة في صورة ثلاثة شبكة عصبية واحدة بنسبة 40٪.
الكلب 60٪ قطة غير صحيحة الشبكة العصبية رقم 2 10٪ كلب 90٪ قطة غير صحيحة وأسوأ.
المفتاح هنا هو أنه على الرغم من أن كلتا الشبكتين أخطأتا في الصورة الأخيرة ، فمن خلال الصور الثلاث ، الشبكة العصبية
، كانت إحداهما تتفوق على الشبكة العصبية الثانية.
لذا ، حتى في الحالة الأخيرة ، كان من الواضح أنها أعطت كلبًا مثل فرصة 40٪ على عكس الشبكة العصبية لإعطاء الكلب
فرصة بنسبة 10٪ فقط.
لذا فإن الشبكة العصبية الأولى تتفوق في الأداء عبر اللوحة عند مقارنتها بالشبكة العصبية الثانية.
والآن سنلقي نظرة على الوظائف التي يمكنهم قياس الأداء التي تحدثنا عنها نوعًا
ما بالفعل.
لذلك دعونا نضع هذه في جدول.
إذاً هناك شبكة عصبية واحدة.
لديك رقم الصف ، لذلك هذا هو رقم الصورة.
ثم بالنسبة للصورة الأولى ، لديك ما توقعته ، 90٪ كلب ، 10٪ قطة.
هذه هي متغيرات القبعة ومن ثم يكون لديك القيم الفعلية.
لذا.
الكلب صحيح.
القط غير صحيح.
نفس الشيء بالنسبة للصورة رقم 2 ونفس الشيء للصورة رقم ثلاثة ونفس الشيء بالنسبة للشبكة العصبية رقم
2.
إذاً الكلب 60٪ ، القط 40٪ في الصورة الأولى ، هذا ما توقعه.
الإجابة الصحيحة هي كلب وليس قطة وهكذا.
والآن دعونا نرى ما هي الأخطاء التي يمكن أن نحصل عليها بالفعل.
إذن ما هي الأخطاء التي يمكننا حسابها لتقدير الأداء ومراقبة أداء شبكاتنا.
لذا فإن أحد أنواع الأخطاء يسمى خطأ التصنيف ، وهذا في الأساس مجرد طرح سؤال ، هل فهمته بشكل
صحيح أم لا؟
بغض النظر عن الاحتمالات ، هل فهمت الأمر بشكل صحيح أم أنك لم تفهمه بشكل صحيح؟
لذلك في كلتا الحالتين ، لكل من الشبكات العصبية ، كل منهما حصل على واحدة أو نحو ذلك.
هذا كم أخطأوا.
لذا فقد حصلوا على واحد من كل ثلاثة خطأ.
لذلك معدل الخطأ 33٪ للشبكة العصبية الأولى و 33٪ معدل الخطأ للشبكة العصبية الثانية.
ومن وجهة النظر هذه ، تعمل كلتا الشبكتين العصبيتين على نفس المستوى.
لكننا نعلم أن هذا ليس صحيحًا.
نحن نعلم أن الشبكة العصبية الأولى تتفوق على الشبكة العصبية الثانية.
هذا هو السبب في أن خطأ التصنيف ليس مقياسًا جيدًا ، خاصةً لأغراض الانتشار العكسي يعني
اختلاف الخطأ التربيعي.
وبالمناسبة ، قمت بهذه الحسابات في Excel.
أنا فقط لا أريد أن أتحملهم معهم.
ولكن يمكنك الجلوس تمامًا والقيام بها على ورقة أو في Excel.
هذه حسابات مباشرة للغاية.
فقط خذ مجموع الأخطاء التربيعية ثم خذ المتوسط عبر ملاحظاتك.
وهذا كل ما في الأمر.
لذلك بالنسبة للشبكة العصبية ، تحصل على 25٪.
للشبكة العصبية ، اثنان ، تحصل على 71٪.
معدلات الخطأ.
لذا كما ترون ، هذا أكثر دقة.
يخبرنا أن الشبكة العصبية واحدة لديها معدل خطأ أقل بكثير من الشبكة العصبية الثانية ثم تعبر الإنتروبيا
مرة أخرى.
لقد رأينا الصيغة.
يمكنك أيضًا حساب هذا.
هذا في الواقع أسهل في الحساب من متوسط الخطأ التربيعي.
عبر الانتروبيا عبر الخطأ يمنحك 38٪ للشبكة العصبية 1 و 1. 06 للشبكة العصبية الثانية.
لذلك يمكنك أن ترى النتائج مختلفة قليلاً عندما تنظر إليها بهذه الطريقة.
عندما تنظر إلى متوسط الخطأ التربيعي والإنتروبيا المتقاطعة ، فإن السؤال عن سبب استخدام الانتروبيا المتقاطعة
على الخطأ التربيعي المتوسط لا يتعلق فقط بنوع الأرقام التي يبصقونها.
كانت هذه الحسابات فقط لتظهر لك أن هذا هو كل ما يمكن القيام به.
يمكنك فقط القيام بذلك على ورقة.
إنها ليست هذه ليست رياضيات شديدة.
هذه أشياء جميلة وبسيطة ومباشرة.
لكن السؤال لماذا قد تستخدم يعني إنتروبيا متقاطعة على خطأ تربيع متوسط؟
إنه سؤال جيد جدًا يجب طرحه.
أنا سعيد لأنك سألت ذلك.
الجواب على ذلك هو أن هناك العديد من مزايا الانتروبيا المتقاطعة على الخطأ التربيعي المتوسط ، وهي غير
واضحة.
ولذا سأذكر الزوجين ، ولكن بعد ذلك سأخبرك أين يمكنك معرفة المزيد.
إذن أحدها هو أنه إذا ، على سبيل المثال ، كنت في بداية الانتشار الخلفي ، فإن قيمة مخرجاتك
صغيرة جدًا جدًا جدًا جدًا وصغيرة جدًا.
لذلك فهي أصغر بكثير من القيمة الفعلية التي تريدها.
ثم في البداية ، سيكون التدرج في نزولك منخفضًا جدًا جدًا ولن يكون كافيًا.
سيكون من الصعب جدًا على الشبكة العصبية البدء في فعل شيء ما والبدء في التحرك والبدء في
تعديل هذه الأوزان والبدء في التحرك في الاتجاه الصحيح.
بينما عندما تستخدم شيئًا مثل الانتروبيا المتقاطعة لأنها تحتوي على هذا اللوغاريتم
، فإنها في الواقع تساعد الشبكة على تقييم خطأ صغير كهذا والقيام بشيء حيال ذلك.
إليك كيفية التفكير في الأمر.
لذلك دعنا نقول مرة أخرى ، هذا هو نهج بديهي للغاية.
هناك ، سيكون هناك رابط للرياضيات ويمكنك اشتقاق هذه الأشياء من خلال الرياضيات بمزيد
من التفصيل ، ولكن بطريقة بديهية للغاية.
دعنا نقول مثلك ، النتيجة التي تريدها هي واحدة.
والآن أنت في 1/1000000 من واحد ، أليس كذلك؟
أ 0. 000001.
وبعد ذلك تتحسن في المرة القادمة التي تقوم فيها بتحسين نتائجك من واحد إلى 1،000.
ومن حيث إذا قمت بحساب مربع الخطأ ، فأنت تقوم فقط بطرح واحدة من الأخرى ، أو بشكل أساسي في كل حالة تقوم بحساب
الخطأ التربيعي وسترى أن مربع الخطأ هو عندما تقارن حالة واحدة
مقابل الأخرى.
لم يتغير كثيرا.
لم تقم بتحسين شبكتك كثيرًا عندما تنظر إلى متوسط الخطأ التربيعي.
ولكن إذا كنت تنظر إلى الانتروبيا المتقاطعة لأنك تأخذ لوغاريتمًا ثم تقارن الاثنين
بتقسيم أحدهما على الآخر ، فسترى أنك قمت بالفعل بتحسين شبكتك بشكل ملحوظ بحيث تقفز من
مليون إلى الألف من حيث متوسط الخطأ التربيعي سيكون منخفضًا جدًا.
سيكون غير مهم ، ولن يوجه عملية تعزيز التدرج أو انتشار ظهرك في الاتجاه
الصحيح.
سوف يوجهه في الاتجاه الصحيح ، لكنه سيكون بمثابة توجيه بطيء للغاية.
لن يكون لديها ما يكفي من القوة.
بينما إذا قمت بذلك من خلال الانتروبيا المتقاطعة ، فإن الانتروبيا المتقاطعة
ستفهم ذلك ، على الرغم من أن هذه تعديلات صغيرة جدًا تُحدث تغييرًا طفيفًا من حيث القيمة المطلقة ، من الناحية النسبية
، إنه تحسن كبير ونحن بالتأكيد نذهب في الاتجاه الصحيح.
دعونا نواصل السير بهذه الطريقة.
لذا فإن الانتروبيا المتقاطعة ستساعد شبكتك العصبية على الوصول إلى اليمين والوصول إلى الحالة المثلى.
إنها طريقة أفضل للشبكة العصبية للوصول إلى الحالة المثلى.
لكن ضع في اعتبارك أن هذا لا يعمل إلا عندما تكون الانتروبيا المتقاطعة هي الطريقة المفضلة فقط للتصنيف.
لذا إذا كنت تتحدث عن أشياء مثل الانحدار ، مثل ما كان لدينا في الشبكات العصبية الاصطناعية
، فإنك تفضل الذهاب معي والخطأ التربيعي.
في حين أن الانتروبيا المتقاطعة أفضل للتصنيف ، ومرة أخرى يتعلق الأمر بحقيقة أننا نستخدم وظيفة
mac soft.
هذا نوع من التفسير البديهي لذلك.
مكان جيد لمعرفة المزيد عن ذلك.
إذا كنت مهتمًا حقًا ، فلماذا نستخدم الإنتروبيا مقابل الخطأ التربيعي المتوسط؟
دعا فيديو Google لجيفري هينتون وظيفة soft max output وهو يشرحها.
ممتاز.
وكما تعلم ، كونك الأب الروحي للتعلم العميق ، فمن يمكنه شرح ذلك بشكل أفضل على أي حال.
وبالمناسبة ، أي فيديو لجيفري هينتون ذهبي.
لديه موهبة كبيرة في شرح الأشياء.
على أي حال ، هذا هو الحد الأقصى الناعم مقابل الانتروبيا المتقاطعة.
آمل أن يمنحك هذا نوعًا من الفهم الحدسي لما يحدث هنا ، ولكن الأهم من ذلك
، أنك لا تتأخر عن مصطلح الانتروبيا المتقاطعة ، لأن Adlon سيذكرها في الدروس العملية.
وأردت التأكد من استعدادك لذلك.
إنها مجرد طريقة أخرى لحساب وظيفة الخسارة وطريقة أخرى لتحسين شبكتك
، وهي مصممة خصيصًا لمشاكل التصنيف وبالتالي الشبكات العصبية التلافيفية
وتأتي جنبًا إلى جنب مع وظيفة soft max.
قراءة إضافية ، إذا كنت ترغب في الحصول على مقدمة خفيفة في الانتروبيا المتقاطعة ، إذا كنت مهتمًا بالانتروبيا المتقاطعة
أكثر قليلاً.
بالطبع ، هناك مقال جيد يجب التحقق منه يسمى "مقدمة ودية لخسارة الانتروبيا المتقاطعة" بواسطة
Rob de Pietro.
2016 هنا الرابط أدناه.
جميل جدا جدا.
ناعم جدا.
لا شئ؟
لا لا.
الرياضيات المعقدة للغاية.
القياس الجيد هو الأمثلة الجيدة.
استخدم تشبيهات السيارات وأنت تنظر إلى السيارات وتتحدث عن المعلومات والقطع والقيود.
وكيف ترميز هذا؟
كيف تقوم بترميز ذلك؟
إنها مقالة جيدة لإلقاء نظرة عليها.
وسنقدم لك نظرة عامة جيدة على الانتروبيا المتقاطعة.
مثل من وجهة نظر تمهيدية ، إذا كنت تريد البحث في الرياضيات الثقيلة مثل ما تراه
هنا ، فراجع مقالًا أو مدونة عن طريق كيفية تنفيذ الشبكة العصبية.
Intermezzo two لذا فإن intermezzo مثل شيء وسيط ، مثل متقطع في الداخل ، مثل عندما
تذهب إلى مسرح ويكون لديك مثل الفاصل بين الجزء الأول والجزء الثاني.
لذلك لأنه يحب أن يمر بكل هذه الخطوات ثم بعد ذلك يقول ، أوه ، يجب أن
أشرح هذا أولاً.
ونعم ، ولهذا السبب يطلق عليه Intermezzo.
لا يوجد سبب آخر ، على حد علمي.
المقال بقلم بيتر رولينز 2016 أيضًا.
لذلك كلاهما حديثان جدًا.
ونعم ، تحقق من هذا إذا كنت ترغب في البحث في الرياضيات وراء الانتروبيا المتقاطعة ، خلف الحد الأقصى الناعم والانتروبيا المتقاطعة
في هذه المقالة في الواقع.
لذا ها نحن ذا.
هذا كل ما في هذين الأمرين.
آمل أن أكون قادرًا على إضافة بعض الوضوح الإضافي ونتمنى لك التوفيق في ذلك.
سيكون الأمر ممتعًا والاستمتاع بالبرامج التعليمية العملية.
سأراك في المرة القادمة.
حتى ذلك الحين ، استمتع بالتعلم العميق.