أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
أتمنى أن تكون متحمسًا بشأن البرنامج التعليمي اليوم لأننا نتخذ خطوة أولى في عالم
الذكاء الاصطناعي واليوم نتحدث عن التعلم المعزز.
إنه برنامج تعليمي مهم للغاية لأنه سيعزز كل شيء آخر سيحدث في هذه
الدورة.
لذلك دعونا نبدأ هنا.
لدينا متاهة صغيرة وهذه المتاهة هي تمثيلنا للبيئة وهذا ما سنتعامل معه في
هذه الدورة التدريبية.
سوف نتعامل مع بيئات معينة يعمل فيها ذكاءنا الاصطناعي.
ستتخذ إجراءات.
سيتطلع إلى التغلب على هذه البيئات ، وسيتطلع إلى الفوز في هذه البيئات.
وهنا لدينا وكيل.
الوكيل هو ذكاءنا الاصطناعي.
هذا هو الشخص أو هذا هو العقل الذي سيتنقل في هذه البيئات ويتعلم من الملاحظات
التي ستعطيها عقولهم من أجل أداء إجراءات معينة.
وبالتالي فإن الطريقة التي تعمل بها هي أن يقوم الوكيل بتنفيذ إجراءات معينة في هذه البيئة ، ونتيجة لذلك
، ستتغير الحالة التي يتواجد فيها.
لذلك قد يكون أبعد أو أقرب أو أكثر إلى اليسار ، أو أكثر إلى اليمين.
قد تحتوي على معلمات أخرى معينة تصف حالتها ، وستتغير تلك المعلمات.
لذا ستتغير الحالة بسبب الإجراء الذي ستتخذه ، وستحصل أيضًا على مكافآت بناءً على الإجراء.
لذلك في كل مرة تتخذ فيها إجراءً ، ستتغير الدولة وستحصل على مكافأة.
الآن ، ضع في اعتبارك أنه في بعض الأحيان قد يحدث أنه لن يغير الحالة ، ولن يغير
الإجراء الحالة ، أو لن تكون هناك مكافأة لاتخاذ هذا الإجراء في تلك الحالة المعينة.
لم يكن كذلك.
ولكن مع ذلك ، فإن الوكيل سوف يستمر في فعل ذلك ، وسوف يتخذ الإجراءات ، ويغير الحالة
، ويحصل على المكافآت ، ويغير الإجراءات ، ويتخذ الإجراءات ، ويغير الحالة ويحصل على المكافآت.
ومن خلال القيام بهذه العملية ، سيكون الأمر بمثابة التعرف على البيئة التي ستستكشف
البيئة ، وفهم الإجراءات التي تؤدي إلى مكافآت جيدة وحالات مواتية ، وما هي الإجراءات التي تؤدي إلى مكافآت
سيئة وحالات غير مواتية.
وهذا تمثيل مبسط للغاية لمشكلة عالمية للغاية.
لذا إذا فكرت في الأمر ، لا يجب أن تكون البيئات في الواقع مجرد متاهات.
لا يتعلق الأمر فقط بالخروج من متاهة أو العثور على كنز في متاهة.
يمكن أن تكون البيئة أي شيء إلى حد كبير في الحياة.
لذا تخيل أنك تستيقظ في الصباح وتطبخ عجة.
لذلك من أجل صنع العجة ، عليك أن تمر ببعض الخطوات.
تحتاج إلى الحصول على الملح ، والحصول على البيض ، والحصول على المقلاة ، وإشعال النار وما إلى ذلك.
وهذا يبدو وكأنه شيء روتيني عادي ، لكنه أصبح روتينيًا لأنك قمت به مرات
عديدة.
لكن في الواقع ، إنها بيئة تؤدي فيها بعض الإجراءات التي تقوم بها ، أو
تشعل النار ، أو تضع المقلاة على النار.
هل تضع كل البيض في المقلاة وتضع بعض الملح على البيض وأنت
تقلبه وهكذا.
فكما ترى ، هناك بعض الإجراءات والإجراءات التي يتم اتخاذها في حالات معينة ، وتلك الإجراءات تؤدي
إلى حالات أخرى معينة وأحيانًا مكافآت.
على سبيل المثال ، عندما تشعل النار وتنتظر ، انتظر ، انتظر ، انتظر ، انتظر ، أنت تقوم بعمل الانتظار ،
الانتظار ، الانتظار ، الانتظار لفترة طويلة.
ثم تضع البيض في المقلاة.
ستكون المكافآت سلبية للغاية.
سوف تحترق.
من ناحية أخرى ، إذا قمت بكل الإجراءات الصحيحة في الأوقات الصحيحة.
لذلك من المهم أيضًا أن نفهم أنه يجب اتخاذ الإجراءات في النقاط الصحيحة في الوقت المناسب.
لذلك ، على سبيل المثال ، قد لا يكون وضع الملح في المقلاة قبل وضع البيض فيها هو أفضل
فكرة.
قد ترغب في اتخاذ هذا الإجراء بوضع الملح في المقلاة بعد وضع البيض هناك.
حتى في دولة مختلفة.
لذلك من المهم تذكر ذلك.
وفي الوقت نفسه ، إذا اتخذت جميع الإجراءات الصحيحة بالترتيب الصحيح ، في
الحالات الصحيحة ، فقد تكون مكافأتك النهائية هي الحصول على عجة ، يمكنك تناولها.
وهذا نشاط أساسي جدًا في حياتك.
ولكن إذا فكرت في الأمر ، فهي في الواقع بيئة وأنت الوكيل الذي يمر بهذه البيئة ويؤدي
مهمة.
لا تحتاج حقًا إلى تعلم أي شيء لأنك تعرفه جيدًا بالفعل.
لكن في نفس الوقت يمكنك أن تتعلم ، ربما يمكنك أن تتعلم كيف تصنع عجة أفضل ، أو خاصة إذا
كنت أنت أول عجة تقوم بتحضيرها ، فمن المحتمل أنك ستفشلها.
لكنك ستتعلم من ذلك لأنك ستفهم ما هي الإجراءات التي تؤدي إلى الدول والمكافآت
وأي شيء آخر في الحياة.
على سبيل المثال ، حتى التداول في سوق الأسهم والشراء والبيع والحصول على ملاحظات
معينة من السوق بمعنى إرجاع عوائد إيجابية أو سلبية.
هذه أيضًا بيئة وأنت تشارك في تلك البيئة كوكيل.
قيادة السيارة هي أيضًا بيئة يمكنك من خلالها تدوير عجلة القيادة ، ويمكنك التسريع ، والكسر
وما إلى ذلك ، وتحصل على ردود فعل من البيئة.
وأحد هذه التعليقات هو أن الشرطي يعطيك غرامة إذا تجاوزت الحد الأقصى المسموح به أو المسموح به للسرعة
على هذا الطريق السريع.
وبالتالي من هناك تعلم أن هذا ليس شيئًا يجب القيام به لأنه يؤدي إلى
مكافأة سلبية.
لذلك لا يجب أن تكون المكافآت في نهاية العملية فقط.
يمكن أن يكونوا طوال الرحلة ، طوال العملية.
هذه بعض الأمثلة.
ومن وجهة نظري ، فإن أبسط طريقة للتفكير في التعلم المعزز هي مثل تدريب الكلب.
عندما تقوم بتدريب كلب ، فإنك تمنحه أوامر معينة.
وإذا امتثلت لتلك الأوامر ، فأنت تعطيها.
أنت تعطيه مثل البسكويت أو شيء من هذا القبيل.
إذا لم يطيع هذه الأوامر ، فأنت تخبره أنه كلب سيء أو أنك لا تعطيه مكافأة.
ومن خلال هذه العملية ، يتعلم ما هي الأوامر المعينة أو ما الذي يتعين عليه القيام به ، وما الإجراء الذي يتعين عليه اتخاذه
في حالات معينة.
والحالات هي الأوامر التي تعطيها إياها.
وبناءً على ذلك ، ستحصل على مكافآت معينة.
بالطبع ، في عالم الذكاء الاصطناعي ، ليس الأمر بهذا التعقيد.
لست مضطرًا لإعطاء مكافآت الذكاء الاصطناعي.
ليس عليك أن يكون معك كيس من البسكويت في كل مرة.
أنت فقط تعطيه زائد واحد أو ناقص واحد.
لذلك فهي ميزة كبيرة أنه في عالم الذكاء الاصطناعي أنشأنا أنظمة AIS بأنفسنا.
لذا فإن المكافآت التي نقدمها لهم ، إذا فكرت في الأمر ، فهذا رائع حقًا.
المكافآت التي تمنحها لهم ، فهي غير موجودة بالفعل.
إنها مجرد علامة زائد أو ناقص واحد أو واحد أو صفر أو شيء من هذا القبيل.
لذلك كل شيء غير موجود ، كل الأشياء الخيالية ، ولكن في نفس الوقت تؤدي إلى نتائج رائعة.
يمكننا إنشاء هذه الأشياء المدهشة ، تلك الذكاءات الاصطناعية المذهلة من خلال هذا الذكاء الاصطناعي المذهل
، فقط من خلال تقديم مكافآت غير موجودة بالفعل زائد وناقص واحد.
لا يكلفنا أي شيء.
ولكن في الوقت نفسه ، فإن هذه النتائج تشبه إلى حد بعيد العالم الحقيقي ونموذج الكلاب هذا.
لكن المكافآت هنا رقمية وعادلة.
ومع أخذ ذلك في الاعتبار ، يمكننا التحدث قليلاً عن الكلاب الآلية.
أنا أحب هذا المثال.
إذن هذه مجرد صورة عشوائية.
ليس بالضرورة أن يتم تدريب الكلب الآلي الدقيق من خلال التعلم المعزز ، وبعض الكلاب الآلية ، وخاصة
الكلاب الأكبر سنًا.
سيكون لديك خوارزمية هناك.
وهذا في الواقع مثال جيد على الاختلاف بين العوامل المبرمجة مسبقًا وعوامل التعلم المعزز.
لذلك يمكن أن يكون لديك كلب آلي مبرمج مسبقًا لكيفية المشي.
سيقول ذلك في الخوارزمية خلف الكلب في البرنامج ، دعنا نقول.
تمام.
لذلك من أجل المشي ، تحتاج إلى تحريك رجلك اليسرى إلى الأمام ، ثم رجلك اليسرى إلى الأمام ، ثم رجلك الخلفية اليمنى للأمام ، ثم قدمك الأمامية
، ثم رجلك اليمنى إلى الأمام ، ثم ظهرك ، ورجلك اليسرى للأمام وتكرار هذا الإجراء.
وهذا تعريف للمشي هو وظيفة داخل هذا الكلب.
ثم قد يكون لديه كيفية الجلوس ، وكيفية الوقوف وأشياء من هذا القبيل.
بينما في الكلب الآلي الذي يتم تدريبه من خلال التعلم المعزز ، ما يحدث هو أنك لا تقوم ببرمجته مسبقًا.
هذا هو المفهوم الأساسي لكل شيء هنا أنه ليس لديك أي خوارزمية بداخله والتي تم تشفيرها بشكل ثابت
في الكلب.
بدلاً من ذلك ، لديك ما سنناقشه في المستقبل.
لديك خوارزمية التعلم المعزز هذه ، والتي تُقال ، حسنًا ، لذلك الهدف هو الانتقال من مكانك الحالي
، وعدم معرفة أي شيء عن ذلك إلى نهاية الغرفة ، على سبيل المثال.
وإليك بعض الإجراءات التي يمكنك اتخاذها.
يمكنك تحريك قدمك اليمنى ، يمكنك تحريك قدمك اليسرى ، يمكنك تحريك قدمك الخلفية اليمنى ،
أو قدمك اليمنى أو اليسرى.
إذن هذه هي جميع درجات الحرية التي يمكنك القيام بها.
يمكنك تحريكهم هكذا.
يمكنك حقا مثل ذلك.
لذلك مثل قائمة الإجراءات التي يمكنك اتخاذها والمكافآت الخاصة بك في كل مرة تخطو فيها خطوة إلى الأمام ، تحصل
على زائد واحد.
في كل مرة تسقط فيها ، تحصل على ناقص وهذا كل ما في الأمر.
وبعد ذلك يتركون الكلب ويتركوه يكتشفه من تلقاء نفسه.
لذلك يحاول الكلب الوقوف ، ويسقط ، ويدرك أنه لا ينبغي أن أقوم بهذا الفعل الذي أدى إلى سقوطي لأنني في كل مرة أسقط
، أحصل على ناقص واحد ، وهو أمر غير جيد بالنسبة لي ، وكذلك يفعل الآخر العمل الذي
ساعده على الوقوف.
وبعد ذلك يكتشف أنه مجرد تجارب وتجارب وتجارب ، ويحاول الأشياء بشكل عشوائي ، ثم
يكتشف أنه يمكن أن يخطو خطوة للأمام بتحريك قدمه الأمامية اليمنى ويحصل على علامة زائد واحد ويدرك ،
أوه ، يجب أن أفعل المزيد من ذلك.
حسنًا ، رائع.
لذلك يتعلم الآن أنه يجب أن يفعل المزيد من هذا وأقل من ذلك.
ومن خلال عملية التعلم هذه ، فإنها تفهم بسرعة كبيرة كيف يمكنها المشي.
ويمكن لتلك الكلاب التي تكتشف ذلك بمفردها أن تمشي في بعض الأحيان بشكل أفضل من الكلاب المبرمجة
مسبقًا.
لأنه عندما نقوم ببرمجة الأشياء مسبقًا ، فإننا ننظر إلى الكلاب الحية الحقيقية و / أو نستخدم خيالنا الخاص في كيفية القيام
بذلك.
في حين أن كلب التعلم المعزز يمكنه تحسين الأشياء من تلقاء نفسه ولأنه ذكاء اصطناعي ، فإنه في بعض الأحيان يمكنه الحصول
على نتائج أفضل.
وبهذه الطريقة يمكنهم تدريب هذه الروبوتات نفس الكلاب الآلية على لعب كرة القدم.
لا يمكنك تدريب كلب عادي على اللعب في كرة القدم لأن الطريقة برمتها مختلفة.
وهو ليس شيئًا ربما يكون كلبًا عاديًا قد تم تدريبه على القيام به أو قام به في عملية
تطوره.
في حين أن كلاب روبوت التعلم المعززة يمكنها بسهولة فهم كيفية لعب كرة القدم طالما أنك تخبرهم ما
هي المكافآت ، وما هي الأهداف ، وما هي الإجراءات الممكنة التي يمكنهم اتخاذها.
هذه هي الطريقة التي يعمل بها التعلم المعزز بشكل عام.
هذه نظرة عامة سريعة على التعلم المعزز.
آمل أن يكون هذا قد جعلك متحمسًا جدًا لما سيحدث بعد ذلك لأنه عالم مختلف تمامًا مقارنة بالحلول
المبرمجة مسبقًا أو البرامج الثابتة ، والحلول المشفرة حيث تتوفر لديك الشروط ، إذا كانت هناك ظروف
أخرى.
هذا مختلف للغاية وسوف نتحدث أكثر عن ذلك.
في غضون ذلك ، لدينا بعض القراءة الإضافية لك.
لذا.
إذا كنت ترغب في الحصول على بعض المواد الداعمة ، فإليك مقالة رائعة يمكنك الاطلاع عليها والاطلاع عليها.
إنه يسمى التعلم المعزز البسيط باستخدام TensorFlow.
يتكون من عشرة أجزاء.
الرابط موجود هنا وستجد الرابط الكامل القابل للنقر عليه في الدورة التدريبية.
الموارد بواسطة آرثر جولياني.
إنها مقالة لعام 2016 ويمكنك متابعة هذه الدورة والحصول أيضًا على معلومات إضافية من تلك المقالة.
لكن ضع في اعتبارك أن هذه المقالة مع TensorFlow ، بينما في هذه الدورة التدريبية
نستخدم PyTorch ، لذلك تطبيق مختلف ولكن تطبيقات.
لكن في الوقت نفسه ، قد تلتقط بعض الأشياء هنا وهناك والتي قد تكمل تعلمك الذي سنفعله في هذه الدورة
التدريبية.
تتبع مقالات رائعة ، حتى لو كنت لا تفكر في متابعتها بالتأكيد.
ما زلت تحسبًا فقط ، تحقق من ذلك الجزء الأول ومعرفة ما إذا كنت ترغب في ذلك ، ومعرفة ما إذا كنت
ترغب في قراءته أكثر قليلاً.
وبعد ذلك لدينا محدد لهذا البرنامج التعليمي حول التعلم المعزز.
هناك ورقة بقلم ريتشارد ساتون ، بعنوان Reinforcement Learning One Introduction.
إنها ورقة عام 1998 ، قديمة جدًا.
ولكن في نفس الوقت ، يمكنك أن تتعلم القليل عن التعلم المعزز.
بعض الأمثلة مثل مثال العجة وأمثلة أخرى حيث يمكن تطبيق التعلم
المعزز.
ومجرد نظرة عامة على التعلم المعزز إذا كنت تبحث عن بعض القراءة الإضافية.
وفي هذه الملاحظة ، سنختتم هذا البرنامج التعليمي.
لا استطيع الانتظار لرؤيتك في المرة القادمة.
وحتى ذلك الحين ، استمتع.
أنا.