أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
أتمنى أن تكون مستمتعا بالدورة حتى الآن.
واليوم نتحدث عن سياسات اختيار الإجراءات.
حسنا.
دعونا نتعمق فيه مباشرة.
في السابق ، تحدثنا عن إضافة شبكة عصبية لتعلمنا البسيط.
وحتى الآن نحن ندخل في التعلم العميق.
لقد تحدثنا عن جزء التعلم قليلاً ، بما في ذلك إضافة بعض العناصر إليه.
واليوم نتحدث عن هذا الجزء.
نحن نتحدث عن التمثيل.
لذلك دعونا نلقي نظرة.
حسنًا ، لقد حصلنا هنا على ما ناقشناه حول التمثيل أنه بمجرد إدخال القيم أو المعلمات أو المتجه الذي يصف
الحالة التي يتواجد فيها الوكيل حاليًا ، في تلك البيئة ، فهذا يعني ، بعد كل شيء ، أن
التعلم قد تم أو حتى قبل أن يتم التعلم.
في الأساس نحصل على جميع القيم الأساسية.
لذلك نحن لسنا مهتمين بالتعلم الآن.
نحن مهتمون بالتمثيل.
لذا بمجرد أن نحصل على قيم الإشارات هذه ، كيف نفهم أيها نحتاج إلى استخدامه؟
حسنًا ، إذا فكرت في الأمر ، فإن قيم التلميح هي ببساطة هذه التنبؤات لقيم المكعب.
كما فعلنا في خوارزمية التعلم البسيطة ، ماذا فعلنا؟
لقد اخترنا للتو الأفضل ، مع أعلى قيمة جديلة.
بمجرد أن نحصل على الشخص الذي يحتوي على أعلى قيمة ، فإننا نتخذ هذا الإجراء فقط لأنه يجلب لنا
أعلى قيمة.
ونحن نعلم ذلك.
يتم احتساب قيمة Q على أنها المكافأة الفورية التي نتوقع الحصول عليها ، بالإضافة إلى العامل مضروبًا في قيمة
الحالة التالية.
وهي عملية حسابية متكررة.
اذا لما لا؟
لماذا لا تأخذ أفضل قيمة لقائمة الانتظار؟
وهذا نوع من نهاية الأمر.
لكن كما ترون هنا ، الأمر ليس بهذه البساطة.
نحن هنا نستخدم وظيفة soft max وهذا هو المكان الذي سنتحدث فيه عن سياسات اختيار الإجراء.
لذلك هنا ، في الواقع ، ليس لدينا مجرد وظيفة ذاتية بحد أقصى.
يمكن أن يكون لدينا سياسات مختلفة لاختيار الإجراءات.
على سبيل المثال ، لدينا epsilon greedy ، و epsilon soft ، ولدينا soft max وهي تشبه سياسات
اختيار الإجراء الأكثر شيوعًا.
بالطبع، هناك آخرون.
على سبيل المثال ، أبسط واحد هو هنا سياسة اختيار إجراء بسيطة للغاية.
ما عليك سوى اختيار الأفضل ، الذي يحتوي على أعلى قيمة Q.
لكن لماذا لا تطير سياسة العمل هذه؟
ولماذا لدينا أنواع مختلفة من سياسة العمل وسياسات اختيار الإجراء؟
حسنًا ، كل هذا يتلخص في الاستكشاف مقابل الاستغلال ، وهذا هو جوهر التعلم المعزز ، لأننا تحدثنا
بالفعل عن هذا قليلاً ، أن وكيلك ، عندما يعمل في بيئة ، قد يتنبأ
بقيم أساسية معينة ، والذي قد يكون جيدًا ، وقد يكون رائعًا وقد لا يكون
كذلك.
قد يتضح أن هذه القيم سيئة وسنضطر إلى الاستكشاف.
لذلك إذا توقعنا ، على سبيل المثال ، في هذه الحالة ، أن Q اثنان هو الأفضل
، ثم يأخذك اثنان ، ويتخذ الإجراء الثاني ، ومن هنا يأخذ الإجراء الثاني ثم يحصل ، مكافأة سلبية.
ثم تجبر البيئة الوكيل على الذهاب والاستكشاف لأنه سيتعلم الآن ، أوه ، في الواقع
اعتقدت أن Q2 سيكون جيدًا جدًا ، لكن اتضح أنه سيء للغاية.
لذلك كانت النتيجة سيئة للغاية.
لذلك ستقوم الشبكة بتحديث نفسها.
لذلك في المرة القادمة التي يكون فيها في هذه الحالة ، ربما لا يزال بإمكانه الاختيار.
س 2 ، إذا كان الأمر كذلك ، كما تعلم ، كما لو كان مواتيا للغاية.
لذلك قد تعتقد أن هذا مثل ، كما تعلم ، قد يحتاج إلى بضع مرات من العقوبات أو العقوبات
من أجل معرفة أن Q2 هو إجراء سيئ.
لكن ربما سيتعلم ذلك قريبًا.
حسنًا ، سأتخذ إجراءً مختلفًا.
سأتخذ هذا الإجراء لأنه يحتوي الآن على أفضل قيمة Q.
لذلك في بعض الأحيان تجبر البيئة الوكيل على اتخاذ إجراءات مختلفة لاستكشاف إجراءات مختلفة ، ولكن
في بعض الأحيان قد يجد الوكيل نفسه عالقًا في حد أقصى محلي.
قد تجد أنه يتبع من خلال استكشافه الأولي.
لقد وجدت ، أوه ، هذا عمل رائع جدًا ، كما لو أنني سأذهب هنا وهذا عمل رائع
جدًا.
لكن المشكلة هي أنه يعتقد أنه أفضل إجراء لمجرد أنه لم يتم استكشافه.
لقد تم استكشافه لأعلى سوف يستكشف الاتجاه إلى اليسار ، مستكشفه يمينًا ، لكنه
لم يستكشف النزول من تلك الحالة المحددة التي يوجد بها.
والآن بعد أن أصبح الأمر منحازًا إلى حد ما تجاه هذا الإجراء ، فإنه يعتقد أنه عمل جيد سيستمر في القيام
به ، وسيستمر في الحصول عليه.
سيستمر في اتخاذ هذا الإجراء وسيستمر في الحصول على مكافأة جيدة.
ولكن ماذا لو كان هذا الإجراء سيكون أفضل؟
إذا كان هذا الإجراء سيكون أفضل بكثير لدرجة أنه إذا كان على علم بهذا الإجراء ، فإنه سيتحول بالفعل إلى
هذا الإجراء.
ولكن نظرًا لتعثرها في الحد الأقصى المحلي والحصول على هذه المكافآت الجيدة ،
فسيتم تعزيزها فقط.
إنها ستواصل تعزيز نفسها أو ستعزز البيئة أن هذا إجراء جيد
يجب اتخاذه.
داوم على فعل ذلك.
لكن الحقيقة هي أن هناك هذا الإجراء الآخر الذي لم يتم العثور عليه بعد أو لم يستكشفه حتى الآن وكان من الممكن
أن يكون أفضل بكثير.
ولذا فإن ما نريد القيام به هو أننا نريد التوصل إلى سياسة اختيار الإجراء التي تسمح لوكيلنا
بعدم الوقوع في حد أقصى محلي.
نعم ، من المهم الاستمرار في القيام بالأفعال الجيدة.
هذا هو جزء الاستغلال.
نريد استغلال ما وجدناه ، لكن في نفس الوقت ما زلنا نريد استكشافه.
لا نريد التوقف عن الاستكشاف.
يبدو الأمر كما في الحياة أنك لا تريد أبدًا التوقف عن التعلم.
تتوقف عن التعلم ، تموت.
هذا.
هناك قول كهذا عندما لا تكبر ، أنت تحتضر أو شيء من هذا القبيل.
لذلك تريد الاستمرار في التعلم ويريد وكيلك مواصلة التعلم.
وهنا يأتي دور سياسات اختيار الإجراءات هذه.
لدينا ثلاثة مدرجة هنا.
أولها إبسيلون جريدي.
انها بسيطة جدا.
يبدو الأمر معقدًا جدًا بمعنى أنه قد حصل على اسم رائع وعادة ما تكون الأشياء التي تحمل أسماء رائعة
معقدة.
في الواقع ليس كذلك.
لذا فإن ما تفعله بشكل أساسي هو أنها ستختار أفضل قيمة Q و epsilon مثل epsilon Greek.
قد تسمعه في أماكن أخرى.
إنها تمامًا مثل سياسة الاختيار.
لذلك في هذه الحالة ، نستخدمها للاختيار من بين قيمنا Q ، عاطلة عن العمل.
لذلك ستختار الشخص الذي يحتوي على أعلى قيمة Q طوال الوقت باستثناء نسبة إبسيلون في المائة من الوقت.
لذلك ، على سبيل المثال ، إذا قمت بتعيين Epsilon على 10٪ ، فستذهب إلى 0 أو 0. 1.
ثم يتم اختيار 10٪ من الوقت بشكل عشوائي.
لذلك ، 90٪ من الوقت ما زلت تختار أفضل إجراء بناءً على أعلى قيمة Q.
ولكن 10٪ من الوقت سيختارون زيًا عشوائيًا للعمل ، والذي سيتم اتخاذ إجراء
بشكل عشوائي تمامًا.
أو إذا قمت بتعيين epsilon على 0. 540. 05 ، هذا يعني أن 95٪ من الوقت سيتخذ الوكيل
الإجراء بأعلى قيمة.
لكن 5٪ من الوقت ، لا يزال يتم الاختيار في إجراء عشوائي.
لذلك سوف يذهب هناك ويستكشف.
لذا فإن إبسيلون سوفت متشابهة جدًا.
أوه ، بالمناسبة ، هذا نوع من مثل سبب تسميته Epsilon greedy ، لأنك تختار الجشع الإجراء
، العمل الجيد ، باستثناء نسبة إبسيلون الصغيرة من الوقت.
لذلك كلما كان إبسيلون منخفضًا ، كلما كان إبسيلون أقل ، كلما قمت باختيار هذا النوع من الحركة
بجشع أكبر.
هذا هو العمل الأمثل.
وكلما قللت من رحلتك ، قلت فرصك في المغادرة للاستكشاف.
أما إبسيلون سوفت فهو عكس ذلك.
لذا فأنت تختار بشكل عشوائي ، فأنت تختار واحدًا ناقصًا نسبة إبسيلون من الوقت.
لذلك إذا كان إبسيلون الخاص بك مثل 0. 1 ، إذن 10٪ ، ثم 10٪ فقط من الوقت الذي تقوم فيه بهذا الإجراء و 90٪
من الوقت الذي تختار فيه إجراء عشوائي.
خوارزميات مقلوبة للغاية وبسيطة جدًا وخوارزميات soft max تشبه نوعًا ما الخطوة التالية من أو إنها نسخة أكثر
تقدمًا ، كما يمكنني القول ، من Epsilon من خوارزمية Epsilon الجشعة ، على الرغم من أن
كلاهما يتمتع بالجدارة وكلاهما الأماكن التي سنستخدمها soft max في الترميز ومجموعة الأشياء العملية.
لهذا السبب سنتحدث بمزيد من التفاصيل حول Soft Max.
لذلك دعونا نلقي نظرة.
لذلك دعنا ننتقل إلى Soft Max.
نأمل أن يكون واضحًا جدًا بشأن مكونات إبسيلون.
إنها خوارزمية واضحة ومباشرة.
حدد هذا في معظم الأحيان باستثناء الذهاب والاستكشاف في بعض الأحيان.
والآن نرى أيضًا سبب أهمية القيام بهذا الاستكشاف حتى لا ينتهي بنا المطاف في الحدود القصوى المحلية
في عملية التحسين الخاصة بنا.
لذا الآن سوف نتحدث أكثر قليلاً عن سوفت ماكس.
يوجد برنامج تعليمي عن Soft Max في نهاية الدورة التدريبية في.
أعتقد أنه ملحق رقم 2 حيث نتحدث عن المفهوم الكامن وراء Soft Max.
سأقوم بالتحديث قليلاً هنا.
لذلك كانوا يتحدثون عن الشبكات العصبية التلافيفية.
وبالمناسبة ، سنقوم جميعًا بتغطية تلافيفي ، فنحن لا نغطي الشبكات العصبية
التلافيفية في هذا القسم من الدورة.
في هذا القسم ، ما زلنا نستخدم المتجه.
لكن في القسم التالي من الدورة التدريبية ، عندما نقوم بإنشاء ذكاء اصطناعي للعب الهلاك ، سنستخدم الشبكات
العصبية التلافيفية.
لذلك قد يكون من المفيد لك أن تنظر إلى الشبكات العصبية التلافيفية ثم تأخذ وظيفة soft max.
أو يمكنك معرفة المزيد عن SOF Max بعد أن تأخذ الشبكات العصبية التلافيفية و X للدورة
في وقت لاحق.
ولكن إليك تحديث سريع.
إذن لدينا هنا شبكة عصبية تلافيفية تقرر ما إذا كان كلبًا أم قطة.
إذن لدينا هنا عملية التصويت بين هذه الخلايا العصبية.
وهذا يقول أنه يحتوي على الميزات ، كما تعلمون ، الأذنين الرقيقة ، ما هو نوع
الوجه المدبب والمدبب.
وهذا النوع يشبه الملامح التي تشبهها الأنواع الأخرى من العيون ، العين ، شكل العيون ، كل هذه السمات التي
تخص الكلب.
لذا فمن المحتمل 95٪ أن يكون كلبًا واحتمال 5٪ أنه قطة.
لكن السؤال هو ، كيف حصلنا عليه وفي هذا البرنامج التعليمي الذي نتحدث عنه ، كيف حصلنا على هذه القيم
لتضيفها إلى واحد؟
حسنًا ، مهما كانت التلافيف أو شبكاتنا العصبية بأكملها.
إذاً الشبكة العصبية التلافيفية بالإضافة إلى الطبقات المتصلة بالكامل ، بغض النظر
عن القيم التي تبث ، قمنا بتطبيق دالة max soft هنا.
وهنا نقدم صيغة دالة soft max.
هذا ما يبدو عليه.
ثم حصلنا على هذه القيم.
وهذا في الأساس تجديد سريع للمعلومات.
هذه هي الصيغة الخاصة بـ soft max.
ما يفعله هو أنه يأخذ العديد من النواتج لديك.
لا يهم.
سيستغرق الأمر منهم وسوف يسحقهم جميعًا في قيم بين صفر وواحد ، بغض النظر عن حجمهم.
فقط.
بالنظر إلى هذا بالنسبة لي ، يمكنك أن ترى أن هناك مجموعًا إجماليًا في الأسفل.
إذن هذه القيم ستكون صفرًا بين صفر وواحد.
وأيضًا ستجمع كل هذه القيم حتى قيمة واحدة دائمًا.
وهذا مفيد جدًا بالنسبة لنا لأنه عندما نستخدم وظيفة soft max ، ما يحدث هو أننا
نحصل على قيم Q هذه ، ونختار أفضل قيمة.
لكن في الواقع ، ما يحدث هي قيم Q التي نحصل عليها ، إنها أرقام فعلية ، أليس كذلك؟
لذا فهم نوع من الأرقام.
لا يتعين عليهم الجمع حتى واحد ولا يجب أن يكونوا بين صفر وواحد ، فقط بعض الأرقام.
ولكن عندما نطبق soft max ، فإننا لا نختار الأفضل فقط.
في الواقع نحصل على أرقام من هذا القبيل.
إذن ، نحصل على أرقام في النطاق بين صفر وواحد وهذا أيضًا يساوي واحدًا.
إذن ما الشيء الآخر الذي نعرفه والذي يضيف إلى واحد؟
حسنًا ، نحن نعلم أن الاحتمالات يجب أن يكون مجموعها واحدًا.
لهذا السبب يمكننا أن نقول هنا أن لدينا قيم Q ، ولكن هنا فجأة أصبحنا ضعيفين أو لدينا
احتمالات.
لذلك يمكننا القول أن احتمالية أن يكون هذا هو الإجراء الأفضل هو 90٪.
هذا هو الأفضل في أفضل قسم ، 5٪ ، 2٪ ، 3٪.
لأننا نعلم أنه كلما زادت قيمة Q ، كان الإجراء أفضل.
وبالتالي إذا قمنا بدفعها إلى 0 إلى 1 ، فإن هذه تصبح احتمالات ويمكننا التعامل معها على هذا النحو.
وبالتالي الآن عندما يتم تحديد الإجراء.
وهذه هي الطريقة التي توصلنا بها إلى السؤال الثاني.
ولكن إذا نظرت إليها عن كثب ، فهذه ليست صارمة بنسبة 100٪ وهي ليست 0٪.
إذن هذه 5٪ ، 2٪ ، 3٪.
لذا فإن الطريقة الأكثر طبيعية لتطبيق soft max من أجل الحفاظ على الاستكشاف في الخوارزمية هي استخدام هذه
الاحتمالات الدقيقة مثل عدد المرات التي سنتخذ فيها هذا الإجراء.
إذن فهذه الاحتمالات تمثل في الواقع توزيع هذه الإجراءات التي نتخذها.
لذا فإن Soft Max يجعل من السهل جدًا علينا التوصل إلى طريقة للجمع بين الاستغلال والاستكشاف.
لذا فإن أفضل إجراء سيكون له دائمًا أعلى احتمالية لأنه يحتوي على أعلى قيمة Q.
وبالتالي ، سنقوم هنا فقط باستخدام هذه كتوزيعاتنا وسنقول
، حسنًا ، سنأخذ Q إلى 90٪ من الوقت ، ولكن 5٪ من الوقت الذي ما زلنا نأخذه.
س 1 و 2٪ من الوقت سنفعل ثلاثة ، و 3٪ من الوقت الذي سنستغرقه.
س أربعة.
والجمال هنا أيضًا هو أنه مع تحديث هذه القيم ، بينما يمر الوكيل
عبر الشبكة ، أكثر فأكثر ، يصبح أكثر دراية بالبيئة وبالتالي هذه التحديثات.
لذلك ، قد تصبح هذه القيمة ، على سبيل المثال ، كما لو أنها قد تتأكد من أن هذه القيمة أقل بالفعل أو أن
هذا في الواقع أعلى.
وبالتالي فإن هذه الاحتمالات ستتغير أيضًا مع مرور العامل.
لذلك ، على الرغم من أننا حصلنا على اثنين هنا ، لا أحد يقول أنه في بعض الأحيان 5٪ من الوقت ، لنكون
أكثر دقة ، سنختار Q واحدًا كإجراء يجب اتخاذه وأحيانًا أو إجراء واحد سيتخذ إجراءً واحدًا في بعض
الأحيان سنتخذ إجراءً من خلال إجراءين ثلاثة 2٪ من الوقت ، وسيستغرق الإجراء الرابع حوالي
3٪ من الوقت.
لذا فإن كل إجراء لديه فرصة للعب في هذه العملية طالما لدينا ما يكفي من التكرارات ويخوض العميل الكثير
والكثير من المرات من خلال هذه الحالات التي يتواجدون فيها.
وهذه هي الطريقة التي يعمل بها أي نوع من خوارزمية التعلم العميق التي تريد القيام
بها مرات عديدة حتى تتعلم من التجربة.
وبالتالي ، كما ترون هنا ، إنه انتقال طبيعي جدًا لأننا لسنا عشوائياً مثل خوارزمية إبسيلون
الجشعة.
نحن لا نختار الإجراءات بشكل عشوائي.
نحن نختارها بناءً على قيمها القصوى الناعمة ، مما يجعلها تبدو وكأن لها بعض المنطق وراءها ،
وليس فقط بشكل عشوائي.
10٪ من الوقت نختار إجراءً عشوائيًا ، ولكن هناك بعض المنطق وراء كيفية قيامنا بذلك.
واستنادًا إلى قيم Q الخاصة بهم التي اكتشفناها.
وهذه هي سياسة اختيار الإجراء التي سنستخدمها في هذه الدورة التدريبية.
مرحبًا بك بالتأكيد للتحقق من سياسة Epsilon Greedy Action Selection ، إذا كنت ترغب في
ذلك ، لكننا سنستخدم في الغالب سياسة اختيار الإجراء soft max.
ولدي قراءة ممتعة لك.
لذلك يسمى هذا الاستكشاف المتكيف Epsilon Greedy في التعلم المعزز على أساس الاختلافات في القيمة.
إنها مقالة عام 2010.
وهذا مثير للاهتمام لأن مايك وميشيل لست متأكدًا من كيفية نطقه.
يقدم ميشيل ومايكل يتحدث نوعًا مختلفًا من الخوارزمية ، لذلك تم تعديل خوارزمية
إبسيلون الجشعة وتسمى خوارزمية VD VB أو خوارزمية إبسيلون الجشعة VB.
يمكنك رؤيتها هنا.
وهو في الواقع يقارنه بمكونات EPS الخاصة بـ Max.
وهي خوارزمية إبسيلون جشعة ، والفكرة الرئيسية وراءها هي تعديل قيمة إبسيلون اعتمادًا على
الحالة التي يوجد فيها الوكيل.
لذلك إذا كان الوكيل قلقًا جدًا بشأن هذا الأمر.
يجب أن تكون ثمانية هناك في إبسيلون أصغر ، لذلك يجب أن يكون هناك استكشاف أقل.
إذا كان العامل غير مؤكد ، يجب أن يكون إبسيلون أعلى ، يجب أن يكون الاستكشاف أكثر.
لذلك فهو مقال عام 2010.
لست متأكدًا مما إذا كانت هذه الخوارزمية المقترحة الجديدة مستخدمة على نطاق واسع أو أنها مقبولة في المجتمع
، أو إذا كان الذكاء الاصطناعي قد ابتعد عن هذا الاقتراح.
ولكن مع ذلك ، سيساعدك هذا بالتأكيد على تعزيز معرفتك بسياسات اختيار الإجراءات التي ناقشناها.
سيساعدك مكون إبسيلون ، سوفت ماكس.
ستمنحك فرصة لمقارنتها جنبًا إلى جنب ومعرفة الاتجاه الذي يفكر فيه الناس
بالفعل عندما يريدون تحسين الذكاء الاصطناعي.
لذلك ، إذا كنت تخطط لإنشاء خوارزميات مثيرة للاهتمام حقًا تدفع إلى حافة الذكاء الاصطناعي وتدفع الظرف
في هذا الفضاء ، فقد تكون هذه طريقة جيدة لمعرفة الاتجاه الذي يفكر فيه الناس أحيانًا عندما
يحاولون لتحسين معايير الذكاء الاصطناعي أو المعايير التي كانت موجودة في ذلك الوقت
في عام 2010.
لذا ها نحن ذا.
نأمل أن تكون قد استمتعت بالبرنامج التعليمي اليوم حول سياسات اختيار الإجراء.
لقد تعلمنا عن Epsilon Greedy و Epsilon Soft و soft max ، والآن أنت أكثر استعدادًا
للجانب العملي للأشياء.
وفي هذه الملاحظة ، أتطلع إلى رؤيتك في المرة القادمة.
وحتى ذلك الحين ، استمتع.
أنا.