أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
اليوم نتحدث عن عقوبة المعيشة.
حسنا.
إذن لدينا هنا معادلة بيلمان.
وبينما كنا نمر بهذه الدورة ، كنا ببطء نجعلها أكثر وأكثر تعقيدًا.
حتى الآن ، أضفنا بالفعل هذه الاحتمالات هنا.
وقمنا أيضًا بإضافة عامل الخصم.
سننظر الآن بمزيد من التفصيل في هذا الجانب من المعادلة حيث لدينا المكافأة.
الآن ، تذكر سابقًا عندما تحدثنا عن كيفية عمل التعلم المعزز ، قلنا أن لدينا
وكيلًا ويقوم بتنفيذ إجراءات في البيئة وفي المقابل أو نتيجة لذلك ، يحصل على حالة
جديدة أصبح فيها الآن ومكافأة مقابل هذا العمل.
حسنًا ، حتى الآن في مثالنا ، لم نحصل على المكافآت إلا في النهاية ، إما إذا وصلنا إلى خط النهاية
أو إذا وصلنا ، بالنسبة للوكيل إلى حفرة النار ، فسيحصل على زائد واحد أو ناقص مكافأة واحدة.
لكن هذا نهج مبسط للغاية للتعلم المعزز.
وفي سيناريوهات أكثر واقعية ، من المحتمل أن تحصل على مكافآت طوال الرحلة ، وليس فقط في نهايتها.
قد تحصل على مكافآت طوال الرحلة.
على سبيل المثال ، إذا كانت لعبة ذكاء اصطناعي في إحدى الألعاب ، وإذا كان الأمر ، على سبيل المثال ، يشبه إطلاق النار على شخص ما
في لعبة Doom ، فقد تحصل على نقاط لقتل هذا العدو ، أو قد تكون في لعبة أخرى أخرى إذا تجاوزت سيارة أخرى أو شيء من هذا القبيل.
الذي - التي.
فقط بسبب قواعد اللعبة وليس بسبب طريقتها في تحليل اللعبة.
ولكن في الواقع ، تم تنظيم اللعبة بطريقة تعزز نقاط منحها للقيام ببعض الإجراءات
حتى قبل انتهاء اللعبة.
لذا فإن مثل هذه السيناريوهات شائعة جدًا ، ليس فقط في الألعاب وكذلك في الحياة الواقعية.
ولهذا السبب سنقدم شيئًا مشابهًا في مثالنا ، نسخة مبسطة من ذلك ، ولكن
مع ذلك مكافأة تُمنح باستمرار للوكيل طوال اللعبة ، وليس فقط في النهاية.
والطريقة التي سنقوم بها هي النظر إلى المربعات الأخرى.
الآن لدينا فقط مكافأة زائد واحدة في المربع النهائي والمكافأة مطروحًا منها واحدة في القطعة النهائية
الأخرى ، حفرة النار.
لكننا الآن بصدد إضافة مكافآت في كل مرة سنضيف مكافأة صغيرة جدًا ، ستكون -0. 04.
وكما ترون ، إنها سلبية.
لذلك في كل مرة يتحرك فيها العميل ، سيحصل على مكافأة سلبية.
وهذا هو السبب في أنها تسمى عقوبة حية ، لأنه بغض النظر عن المكان الذي يذهب إليه ، سيحصل دائمًا على هذه المكافأة
السلبية باستثناء هذه المربعات النهائية ، لأن هذه هي نهاية اللعبة.
وهنا يمكنك رؤية المكافأة حتى على هذا المربع وهي -0. 04.
لكن هذا لا يعني أنه يبدأ بهذه المكافأة.
هو فقط يحصل على هذه المكافأة.
وهذا من المهم أن نتذكره.
يحصل على هذه المكافأة فقط عندما يدخل البلاط.
لذلك عندما يقوم بعمل ما ، يذهب هنا.
ثم سيحصل على هذه المكافأة -0. 04.
ثم إذا عاد إلى هذا البلاط ، فسيحصل على -0 أخرى. 04 مكافأة.
وبالتالي كلما طالت مدة سيره ، تراكمت هذه المكافأة السلبية.
وبالتالي ، يعد حافزًا له لإنهاء اللعبة مبكرًا وبأسرع وقت ممكن.
والآن دعونا نلقي نظرة على كيفية تغيير سياستنا أو كيف ستتغير سياسة الوكلاء اعتمادًا
على القيمة التي حددناها لهذه المكافأة.
إذن هذه أربع بيئات ، وفي كل واحدة سنكتشف مكافأة مختلفة.
الآن ، لن نقوم بالحسابات ، سنقوم فقط بإسقاط النتائج وسترى ذلك
بشكل حدسي.
إنها منطقية تمامًا.
حسنًا ، لدينا هنا مكافأة عن أي خطوة أو مقابل أي خطوة للوصول إلى أي حالة تساوي صفرًا.
تمامًا كما رأينا من قبل هنا ، ستكون المكافأة -0. 04.
ما قدمناه للتو.
الآن هنا ستكون المكافأة -0. 5 أو العقوبة الحية ستكون -0. 5.
أعلى بكثير ، يمكنك أن ترى من هنا ، أكثر من عشرة أضعاف.
وهنا ستكون العقوبة الحية ناقص اثنين.
إذن ، أكثر من المكافأة التي تحصل عليها للقفز ، أو حتى أقل من المكافأة التي تحصل عليها أنت أو الوكيل مقابل وصولك
إلى حفرة النار.
لذلك دعونا نلقي نظرة على كيفية تغيير الإجراءات أو السياسة المثلى لتمرير هذه البيئة اعتمادًا
على هذه المكافأة.
إذن هذه هي سياستنا الأصلية.
وكما يمكنك أن تتذكر ، كان لدينا هذان القراران المثيران للاهتمام للغاية وحتى الغريبان بعض الشيء
من قِبل الوكيل ، ولكن هذا أمر منطقي تمامًا إذا كان بإمكانه العيش للمدة التي يحبها.
إذا كان بإمكانك السفر فقط لأطول فترة ممكنة دون أن تتم معاقبته على بقائك على قيد
الحياة لفترة طويلة ، فلماذا لا؟
لماذا لا يذهب فقط إلى الزاوية هنا ، في الحائط ويواصل فعل ذلك حتى يحدث؟
يحدث أنه يسير في هذا الطريق ثم يتجول.
ونفس الشيء هنا.
إنه أكثر أمانًا بالنسبة له أن يقفز إلى الحائط على أمل أن يأتي أحدهما في النهاية ثم يذهب
إلى خط النهاية على أي حال ، لأنه باختياره لهذين الإجراءين ، لا يخاطر بالدخول إلى حفرة
النار.
لنرى الآن ما سيحدث إذا أضفنا مكافأة ، مكافأة سلبية لمجرد كوننا على قيد الحياة ، لقيامنا بخطوة.
الصحيح.
أنت تحرك.
لذلك هنا يمكنك أن ترى أن هذين الاثنين تغير على الفور.
الآن ، الوكيل لا يريد القفز إلى الحائط.
من المرجح أن يخاطر بالوصول إلى حفرة النار.
الحصول على فرصة 10٪ للقفز هنا.
لكنه سيتقدم لأنه في كل مرة يقفز فيها على الحائط هنا ، إذا كان سيفعل ذلك هنا
أيضًا.
في كل مرة يقفز فيها إلى الحائط ، يقوم بعمل ينتهي به الأمر في هذه الحالة مع فرصة 80٪.
وهذا يعني أنه إذا كانت هناك فرصة بنسبة 80٪ ، فسيحصل على -0. 04 مكافأة ، مما يعني أنه في كثير من الأحيان سيحصل
على هذه المكافأة السلبية المتراكمة.
نفس الشيء هنا.
إذا قفز إلى الحائط في انتظار تلك اللحظة التي سيتم فيها نقله فعليًا بشكل عشوائي إلى اليمين
، وإذا استمر في فعل ذلك ، فسوف يتراكم هذه المكافأة السلبية ، ونتيجة ذلك ، إذا
أجريت الحسابات ، فسترى أن نتيجة ذلك ، فإن القيمة المتوقعة لهذا النهج للقفز
إلى الحائط أسوأ من المخاطرة بالمضي قدمًا وينتهي الأمر بالفعل في حفرة النار.
لذلك يغير قراراته في هاتين الكتلتين للمضي قدمًا بدلاً من ذلك ، وهنا يتحرك إلى اليسار ، على الرغم من وجود خطر
من القفز في حفرة النار ، ببساطة لأنه كلما طالت مدة بقائه على قيد الحياة ،
كلما طالت مدة ربح هذه العقوبة الحية. في البيئة التالية.
نحن الآن نزيد عقوبة المعيشة إلى عدد أكبر ، -0. 5 ، ودعونا نرى ما الذي يتغير
هنا.
الآن يمكنك أن ترى أنه بالمقارنة مع هذه البيئة ، الشيء الوحيد الذي تغير هنا هو أن
هذا السهم يشير إلى اليمين.
وما يعنيه ذلك هو أنه لم يعد خيارًا جيدًا للوكيل الآن.
أوه ، في الواقع ، أيضًا ، هذا السهم الذي يشير إلى اليسار ويشير الآن إلى
الأعلى.
لذا لم يعد من الجيد الآن أن يتنقل الوكيل من هنا ، ويذهب في كل مكان.
لأنه إذا ذهب طوال الطريق ، نعم ، سيكون أكثر أمانًا.
هناك فرصة أقل أنه لا توجد فرصة للوصول إلى حفرة النار.
ولكن في نفس الوقت ، حيث تقل فرصة الدخول إلى حفرة النار ، ولكن
في نفس الوقت ، سيحصل على مكافأة سلبية كبيرة أثناء تجوله.
لذا فإن الأمر مجرد أن المسار طويل جدًا.
وهذا يجبره ، سواء كان هنا أو هنا ، على أن يسلك الطريق الأقصر للوصول إلى هنا ، على الرغم من أنه
يواجه خطرًا أكبر بكثير للدخول إلى حفرة النار ، لأنه بمجرد أن ينتهي به المطاف
في الميدان ، هناك فرصة بنسبة 10٪ للوصول إلى حفرة النار ، حسب حساباته.
إنها فقط القيمة المتوقعة لهذا النهج أفضل من القيمة المتوقعة للتجول ببساطة لأننا
زدنا هذه العقوبة المعيشية.
وأخيرًا ، نصل إلى المثال بعقوبة المعيشة -2. 0.
لذا أود هنا أن أشجعك على إيقاف الفيديو مؤقتًا الآن بعد أن رأيت كيف تغيرت السياسة مع
زيادة العقوبة الحية ، أشجعك على إيقاف الفيديو مؤقتًا والتفكير بنفسك فيما سيحدث
في هذا السيناريو؟
ما رأيك في السياسة المثلى التي ستعطى بأن عقوبة المعيشة عالية جدًا؟
لذا سأدعك توقف الفيديو مؤقتًا إذا كنت ترغب في ذلك ، والآن سأنتقل إلى عرض الحل لك.
لذلك في هذه الحالة ، إذا قمت بزيادة العقوبة إلى -2. 0 ، إنها عالية جدًا ، تذكر أن العقوبة هنا هي -1
فقط. 0.
إنه مرتفع جدًا لدرجة أن الوكيل يريد فقط الخروج من اللعبة بأي طريقة ممكنة ، حتى لو كان ذلك فقط
بالقفز إلى حفرة النار.
وسوف يفعل ذلك.
سيكون مثل ، في كل مرة أقوم فيها بخطوة ، وفي كل مرة ينتهي بي الأمر في حالة جديدة أو في كل مرة أقوم فيها
بعمل ما ، ينتهي بي الأمر بالحصول على مكافأة ناقص اثنين.
إذن ما هو الهدف من محاولة الوصول إلى خط النهاية إذا كان الأمر سيستغرق مني خطوتين إضافيتين
من هنا ، سأذهب هنا ثم مباشرة إلى حفرة النار ، لأنه بهذه الطريقة ستكون
مكافأتي أقل.
لن تكون المكافأة السلبية سيئة كما في حالة مجرد اتخاذ خطوات إضافية.
لذلك يمكنك أن ترى أن إضافة هذه المكافأة الحية واعتمادًا على قيمة المكافأة الحية التي نضيفها
، ستكون النتائج مختلفة وسيختار الوكيل سياسات مختلفة.
وهذا هو الأساس الذي يمكن من خلاله دمج قيمة المكافأة في معادلة بيلمان ، حتى عندما لا تكون فقط عند خط النهاية
أو في نهاية اللعبة ، ولكن حتى في جميع أنحاء اللعبة.
ومرة أخرى ، مرة أخرى ، ليس من الضروري أن يكون في كل حالة في كل حالة ، اعتمادًا
على البيئة نفسها.
قد يتم إعطاؤها للوكيل في حالات معينة ، وليس في كل حالة ، ولكن في مثالنا
المبسط ، نحن نستخدم المكافآت فقط في كل حالة معينة لتوضيح هذا المفهوم.
لذلك أتمنى أن تكون قد استمتعت ببرنامج اليوم التعليمي.
وكما ترى ، لقد جعلنا معادلة بيلمان معقدة للغاية ، والآن يمكن تطبيقها على العديد من
السيناريوهات المختلفة.
ولا أطيق الانتظار لرؤيتك في البرنامج التعليمي التالي.
وحتى ذلك الحين ، استمتع.
أنا.