أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
سنتحدث اليوم عن معادلة بلمونت.
إنه موضوع معقد للغاية وسنقوم بتقديمه خطوة بخطوة خلال هذا القسم بأكمله من
الدورة التدريبية.
لذلك لن ننتقل مباشرة إلى أكثر نسخة معقدة من معادلة بلمونت.
لكن بدلاً من ذلك ، سنقوم بتقديمه ببطء من أجل فهم كيفية عمله تدريجيًا.
وآمل أن تكون رائعًا مع هذا النهج.
إذا كنت كذلك ، دعنا ندخلها مباشرة.
لذلك سيكون لدينا بعض المفاهيم الأساسية التي سنتعامل معها.
وهذه المفاهيم هي SSE لتقف على الدولة.
لذا فإن الحالة التي يكون فيها وكيلنا أو أي حالة أخرى محتملة يمكن أن يكون فيها يمثل فعلًا
يمكن للفاعل أن يتخذه.
لذلك يمكن للوكيل الوصول إلى قائمة معينة من الإجراءات.
والأفعال مهمة جدًا عندما يتم النظر إليها في مجموعة الحالة.
لذلك عندما تكون في حالة معينة ثم تنظر إلى الأفعال ، عندها يبدأ الأمر في أن يكون منطقيًا.
ماذا ستكون نتيجة تلك الإجراءات؟
لأنك إذا نظرت إلى فعل ما بمفرده بدون حالة فهذا لا معنى له حقًا لأنك
لا تعرف مكانك وأين يمكن أن ينتهي بك الأمر.
وبعد ذلك ، سيكون لدينا ما يمثل المكافأة ، وهذه هي المكافأة التي يحصل عليها الوكيل لدخوله
في حالة معينة.
وجاما هي عامل الخصم.
وسنتحدث عن عامل الخصم في ثانية.
أصبح كل شيء منطقيًا الآن ، ولكن فقط دون ملاحظة ، قم بتدوين ملاحظة ذهنية بأننا سنحصل على هذه الرسالة ،
جاما ، التي سنعمل معها لاحقًا.
إذن الشخص الذي يقف وراء معادلة بيلمان هو ريتشارد إرنست بيلمان.
لقد كان عالمًا في الرياضيات التطبيقية وتوصل إلى مفهوم البرمجة الديناميكية ، وهو ما نحن عليه الآن ، والذي نسميه
الآن التعلم المعزز أو الذي نسميه معادلة بلمونت.
حسنًا ، هذا ما نسميه الآن.
وفي عام 1953 ، توصل إلى هذا المفهوم ، وذلك عندما جاءتني معادلة بلمونت.
لذلك دعونا نلقي نظرة على كيفية عمل كل هذا.
هناك وكيلنا الجميل في الزاوية اليسرى السفلية وهو في متاهة.
وهذه متاهة كلاسيكية حيث لديك بعض الكتل ، والكتل البيضاء عبارة عن كتل يمكن
للعميل أن يتدخل فيها.
الكتلة الرمادية هي التي لا يمكن الوصول إليها.
هذا مثل جدار في هذه المتاهة.
اللون الأخضر هو المكان الذي يجب أن يهدف الوكيل إلى الوصول إليه.
هذا هو المكان الذي نريد أن يذهب إليه الوكيل.
هذه هي النهاية.
والأحمر حفرة نار.
لذلك إذا سقط المحرك في حفرة النار ، فسيخسر اللعبة.
لذا في حفرة النار المكافأة R ناقص واحد.
هذه طريقتنا في إخبار الوكيل بأن هذا ليس شيئًا نريدك أن تفعله.
مثل ، تذكر مثالًا عندما نقوم بتدريب الكلاب ، نريد إخبارهم مثل الكلاب الشريرة إذا لم يفعل الشيء
الصحيح الذي أردنا القيام به.
نفس الشيء هنا.
نريد إخبار الوكيل أن هذا ليس شيئًا يجب عليك فعله.
لا يجب أن ينتهي بك الأمر في الميدان.
لذلك في كل مرة لا تظهر فيها في المربع ستحصل على مكافأة ناقص واحد.
لذلك سوف يعاقب ناقص مكافأة واحدة.
من ناحية أخرى ، إذا انتهى الأمر بالمربع الأخضر ، فسيحصل على مكافأة إضافية واحدة
، مما يعني أن هذا ما نريده أن يفعله.
هذه هي المكافأتان اللتان يمكن أن يحصل عليهما الوكيل.
وكيف تتعلم كيف تعمل في هذه المتاهة؟
تمامًا كما في هذا المثال من الكلاب الآلية التي تتعلم المشي ، سنخبرها فقط.
سنخبرها فقط أن هذه هي الإجراءات التي يمكنك القيام بها.
يمكنك الصعود إلى اليمين أو اليسار أو الأسفل.
هذه هي الإجراءات الأربعة التي يمكنك القيام بها.
وهذا كل شيء.
قم بالتلاعب في ذلك ، انظر ما يمكنك التوصل إليه.
لذلك قد يتجه الوكيل إلى اليمين ، ثم قد يتجه إلى المزيد جهة اليمين ، وقد يعود إلى اليسار.
إنهم يضغطون بشكل عشوائي على هذه الأزرار ويحاولون معرفة ما سيحدث.
ثم يعودون إلى هنا ، يصعدون ، يصعدون ، ينزلون ، يصعدون ، يذهبون يمينًا.
حتى الآن ، لم يتعلموا أي شيء.
لم يحدث شيء حتى الآن.
يذهبون لليمين ثم بام ، ينتهي بهم الأمر في الساحة الخضراء.
لذلك أدركوا ، واو ، لقد حصلت للتو على مكافأة واحدة.
وبمجرد دخولهم الساحة الخضراء ، حصلوا على مكافأة إضافية.
وهذا يدفع الخوارزمية لتقول ، حسنًا ، هذا رائع حقًا.
تمت مكافأتي لأنني انتهى بي المطاف في الميدان ، لذلك أريد أن ينتهي بي المطاف في الميدان.
إذن ماذا يعني ذلك بالنسبة للوكيل؟
هذا يعني أنه يبدأ في طرح السؤال ، كيف وصلت إلى هذا المربع؟
ما هي الحالة السابقة التي كنت فيها وما الإجراء الذي اتخذته لدخول الميدان؟
ثم تنظر إلى الوراء وتقول ، حسنًا ، لذلك كانت الحالة السابقة هي هذه.
اتضح أن يكون ذا قيمة في تلك الحالة ، تلك التي أطلقت شرارة السهم الأحمر.
لأنه من هذه الحالة ، فأنا على بعد خطوة واحدة فقط من الحصول على أقصى مكافأة يمكنني أن أحلم بها
بالإضافة إلى واحدة مثل بسكويت لكلب بمجرد أن أعرف ما إذا كنت في هذه الحالة من قبل ، هذا المربع المميز
بسهم أحمر.
كل ما علي فعله هو الضغط على اليمين.
فكيف أقول لنفسي؟
كيف أتذكر أن تلك الحالة ذات قيمة؟
حسنًا ، بالنسبة لي ، لا يوجد فرق ، في الواقع ، بصفتي الوكيل ، لا يوجد فرق فيما إذا
كنت في الساحة الخضراء أو في المربع الأبيض.
في الساحة الخضراء ، حصلت على مكافأة واحدة.
لذلك سأحدد بنفسي أن المربع الأبيض مخصص لي ، وله قيمة واحدة لأنه يؤدي بالضبط
إلى مكافأة واحد.
لذا.
بمجرد أن أكون في White Square ، أعلم أنني سأقوم بعمل واحد آخر.
سأكون في الساحة الخضراء وسأحصل على مكافأة واحدة.
لهذا السبب سأقول إن قيمة هذا المربع تساوي واحدًا ، لأنه يؤدي مباشرة
دون أي نوع من عمليات الطرح.
بمجرد وصولي إلى هنا ، أعرف أن مكافأتي ستكون واحدة.
لذلك سأضع علامة على هذا المربع على أنه يساوي واحدًا.
هذه هي القيمة.
هذه هي القيمة المتصورة لوجودك في هذه الحالة.
بعد ذلك ، سيكون الوكيل مثل ، حسنًا ، فكيف دخلت هذا المربع؟
وقد يتجول مرة أخرى وهكذا ينتهي به الأمر في الساحة مرة أخرى.
وسأقول ، حسنًا ، كيف دخلت إلى هذا المربع قبل ذلك؟
والطريقة التي دخلت بها إلى هذا المربع كانت من هذا المربع.
مثير للإعجاب.
وبمجرد وصولي إلى هذا المربع ، أعلم أن كل ما علي فعله هو السير في الاتجاه الصحيح.
وبعد ذلك من هنا ، أعلم بالفعل أنني سأفوز.
أعرف بالضبط كيف سينهار كل شيء من هنا.
وأنا أعلم أن قيمة الوجود في هذه الحالة تساوي واحدًا.
وبما أنه لا يوجد شيء يمنعني من الانتقال من هنا إلى هنا ، فإن القيمة في هذا ستعود إلى القيمة
المتصورة.
سأقيم هنا حيث أن V تساوي واحدًا أيضًا ، لأنه بمجرد وصولي إلى هنا ، أعلم أنني
سأكون هنا وسأكون هنا سريعًا.
لذا سأفوز.
ثم كيف أصل إلى هذا المربع قبل ذلك؟
حسنًا ، دخلت هذا المربع من هذه الساحة.
لذا فإن القيمة هي نهج مماثل.
قيمة الوجود هنا تساوي أيضًا واحدًا وهكذا.
لذا فإن قيمة الوجود هنا تساوي واحدًا وقيمة الوجود هنا تساوي واحدًا لأن كل واحد منهما
يؤدي إلى القيمة التالية ويؤدي إلى خط النهاية.
لذلك كل هذا منطقي جدًا في هذه المرحلة.
هذا هو تصميم معادلة بلمونت إلى حد كبير الآن.
لذلك يمكننا التفكير في تصميم معادلة تساعد الوكيل على اجتياز المتاهة.
لذا انظر إلى المكافأة.
ثم تمنحها الحالة السابقة قيمة مساوية لمكافأة الحالة السابقة وما إلى ذلك.
لذا فهو نوع من يخلق هذا المسار.
كل شيء رائع وجيد ، لكن المشكلة هنا ، حسنًا ، ماذا يحدث إذا بدأ وكيلنا لسبب ما في هذه
الحالة بدلاً من البدء هنا واتخاذ هذه الإجراءات ، ولكنه في الواقع يبدأ في الحالة؟
كيف تعرف؟
كيف يتذكر الإجراء الذي يجب اتخاذه؟
هل يجب أن تسير بشكل صحيح أم تنخفض؟
أم ينبغي أن تذهب إلى اليسار؟
أم يجب أن ترتفع؟
كيف تتذكر الاستمرارية التالية من هنا إذا كانت القيم الوحيدة لديها هي هذه القيم التي تساوي واحدًا؟
لذلك لا يمكنك رؤية ما هو أبعد.
يمكنه فقط أن يرى ، حسنًا ، ما لدي هنا وما لدي هنا ، كيف يعرف الطريق الذي يجب أن يسلكه؟
حسنًا ، في هذه المرحلة ، لا يحدث ذلك.
إنها متطابقة تمامًا بالنسبة للوكيل في أي اتجاه يسلكه.
ولهذا السبب لا يعمل هذا النهج حقًا.
إنه تفسير بسيط للغاية.
بالطبع ، هناك الكثير منها ، ولكن بطريقة بديهية.
هذا هو السبب في أننا نوعًا ما نخصص فقط الاستمرار في هذه القيمة إلى الوراء على هذا النحو.
لأن أحد الأسباب هو أنه بمجرد أن يكون الوكيل بين هاتين القيمتين ، فأين يذهب؟
لا يمكن الخلط بين هذا القبيل.
فكيف نحل هذه المشكلة؟
ماذا سنفعل هنا؟
وهذا هو المكان الذي سنبدأ فيه تقديم معادلة بلمونت في صورتها الفعلية ، ببطء ، خطوة
بخطوة.
لذا تبدو معادلة بلمونت شيئًا كهذا.
لقد تحدثنا بالفعل عن V قيمة الوجود في حالة معينة ، كما هو الحال بالنسبة لحالتك الحالية
أو أي حالة معينة.
وهناك أيضا s.
وحيث أن Prime هي الدولة ، الحالة التالية ، الحالة التي ستنتهي بها بعد هذه الحالة وباتخاذ
إجراءات السرطان.
لكننا نعلم أن هناك العديد من الإجراءات التي يمكن للوكيل اتخاذها ، ولهذا السبب لدينا هذا الحد الأقصى
هنا.
إذن ، من خلال اتخاذ إجراء ، ماذا سيحدث للوكيل؟
لذلك لنفترض أننا في حالة من خلال اتخاذ إجراء في الدولة ونتخذ إجراءً.
ج ما سيحدث هو أننا سنحصل على الفور على مكافأة من خلال الدخول في حالة جديدة.
وتذكر أن هذه المكافأة يمكن أن تكون واحدة أو زائد واحد أو ناقص واحدة إذا كانت في نهاية اللعبة ، أو يمكن أن
تكون صفرًا إذا كانت طوال اللعبة.
في هذه الحالة ، مكافأتنا طوال اللعبة هي صفر.
إذن هذه هي المكافأة.
بالإضافة إلى ذلك ، سوف ندخل إلى حالة جديدة لها قيمة أولية.
إذن هذه هي قيمة الدولة الجديدة.
وجاما ، سنتحدث عن جاما في ثانية.
لكن النقطة التي أحاول إثارتها هنا أو النقطة التي أثيرها هنا هي أن لدينا العديد من الإجراءات المختلفة التي يمكننا
اتخاذها ، وهذا هو سبب حصولنا على الحد الأقصى.
لذلك من خلال اتخاذ إجراء ، نحصل على مكافأة ، بالإضافة إلى أننا في نهاية المطاف في حالة جديدة.
وبالتالي ، لكل حالة في حالتنا ، لدينا أربعة إجراءات محتملة.
لكل واحد من الإجراءات الأربعة الممكنة ، سيكون لدينا معادلة كهذه.
إذن سيكون لهذا قيمة أربعة ، سيكون لديهم قيمة مختلفة لكل واحد من الإجراءات الأربعة.
وسننظر إلى الحد الأقصى فقط لأن الوكيل يريد بالطبع اتخاذ الحالة المثلى.
لذا إذا كان في دولة فسوف ينظر إلى هذه القيم.
سيبحث عن الحد الأقصى بناءً على الإجراء.
سوف أتخذ هذا الإجراء الذي يؤدي إلى الحد الأقصى من هذه القيم.
لذا آمل أن يكون هذا منطقيًا لماذا نتخذ الحد الأقصى هنا.
ثم بمجرد حصولنا على المكافأة وقيمة الحالة ، لماذا لدينا معامل جاما هذا هنا؟
حسنًا ، هناك بالضبط لحل هذه المشكلة المتمثلة في أن العامل لا يعرف أي طريق يسلكه ، لأنه لا يمكنه
مقارنة قيم حالتين على كلا الجانبين ، وهما متماثلان.
هذا هو سبب تسمية جاما بعامل الخصم.
لذلك سنلقي نظرة على ذلك في.
فقط لفهمها بشكل أفضل.
إذن ، لنأخذ الصيغة.
سنضعه هنا في الأعلى.
الصحيح.
والآن سنحلل ما هي قيم هذه الحالات المختلفة.
وكل ولاية هنا عبارة عن مربع.
وهكذا فإن واحدة من هؤلاء في واحدة من هذه المربعات البيضاء هي دولة.
وكنا بصدد حساب قيمة التواجد في تلك الحالة.
فلنبدأ بهذا المربع.
ما هي قيمة أن تكون في هذه الحالة؟
حسنًا ، علينا أن نأخذ الحد الأقصى من هذه القيمة في جميع الإجراءات.
ونعلم أن هذه القيمة التي تمثلها تتضاعف كلما اقتربنا من خط النهاية.
هذه هي الطريقة التي تم بناؤها.
وبالنظر فقط يمكنك أن ترى لأن هنا حصلت على المكافأة وهنا حصلنا
على عامل خصم مضروبًا في قيمة الحالة التالية.
ومن المنطقي أن هذه هي الطريقة التي سنبني بها تلك المعادلة.
لذلك من المنطقي أن يكون الحد الأقصى لهذه القيمة من هنا إذا انتقلنا إلى اليمين.
هذه هي الطريقة التي نحسب بها قيمة الحالة.
هذه القيمة لهذه الحالة تساوي ، الحد الأقصى أو يساوي هذه القيمة.
إذا انتقلنا إلى اليمين ، إذا اتخذنا إجراء بالانتقال إلى اليمين.
إذن ماذا ستكون هذه القيمة؟
حسنًا ، مكافأة الانتقال إلى اليمين تساوي واحدًا.
وبغض النظر عن ماهية جاما جاما ، فليس لدينا قيمة في هذه الحالة لأننا بالفعل في أفضل
حالة ممكنة.
إذن هذه هي الحالة النهائية.
لن يكون لها قيمة.
نحن فقط نحصل على مكافأة هنا وهذه هي نهاية المباراة.
إذن ، ستكون قيمة هذا الحد الأقصى تساوي واحدًا.
ولهذا فإن قيمة الحالات هنا تساوي واحدًا.
الآن ، تصبح الأمور ممتعة عندما ننتقل إلى اليسار ، عندما نتحرك للخلف قليلاً.
لنحسب الآن قيمة هذا ، لكونك في هذه الحالة.
ومن أجل ذلك سنحتاج إلى جاما.
لنفترض أن عامل الخصم لدينا هو 0. 9 وسيكون من المنطقي ما هو عامل الخصم بمجرد أن
نحسب هذا.
إذن من هنا ، بناءً على حدسنا وقاعدتنا ، لأننا نعرف كيف تعمل هذه المتاهة ، وكيف تعمل هذه المتاهة ، نعلم
أن أفضل إجراء ممكن هو الانتقال إلى اليمين ، لأننا من هنا نذهب إلى هنا.
هذا يعني أنه سيتم تحقيق الحد الأقصى عندما تذهب في هذه الحالة إلى اليمين.
لنرى ماذا سيحدث إذا عوضنا بها هنا.
لذلك إذا انتقلت من هنا إلى هنا ، فلن تحصل على أي مكافأة ستظل صفراً.
ولكن بعد ذلك ستحصل على جاما.
حتى تحصل على 0. 9 أضعاف قيمة الحالة الجديدة ، أي واحد.
إذن في هذه الحالة ، القيمة ، النتيجة الكاملة لهذا هي واحد في صفر ، 0. 9 في واحد يساوي 0. 9.
إذن هذه هي قيمتنا ، 0. 9.
لذا إذا قمنا بحساب هذا الآن ، فسترى ذلك من هنا.
نحن نعلم فقط من خلال النظر إلى المتاهة ، فنحن نعرف ذلك لأننا كبشر ، لأننا نفهم كيف تعمل
هذه المعادلة.
بالطبع ، الذكاء الاصطناعي ، يجب على الوكيل أن يجرب هذه الأشياء ، ولكن لأن لدينا مثل كرة بلورية
، يمكننا رؤية هذه المتاهة بأكملها.
لدينا وجهة نظر عين الطائر الآن.
نحن نعلم أن أفضل الإجراءات تذهب إلى اليمين.
لذا إذا عوضنا بكل شيء هنا ، فلن يكون هناك أي مكافأة ، زائد 0. 9 أضعاف القيمة في هذه الحالة ، 0. 9 هو 0.
81 وهلم جرا.
إذن هنا سيكون 0. 73 وهنا سيكون 0. 66.
لذلك يمكنك أن ترى أن الطريقة التي يعمل بها العامل المخفض هي أنه يقلل من قيمة الدولة لأنك بعيدًا
عنك.
لذلك إذا كنت معتادًا على نظرية التمويل ، فهي شيء مشابه للقيمة الزمنية للنقود.
مثل ما رأيك في الأمر بهذه الطريقة؟
ماذا تفضل أن يكون لديك 5 دولارات اليوم أو 5 دولارات في غضون عشرة أيام من الآن؟
فقط إذا أعطاك شخص ما خيارًا ، فسأعطيك 5 دولارات اليوم أو سأعطيك 5 دولارات. بعد 10 أيام من الآن.
حسنًا ، بالطبع ستختار 5 دولارات اليوم.
لماذا هذا؟
حسنًا ، لأنه يمكنك الحصول على هذه 5 دولارات ويمكنك استثمارها بسعر فائدة معين ، وهو مشابه
جدًا لجاما.
وستنمو 5 دولارات في عشرة أيام إلى 5 دولارات. 73 أو شيء من هذا القبيل.
وهذه هي الطريقة التي تعمل بها القيمة الزمنية للنقود.
ومفهوم مشابه جدا هنا.
والشيء المهم الذي يجب فهمه هنا ، هذه مجرد نظرية ، طريقة يعمل بها التعلم المعزز.
لذا جاء ريتشارد بيلمان بهذه المعادلة ومنذ ذلك الحين ، هذه هي الطريقة التي نستخدمها بها.
لذا يمكنك المضي قدمًا والتوصل إلى معادلة مختلفة.
ليس من الضروري لعب القمار.
قد يكون له عامل آخر ، قد لا يكون له عامل.
لكن هذا النهج يعمل وهذا هو سبب استخدامه.
وهذا ما تبدو عليه بصريًا.
لذلك كلما ابتعدت ، قلت قيمة هذا الوجود في هذه الحالة.
ومن حيث القيمة الزمنية للنقود ، إذا كان بإمكاني أن أقول لك ، أين تفضل أن تكون؟
هل تفضل أن تكون هنا؟
يمكنك القول أنني أفضل أن أكون هنا.
لذلك نحن نخلق نفس الظاهرة كما في القيمة الزمنية للنقود.
نحن نصنعه بشكل مصطنع من خلال جاما لتحفيز الوكلاء أو إلهام الوكلاء ليكونوا أقرب
إلى خط النهاية.
لذلك إذا طُلب من وكيل ما ، هل تفضل أن تكون هنا أو هنا بسبب الطريقة التي تعمل بها هذه
المعادلة ، فسيختار أن تكون هنا.
لا يوجد شيء أكثر من ذلك ، ولا أقل.
إنه ليس شيئًا يعمله العالم بهذه الطريقة.
لا ، إنه مجرد شيء نبتكره بشكل مصطنع حتى يفهم عملاؤنا
أنه كذلك.
هذا جيد.
كلهم جيدون.
لكن هذا أفضل من هذا.
وهذا أفضل من هذا.
وهذا أفضل.
و هذه.
وبهذه الطريقة يمكنك رؤية العميل القديم يمكنه رؤية الاتجاه الذي يجب أن يسلكه.
لذلك يمكن أن ترى أنني إذا كنت أقف هنا ، تذكر تلك المشكلة التي كانت لدينا أو كان يقف هنا؟
لذا ، إذا كنت تقف هنا ، فهل أذهب للأسفل أم يعجبني إذا كنت أقف هنا لأرتفع أو أنزل؟
حسنًا ، لم تعد هناك مشكلة بعد الآن ، لأنه يمكنك أن ترى أنه من الأفضل بالفعل أن ترتفع
القيمة لأن القيمة أكبر هنا.
ومن هنا من الأفضل أن نبدأ ، صحيح ، لأن القيمة هنا أكبر من هنا.
ومن هنا من الأفضل أن نذهب ، أليس كذلك؟
لأن القيمة هنا أكبر من هنا.
من هنا.
ومن هنا يعرف بالفعل أنه بحاجة للذهاب ، صحيح.
لأنه سيحصل هنا على مكافأة واحدة.
هذه هي الطريقة التي يعمل بها هذا النهج برمته.
الآن ، دعنا نلقي نظرة سريعة على باقي المربع.
إذن كيف نحسب قيمة هذا المربع؟
حسنًا ، هنا حيث تصبح الأمور صعبة بعض الشيء.
إذن من هنا ، قد لا تتجه يسارًا ، أليس كذلك؟
قد تذهب في الواقع الصحيح.
لذلك لا يمكننا الاستمرار على هذا المنوال لأنه قد يكون من الأقصر في الواقع السير على هذا النحو.
إذن ما سنفعله هو أننا سنحسب القيمة في هذا المربع أولاً.
ولأنه من الواضح أن أفضل طريقة هي الصعود مرة أخرى.
هذا لأننا نرى أن لدينا كرة بلورية ، يمكننا رؤية الأشياء وسترى المزيد في
هذا القسم ، سترى كيف يستكشف العامل هذا الأمر بالفعل ، ويفهم ذلك من خلال
التجربة.
لكن بالنسبة لنا ، نعلم أنه من الأفضل السير على هذا النحو.
سنقوم بحساب القيمة هنا ، ولهذا السبب سنقوم بحساب القيمة في هذا المربع
أولاً.
إذن لدينا هنا ثلاثة إجراءات ممكنة.
في الواقع ، لدينا أربعة.
يمكننا أيضا أن نتجه يسارا.
من المفترض أن يضغط العميل على اليسار ويصطدم بالحائط ويبقى هنا.
ولكن من أجل البساطة ، وهو ما سيُظهر الإجراءات التي نعرفها بما نعرفه ونمتلك الكرة البلورية
، فنحن نعرف أي الأفعال هي التي تؤدي في الواقع إلى شيء آخر غير الحالة نفسها مرة
أخرى.
وهنا ، من هنا ، نعلم ذلك مرة أخرى ، فقط لأن لدينا كرة بلورية ، نعلم أن أفضل طريقة
للذهاب هي بهذه الطريقة.
يجب على الوكيل ، بالطبع ، أن يجرب ويجد أفضل طريقة.
وسترى كيف يحدث ذلك في هذا القسم.
سترى في الواقع كيف يتجول الوكيل وكيف ستجرب محاولة العثور على هذه القيم.
لكن بالنسبة لنا ، نحن نعلم أنه بهذه الطريقة.
لذا هنا ، إذا قمنا بتوصيل كل شيء بواحد ، فإن الحد الأقصى ، وأفضل ناتج هو عندما ترتفع ،
وهنا a10. 90.
إذا قمت بتوصيل ذلك ، تحصل على 0. 9.
لذلك نحسب ذلك.
دعونا نحسب هذه الطريقة نفسها.
هذه لديك ثلاث طرق يمكنك من خلالها استخدام أربع طرق للوكيل ، لكن بالنسبة لنا يمكننا أن نرى أنها ثلاث
طرق فقط.
إذن 0. 81 من هنا لديك 0. 73.
وهو في الواقع يرتبط بشكل جيد بهذه القيمة لأنه إذا قمت بالخصم مرة أخرى ، فستحصل على 0. 66 وهنا لديك
0. 73 لأن هذا هو الطريق الأمثل.
لذا ها أنت ذا.
هذه هي القيم ، كل هذه الحالات.
والآن يمكنك أن ترى أنه نظرًا لأننا أنشأنا هذه المعادلة ، فقد أنشأنا بشكل
تركيبي هذا المفهوم الكامل ، كلما اقتربت من خط النهاية ، زادت قيمة هذه الحالة.
ليس لأننا أنشأنا ذلك الآن ، فمن الواضح جدًا للوكيل الطريقة التي يجب أن يسير بها.
وسنتحدث أكثر عن ذلك في البرامج التعليمية القادمة.
أتمنى أن تكون قد استمتعت بجلسة اليوم وأعلم أنها قد تبدو بسيطة بعض الشيء في هذه المرحلة ، ولكن بينما
ننتقل إلى هذا القسم ، سنضيف المزيد من التعقيد إليها.
في نفس الوقت ، إذا كنت لا تستطيع الانتظار ، إذا كنت تريد القفز إليه ، فهناك ورقة يمكنك إلقاء
نظرة عليها ، وهي الورقة الأصلية لريتشارد بيلمان.
تسمى نظرية البرمجة الديناميكية من عام 1954 ، ويمكنك أن تجدها على هذا الرابط وهناك تذهب.
لذا يمكنك القفز إليها مباشرة والقراءة من مؤلف معادلة بيلمان.
لكن فقط ضع في اعتبارك أن هذه ورقة ثقيلة رياضياً.
وفي هذه الملاحظة ، أتطلع إلى رؤيتك في المرة القادمة.
وحتى ذلك الحين ، استمتع.
أنا.