أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
واليوم نتحدث عن عمليات قرار ماركوف أو MDP.
دعونا نلقي نظرة على ما لدينا اليوم.
لذا في المرة الأخيرة توقفنا عن مفهوم الخريطة.
لذلك نظرًا لأننا حسبنا القيم بناءً على معادلة بلمونت ، يمكننا اشتقاق هذه الخريطة لوكيلنا
في هذه المتاهة.
وما يعنيه ذلك أساسًا هو المكان الذي يبدأ فيه وكيل التغيير ، فلنفترض أنه يبدأ من هناك.
إنه يعرف بالضبط الخطوات التي يجب اتخاذها للوصول إلى خط النهاية.
لذلك يرتفع فقط.
لأعلى ، صحيح ، صحيح.
وفعلت.
والسؤال هنا ، هل الأمر بهذه البساطة حقًا؟
هل التعلم المعزز حقاً ، كما تعلمون ، ممل بسبب عدم وجود كلمة أفضل؟
إنها بمجرد أن تحصل على الخريطة ، هذا كل شيء.
كل ما عليك فعله هو الانتهاء.
أنت فقط تتبع الخريطة.
حسنًا ، الحقيقة هي أنه ليس بهذه البساطة في الواقع.
وهذا شيء جيد ، لأنه يجعل هذه الدورة أكثر تشويقًا بالنسبة لنا ويمكننا في الواقع حل مشاكل
أكثر تعقيدًا.
هذا هو المكان الذي تأتي فيه عمليات ماركوف.
لكن أولاً ، سنتحدث عن شيئين.
سوف نتحدث عن البحث الحتمي مقابل البحث غير الحتمي.
لذلك دعونا نتحدث عن مفهوم البحث الحتمي.
هذا هو وكيلنا في المتاهة.
والبحث الحتمي يعني أنه إذا قرر الوكيل الصعود ، فإن ما سيحدث هو احتمال
100٪ أنه سيرتفع.
هذا بالضبط ما سيحدث.
لا توجد خيارات أخرى.
مرة واحدة ، بمجرد أن تقول إصعد أو انقر فوق السهم لأعلى ، سترتفع.
لا توجد خيارات أخرى.
الآن ، من ناحية أخرى ، البحث غير الحتمي هو عندما يقول وكيلنا إنه يريد الصعود.
هم في الواقع خياران.
على سبيل المثال ، يمكن أن يكون هناك ثلاثة خيارات وسنلقي نظرة على مثال به ثلاثة خيارات
، لكن لا يجب أن يقتصر على ثلاثة.
يمكن أن يكون أربعة أو قد يكون مختلفًا اعتمادًا على المشكلة.
يمكن أن تكون العشوائية مختلفة ، ولكن في حالتنا يمكن أن تكون ثلاثة خيارات مع فرصة بنسبة 80٪ أن يرتفع
، ولكن بعد ذلك مع وجود فرصة بنسبة 10٪ عندما يريد الصعود ، سيذهب بالفعل إلى اليسار لمجرد أنه هذه هي الطريقة
التي تعمل بها البيئة.
هذا هو العالم الذي يعيش فيه.
ومع وجود فرصة أخرى بنسبة 10٪ ، سوف يسير في الاتجاه الصحيح.
وفي هذه الحالة ، سوف يسقط في حفرة النار.
هكذا يعمل كل شيء.
هذا مثال على بحث غير حتمي ، عملية عشوائية.
والهدف من ذلك ، هو عمل نموذج أكثر واقعية لما يمكن أن يحدث في الواقع في عالم حقيقي ، في مشكلة
من نوع العالم الحقيقي.
لأنه نادرًا ما تحصل على مثل هذه المواقف عندما تفعل شيئًا ويحدث بالطريقة بالضبط.
وحتى إذا فكرت في الأمر من حيث الألعاب ، فلنفترض أن لديك وكيلًا يلعب لعبة Pac-Man.
حسنًا ، ليس دائمًا.
هل هو أنه إذا كان يقف في المربع ، فقد صعد ، سيحصل على نفس النتيجة
بالضبط في كل مرة سيصعد فيها بالفعل ، ولكن قد يكون في حالة واحدة لن يأكله شبح ، وفي
حالة أخرى سيأكله شبح.
لذا كما ترون ، هناك بعض العشوائية في الأمر لأنها تعتمد على كيفية تحرك الأشباح ولا تتحرك
دائمًا بنفس الطريقة.
لا يبدأون دائمًا في نفس المواقع.
لذلك فمن المنطقي جدا.
من العدل أن يكون هناك بعض العشوائية.
هناك شيء لا يخضع لسيطرة الوكيل ، وهذا هو مجرد وسيلة بالنسبة لنا لتمثيل ذلك
حتى نتعلم كيف يمكننا التعامل معه وكيف يؤثر ذلك على معادلة بيلمان ، وكيف يؤثر
على الكل. عملية التعلم التعزيزي.
ولكن في الوقت نفسه ، لا تقتصر العشوائية بالطبع على إذا ارتفعت ، فهناك احتمال بنسبة 10٪ أن تتجه
يمينًا أو فرصة 10٪ لتتجه يسارًا.
أو إذا هبطت ، فهناك احتمال 10٪ أن تذهب يمينًا أو يسارًا.
أو إذا اتجهت إلى اليمين ، فهناك فرصة بنسبة 10٪ للارتفاع أو الانخفاض.
لا يقتصر الأمر على المكان الذي ستنتهي إليه.
في بعض الأحيان قد يكون لديك مشكلة.
هذا هو بالضبط في بعض الأحيان قد تكون الاحتمالات مختلفة.
في بعض الأحيان قد تتلخص العشوائية في شيء آخر.
قد يكون مغليًا كما في مثال بكمن ، عن الأشباح التي تأكلك أو لا تأكلك.
أو قد يتلخص في شيء مختلف.
على سبيل المثال ، كما هو الحال ، هناك مثل ما إذا كان العميل يلعب الموت ثم هناك شيء مثل الوحش الذي
سيطلق النار عليه في حالة واحدة ، لعبة أخرى.
هناك مثل احتمال أن يتم تصويره ولن يتم تصويره وما إلى ذلك.
إذاً شيء خارج عن سيطرة الفاعل ، شيء لا يمكنه التنبؤ به.
هذا ما نصممه هنا في بحث غير حتمي.
وهذا هو المكان الذي تعاملنا فيه مباشرة مع مفهومين جديدين ، عمليات ماركوف و / أو عملية ماركوف وعملية
قرار ماركوف المميزة.
لذلك دعونا نلقي نظرة على هذه ، وأنت تعرف كم لا أحب وضع التعريفات والكثير من النصوص على الشرائح
، ولكن في هذه الحالة من الضروري بالنسبة لنا استعراضها.
لذلك دعونا نلقي نظرة.
العملية العشوائية لها علامة الملكية.
إذا كان التوزيع الاحتمالي المشروط للحالات المستقبلية للعملية مشروطًا بالحالات
الماضية والحالية ، يعتمد فقط على الحالة الحالية ، وليس على تسلسل الأحداث التي سبقتها.
تسمى عملية هذه الخاصية عملية الترميز.
تعريف معقد للغاية وهو نوع يشبه حتى قليلاً لا يتعارض مع نفسه ، لكنه يبدو أنه
يناقض نفسه.
إذن هنا يقول مشروطًا على كل من الماضي والحاضر يعتمد فقط على الحالة الحالية ، ولكنه
في نفس الوقت يعتمد فقط على الحالة الحالية.
لذلك لا تتورط في ذلك.
سوف أقسمها بعبارات بسيطة.
لذا فإن علامة الملكية هي عندما تكون دولتك المستقبلية.
لذلك ليس اختيارك فحسب ، بل الأمر برمته ، اختيارك والبيئة.
ستعجب نتائج الإجراء الذي تتخذه في تلك البيئة فقط على مكان وجودك
الآن.
لن يعتمد الأمر على كيفية وصولك إلى هناك.
وهذا كل شيء.
إذن هذا سوق للعقارات والعملية التي لها هذه الخاصية تسمى عملية السوق.
لنضعها في مثال ، لذلك إذا كان وكيلك هنا وإذا ذهب ، إذا قرر الصعود ، فقد
يذهب.
هو في حالتنا ، في مثال البحث غير الحتمي ، قد يتجه في الواقع إلى اليسار واليمين.
حسنا.
هذا لأن لدينا تلك النظرية العشوائية داخل بيئتنا.
لدينا تلك العشوائية داخل بيئتنا.
لذلك أي واحد من هؤلاء الثلاثة قد يحدث.
لكن المفتاح هنا هو أن هذه علامة على العملية لأننا لا نهتم بكيفية وصوله إلى هنا.
كان من الممكن أن يأتي من الأعلى ، وينتهي به الأمر هنا ، كان يمكن أن يأتي من اليسار.
ومن ثم هنا كان يمكن أن يأتي من القاع ، وانتهى به الأمر هنا.
كان من الممكن أن يتحرك هنا مثل 100000 مرة ثم وصل إلى هنا.
لا يهم ما حدث من قبل.
فقط ما يهم هو في أي دولة هو الآن.
وبالتالي فإن احتمالات التحرك يسارًا أو يمينًا أو لأعلى ، ستكون دائمًا كما هي إذا كان في هذه الحالة
الآن.
وهذا يعني ببساطة أنه لا يهم ما حدث قبل أن نكون هنا الآن.
هذه هي الحالة التي أنت فيها.
ولا تنس أن هذه الحالة لا تعني فقط أين يقف.
الدولة هي حالة كل العامل في البيئة.
فهل هناك مثل الوحوش على اليمين أم أنها وحوش على اليسار؟
أم أن الشبح قادم من أعلى القاع؟
مهما كانت الحالة التي أنت فيها الآن ، لا يهم كيف وصلت إلى هناك.
لا يهم كيف حدث أن تكون هناك في تلك الحالة.
الآن ، ما سيحدث في المستقبل يتم تحديده فقط من خلال الحالة التي أنت فيها الآن ، بالإضافة إلى الإجراءات التي ستتخذها
بعد ذلك ، بالإضافة إلى ، بالطبع ، العشوائية المتراكبة فوق ذلك.
إذن فهذه علامة للعملية وعلامة لعملية اتخاذ القرار أو تقدم عمليات قرار MDP أو Markov إطارًا رياضيًا
لنمذجة صنع القرار في المواقف التي تكون فيها النتائج عشوائية جزئيًا وجزئيًا
تحت سيطرة صانع القرار.
من المهم جدًا أن نفهم أن عمليات عملية اتخاذ القرار في ماركوف هي مفهوم مختلف أو مختلف تمامًا عن
عملية ماركوف ، بالنسبة لعملية ماركوف ، فهي تشبه نوعًا ما إطار رياضي.
لذا ولكن في نفس الوقت ، اعتقدت أنه من المهم بالنسبة لنا أن نفهم ما هي عملية ماركوف
، لأنني أعتقد أنها لا تزال تساعد في فهم علامة عملية اتخاذ القرار.
لذا فإن علامة عملية اتخاذ القرار هي أن هذا هو بالضبط ما كنا نناقشه حتى الآن بحيث
يعيش الوكيل في هذه البيئة حيث يتحكم فيه.
مثل ، تذكر ، في السابق كان لديه سيطرة كاملة على ما يجري ، لكنه الآن لديه
تحكم أقل قليلاً.
يمكنها أن تقرر الصعود ، لكنها تعرف في الواقع.
حسنًا ، إذا صعدت ، فهناك فرصة بنسبة 80٪ لأرتفع.
هناك فرصة بنسبة 10٪ لليسار ، و 10٪ فرصة أن أذهب لليمين.
لذلك ليس كل شيء تحت سيطرتها بالكامل.
هناك بعض العشوائية في هذه البيئة.
هذا هو بالضبط علامة على عملية اتخاذ القرار.
عملية اتخاذ القرار ماركوف هي إطار العمل الذي سيستخدمه الوكيل لفهم ما يجب القيام به في هذه
البيئة.
إذن لدينا بيئة بها بعض العشوائية ، وبعض العشوائية ، والآن على الوكيل أن يختار ،
على سبيل المثال ، يجب أن يرتفع أو ينخفض ، يسارًا أو يمينًا ، عليه أن يتخذ هذا القرار.
لا تعرف ماذا تفعل.
ومن أجل اتخاذ هذا القرار ، سوف يتم تطبيق إطار عمل سوف يستخدم عملية قرار ماركوف
من أجل اتخاذ هذا القرار ، ما الذي سيحدث ، إلى أين سيذهب.
وبالتالي فإن هذه البيئة التي تطرح هذه المشكلة ، يشار إليها بشكل أساسي بعلامة عملية اتخاذ القرار.
لذلك فهو الإطار الذي يستخدمه الوكيل.
في الوقت نفسه ، يُشار إلى البيئة إلى أن الوكيل يعمل في بيئة عملية اتخاذ القرار
ماركوف.
ولذا لدينا هنا مفهومان.
لدينا عملية ماركوف هي الطريقة التي يتم بها تصميم هذه البيئة ، والتي تقوم بما يحدث من حيث
أنت الآن لا تعتمد على الماضي.
ثم في نفس الوقت الذي حصلنا فيه على علامة عملية اتخاذ القرار هو الإطار
الذي سيستخدمه الوكيل لحل هذه البيئة.
والخبر السار هو أن علامة عملية اتخاذ القرار أو إطار العمل الذي نتحدث عنه هو
في الواقع مجرد إضافة إلى معادلة بيلمان لدينا هي معادلة بيلمان ، ولكنها أكثر تعقيدًا.
لذلك دعونا نلقي نظرة على ذلك.
هذه هي معادلة بيلمان الخاصة بنا.
حتى الآن ، هذا هو الحد الأقصى لجميع الإجراءات الممكنة.
لذا فإن قيمة أن تكون في حالة هي الحد الأقصى لجميع الإجراءات الممكنة التي يمكنك اتخاذها من تلك
الحالة.
يتم أخذ الحد الأقصى من المكافأة التي ستحصل عليها من خلال اتخاذ هذا الإجراء في تلك الحالة ، بالإضافة إلى
عامل الخصم مضروبًا في قيمة الحالة التالية ، وهي القيمة الأولية.
هذا ما حصلنا عليه حتى الآن لأن لدينا بعض العشوائية في عمليتنا بأكملها.
هذا ، هذا الجزء سيتغير لأننا لا نعرف في الواقع الحالة التي ستنتهي ولا نعرف
ما هو العدد الأولي.
هل سيكون الأمر إذا كنا نصعد ، هل يرتفع أم أننا نترك؟
هل سنكون على حق؟
لذا فعلينا أن نضع هذا في القيمة المتوقعة للحالة التالية.
لذلك سنقوم هنا باستبدال هذا.
إذن ، هناك ثلاث حالات محتملة يمكن أن ينتهي بنا المطاف فيها.
ولذا سنستبدل ذلك ببعض القيمة.
هذه الحالة لها قيمة شرطة واحدة ، وهذه الحالة بها شرطة ، واثنين كرقمتين ، وهذه الحالة
لها قيمة V لـ S ثلاثة شرطة.
سنقوم الآن بضرب الحالة التي نعتزم الدخول فيها بنسبة 80٪ ، لأن هذا هو احتمال وصولنا إلى هذه الحالة
، بالإضافة إلى احتمال الوصول إلى هذه الحالة بنسبة 10٪ بالإضافة إلى كل فاتورة دخول
في الحالة.
إذن هذه هي القيمة المتوقعة فقط.
لذلك إذا أخذنا من الإحصائيات القيمة المتوقعة للدخول إلى الدولة ، فسنصل إليها.
نوعًا ما يشبه المتوسط ما هو متوسط ما سنحصل عليه ثم نستبدل ذلك
هنا.
ثم نحصل على هذه المعادلة.
الآن يقفز بسرعة كبيرة فقط لأن هذه المعادلة أكبر.
ولكن إذا نظرت إليها بعناية ، سترى أنها نفس الشيء تمامًا.
إذاً لديك أجهزة Mac هنا ، وأجهزة Mac جيدة هنا ، ثم لديك R من S و A ، لديك R من SE ، وهنا لديك
جاما ، لديك جاما.
ثم أخيرًا هنا لديك V.
لذلك كنت تعرف بالضبط أنه كان بحثًا حتميًا.
كنت تعرف الدولة التي ستدخل فيها.
الآن أنت لا تعرف أي ولاية ستدخل.
لذا بدلاً من أخذ V ، فأنت تأخذ القيمة المتوقعة للحالة التي ستدخلها أو للحالة
المستقبلية ، أو بعبارات أبسط ، فأنت تأخذ فقط متوسط ما ستدخل إليه.
لذا ، إذا كانت قيمة a في a in a like كانت فرصة 33٪ ستكون هكذا ، زائد هذا زائد هذه القسمة على ثلاثة
أساسًا.
لكن في هذه الحالة ، ليس الأمر مختلفًا تمامًا مثل المتوسط المتوسط.
إنه متوسط مرجح بسبب احتمالاتك هنا.
إذاً هنا لديك احتمالية عندما تكون في هذه الحالة ، فإنك تتخذ هذا الإجراء الخاص بالوصول إلى الحالة
كأضرب قيمة لـ s الأولية ويتم تلخيصها عبر كل هذه الأعداد الأولية التي يمكنك الوصول
إليها هنا.
إذن بالضبط ما كان لدينا ثلاثة هنا.
واحد اثنين ثلاثة.
اجمعها مضروبًا في الاحتمالات.
أضفهم.
نفس الشيء هنا.
واحد اثنين ثلاثة.
اضربهم في الاحتمالات واجمعهم.
وهذه هي معادلة بلمونت الجديدة الخاصة بك.
تهانينا.
هذا ما سنعمل معه للمضي قدمًا ، وهذا هو الإطار المستخدم في عمليات اتخاذ قرارات
ماركوف.
إذن هذا هو الإطار الذي يحل هذا الذي يستخدمه الوكلاء لحل مشكلة البحث العشوائية غير الحتمية بأكملها
حيث توجد أحداث عشوائية تحدث ولا يمكنهم التحكم فيها.
لذا فالأمر أكثر تعقيدًا.
لكن كما ترون ، لأننا بنينا عليها ببطء الآن نحن نعرف بالفعل عن هذا ،
نقرأ عنه ، ونقرأ عنه ، ونعرف عنه ، ونعرف عنه.
لذلك كل ما فعلناه هو أننا قدمنا هذا الجزء هنا لأن هناك احتمالات متضمنة
في الإجراء أو عواقب أفعالك.
وعلى الحتمية ، فهي تستند إلى احتمالات معينة.
وها نحن ذاهبون
هذه هي الطريقة التي تعمل بها عملية قرار السوق والمعادلة الأساسية الكامنة وراءها.
مرة أخرى ، إنه شيء يشبه إلى حد كبير مشاكل العالم الحقيقي أو سيناريوهات العالم الحقيقي
أو حتى سيناريوهات اللعبة ، لأنه ليس كل شيء مباشرًا.
هناك بعض العشوائية لجميع المعنيين ولن يتخذوا دائمًا إجراءً في حالة معينة.
لن دائما.
حسنًا ، لن يؤدي ذلك دائمًا إلى نفس النتيجة.
وهذا ما سنتعامل معه للمضي قدمًا ، وهذا سيجعل الأمور أكثر إثارة
للاهتمام.
لذا آمل أن تكون متحمسًا لذلك ومتحمسًا لرؤية ما سيحدث بعد ذلك.
وفي غضون ذلك ، وجدت ورقة رائعة حقًا لكي تلقي نظرة عليها في هذا الوقت.
إنها ورقة مطبقة للغاية ، لذا فإن قراءة هذا المقال ممتعة حقًا.
يطلق عليه مسح تطبيقات عمليات اتخاذ القرار ماركوف ، وقد كتبه
وايت في عام 1993.
هناك رابط وسيُظهر لك أمثلة على المكان الذي تُستخدم فيه عمليات اتخاذ قرار ماركوف فعليًا لنمذجة سيناريوهات الحياة
الواقعية.
أعتقد أنني كنت متحمسًا جدًا لهذا.
لقد تأثرت ببعض الأمثلة.
لذا فإن حصاد السكان ، على سبيل المثال.
لنفترض أن لديك بعض الأسماك وما هو عدد الأسماك ، فأنت بحاجة إلى تحديد
عدد الأسماك التي يمكننا صيدها هذا العام وماذا؟
إذن هذه هي حالتك الحالية.
هذا هو الإجراء الذي تقوم به.
كم عددًا يمكننا تصويره هذا العام ، فما هي النتائج المحتملة لذلك؟
كم عدد الأسماك التي سنمتلكها العام القادم؟
كم عدد الأسماك التي سنمتلكها في العام الذي يليه والسنة التي تليها وما إلى ذلك؟
وهي ليست حتمية لأنها ليست كما لو كنت قد استبعدت و 90٪ من السكان في العام
المقبل ، فستعود إلى 100٪.
انها ليست حتمية بالضبط.
هناك عوامل عشوائية معينة خارجة عن سيطرتنا.
وبالتالي علينا أن نفهم ما الذي سيحدث.
علينا أن نصمم ما سيحدث.
هذا هو المكان الذي يتم فيه استخدام عملية اتخاذ قرار ماركوف.
الزراعة ، هناك مثال مشابه للشيء نفسه ، مثل حصاد المحاصيل.
كم من المحاصيل نحصد؟
كم الثمن؟
كم لا نحصد؟
واحد آخر ، والذي نظرت فيه إلى التمويل والاستثمار مثل شركة التأمين بحاجة إلى تحديد مقدار الأموال
التي ستستثمر فيها.
معطى ، على ما أعتقد ، يوم أو سنة أو فترة زمنية معينة.
وهناك عوامل معينة خارجة عن سيطرتها.
على سبيل المثال ، حركات السوق ، لا تعرف ما يمكن أن يحدث.
لذلك يحتاج إلى نموذج فعلي لذلك بطريقة ما ويتم استخدام عملية قرار السوق من أجل ذلك.
هنا يمكنك أن ترى الكثير والكثير من الأمثلة وهذا هو عدد الأمثلة المعطاة على ما أعتقد لكل
منها.
وهكذا حتى الرياضة ، مثالان للرياضة والأوبئة ومطالبات التأمين على السيارات والتفتيش والصيانة والإصلاح
وما إلى ذلك.
مثير جدا للاهتمام.
الق نظرة على ذلك.
فقط لإعطائك فهمًا ، هذا ليس فقط كل الأشياء المكونة ، الافتراضية ، نوع المصفوفة
للأشياء.
هذا في الواقع سيناريو العالم الحقيقي.
لذلك سوف يمنحك فهمًا أفضل.
وهذا ما تحدثنا عنه في الفيديو الترويجي لهذه الدورة التدريبية أو وصف الدورة
الذي سنلهمك وحدسك لإعطائك أفكارًا حول كيفية استخدام الذكاء الاصطناعي في الحياة الواقعية.
هذه فرصتك.
انظر إلى هذه الورقة لفهم ، حسنًا ، لذلك سنتعامل مع عمليات اتخاذ قرار ماركوف للمضي
قدمًا.
هذا رائع حقا.
كيف يبدون في الحياة الواقعية؟
وقد يثير هذا بعض الأفكار لك حول كيفية تطبيق الذكاء الاصطناعي في المستقبل لجعل العالم
مكانًا أفضل.
وسنكون سعداء جدًا بذلك.
سيكون من دواعي سروري أن تتمكن من استخدام ما تعلمته في هذه الدورة لجعل العالم مكانًا أفضل باستخدام الذكاء الاصطناعي.
كم سيكون ذلك رائعا؟
في هذه الملاحظة ، أتمنى أن تكون قد استمتعت ببرنامج اليوم التعليمي.
أنا أتطلع إلى رؤيتك في المرة القادمة.
وحتى ذلك الحين ، استمتع بـ i.