أهلا ومرحبا بكم من جديد في دورة الذكاء الاصطناعي.
في السابق كان لدينا برنامج تعليمي شاق وطويل عن عمليات اتخاذ قرارات ماركوف ، ونأمل
أن تتماشى جيدًا مع ذلك وآمل أن أتمكن من شرح الأمور بطريقة سهلة وجذابة.
واليوم سنتحدث عن السياسات مقابل الخطط.
سيكون برنامجًا تعليميًا سريعًا وممتعًا لأننا الآن ندخل إلى عالم جديد.
نحن ندخل في عالم البحث العشوائي ، البحث غير الحتمي ، عندما لا يتعلق الأمر فقط بالمرور عبر المتاهة
، ولكن أيضًا في حساب العوامل العشوائية التي قد تصيبك في رأسك عندما تمر
عبر هذه المتاهة وتحتاج إلى كن مستعدا لهم.
هذا هو العالم الذي يعيش فيه وكيلنا.
وهي أكثر إمتاعًا ، لكنها أيضًا أكثر خطورة.
انها أكثر.
إنه أقل قابلية للتنبؤ.
إذن كيف سيتصرف وكيلنا؟
لنلقي نظرة.
هناك إطار عمل ماركوف لعملية اتخاذ القرار ، والذي يعد مرة أخرى معادلة بيلمان المفضلة لدينا.
ومع ذلك ، فإن النسخة الأكثر تقدمًا من معادلة بيلمان التي كنا نعمل معها.
لذا من الآن فصاعدًا ، سنسمي هذه المعادلة التطويرية.
وهنا لدينا الحد الأقصى في جميع الإجراءات.
لذا فإن قيمة الحالة والحالات هي الحد الأقصى عبر جميع الإجراءات التي يمكن أن يؤديها الوكيل
في تلك الحالة.
ويتم أخذ الحد الأقصى من المكافأة التي سيحصل عليها الوكيل من خلال تنفيذ الإجراء أ في الولايات ، بالإضافة
إلى عامل الخصم مضروبًا في القيمة المتوقعة للحالة الجديدة.
سيكون في والقيم المتوقعة مأخوذة هنا لأنها لا تعرف بالضبط الحالة التي ستنتهي
فيها.
هناك بعض التأثيرات العشوائية الموجودة في البيئة والتي قد تغير الحالة وقد لا ينتهي بك الأمر في
الحالة المرغوبة.
قد ينتهي بك الأمر في حالة مختلفة.
ولهذا نأخذ القيمة المتوقعة هنا ، هذا المجموع هنا.
لذلك دعونا نلقي نظرة على هذا كمثالنا أو في مثالنا عن المتاهة.
إذن هذا ما كان لدينا من قبل.
لذلك كنا في السابق نتعامل مع البحث الحتمي ، لذلك عرفنا ذلك.
حسنًا ، إذا كنت هنا ، فأنا بالتأكيد بحاجة للذهاب إلى هنا.
إذا كنت هنا ، فأنا بالتأكيد بحاجة للذهاب إلى هنا.
إذا كنت هنا ، فأنا هنا.
لذلك كان كل شيء بسيطًا جدًا.
بمجرد الحصول على هذه الخريطة وتذكرها ، أطلقنا عليها اسم خطة.
بمجرد الانتهاء من الخطة ، يكون ما عليك القيام به واضحًا جدًا.
هناك أخطاء.
هذه هي الخطة ذات الأسهم.
ومن هنا كان الأمر واضحًا جدًا حيث يوجد هذا.
هذه هي المسارات التي قد يسلكها الوكيل.
أينما تبدأ على هذا الخط الأزرق ، فهذه هي بالضبط الطريقة التي ستسلكها.
ومع ذلك ، الآن ليس لدينا خطة بعد الآن.
لا يمكننا الحصول على خطة لأنه ، كما تعلمون ، كل ما نخطط له قد لا يحدث.
إنه ليس تحت سيطرتنا.
الخطة هي عندما تعرف بالضبط ما عليك القيام به بعد ذلك.
أنت تعرف الخطوات.
إذن لديك نقطة بداية ، ولديك هدف ، وأنت تعرف كل خطوة حتى تتمكن من التخطيط
لها.
أنت مثل ، سأفعل هذا ، سأفعل هذا ، سأفعل هذا.
مثل حياتك ، مثل خطة.
لكن في نفس الوقت ، هناك الكثير من العشوائية التي تحدث.
لا يمكنك الحصول على خطة لأنك ماذا لو وصلت إلى هنا ثم نقرت على اليمين وأخذت في الواقع إلى
أسفل؟
لذلك هذا ليس جزءًا من خطتك.
لهذا السبب لم يعد يطلق عليها الخطة بعد الآن.
وهنا سنحسب القيم أو سنلقي نظرة على القيم
المحسوبة لنفس المشكلة.
لكن استنادًا إلى الأساس ، نظرًا لوجود هذه العشوائية في الداخل ، فهذه هي القيم الجديدة.
فلماذا تختلف هذه القيم؟
لذلك دعونا نقارنه بما كان لدينا من قبل.
هذا ما كان لدينا من قبل.
هذه هي القيم الجديدة.
مرة أخرى ، كان لدينا سابقًا يمكنك رؤية 10. 9 ، 0. 81 ، 73 ، 66 وهذا ما لدينا الآن ، 86.
الدرس الأول ، 74 ، 71 ، 63 وهكذا.
وبالمناسبة ، هذه ليست بالضبط القيم الصحيحة من أعلى رأسي ، ولكن إذا أردنا تشغيل وكيل ، فستكون
القيم شيئًا مشابهًا لهذا.
ويمكن أن تتغير القيم لأننا نختار 0 اعتمادًا على جاما. 9 أو قيمة أخرى.
لكن مع ذلك ، من أجل الجدل ، هذه هي القيم التي نتعامل معها الآن.
وهي تقريبية.
ينقلون الفكرة بأكملها بالطريقة الصحيحة.
لذلك دعونا نلقي نظرة عليهم.
لماذا تغيروا؟
حسنًا ، لماذا هنا لنبدأ بهذا.
هنا القيمة واحدة.
لماذا هو فجأة 0. 86؟
لماذا هو أقل من واحد؟
هل يمكننا الذهاب من هنا؟
هنا؟
حسنًا ، نحن في الواقع نسميها لأنه من هنا ، إذا ذهبنا إلى اليمين ، وهي نيتنا ، وإذا كنا على حق ، فيمكننا
في الواقع مع فرصة 10٪ أن ينتهي بنا المطاف هنا.
لذلك كنا قد اصطدمنا بالجدار وسنعود إلى هذه الحالة ونتذكر ، لدينا جاما لذا سيتم
خصم القيمة أو مع أو مع أو مع أو مع احتمال 10٪ سينتهي الأمر هنا في هذه الحالة.
لذلك ليس احتمال الوصول إلى هنا بنسبة 100٪.
لذلك لم يعد من الممكن أن تكون هذه القيمة واحدة.
إنه شيء أقل وهو ، دعنا نقول 0. 86.
إذن هذا مثال على سبب ذلك.
ويمكنك الحصول على القيمة الدقيقة إذا قمت بحساب معادلة بلمونت ، معادلة بلمونت الكاملة التي
لدينا الآن.
المشكلة الوحيدة هي أنه سيكون هناك بعض العودية لأنك ستحتاج إلى معرفة قيمة هذا ومن
ثم تحتاج إلى معرفة قيمة ذلك.
إنه معقد للغاية ، ولهذا السبب لا نقوم بالحسابات يدويًا هنا.
هذا هو السبب في أن ملف.
يمكنني القيام بها أثناء مرورها بكل هذا.
يبدو الأمر كما لو أنه لا يوجد شيء معقد للغاية بالنسبة للذكاء الاصطناعي لحساب هذه الأشياء.
إذن هذه هي قيمتنا هنا.
ولكن دعونا نلقي نظرة على مختلف منها.
لذلك اعتادت أن تكون هنا 0. 9 فقط بسبب عامل الخصم.
تذكر ، من هنا إلى هنا مرة أخرى ، الآن من هنا ، لا يمكننا القفز من هنا إلى هنا لمجرد أنه حتى لو
قفزنا إذا ذهبنا بهذه الطريقة ، فقد ينتهي بنا الأمر هنا مرة أخرى.
مرة أخرى هنا ، صحيح.
هناك احتمال بنسبة 20٪ بأننا سنبقى في الميدان لأننا سنصطدم بجدار ومرة أخرى وهكذا.
إذن قيمة الوجود هنا هي 0. 71.
مرة أخرى ، هذا هو عامل الخصم ، قد يبدو هذا غريبًا بالنسبة لك حتى مع عامل الخصم ، هذا
مرتفع جدًا.
ربما لا يكون عامل الخصم في هذا المثال صفرًا. 9 ، ربما يكون 0. 99 أو شيء من هذا القبيل.
لذلك لا تقلق بشأن ذلك.
مجرد نوع من التركيز على ذلك.
لقد تغيرت القيم بالفعل لأن القيم الآن أقل ، غالبًا لأنه ليس احتمالًا بنسبة 100٪ للوصول إلى الحالة التي
تريد الحصول عليها.
وما ستجده مثيرًا للاهتمام هنا أنه اعتاد أن يكون 0. 9 وقد انخفض كثيرًا في الواقع.
لقد تم إسقاطه بشكل كبير.
لماذا هذا؟
حسنًا ، لأنك إذا انتقلت من هنا إلى أعلى ، وهي نيتنا ، فهناك فرصة بنسبة 10٪ للاصطدام
بالحائط ، ولكن هناك احتمال بنسبة 10٪ أن ينتهي بك المطاف في حفرة النار وخسارة ناقص واحد للمكافأة.
وهذا يعني بشكل أساسي بالنسبة للوكيل أن هذه هي نهاية اللعبة.
ولذا فهذه حالة سيئة للغاية.
لذلك فجأة ، تذكر ، كان لدينا 0. 9 هنا نقطة.
لذلك كانوا متكافئين.
لا يهمك هنا أو هنا ، فهما متساويان إلى حد كبير من حيث قيمة الوجود في كل من هذه الحالات.
ولكن الآن فجأة ، بام ، هذه الحالة هي ضعف جودة هذه الحالة تقريبًا.
ببساطة لأنه هنا ، إذا ذهبت مباشرة إليك ، فانتقل إلى المكان الذي تريد الذهاب إليه.
عواقب حدوث العشوائية هي أنك ستبقى هنا.
هنا.
إحدى العواقب ، فرصة 10٪ هي أن ينتهي بك الأمر في الحفرة.
لذا كما ترون ، لم تعد هذه الحالة جيدة بعد الآن ، ببساطة بسبب شيء يمكن أن يحدث
تقلبات.
كما ترون ، هذا أيضًا سيء جدًا لأنه سيء مثل هذا من حيث احتمال 10٪ فقط أن ينتهي به الأمر في
النهاية ، و 10٪ فرصة أن ينتهي به الأمر في الحائط.
لكن في نفس الوقت ، هناك عامل خصم.
لذا أولاً وقبل كل شيء ، عامل الخصم وأيضًا بعد هذا ، عليك الانتقال إلى هنا.
وحتى إذا ذهبت إلى هنا افتراضيًا ، فقد ينتهي بك الأمر في الحفرة مرة أخرى.
لذلك ستؤخذ هذه الفرصة أيضًا في الاعتبار لأن تذكر أن هذه القيمة مشتقة من هذه
القيمة وهذه القيمة مشتقة من هذه القيمة ، أليس كذلك؟
وبالتالي فهي صغيرة.
لكن في الواقع ، ما قلته كان خطأ.
هذه القيمة ليست مشتقة من هذه القيمة.
لذا إذا ألقيت نظرة الآن ، ستلاحظ أن هذه القيمة V0 هنا في الواقع أكبر من هذه.
ستلاحظ أنه من الأفضل للوكيل أن يتجول بهذه الطريقة بدلاً من ذلك.
وهذا منطقي ، أليس كذلك؟
لأن هذه الطريقة لا تخسر.
ليس هناك فرصة للحصول على الحفرة.
نعم ، إنها أطول قليلاً.
وبالتالي ، فإن عامل الخصم له تأثير أكبر.
لكن في نفس الوقت ، ببساطة لأن هناك فرصة للدخول إلى الحفرة هنا ، إذا سارت الأمور بشكل مستقيم ، فستكون
هناك فرصة للتغلب على القفز.
لذلك سيستغرق الأمر وقته وسيستمر لأنه بهذه الطريقة تكون فرصة الحصول عليه أقل
بكثير.
لا يزال هناك.
لذا من هنا يذهب هناك.
من هنا يذهب هناك.
من المحتمل أن يدخل إلى الحفرة لأنه قد ينتهي به الأمر هناك ثم ينتهي به المطاف
في الحفرة ، لكن مع ذلك ، إنها فرصة أقل.
لذلك سوف تدور هكذا.
لذا من المثير للاهتمام أن نرى كيف يتغير كل منهم.
تذكر سابقًا من هنا كنت ستذهب هكذا.
من هنا تذهب هكذا ، ومن هنا تذهب هكذا.
والآن فجأة يمكنك أن ترى أنه يتغير.
لذلك دعونا نرسم الأسهم ونرى كيف تبدو الآن.
وفويلا ، ترى شيئًا أكثر عشوائية ، أليس كذلك؟
لذا نعم ، هذا صحيح.
لكن انظر إلى ما حدث هنا.
انظر الى هذا.
هل تتوقع ذلك؟
هذا شيء يشبه بالتأكيد عندما رأيت هذا لأول مرة ، لقد تأثرت كثيرًا.
لم أتفاجأ.
لم أكن متفاجئة.
ولم أكن أتوقع هذا على الإطلاق.
وهذا مثال على متى يمكنني التفوق على الإنسان.
إنه ليس شيئًا لا يمكنك حتى التنبؤ به.
لكن A. أنا. ، من خلال التعلم المعزز ، تذكر
هذا المثال من الكلاب التي يمكن أن تعمل في بعض الأحيان بشكل أفضل من الكلاب الواقعية العادية أو الكلاب الآلية المبرمجة مسبقًا ، أو يمكنها
لعب كرة القدم لمجرد أنها توصلت إلى هذه الأفكار التي لا يمكننا رؤيتها.
وهذا مثال رائع.
الصحيح.
لذلك ربما لم تكن تتوقع ذلك أيضًا ، أن الوكيل ، بدلاً من الصعود ، يبدو الأمر كذلك ، لماذا
سأحب إذا صعدت ، فهناك فرصة بنسبة 10٪ لأنني سأقفز إلى الحفرة.
لكن ما الذي يتم تحقيقه بالذهاب إلى الجدار؟
حسنًا ، 80٪ من الوقت سيتراجع ويبقى في هذه الحالة ، لكن 10٪ من الوقت سيذهب هنا و 10٪
من الوقت سيذهب هنا.
لذلك فجأة يمكنك أن ترى أنه الآن في الواقع في هذا النهج الجديد للقفز في الحائط.
هناك احتمال بنسبة 0٪ أن يدخل في حفرة النار من هذه البقعة.
لذا يبدو الأمر كما لو أنه لا يريد حقًا الدخول في حفرة النار.
لذلك فإنه يرسم السندات وترتد إلى الحائط عدة مرات وبعد ذلك سوف تفعل.
اذهب يمينًا أو يسارًا في مرحلة ما لأن هذه العشوائية ستحدث.
وهكذا تعلمت ذلك من خلال التجريب.
لقد تعلمت أنه عندما أمضي قدمًا ، فإن النتائج ليست جيدة كما لو كنت أذهب إلى الحائط.
وإذا فكرت في الأمر ، إنه مثل هذا الروبوت ، إذا فكرت في الأمر كما لو كان حفرة
نار ، فهو بحد ذاته مثل هذا المربع يشبه الحافة الصغيرة جدًا.
ثم هذا مثل الجبل ، مثل الجرف.
وهذا الروبوت يعانق الجرف تمامًا مثل محاولة الانتظار حتى يدفعه يمينًا أو
يسارًا لأنه ، كإنسان ، ربما تفعل الشيء نفسه.
لن تقف في مواجهة هذه الطريقة.
بهذه الطريقة ستحتضن الجرف ، صحيح.
أو شيء من هذا القبيل.
ونأمل ألا ينتهي بك الأمر أبدًا إلى أن ينتهي بك الأمر في مثل هذا الموقف.
ولكن مثل بصريًا ، فقط إذا فكرت في الأمر ، نفس الشيء هنا.
وهذا مكثف جدًا ، أليس كذلك؟
حتى أتت بهذه الفكرة ونفسها هنا بدلاً من الذهاب إلى اليسار والمخاطرة بالخوض في قتال ، لكنني
سأحاول القفز من الحائط ، مثل احتضان الحائط ، حاول القفز إلى الحائط في مرحلة
ما .
أعلم أن هناك احتمال وجود فرصة بنسبة 10٪.
في كل مرة أفعل ذلك ، سأذهب إلى هنا وأحيانًا سيحدث هذا وسأكون هنا وسأكون آمنًا وبعد
ذلك سأستمر على هذا المنوال.
لذا ، فإن النهج المثير للاهتمام للغاية الذي اتبعته هنا وكما ترون ، فإن الجذور هي على هذا النحو.
إذن من هنا قد يتجه يمينًا ثم يتجه يمينًا إلى المخرج أو هنا يسارًا
هكذا ، وهنا في مرحلة ما سيتجه يسارًا وسيتجه إلى هذا النحو مرة أخرى.
هذا أمر مهم لتفهمه.
إنها ليست سياسة.
لذا حتى عندما يقفز من هنا ، ربما يذهب هنا.
وبعد ذلك من هنا قد يكون في الواقع ، بدلاً من الذهاب مباشرة ، قد يعود في الواقع
إلى اليمين ثم من هنا قد يذهب إلى اليسار.
حسنا.
لذلك هناك الكثير من الخيارات المختلفة للذهاب.
لذلك قد لا يتبع هذا بالضبط.
قد أذهب في الاتجاه الآخر.
هذا هو مجرد المسار المطلوب الذي تم تصميمه لنفسه.
لكن الطريقة التي ستعمل بها قد تكون مختلفة في الواقع.
هذا يعتمد على العالم الحقيقي.
لذا ها نحن ذا.
هذا هو عالم الذكاء الاصطناعي.
هذا ما هي السياسة مقابل الخطة.
ونأمل أن تكون متحمسًا ببطء لما يمكن أن يفعله الذكاء الاصطناعي ، خاصة بالنظر إلى ما
رأيناه هنا.
هذه بعض أنواع القرارات المبتكرة للغاية التي يتوصل إليها الذكاء الاصطناعي.
وكما ترى ، عند تطبيق الذكاء الاصطناعي ، حتى من هذا المثال الصغير ، يمكنك أن ترى أنه عندما تلعب
الذكاء الاصطناعي في العالم الحقيقي ، ربما ستأتي بأفكار وقرارات لا يستطيع البشر أحيانًا التوصل إليها.
وهذا بالضبط يشبه ما حدث في تلك الألعاب حيث كان Google AlphaGo يلعب
ضد Lee Sedol ، بطل Go في كوريا ، مرة أخرى في بطل العالم Go.
وكانوا يلعبون في كوريا مرة أخرى ، في عام 2016 ، أعتقد أنه كان في مارس 2016.
تمخضت عن بعض الحركات التي لم يلعبها البشر منذ 3000 عام أو لم يعتاد البشر على اللعب.
وهذا بالضبط مثال على ذلك.
لذا ، مرة أخرى ، أتمنى أن تكون متحمسًا ومندفعًا بشأن هذه الدورة التدريبية وحول ما
سننشئه.
وأنا أتطلع إلى رؤيتك في المرة القادمة.
حتى ذلك الحين ، استمتع.
أنا.