أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
اليوم نتحدث أخيرًا عن التعلم في قائمة الانتظار.
حسنا.
لقد حصلنا بالفعل على هذه المعادلة ، معادلة بلمونت ، والتي أضفنا إليها الكثير من المكونات.
لقد حصلنا على المكافأة هنا ، والتي لا يمكن أن تكون فقط في النهاية ، ولكن يمكن أن تكون في أي خطوة.
لدينا عامل الخصم ، لدينا الاحتمال لأننا الآن ننظر في عمليات اتخاذ قرار ماركوف ، وهنا لدينا
احتمال أن ينتهي بنا المطاف في حالة مختلفة بغض النظر عن الإجراء الذي نتخذه أو في الواقع
الإجراء الذي نتخذه ، يمكن أن تكون حالات متعددة يمكن أن ينتهي بنا المطاف فيها ثم نحصل على قيمة
الحالة التالية.
لذا يمكنك أن ترى أنها نوعًا ما مثل دالة تكرارية وما إلى ذلك ، ولكن ربما لا يزال لديك سؤال واحد.
السؤال هو أين الحرف في كل هذا؟
س لماذا يسمى كل هذا التعلم Q؟
إذن أين Q؟
وهذا هو السؤال الذي سنجيب عليه اليوم.
حتى الآن ، كنا نتعامل مع القيم ، قيمة الوجود في حالة معينة.
والآن سننظر في كيفية تناسب Q مع كل ذلك أيضًا.
إذن لدينا هنا مثالان.
على اليسار ما كنا نفعله حتى الآن.
وكيلنا كان يحلل ، حسنًا ، أنا هنا.
هذه علامة على عملية اتخاذ القرار ، لذا لا يهم كيف وصلت إلى هنا.
لا تهتم بقية البيئة بالخطوات التي استغرقتها للوصول إلى هنا.
من الآن فصاعدًا ، يجب أن أتخذ القرار الأمثل إلى أين أذهب هنا ، هنا ، هنا ، بناءً على الوضع الحالي وجميع
الحالات المستقبلية التي تأتي من هنا ، ولكن ليس من الماضي.
ويمكنه أن يرى أن هناك ثلاثة خيارات.
هناك دولة واحدة لدولة واحدة.
وبناءً على خبرته ، قام بحساب القيم في هذه الحالات ، والآن سيستخدم معادلة
بلمونت.
لذا على الرغم من أن هذه عملية عشوائية ، فهو يعلم أنه سيذهب إلى هنا ، ولكن هناك احتمال
أن يتجه يمينًا أو يسارًا وهكذا.
بناءً على هذه القيم ، سوف نتخذ قرارًا ، هذا ما كنا نفعله حتى الآن
، وهذا هو النهج الشرعي تمامًا هنا.
لكننا الآن بصدد تعديله قليلاً.
سنأخذ نفس المفهوم بالضبط ، نفس المشكلة بالضبط.
لكن هنا ، بدلاً من النظر إلى قيم كل حالة يمكن أن ينتهي
بها الأمر ، سننظر في قيم أو قيمة كل إجراء.
لذلك لن نستخدم الحرف V بعد الآن لأن V لقيمة الحالة.
سنستخدم Q وقد يكون لديك سؤال عن سبب هذه الرسالة؟
سؤال: حسنا.
سؤال: بعض الناس يتكهنون بذلك.
سؤال: حسنًا ، لقد قرأت هذا ، وأعتقد أن شخصًا ما ذكر ذلك في Quora.
Q بسبب الجودة ، لكن في الوقت نفسه ، لم أجد أي إشارات أخرى إلى ذلك.
لذلك قد لا يكون بسبب ذلك ، قد يكون فقط لأن هذا هو الحرف الذي تم استخدامه في ذلك الوقت.
والآن أصبح شائعًا للغاية لأنه يُطلق عليه اسم Q Learning بسبب ذلك.
لذلك لا يوجد سبب محدد لتسميته Q ولكن مع ذلك يساعدنا على الأقل في التمييز بين V و Q.
إذن ، Q هنا تمثل a بدلاً من قيمة الحالة التي تمثلها ، فلننتقل إلى الجودة.
إنه يمثل جودة العمل الذي يمثله.
لدي أربعة أفعال.
ما هي الصفات المختلفة لهذه الأعمال؟
ما هي قيمة أو قيمة الفعل أو نوعية العمل؟
ما هو العمل الأكثر ربحًا؟
لذا أحتاج إلى مقياس يخبرني ، حسنًا ، كيف يمكنني تحديد هذا الإجراء كميًا؟
وبعد ذلك يمكنني مقارنتها.
وهذا هو بالضبط ما هو Q.
ولذا فقد حصل هنا على أربعة أفعال محتملة ، كالعادة ، اصعد ، يمينًا ، يسارًا أو أسفل.
واستنادًا إلى الإجراء ، ستكون هناك معادلة تخبرنا بالقيمة القابلة للقياس الكمي لهذا الإجراء
، والتي نسميها Q ، قيمة Q لهذا الإجراء.
فلنلقِ نظرة على كيفية اشتقاق هذه الصيغة من أجل.
س ما هي علاقته فعلاً؟
Vي لأنه كما يمكنك أن تتخيل ، لأن الأفعال تؤدي إلى حالات ، يجب أن يكون هناك نوع من الارتباط بين الاثنين ، أليس
كذلك؟
لقد حددنا بالفعل كيفية حساب هذا ونحن جيدون فيه.
نحن نعرف كيفية استخدام معادلة بيلمان وبيئات مختلفة جدًا مع الكثير من التعقيدات المختلفة.
حسنًا ، دعنا نستفيد من هذه المعرفة لفهم كيف يمكننا الآن حساب Q من أجل عمل نفس التنبؤات ، لأنه
كما يمكنك أن تتخيل ، لا تتغير البيئة اعتمادًا على النهج الذي نستخدمه.
سوف تكون البيئة هي نفسها بغض النظر.
لذلك يجب أن يعطي هذا النهج وهذا النهج دائمًا نفس النتيجة ، وبالتالي هذا سبب آخر لضرورة
ربط هذين الأسلوبين.
لذلك دعونا نلقي نظرة.
إذن هذا هو نهجنا حيث سننظر فقط في قيمة أي حالة معينة ، هذه الحالة أو أي
حالة أخرى.
وها نحن ذاهبون إلى استخدام الحرف S هنا لأن هذه هي الحالة الحالية.
وبالتالي ، فإن المصطلحين سيكونان هو نفسه في كلتا المعادلتين.
وها نحن نستخدم Q كسؤال هل هو من الدول والعمل؟
ج لأن الفعل قد انتهى ، ولكن في أي حالة قمنا بهذا العمل؟
نقوم بهذا العمل في الدولة.
S حسنًا ، سنكتب الآن معادلة الطريقة الأولى.
كما ترون هنا ، لدينا V لـ SE لذا فإن قيمة.
أي حالة معينة هي الحد الأقصى للمكافأة التي تحصل عليها.
لذا يعتمد الحد الأقصى على الإجراءات التي لديك.
ثلاثة في هذه الحالة لديك أربعة أفعال.
لذلك الحد الأقصى من جميع الإجراءات الممكنة.
ثم من هذا الجزء ، الذي ناقشناه بالفعل عدة مرات.
إذن هذه هي مكافأتنا التي نحصل عليها من تنفيذ هذا الإجراء في تلك الحالة ، بالإضافة إلى عامل مخفض
مضروبًا في القيمة المتوقعة للحالة الجديدة التي سنكون فيها والقيمة المتوقعة لأنها
عملية عشوائية.
لا نعرف على وجه اليقين أننا سننتهي هنا.
قد ينتهي بنا المطاف على اليسار أو اليمين باحتمالية معينة.
هذا هو سبب وجود هذه الاحتمالات هنا.
حسنا.
إذن هذه هي قيمتنا.
والآن دعونا نلقي نظرة على Q.
لذا سيتم تعريف Q.
سنستخدم هذا لتحديد.
س: لنفترض أن الوكيل من هذا الموقع ، من هذه الحالة ، نفذ الإجراء.
ما هي قيمة Q التي ستكون مساوية؟
حسنًا ، أولاً وقبل كل شيء ، دعنا نرى ما سيحصل عليه مقابل أداء هذا الإجراء.
أول شيء ستحصل عليه هو مكافأة ، أليس كذلك؟
هذا يعرف ، ولا شك في ذلك ، سيكون هناك نوع من المكافأة.
قد يكون الصفر.
لكننا نعلم أن كل هذه الطريقة التي تعمل بها عملية التعلم المعزز هي أنه في بعض الأحيان لأداء
إجراءات معينة من حالة معينة ، هناك مكافأة.
سنضيف ذلك هنا ثم نضيف ما الذي سنضيفه؟
حسنًا ، دعنا نفكر في الأمر.
ما هو الشيء التالي الذي سيحدث بعد حصوله على المكافأة؟
حسنًا ، الشيء التالي الذي يحدث هو أن الوكيل الآن في حالة معينة.
قد ينتهي به الأمر هنا مع احتمال 80٪ أو بعض الاحتمالات.
لكنك في الواقع ستصعد هنا أو هنا.
لكن أينما انتهى الآن ، لدينا بالفعل مقياس كمي لتلك الحالة التي هو فيها ، وهذه
هي في الواقع قيمة تلك الحالة.
لكن لأنه لا يمكن أن يكون في العديد من الحالات المختلفة في ثلاث من الحالات المختلفة المحتملة ،
علينا أن ننظر إلى القيمة المتوقعة للحالة التي سيكون فيها.
ولذا سنضيف ذلك في.
سنضيف ، بالطبع ، العامل المخفض كما كان لدينا سابقًا ، لأن هذا في مكان ما في
المستقبل.
وبعد ذلك سنجمع مجموع جميع الحالات الممكنة ، عبر جميع الحالات الممكنة التي يمكن أن ينتهي بها الأمر باتخاذ
هذا الإجراء في أوقات الاحتمال.
إذن ما نقوله هنا هو أنه من خلال تنفيذ إجراء ما ، ستحصل على مكافأة إضافية ، وهي مقياس
كمي ، بالإضافة إلى أنك ستنتهي في حالة لا نعرف أي منها واحد.
يمكن أن يكون هنا.
ولكن هذه هي القيمة المتوقعة للحالة التي ستنتهي بها.
والآن سنضربها في عامل الخصم لأن هذا يبعد مسافة واحدة.
إذن هذه هي القيمة الأساسية الخاصة بنا للقيام بهذا الإجراء.
وما ستلاحظه هنا على الفور هو ذلك.
Q إن قيمة Q مطابقة تمامًا لما يوجد بداخل هذه الأقواس هنا.
ولما ذلك؟
حسنًا ، إذا فكرت في الأمر هنا ، فإننا نأخذ الحد الأقصى من النتيجة.
سنحصل على أقصى حد عبر جميع الإجراءات الممكنة.
إذن لدينا أربعة إجراءات ونتخذ أقصى ما يمكن عبر جميع الإجراءات الممكنة للنتيجة
التي سنحصل عليها من خلال اتخاذ كل من هذه الإجراءات.
و في.
س نحن نحدد المثير للاهتمام.
ما الذي نحصل عليه من خلال اتخاذ إجراء معين؟
لذلك إذا فكرت في الأمر ، فمن المنطقي أن تكون قيمة الحالة ، على سبيل المثال ، هذه الحالة
هي الحد الأقصى لجميع قيم Q الممكنة ، أليس كذلك؟
لذلك هنا في هذه الحالة ، من خلال التواجد في الحالة ، يكون للوكيل قيمة Q واحدة إلى Q بقيمة ثلاثة قيمة Q
لقيم Q.
إذن ، لديه أربع قيم محتملة لـ Q.
حسنًا ، من المنطقي أن تكون قيمة الحالة هي الحد الأقصى لجميع
قيم Q.
وهذا بالضبط ما يمكننا رؤيته هنا.
هذا تأكيد جيد لهذه الصيغة الجديدة التي اشتقناها.
إذا لم يكن الأمر كذلك ، إذا لم يتطابق ذلك ، فسنطرح أسئلة.
سنكون مثل ، فلماذا؟
لماذا لا تتطابق؟
إذا كانت قيمة Q عبارة عن مقياس كمي لأداء إجراء ما ، وتعتمد V على الأربعة ، فسيكون الحد الأقصى للنتائج المحتملة للإجراءات
الأربعة التي يمكنه القيام بها.
نأمل أن يكون هذا منطقيًا وهذا يؤكد الصيغة التي اشتقناها للتو.
والآن سنجعلها أكثر إثارة للاهتمام.
سوف نتخلص من V تمامًا لأنه يمكنك أن ترى هنا أن V هي دالة تكرارية
لـ V ، ومن ثم لدينا V ثم V ثم V ثم V وما إلى ذلك.
لذا يمكنك التعبير عن هذا الـ V من خلال جميع الـ V التالية ، أفضل أشكال الـ V التي ستظهر
هنا.
نحن نعبر عن Q كدالة تكرارية لـ V أو كدالة لـ V التالية ، ثم علينا أن نعوض بهذا
V ثم نعود إلى V.
إذن ما سنفعله هو أننا سنأخذ هذا V وسنستبدله بـ.
سؤال: صحيح.
لذلك دعونا نلقي نظرة على ذلك.
سنأخذ V من الحالة التالية وسنقوم بتعويضها بهذه الصيغة هنا.
وكما ترى الآن ، فإن هذا الجزء لا يتغير.
هذا الاحتمال لا يتغير.
ولكن كما ناقشنا للتو ، فإن v لـ SE هو الحد الأقصى لكل إجراءات Q من S و A هنا.
هذا ما سنستبدله هنا.
لذلك سنقول أن الحد الأقصى ، بالطبع ، هو الإجراء الجديد ، الإجراء
الذي سنتخذه ، لأن لدينا هنا V لـ S شرطة.
حسنًا ، هنا الآن لدينا الحد الأقصى عبر جميع الأعداد الأولية.
إذن الإجراءات التي سنتخذها من هذه الحالة أو
من أي مكان ، أيًا كانت الحالة الأخرى التي ننتهي بها ، ولكن الإجراء الذي
سنتخذه من هناك والأقصى عبر كل هؤلاء والأقصى هو كل قيم Q التي ستكون متاحة لنا في تلك الحالة الجديدة كفاصلة أولية ، عدد أولي.
وهذا هو العمل.
هذا هو الأمر الذي سيكون هناك أربع قيم أخرى لـ Q هناك.
والآن كما ترون ، دعنا نراجع ذلك مرة أخرى.
إذن من ما استنتجناه مما ناقشناه فقط من خلال المنطق والحدس حتى نتمكن من رؤية
أن VMs هي في الواقع V من S و S و R المرتبطة D لـ S هي الحد الأقصى في جميع إجراءات Q من هذا.
ويمكنك أن ترى هنا ، إذاً هذا ، هذا الجزء مطابق لهذا الجزء.
ثم سنستفيد من ذلك وسنقوم باستبدال هذه القطعة بـ V.
S من هنا ، ولكن ليس هذه الصيغة الدقيقة.
سنأخذ هذا الجزء الداخلي وسنستبدله بـ Q و A ، لذلك سنقوم بتوصيله
هنا.
وهذا الجزء سيكون.
Q لـ S شرطة ، شرطة ، لذا فإن الحد الأقصى لـ Q عبر جميع أجزاء Q هي شرطة.
والآن لدينا الصيغة.
إذن لدينا الآن صيغة عودية لقيم Q.
الآن يمكن للوكيل أن يفكر ، ما هي قيمة هذا الفعل؟
ما هي جودة هذا العمل؟
ما هي قيمة Q لهذا الإجراء؟
حسنًا ، هذا يعتمد على المكافأة.
أحصل على خطوة فورية لذلك.
بالإضافة إلى أنه يعتمد على أوقات العوامل المخصومة ، الحد الأقصى لجميع إجراءات Q الممكنة في تلك الحالة ، لكنني لا أعرف
ما إذا كنت سأصل إلى هناك.
لذلك أحتاج أيضًا إلى إلقاء نظرة على تلك الحالة وتلك الحالة ، ولهذا السبب لدينا هذه القيمة المتوقعة
هنا.
إذن لدينا مجموع احتمال ضرب الحد الأقصى ، وهذه هي القيمة المتوقعة.
صيغة مشابهة جدا كما ترون.
لكن هذه المرة نعبر عن الأشياء من خلال قيم Q وهذا هو السبب في أن هذه الخوارزمية بأكملها
تسمى Q Learning ، لأن هذا هو ما يتم النظر إليه.
هذا ما يستخدمه الوكلاء بالفعل.
إنهم لا ينظرون إلى الدول ، بل ينظرون إلى أفعالهم المحتملة.
وبعد ذلك بناءً على الإجراءات ، بناءً على قيم Q للإجراءات ، سيقررون الإجراء الذي يجب اتخاذه.
لذلك سوف ينظرون فقط إلى الحد الأقصى لقيمة Q في هذه الحالة المعينة ، لديها أربعة إجراءات.
ما هو أفضل إجراء يمكن اتخاذه للمقارنة؟
بدلاً من مقارنة الحالات المختلفة التي يمكن أن ينتهي بها الأمر ، ستقوم بمقارنة الإجراءات الممكنة
التي لديها حاليًا.
ثم من خلال إيجاد الخيار الأمثل ، ستتخذ هذا الإجراء ثم ستكرر هذه العملية ، وتكرر تلك العملية
وما إلى ذلك.
الآن يمكنك أن ترى كيف يتجمع كل هذا معًا ، وكيف تتجمع المكافأة ، وعامل الخصم ، وعمليات
اتخاذ قرار ماركوف العشوائية وقيم V وقيم Q معًا لتعطينا معادلة بيلمان القوية
الفائقة لقيم Q ، والتي يمكننا الآن تطبيقها والسماح لوكلائنا بتعلم كيفية التغلب على البيئة.
وهذا تفسير بديهي لما يحدث.
أعلم أننا مررنا بالصيغ ، لكن من الضروري لأن هذه تشبه معادلتنا
التي مررنا بها خلال هذا الفصل بأكمله وأعتقد أنه انتقال جيد من V إلى Q وهو يوضح كيفية ارتباطهما ببعضهما
البعض.
وإذا كنت ترغب في الحصول على نهج رياضي أكثر صرامة ، ومثلما ترى الرياضيات وراءها
وتعلم المزيد عن قيم Q وكيف تعمل ، فلدينا بعض القراءة الإضافية
لك .
تسمى هذه الورقة عمليات قرار ماركوف والمفاهيم والخوارزميات من قبل مارتن فون أوتر قانون 2009.
إذاً لديك الرابط هنا كما هو الحال دائمًا ، وهنا يمكنك قراءة المزيد من التفاصيل لفهم كل التفاصيل الجوهرية
وراء قيم قائمة الانتظار وما إلى ذلك.
والآن بعد أن ناقشنا كل هذه الأشياء المتعلقة بمعادلة بلمونت ، أصبحنا
الآن مستعدين للنظر في شيء أكثر تعقيدًا ، مثل هذه الورقة إذا أردنا الحصول على بعض المعلومات
الإضافية حول هذا من أجل نوع من الحصول على فهم أعمق.
ولكن حتى إذا لم تقرأ هذه الورقة بالفعل ، يجب أن تكون لديك معرفة عملية جيدة بما يدور
حوله التعلم وكيف يتوصل الوكلاء إلى الإجراءات التي يحتاجون إلى اتخاذها في بيئة معينة.
لذلك أتمنى أن تستمتع ببرنامج اليوم التعليمي وأتطلع إلى رؤيتك في المرة القادمة.
حتى ذلك الحين ، استمتع بـ i.