أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
في البرنامج التعليمي اليوم ، سنغطي برنامجًا تعليميًا معقدًا يسمى تتبع
الأهلية أو تعلم خطوة Q.
وهذا شيء سنقوم بتنفيذه في الجانب العملي للأشياء.
لهذا السبب نحتاج إلى تغطيته.
وهو في نفس الوقت موضوع معقد للغاية.
لذلك لدي طريقة مثيرة للاهتمام لجعلنا نصل إلى السرعة مع الحدس الكامن وراءه.
لذلك أحب أسلوبًا مختلفًا في ذهني عما اعتدنا عليه.
لذلك دعونا نلقي نظرة على ذلك ونرى كيف ستسير الامور.
لذا سأقدم لكم مثالاً لتبدأ به.
سأعطيكم مثالاً في هذا البرنامج التعليمي ، والذي سيوضح قوة اختيار الأهلية ويعطينا
الحدس الكامن وراء الأشياء.
وبعد ذلك ، إذا كنت ترغب في التعمق أكثر في سمات الأهلية ، فسأعطيك أفضل مكان يمكنك أن
تقرأ فيه عنه.
سأعطيك إشارة إلى كتاب ، لكن بخلاف ذلك.
إذن لماذا سيكون هذا مختلفًا لأننا نبدأ به أولاً.
بدلاً من الخوض في الحدس ، سنلقي نظرة على مثال وسيصبح الحدس واضحًا
بعد أن نتحدث عنه.
وهذه هي آمالي في هذا البرنامج التعليمي.
لذلك دعونا نلقي نظرة.
دعنا نرى ، دعنا نرى ما إذا كان بإمكاننا القيام بذلك.
إذن لدينا هنا عميلين وهما يتنقلان في نفس البيئة وسنرى كيف يعمل هذان العاملان.
أول واحد سوف يعمل مع أدراج الأهلية الخاصة بنا.
الثاني سوف يعمل مع تتبع الأهلية ونأمل أن نرى لماذا سيكون الثاني
أقوى بكثير من الأول.
لذلك دعونا نلقي نظرة.
سننظر إلى هذا الوكيل أولاً.
والطريقة التي يعمل بها هي بالضبط الطريقة التي ناقشنا بها التعلم العميق حتى الآن.
لذا فإن الوكيل سوف يتخذ خطوة أو سينتقل ، يتخذ إجراء ، ينتقل إلى حالة جديدة.
سوف تحصل على مكافأة معينة.
ستضع تلك المكافأة من خلال الخوارزمية الخاصة بها ، وتحديث الشبكة العصبية التي تشغل
هذا العامل أو التي تعمل في ذهن هذا الوكيل.
إذن هذه هي الطريقة الأساسية للتعلم من البيئة التي ستتخذ خطوة جديدة.
لذا من هذه الحالة الجديدة ، ستتخذ إجراءً جديدًا بناءً على ما تخبرها شبكتها العصبية بالقيام
به ، وستحصل على مكافأة ، وستقوم بالتحديث وما إلى ذلك ، وستستمر في فعل ذلك.
لذلك من الواضح أن هذا الوكيل سوف يقوم بعمل جيد للغاية وكما رأينا سابقًا من دروس
النتائج العملية السابقة ، سنحصل على بعض النتائج الجيدة هنا ، لكننا سنضيف الآن
ميزة جديدة.
الآن هذا الوكيل الثاني ، هذا الرجل هنا ، سوف يتنقل في نفس البيئة ، لكنه سيستخدم
تتبع الأهلية وهذا ما يعنيه.
ما سيفعله هو أنه سيتخذ أي خطوات سيتخذها في هذه الحالة ، قدم أربع خطوات.
سوف يتخذ أربع خطوات.
وبعد ذلك فقط بعد اتخاذ هذه الخطوات سيحصل على إجمالي المكافأة التي حصل عليها من تلك الخطوات.
وسيضعها من خلال شبكته.
سيضعها من خلال شبكته العصبية التي تحكم عملية صنع القرار ، ومن ثم ستتعلم الشبكة
العصبية من ذلك.
إذن أي واحد على الفور؟
مثل أي واحد تعتقد أنه أقوى؟
الرجل الذي يخطو خطوة واحدة في كل مرة ويشبه نوعًا ما بدس في الأعمى أو في الظلام.
وهو مثل ، حسنًا ، سأقوم بخطوة ، لنرى ما سيحدث.
سوف أتخذ خطوة ، لنرى ما سيحدث.
سأقوم بخطوة ، لنرى ما سيحدث.
الرجل في القمة أو الرجل الذي يسير بشجاعة كبيرة من خلال أربع خطوات متتالية ، ثم يقرر
ما إذا كانت هذه خطوات جيدة أم لا تمامًا ولماذا يمكنك أن ترى هنا أو لماذا ربما تفهم
سبب الثانية الرجل أفضل أو أقوى لأن الرجل الثاني يعرف بالفعل
ما هو في النهاية.
الرجل الأول ، عندما يقوم بتقييم ما إذا كانت هذه الخطوة جيدة أم لا ، فإنه ينظر فقط إلى المكافأة
التي يحصل عليها.
ولذا فهو لا يسترشد إلا بالمكافأة التي تمنحها له البيئة.
نفس الشيء هنا.
إنه يسترشد فقط بالمكافأة التي تمنحه إياه هذه البيئة هنا.
لذلك في كل مرة يكون هذا هو نوع البوصلة الوحيد لديه ، يكون لديه المكافأة ، والمكافأة ، والمكافأة.
في حين أنه هنا في الواقع يمكنه التقييم بعد اتخاذ كل هذه الخطوات ، يمكنه التقييم.
حسنا.
لذلك وصلت إلى خط النهاية.
لذا ، كانت هذه المجموعة من الخطوات جيدة ، كلها كانت جيدة أو لا ، انتهى بي المطاف في حفرة النار
أو لا ، لم أفز ، لم تصل سيارتي إلى خط النهاية أو أنا عبرت الجدار الرملي أو خسرت لعبة Doom
أو شيء من هذا القبيل.
ثم قرر بنفسه أن هذه المجموعة الكاملة من الخطوات سيئة ، وبالتالي بالنسبة لهذه الخطوات
السابقة ، لديه المزيد من المعلومات ، لديه المزيد من الأفكار ، كما هو الحال في نهج بديهي للغاية.
هذا ، مرة أخرى ، هذا موضوع أكثر تعقيدًا بكثير مما نصوره هنا ، ولكن بطريقة بديهية.
على سبيل المثال ، إذا اتخذنا هذه الخطوة ، فهذه الخطوة تحتوي فقط على معلومات لك لتحديثها.
لديك فقط معلومات تعود من هذه المكافأة هنا.
وهذه الخطوة في هذه الحالة ، الخطوة الثانية بالضبط ، تحتوي على مزيد من المعلومات.
لديها معلومات قادمة على طول الطريق.
حسنًا ، ماذا كانت النتيجة بعد أربع خطوات أو خمس خطوات أو أيا كان؟
نعم.
هذه هي الطريقة التي يعمل بها ولماذا يسمى تتبع الأهلية لأنه خلال هذه العملية
، لا ينظر فقط إلى المكافأة التراكمية لهذا ، وما يحدث ثم الخسارة التراكمية
، ثم كل ذلك انتشرت هناك.
لكن في الواقع هناك أثر للأهلية.
لهذا السبب يسمى تتبع الأهلية.
هناك أثر يتم الاحتفاظ به في الخوارزمية والذي يقول ، حسنًا ، إذا حصلنا على نقول أننا حصلنا على عقوبة ، فسنحصل
على مكافأة سلبية ، ثم أي من هذه الخطوات من المرجح أن تكون مؤهلة لذلك
، تلك العقوبة؟
لذلك لا نعرف فقط ما هو هذا النمط بأكمله أو هذا المزيج من الخطوات بشكل عام ، ولكننا
نحتفظ أيضًا بتتبع الأهلية.
ما هي الخطوات التي سنقوم بتحديثها إذا حصلنا على مكافأة؟
على سبيل المثال ، إذا كانت المكافأة سلبية ، فقد يكون لدينا أثر أهلية يشير
إلى أن هذه الخطوة هي الأكثر مسؤولية عما حصلنا عليه في النهاية ، أو ما إذا كانت مكافأة إيجابية.
مرة أخرى ، قد نعلم أن الخوارزمية تساعدنا على التعقب.
تساعدنا خوارزمية تتبع الأهلية هذه على تتبع ما هي الخطوة أو الإجراء الذي يجب أن يكون
مؤهلاً للتحديث بناءً على تلك المكافأة التي نحصل عليها.
لهذا السبب يسمى تتبع الأهلية.
وهذا هو الحدس الأساسي وراء تتبع الأهلية.
ونأمل أن يكون هذان المثالان لهذين الوكيلين واضحين تمامًا أو بديهيًا تمامًا في سبب
قوة سمات الأهلية.
وإذا كنت ترغب ، كما وعدت ، في التعمق أكثر في موضوع آثار الأهلية أو التعلم التدريجي ، فإن
كتابًا رائعًا ومدهشًا يمكنك العثور عليه يسمى Reinforcement Learning and Introduction
بقلم ريتشارد ساتون وأندرو بارتو ، 1998 .
أعتقد أنهم بصدد إنشاء طبعة ثانية أو قاموا بالفعل بإنشاء
اعتراف ، لكن هذا هو الكتاب الأكثر شيوعًا أو الأكثر شيوعًا أو الأكثر مرجعًا حول التعلم المعزز.
إنه يحتوي على عدد هائل من الاستشهادات ، على ما أعتقد ، مثل عشرات الآلاف ، إذا لم أكن مخطئًا.
وكذلك الفصل الذي تحتاجه لهذا هو الفصل السابع.
لذا من أجل النظر في آثار الأهلية ، هناك فصل كامل حول هذا الموضوع.
الفصل السابع ، يمكنك أن تقرأ عنه ويخوض في الكثير من التفاصيل إلى الأمام ، وتتبع الأهلية
للخلف وأيضًا كيف حصلت على الاختلاف الزمني من جهة والطرف الآخر من الطيف.
لديك طرق مونت كارلو.
في ما بين ذلك لديك آثار الأهلية.
لذا فإن آثار الأهلية هي رابطك للانتقال من الاختلافات الزمنية إلى أساليب مونت كارلو.
مثير جدا.
اقرأ الكثير من الصور التي أقدرها حقًا.
تفسيرات بديهية جدا.
لذلك هناك الكثير من الأشياء التي يمكنك تعلمها من هذا الكتاب حول الذكاء الاصطناعي والتعلم المعزز.
لكن على وجه التحديد ، تعتبر آثار الأهلية مكانًا جيدًا جدًا للذهاب إليه هل هذا الكتاب لتتبع الأهلية؟
والمرجع الثاني لهذا اليوم هو شيء سيظهره لك Adlon في المواد العملية ، التعلم
العميق ، أو ورقة بحث Google Deep Mind حول الأساليب غير المتزامنة لتعلم معزز عميق.
نعم ، هذه هي الورقة.
هذه هي الورقة البحثية الوحيدة التي سنناقشها في a3c أكثر في هذه الدورة.
نحن نقترب منه أكثر فأكثر.
وكما يمكنك أن تقول ، نحن متحمسون جدًا لهذا الأمر.
لذلك سوف ننظر قليلاً في كيفية تنفيذهم لتتبعات الأهلية في هذه الورقة.
لذلك سنستخدم هذا أكثر للجانب العملي للأشياء.
لذلك آمل أن تكون قد استمتعت بالبرنامج التعليمي اليوم وأنت الآن مرتاح أكثر قليلاً لتتبع الأهلية ولا
أطيق الانتظار لرؤيتك في المرة القادمة.
حتى ذلك الحين ، استمتع.
أنا.