أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
نتحدث اليوم عن الجزء الأول من a3c ، الجزء النقدي للممثل.
إذن لدينا هنا خوارزمية ناقد للممثل ذي الميزة المتزامنة وسنتحدث عن ذلك الممثل
المحدد.
هذا هو المكان الذي سنبدأ فيه.
يمكنك أن تبدأ تقنيًا في أي مكان ، ولكن من المنطقي أكثر
أن تبدأ من فعل إلى نقد ، لأنه بهذه الطريقة سيكون لدينا تفسير متتالي جدًا أو فهم بديهي لما
يحدث.
لكن إذا بدأنا بشكل مفاجئ في نهاية هذا الاختصار.
حسنًا ، حتى الآن في هذه الدورة ، توصلنا إلى تعلم تلافيفي عميق ، وهو موضح هنا.
لذلك لدينا الكمبيوتر الذي يرى البكسل.
إذن الصورة الفعلية والبكسل ، وليس فقط المتجه.
لذا فهو ليس غشًا.
إنه في الواقع يرى بالضبط ما يراه الإنسان.
ترى الوحوش ، ترى الصحة ، ترى المعلمات في الأسفل ، ترى الممر ، ترى البندقية.
إنه يرى بالضبط نفس الشيء الذي يراه الإنسان عند لعب هذه اللعبة.
ثم يتم تمرير تلك الصورة عبر طبقة تلافيفية ، ثم يتم تمريرها عبر طبقة تجميع
ويتم تسويتها وتنتقل إلى شبكة عصبية.
ثم عند الإخراج لدينا إجراءات ، كما تتذكر ، لدينا قيم الإشارات هذه.
ثم نطبق سياسة اختيار الإجراء عليهم.
لذلك ، على سبيل المثال ، نطبق حدًا أقصى بسيطًا ونكتشف الإجراء الذي نريد اتخاذه.
وهناك بعض الاستكشاف والاستغلال يحدث هناك ، مزيج من الاثنين.
هذا هو مدى عمق التعلم التلافيفي.
لكن الآن دعنا نرى ما سنفعله بهذا.
من أجل البساطة ، فقط لتسهيل التعامل مع هذا لأننا سنقوم
بتعديل هذه الصورة وتحريكها ، سنقوم باستبدال الدوائر بالمربعات بهذه الصناديق
المستطيلة.
وسنقوم أيضًا بالتخلص من تلك السطور الواقعة بينهما.
فقط قم بتغييرهم إلى أسهم.
لذلك هذا لا يغير الجوهر.
هذا مجرد تمثيل على هذا الرسم البياني.
هذا لا يزال حتى هذا التمثيل لا يزال عميقًا ، تلافيفيًا.
س سيكون التعلم أسهل بالنسبة لنا لتعديله وإظهار بالضبط ما هو مفتاح ثلاثة.
هذه هي الطريقة التي سنمثل بها الأشياء من هنا وما يفعله المفتاح الثلاثة أو هذا الجزء المحدد.
لذلك بدأنا في التذكر ، لقد بدأنا خطوة بخطوة.
نبدأ مع الجزء الناقد النشط.
لذلك سنرى كيف ننتقل من التعلم التلافيفي العميق إلى ثلاثة مفاتيح خطوة بخطوة وخطوة أولى.
سنقوم بتقديم هذا الجزء الناقد النشط هنا.
لذلك سوف نتحدث عن ذلك.
لذا فإن أول شيء يحدث هو الجزء الأخير ، الناتج هو أننا سنقوم بإعادة رسمه بهذا الشكل.
لذلك فهي نفس المخرجات بالضبط ، نفس قيم الإشارات أو نفس الإجراءات بالضبط.
لذلك إذا كان لديك ثمانية أفعال محتملة ، فلا يزال لديك ثمانية إجراءات محتملة.
سنقوم فقط بوضعهم في الأعلى حتى يشغلوا مساحة أقل.
لذلك لم يتغير شيء حتى الآن.
حتى الآن هذا وهذا هو بالضبط نفس الشيء.
ولكن الآن هذا هو المكان الذي يأتي فيه الجزء الناقد النشط.
سيكون لدينا الناتج الثاني الذي سيكون لدينا.
إذن أول واحد هو مجموعة من النواتج.
وهنا سيكون لدينا ناتج فردي منفصل.
من الناحية الفنية ، هل سنستخدم شبكتنا العصبية؟
إذن ، مرة والآن ، تمر الصورة وكل شيء مثل القيم عبر الشبكة من اليسار إلى اليمين هنا.
إنهم لا يبصقون فقط مجموعة واحدة من القيم.
لقد انقسموا في الواقع مجموعتين.
وبالتالي فإن المجموعة الأولى ، نحن نعرف بالفعل ما هي.
إنها الإجراءات الممكنة.
لكن هنا في الواقع سيكون لدينا قيمة إضافية أخرى.
لذلك دعونا نلقي نظرة على ذلك.
كيف ما هذه القيمة؟
حسنا هيا بنا.
هذا هو الجزء العلوي.
لذلك نحن نوعًا ما نحب تقليل حجم هذا الرسم التوضيحي.
الناتج الأعلى هو قيم Q ، كما ناقشنا سابقًا للإجراءات.
لذا فهما نفس الشيء.
كل شيء هو نفسه.
ولكن بعد ذلك الآن هذا الجزء السفلي.
أوه ، والجزء العلوي يسمى بالفعل الممثل.
سنعطيه اسما.
هذا هو الممثل لأن هذا هو الجزء الذي يختار فيه الوكيل ما يريد القيام به بحيث يكون مثل
التمثيل.
يبدو الأمر كما لو كان يؤدي على خشبة المسرح وسيصبح أكثر منطقية بمجرد ظهور الاسم الثاني على الشاشة
أيضًا.
ثم الناتج الثاني يشبه قيمة واحدة وهو V لـ SE ، لذلك هذه هي قيمة الحالة.
لذلك إذا كانت Q of S هي Q لـ S و A هي قيمة Q لإجراء معين.
وكما ترون ، هذا هو سبب وجود فعل واحد ، عملان ثلاثة حتى الإجراء ستة أو مهما كانت هناك العديد
من الأفعال المحتملة في تلك الحالة.
لذلك في حالة معينة.
سراج الدين ما هي قيمة Q لاتخاذ الإجراءات؟
عمل للعمل الأول ، العمل الثاني وهكذا.
ثم هنا نتوقع أيضًا أننا نستخدم الشبكة العصبية أيضًا للتنبؤ بقيمة الحالة التي
نحن فيها بالفعل.
وهذا الجزء يسمى الناقد.
وهذا هو الحدس أو حتى أنه ليس بديهيًا تمامًا.
هذا تمامًا مثل بداية الحدس وراء ناقد الممثل أن هناك ناتجين الآن من الشبكة العصبية ، ليس واحدًا
فقط ، ولكن قبل أن يكون لدينا هذا الناتج الوحيد ، والذي نسميه الآن الممثل.
لكن الآن لدينا ناتجان ، ممثل وناقد.
وستكون هناك أ.
ديناميكية بينهما ، والتي سنستكشفها أكثر.
لكن في الوقت الحالي ، من المهم أن نفهم أننا لا نتوقع فقط قيم Q للإجراءات التي يمكن أن يتخذها
الوكيل من هذه الحالة المعينة.
لكنه يتنبأ أيضًا بقيمة الوجود في هذه الحالة الحالية ، باستخدام نفس الشبكة العصبية.
هذا هو جوهر الخطوة الأولى نحو الناقد الفعلي.
والآن سنحتاج إلى التحدث عن التزامن ، وهو ما سنفعله في الدرس التالي
لفهم ما يحدث بالضبط بين نظرية الفعل.
والشيء الأخير لهذا اليوم هو أن كل هذه القيم الأساسية ، كما نعلم ، تسمى أيضًا السياسة.
لذلك في بعض الأدبيات وبعض المدونات وبعض المناقشات التي قد تجدها في الناقد النشط
، قد تجد المؤلف يتحدث عن قيم Q في هذا الجانب من الممثل.
في بعض الأدبيات الأخرى ومنشورات ومناقشات المدونات ، ستجد المؤلف يتحدث عن السياسة.
لذلك وعادة ما يستخدم المستخدم مثل الحرف اليوناني P لتمثيل السياسة أو قد تقول
فقط سياسة الدولة.
هذه هي سياسة مكتب الولاية لأننا نتذكر ، السياسة هي إذا جمعت كل الإجراءات
معًا ، الإجراءات الممكنة ، ومن ثم تقرر الإجراء الذي يجب اتخاذه.
لذلك ستكون هذه مثل احتمالات اتخاذ كل إجراء.
إذن هذه هي السياسة.
لذلك لا تنزعج إذا رأيت أحدهما أو الآخر ، فهما يعنيان نفس الشيء في الأساس.
إذن ، من ناحية ، لديك السياسة أو قيم Q ، من ناحية أخرى ، لديك القيمة
الفعلية للحالة ويتم توقعها من الشبكة العصبية.
هذه بداية الناقد النشط.
سنستمر في هذا في البرنامج التعليمي التالي عندما نتحدث عن متزامن وأتطلع إلى رؤيتك
هناك.
حتى ذلك الحين استمتع بـ I.