أهلا ومرحبا بكم في هذا البرنامج التعليمي.
لذا فقد قام الوكيل الآن باستكشافه ومن ثم ما هو على وشك القيام به هو تحديث الشبكة المشتركة.
لذا فإن أول شيء سنفعله هو بدء المكافأة التراكمية.
سنسميها R ، وسنقوم بتهيئتها على أنها موتر شعلة.
لكن هذا سيكون له أبعاد واحدًا تلو الآخر لأنه مجرد قيمة.
لكننا نريده أن يكون موترًا.
ولذا أستخدم هنا نقطة الصفر ثم واحدًا.
لذلك يتم تهيئة المكافأة التراكمية إلى صفر OC ثم نفس الشيء إذا لم ننتهي.
هذا إذا كانت اللعبة لم تنته بعد.
ما نريده الآن هو أن تكون المكافأة التراكمية مساوية لقيمة آخر مجموعة وصلت إليها الشبكة
المشتركة.
لذلك سنحصل على ناتج القيمة ، وقيمة ناتج الدالة V لنموذجنا ، وهذه هي القيمة التي
سنعطيها للمكافأة التراكمية.
لذلك دعونا أولاً نحصل على هذه القيمة.
يمكننا الحصول على القيمة بهذه الطريقة بعد ذلك ، كما تعلمون ، نظرًا لأننا نريد فقط القيمة التي يمكننا إضافتها هنا ،
ووضع تسطير أسفل السطر ثم تسطير أسفل السطر مرة أخرى ، ثم نحصل على نموذجنا لأنه سينتج هذه القيمة ، ولكن فقط الناتج
الأول للنموذج .
بفضل هذه الشرطة السفلية المزدوجة هنا وهنا ، يمكننا فقط نسخ ولصق ما لدينا هنا.
هذا هو إدخال النموذج مع المدخلات والصور وجميع الحالات المخفية وحالات الخلية.
لذلك أنا ألصق ذلك فقط وها نحن ذا ، سنحصل على القيمة.
والآن ما سنفعله هو إعطاء هذه القيمة.
لذلك سيكون الكل مساويًا للقيمة والوصول إلى القيمة.
نضيف هذه البيانات هنا.
حسنا.
الآن تم تنفيذ شرط if والآن ما سنفعله ، نظرًا لأننا حصلنا للتو على قيمة جديدة من خلال ، كما تعلمون ،
الحصول على ناتج النموذج ، الناتج الأول للنموذج ، حسنًا ، دعنا نلحق بالفعل هذه القيمة
الجديدة لقوائم القيم.
لذلك ، يمكننا أخذ قائمة القيم مباشرة ، ثم dot append وإدخال المتغير.
آه ، لأننا يحتوي على هذه القيمة الأخيرة رائعة جدًا.
الآن سنقوم بتهيئة الخسائر وتذكر محاضرات الحدس.
لديك خسارتان.
لقد فقدت السياسة.
هذا هو آخر ما يتعلق بتوقعات الوكيل.
وبعد ذلك يكون لديك خسارة في القيمة ، وهي الخسارة المتعلقة بتنبؤات الناقد.
لذلك سنقدم هذين المتغيرين ونبدأهما حتى الصفر.
وبالتالي ، سأأخذ هنا السياسة الأولى لخسارة السياسة المتغيرة ، وقم بتهيئتها إلى الصفر ثم
خسارة القيمة ، وخسارة القيمة ونفسها ، وتهيئتها إلى الصفر.
ثم دعونا لا ننسى تعيين المكافأة التراكمية كمتغير شعلة لأننا سنحتاجها لتكون متغيرًا
كليًا لأننا سنحسب تدرجًا فيما يتعلق بها ، لأن المكافأة التراكمية
ستكون مصطلحًا لخسارة القيمة.
مع هذا المتغير ، يتم الآن إرفاقه بالرسوم البيانية الديناميكية ذات التدرج اللوني.
والآن أخيرًا آخر شيء يتعين علينا القيام به قبل بدء حلقة التدريب الكبيرة ، كما
تعلمون ، عندما نطبق شبكة عشوائية بهذا المعنى لتقليل هذه الخسارة بين التنبؤات
والأهداف ، حسنًا ، نحتاج إلى تهيئة الميزة العامة التقدير وعدم الحصول عليه التشفير التلقائي.
كن حذرا مع ذلك.
J المتغير الذي نحن بصدد تهيئته الآن هو تقدير الميزة المعمم.
وللتذكير ، فإن تقدير الميزة المعمم هو بحكم التعريف ميزة تشغيل الإجراء "أ"
من خلال مراقبة الحالة.
إذن فهي دالة للعمل.
أ والدولة.
S وهي تساوي الفرق بين قيم Q q a s وقيمة الدالة V.
لذلك في الواقع يمكنني كتابتها هنا.
تقدير الميزة المعمم هو دالة أ للإجراء والحالات والتي تساوي
قيم Q للإجراء.
أ والدولة.
S ناقص قيمة الدالة V المطبقة على الحالة.
S هذا هو تقدير الميزة المعمم ، وهذا ما نريد تهيئته الآن.
وسنقوم بتهيئته على الصفر.
لكن يجب أن تكون راقصة شعلة.
لذلك سنستخدم نفس الحيلة مثل ما فعلناه للتو هنا.
سنأخذ مكتبة الشعلة ونطبق دالة الصفر لضبطها كموتر بقيمة واحدة فقط
، وهي صفر.
وسنقدم هذا المتغير الجديد ، G ، والذي سيكون مساويًا لتلك الشعلة التي بها أصفار واحد
عند التهيئة للصفر.
لذلك سيتم تهيئته إلى الصفر.
وبالتالي فإن قيم Q للإجراء.
أ وستكون الحالة مساوية لقيمة الدالة V للحالة.
حسنا.
والآن نحن جاهزون لبدء حلقة for.
لذلك سنخوض بعض المغامرة هنا.
لذا خذ استراحة جيدة وسأراك في البرنامج التعليمي التالي لمهاجمة ذلك.
حتى ذلك الحين ، استمتع.
أنا.