أهلا ومرحبا بكم في هذا البرنامج التعليمي.
سنقوم الآن بعمل الحلقة الكاملة التي ستحسب خسارة السياسة وخسارة القيمة.
وبمجرد أن نحصل على هاتين الخسارتين ، سنتمكن من استخدام مُحسِّننا لتطبيق النسب المتدرج
العشوائي لتقليل الخسائر.
حسنا.
لذا ها نحن ذا.
نبدأ من هنا.
بالمناسبة ، في البرنامج التعليمي السابق ، قمنا بتنفيذ هذا القسم ونسيت إزالة المسافات البادئة.
اسف بشأن ذلك.
لذا فالبدء من r هنا ليس في الحلقة for والآن نبدأ حلقة for جديدة.
لذا سأبدأ هنا بأربعة وما سنفعله الآن هو أننا سنبدأ من الخطوة الأخيرة التي تم القيام
بها أثناء انتهاء الصلاحية وسنتحرك إلى الوراء في الوقت المناسب.
هذا هو السبب في أنني أقوم هنا بأربع مكافآت في النطاق المعكوس لأن المكافآت هي القائمة.
وبما أن كل خطوة من خطوات الاستكشاف مرتبطة بمكافأة لأنه في كل خطوة نحصل على مكافأة عندما تكون مكافآت
Len هي هذا العدد من الخطوات ويتم استخدام هذا الاتجاه المعاكس هنا حتى نتمكن من العودة في الوقت المناسب.
لذا ها نحن ذا.
والآن ما سنفعله هو تحديث المكافأة التراكمية وهي R وسنقوم بتحديثها بهذه الطريقة.
هذا في الواقع هو نفس ما فعلناه من أجل Doom.
سيكون مساويًا لـ جاما ، التي نحصل عليها من معلماتنا.
أنا آخذ البارامترات الأولى التي تضربها gamma في R بالإضافة إلى مكافأة الخطوة ، والتي يمكننا الحصول عليها من خلال
أخذ مكافأة القائمة ورفع المؤشر عاليًا.
إذن أولاً ، ستكون هذه مكافأة الخطوة الأخيرة ، ثم ستكون
مكافأة الخطوة السابقة وما إلى ذلك. وفي كل مرة نقوم بتحديثها بضربها في جاما ثم إضافة هذه المكافأة في هذه
الخطوة.
وبفعل هذا ، تذكر أننا سنصل في النهاية.
لذا سأكتبها كتعليق.
سوف نحصل على المكافأة التراكمية التي ستساوي في نهاية الحلقة إلى
r صفر ، ومكافأة الخطوة صفر زائد جاما مضروبة في r واحد ، ومكافأة الخطوة الأولى زائد جاما تربيع مضروبة في
R لمكافأة الخطوة الثانية بالإضافة إلى ذلك زائد جاما بقوة n ناقص واحد في المكافأة التي تم الحصول عليها في
الخطوة وسالب واحد حيث n هو عدد الخطوات.
ولكن بعد ذلك كن حذرا.
في النهاية سيكون لدينا جاما بقوة عدد الخطوات.
مرات قيمة قيمة الدالة V المطبقة على الحالة الأخيرة.
هذا ما يجب أن نحصل عليه في النهاية وهذا ما سنحصل عليه لأننا تذكر هنا أننا حصلنا على قيمة الخطوة
الأخيرة لأن هذا تم في نهاية حلقة for هنا.
وهكذا حصلنا على القيمة وضبطناها على أن تكون مساوية لتلك القيمة.
إذن الآن في بداية حلقة for الثانية هذه هنا ستكون مساوية لقيمة الحالة الأقل.
ولكن بعد ذلك من خلال القيام بذلك ، هذا ما سنحصل عليه في النهاية أو يساوي أو صفر زائد جاما r واحد
زائد جاما تربيع أو اثنين زائد جاما قوة n ناقص واحد في المكافأة في الخطوة n ناقص واحد زائد
جاما قوة عدد الخطوات ، مضروبة في قيمة الحالة الأقل.
هذا هو الشيء الرئيسي الذي يجب فهمه في هذا الحساب للمكافأة التراكمية.
ولهذا السبب من المهم أن نبدأ منه بتهيئة قيمتنا هنا والقيام بهذا المعكوس من أجل
التكرار للحصول على هذه المعادلة النهائية كاملة.
والآن بعد أن أصبح لدينا القيمة الصحيحة للمكافأة التراكمية ، حسنًا ، سنحسب الميزة.
والميزة هنا هي مجرد ميزة الحصول على هذه المكافأة مقارنة بالقيمة.
لذلك سأقدم ميزة متغيرة جديدة ، وبالتالي ستكون مساوية لهذه المكافأة التراكمية مطروحًا
منها قيمة الدالة V التي تم الحصول عليها في الخطوة الثانية.
لذلك هذا خطأ مطروحًا منه القيم ، أي الكمال.
والآن بعد أن أصبح لدينا المكافأة التراكمية والميزة ، يمكننا الحصول على خسارة القيمة.
هذه هي الدرجة الأولى التي يمكننا الحصول عليها الآن ، لذلك سنحصل على متغير خسارة القيمة الخاص بنا وسيتم
تحديث هذا بالطريقة التالية.
تذكر حتى الآن أن خسارة القيمة قد تمت تهيئتها إلى الصفر ولذا
سنأخذ خسارة القيمة مرة أخرى ونضيف 0. 5 أضعاف الجذر التربيعي للميزة حتى نتمكن من الحصول عليها بهذه الطريقة.
ميزة نقطة الأسرى الثانية.
هذا يعني فقط مربع الميزة ، الميزة بقوة اثنين.
وهذا هو بالضبط خسارة القيمة ، الخسارة الناتجة عن تنبؤات قيمة ناتج الدالة V
بواسطة الناقد.
ولذا فمن المنطقي أن هذه هي خسارة القيمة لأن تذكر أن الميزة أ للإجراء أ في
حالات الحالة هي الفرق بين قيمة Q وقيمة الدالة V.
ولذا عندما نلعب الإجراء الأمثل بشكل جيد ، نحصل على الحالة الثابتة.
Q الأمثل للعمل الأمثل الذي يلعبه النجم في الحالة كما.
يساوي القيمة المثلى التي نخزنها للولايات.
لذا من البديهي أن نفهم أنه عندما لا تكون الميزة مساوية للصفر ، فسيكون هناك فرق بين هذين الاثنين
، وبالتالي هذه هي الطريقة التي يتم بها قياس الخسارة.
لذا فقد تم حساب خسارة القيمة بواقع أقل.
لدينا الآن واحد آخر لنذهب إليه.
إنها خسارة السياسة وهذا بالضبط ما سنحسبه الآن.
ولحسابها ، نحتاج إلى النظر مرة أخرى في تقدير الميزة المعمم ، لأنه لحساب خسارة السياسة
، نحتاج إلى تقدير الميزة المعمم وللحصول على تقدير الميزة المعمم ، نحتاج
أولاً إلى الاختلاف الزمني لقيم الحالة.
لذلك لدينا أشياء متعددة لحسابها هنا.
وسنبدأ بهذا الاختلاف الزمني.
بمجرد أن نحصل على الاختلاف الزمني ، سنحصل على تقدير الميزة المعمم.
وبمجرد أن نحصل على تقدير الميزة المعمم ، سنحصل على خسارة السياسة.
حسنا.
لنبدأ إذن بالفرق الزمني.
T لذلك t يساوي مكافأة الخطوة الثانية بالإضافة إلى جاما ، والتي نحصل عليها بفضل قائمة المعلمات الخاصة بنا.
لذا فإن المعلمات تضرب غاما قيمة الخطوة الثانية زائد واحد ونضيف تلك البيانات للوصول إليها مطروحًا
منها قيمة الخطوة i.
ونفس الشيء نضيف تلك البيانات.
حسنا.
إذن هذه هي صيغة الاختلاف الزمني لقيم الحالة.
والآن يمكننا التحديث لتقدير الميزة المعمم.
وكيف يتم تحديثه حيث نأخذ غازنا ونضربه بمعامل جاما ، خلية أوقات جاما ، والتي وصلنا إليها باستخدام
معلماتنا أيضًا.
لذلك نأخذ خلية البارامترات ونضيف هذا الاختلاف الزمني لقيم الحالة.
لذا كن حذرا.
نحن في حلقة for وفي كل مرة نضرب الغاز في جاما وفي تاو ونضيف الفرق الزمني.
لذا من المهم أن نفهم أنه في نهاية هذه الحلقة ، حسنًا ، تقدير الميزة
المعمم هذا سيكون مساويًا للشمس في جميع درجات أوقات جاما.
تاو بقوة الذكاء الإصطناعي.
الاختلاف الزمني خطوة بخطوة.
حسنا.
من المهم أن تضع ذلك في الاعتبار.
والآن بعد أن أصبح لدينا الميزة العامة والتقدير والفرق الزمني ، يمكننا أخيرًا
حساب خسارة السياسة.
لذلك دعونا نفعل هذا.
سنقوم بتحديث خسارة سياستنا بالطريقة التالية من خلال اتخاذ خسارة السياسة القديمة ، ونطرح احتمالات السجل التي
تم الحصول عليها في الخطوة الثانية التي نضربها في تقدير الميزة المعمم هذا الذي يتعين علينا وضعه في متغير ، لأننا
سنفعل ذلك بعد ذلك احسب التدرج.
لذلك يجب إرفاقه بتدرج في الرسم البياني الديناميكي.
ثم نضيف سالب 0. 01 يضاعف الانتروبيا ، الانتروبيا التي تم الحصول عليها في الخطوة الثانية في الحلقة for.
ومرة أخرى ، كن حذرا الآن.
هذا هو الحساب داخل الحلقة for ، مما يعني أنه في نهاية حلقة for ،
ما سنحصل عليه هو خسارة السياسة.
يساوي ناقص مجموع الخطوات.
من سجل منتج السياسة في الخطوة الثانية أضعاف تقدير الميزة المعمم زائد هذا
0. 01.
في بعض الأحيان الانتروبيا في الخطوة العالية.
لذا ها نحن ذا.
والآن ما هي السياسة المتبعة في هذه الخطوة؟
حسنًا ، هذه هي احتمالات الحد الأقصى للإجراءات والنتروبيا في الخطوة.
حسنًا ، أنت تعرف ما هو ، هذا ما حسبناه سابقًا وما قمنا بإلحاقه بالقائمة.
لذلك لدينا ذلك بالفعل.
لكن هذه الفطيرة هنا هي الاحتمال الأقصى الناعم للإجراءات.
ولماذا نضع ناقص هنا؟
ذلك لأن لوغاريتم الاحتمال والنتروبيا قيمتان سالبة.
ونظرًا لأننا نريد تقليل قيمتها المطلقة ، يجب أن ننظر إلى هذا الأخير على أنه احتمال لوغاريتمي بدلاً
من مسافة.
كما تعلم ، نريد تعظيم احتمالية لعب الإجراء الذي سيعظم الميزة.
هذه هي الفكرة الكاملة وراءها.
نريد تعظيم احتمالية لعب الإجراء الذي سيعظم الميزة.
ولأولئك الذين قد يتساءلون عن الغرض من معامل الإنتروبيا هذا هو هذا
العامل 0. 01 هنا؟
حسنًا ، الغرض منه هو فقط منع السقوط بسرعة كبيرة في الفخ حيث يكون لدينا توزيع للاحتمالات
بأصفار لجميع الإجراءات باستثناء واحد له احتمال واحد.
وإذا حدث ذلك ، فسيؤدي ذلك إلى تقليل الانتروبيا.
لهذا السبب نضيف هذا المعامل الصغير 0. 01 هنا سيؤدي إلى زيادة الانتروبيا في نزول
التدرج.
تمام.
لذا فإن الخبر السار الآن هو أن الجزء الأكثر صعوبة قد تم إنجازه.
لدينا الخسارتان ، وبالتالي ما نحتاج إلى فعله الآن ونحن نعرف بالفعل كيفية القيام بذلك هو
إجراء هبوط التدرج العشوائي لتقليل هاتين الخسارتين.
وما سنفعله الآن هو الخروج من هذه الحلقة وسنأخذ المحسن الذي صنعناه
بشكل منفصل.
ثم تذكر أن أول شيء يتعين علينا القيام به هو تهيئة جميع معاملات التدرج إلى الصفر.
وللقيام بذلك ، نضيف نقطة ثم طريقة الشبكة السفلية الصفرية.
حسنًا ، تم ذلك بعد ذلك.
سنقوم الآن بالانتشار العكسي ، لكننا سنعطي ضعف أهمية السياسة
أقل من القيمة المفقودة لأن خسارة السياسة أقل.
للقيام بذلك ، سنضع سياسة الأقواس ، ووضع علامة على الخسارة زائد 0. 5 خسارة القيمة.
إذن 4. 5 أضعاف خسارة القيمة.
وسنضيف النقطة هنا وطبقنا الطريقة العكسية لإجراء الانتشار العكسي.
وبفضل هذه الحيلة هنا مع خسارة السياسة بالإضافة إلى نصف خسارة القيمة ، فإننا نعطي ضعف الأهمية
للسياسة أقل من القيمة المفقودة.
ثم سنستخدم خدعة أخرى ، وهي منع التدرج اللوني من أخذ قيم كبيرة للغاية
وبالتالي إنشاء الخوارزمية.
والحيلة للقيام بذلك هي الحصول أولاً على مكتبة torch لدينا ، ثم الوحدة الداخلية من مكتبة
torch ، ثم الوحدة الفرعية utils.
والآن سنستخدم مقطع الوظيفة ، وضع شرطة سفلية grad في معيار النتيجة
وسنقوم بإدخال معلمات نموذجنا بإدخال ثانٍ سيكون 40.
وستتأكد هذه الحيلة بشكل أساسي من أن التدرج اللوني لن يأخذ قيمًا كبيرة للغاية وأن يؤدي إلى
إنشاء الخوارزمية.
ولأولئك الذين قد يتساءلون عن هذه الأربعين سنة بالضبط.
حسنًا ، هذا يعني أننا نستخدم هذه القيمة بحيث يبقى معيار التدرج بين
صفر و 40.
وبالتالي ، هذه هي الطريقة التي نمنع بها التدرج اللوني من أخذ قيم كبيرة جدًا.
لذلك نحن الآن على وشك الانتهاء.
تذكر ، لقد جعلنا هذا يضمن الوظيفة المشتركة في بداية الملف ، وهو التأكد من أن العامل والنموذج المشترك
يشتركان في نفس التدرج اللوني ، وللقيام بذلك للتأكد من أنه يمكننا تطبيق هذه الوظيفة
هنا.
ولذا سنقوم بإضافة شبكات ضمان مشتركة للتأكد من أن النموذج والنموذج المشترك يشتركان في نفس التدرج اللوني.
حسنا.
لذلك هذا مجرد إجراء احترازي.
لست متأكدًا من أن هذا ضروري تمامًا ، لكن ، كما تعلم ، لن نواجه أي مشكلة هنا على الأقل.
وأخيرًا ، السطر الأخير من التعليمات البرمجية ، سنقوم بالطبع بتنفيذ خطوة التحسين لتقليل الخسائر
وأنت تعرف كيفية القيام بذلك.
بالطبع ، نأخذ المحسن الخاص بنا ونضيف هذه الخطوة بين قوسين وهناك نبدأ.
لقد انتهى تدريب أدمغتنا.
لذا تهانينا.
آمل أن هذا لم يكن ساحقًا جدًا.
لا تقلق ، سأقدم الرمز بجميع التعليقات.
لذلك إذا فاتتك أي تفاصيل ، يمكنك إلقاء نظرة على التعليقات.
ولا تقلق إذا لم تفهم شيئًا.
هذا متقدم جدا.
لكن كن مطمئنًا ، هذا أيضًا هو الأقوى.
تذكر ، من الذي صنعه منشئ PyTorch.
لذلك نحن نعمل بالفعل مع الأفضل هنا ، أحدث ما توصلت إليه التكنولوجيا.
لذلك من الطبيعي تمامًا إذا لم تحصل على كل شيء في المرة الأولى ، ولكن من خلال العمل عليه عدة
مرات ، ستشعر بالتأكيد براحة أكبر.
والآن انتهينا من التدريب.
لذا فقد صنعنا كل الأشياء الأكثر أهمية.
تعلمون ، لقد صنعنا الأدمغة من خلال بناء هياكل الشبكات العصبية مع التلافيف و lshtm
والطبقات المتصلة بالكامل.
نقوم بتدريب هذا العقل عن طريق عمل رمز القطار هذا هنا.
لذلك تم في الأساس قلب الخوارزمية.
لقد صنعت a3c ، تهانينا.
الآن لدينا بعض الأشياء الأخرى التي يجب القيام بها ، ولكن هذا فقط للحصول على الجزء الممتع.
كما تعلم ، نحتاج إلى إجراء هذا الاختبار الذي يفشل فيه الأشخاص ، والذي سيختبر الوكيل ويقدم مقاطع فيديو للذكاء الاصطناعي
أثناء اللعب.
لذلك سيكون هذا ممتعًا جدًا للمشاهدة.
لن نقوم بتشفير جميع أسطر هذا الاختبار في ملف PI لأننا كما قلنا ، قمنا بأهم
شيء.
سأربطها بـ a3c ، لكنني بالطبع سأشرح الكود.
وفي النهاية لدينا ملف da pi الرئيسي الذي سينفذ الكود.
ومن اللحظة التي ننفذ فيها هذا الرمز ، سيتم إنشاء جميع الرموز.
لذلك سيتم تكوين الأدمغة ، وسيحدث التدريب ، وسيقوم الذكاء الاصطناعي بلعب ألعاب جديدة من الاختراقات وسنحصل
على جميع مقاطع الفيديو.
لذلك لا يمكنني الانتظار حتى أشاهدهم في النهاية.
سنرى ما إذا كان الذكاء الاصطناعي ذكيًا بما يكفي لالتقاط الكرات.
سأراك الآن في البرنامج التعليمي التالي لاختبار PI هذا حتى نتمكن من اختبار الذكاء الاصطناعي في بعض الألعاب الجديدة
وحتى ذلك الحين ، استمتع بالذكاء الاصطناعي.