مرحبًا ومرحبًا بكم في الوحدة الثالثة من الخطاب ، قانون A3 C غير المتزامن لنقد الوكيل.
والآن يمكنني حقًا أن أقول مرحبًا بكم في أحدث تقنيات التعلم الآلي.
حسنًا ، في ذلك الوقت أقول هذا لأنه ربما سيأخذ بعضكم الدورة في غضون عام أو عامين.
لكن في الوقت الذي أقول فيه هذا في عام 2017 ، بينما أنت على وشك العمل على واحد من أقوى النماذج في
الذكاء الاصطناعي ، ولكن هناك المزيد ليس الشيء الوحيد المميز في هذه الوحدة.
لسنا فقط على وشك العمل مع أقوى نموذج ذكاء اصطناعي ، ولكننا سنقوم بتنفيذ أقوى إصدار
من هذه الخوارزمية وهو الإصدار الأكثر تحسينًا ، والإصدار المطبق من نموذج a3c ، لأنه يمكنك أن تتخيل وجود
القلب من خوارزمية C الثلاثة ، ولكن هناك الكثير من الأدوات التي يمكننا استخدامها
لتحسين النموذج بأكمله.
وبالتالي لن يكون لديك جوهر الخوارزمية فحسب ، بل ستنفذ أيضًا كل
هذه الأدوات حولها لجعل النموذج فائق القوة.
ولماذا أردت أن أفعل ذلك؟
حسنًا ، هذا لسببين.
السبب الأول هو أننا نقترب من نهاية هذه الدورة.
هذه الدورة هي أعلى مستوى بين الدورات الثلاث ML و DL و AI و Z.
لذا أعتقد الآن أنك جاهز للانتقال إلى المستوى التالي.
والسبب الثاني هو أن حل الاختراق يمثل تحديًا كبيرًا في الواقع.
تذكر في الفيديو الترويجي ، أننا أردنا وضع Breakout كوحدة نمطية أولى لأننا اعتقدنا أنه سيكون
التحدي الأسهل ، ولكن ليس على الإطلاق.
كان في الواقع التحدي الأصعب.
طريقة سهلة لشرح ذلك هي أن الوحوش كبيرة في العذاب وبالتالي يسهل اكتشافها وبالتالي
يسهل قتلها أو تجنبها.
لكن في حالة الاختراق ، لدينا هذه الكرة الصغيرة التي يتعين على الذكاء الاصطناعي اكتشافها أيضًا ، لأن الذكاء الاصطناعي سيظل لديه
أعين هنا.
ما زلنا نقوم بالتعلم المعزز العميق.
لذا فهو في الواقع صعب للغاية ولهذا السبب ليس لدينا حقًا خيار تنفيذ أقوى
إصدار من الثلاثة C.
الآن ، لماذا أقول أن هذا هو الإصدار الأقوى؟
هذا لسبب معين.
ليس الأمر كما لو أنني سأقوم بتنفيذ أقوى نسخة من الثلاثة سي الآن ليس
هذا.
السبب في قولي هذا هو أن الإصدار الذي كنا على وشك تنفيذه وهذا شيء
خاص جدًا سنفعله ، هو في الواقع نسخة من C تم تنفيذها بواسطة شخص ما ولكن تم تصحيحها بواسطة
أحد أكثر الأشخاص تأثيرًا في التعلم الآلي اليوم من هو مبتكر PyTorch.
اسمه آدم باكر.
إذن ما سنفعله الآن ، سنذهب إلى GitHub في صفحة PyTorch الرئيسية ، وإذا قمت بالتمرير
لأسفل ، لأسفل حتى النهاية ، لأسفل إلى أسفل ، فسترى الفريق ، فريق PyTorch المبدعين والمساهمين.
ويمكنك أن ترى هنا أن شركة PyTorch تتم صيانتها حاليًا بواسطة Adam Pascal.
هذا هو الشخص الذي يجب أن نكون ممتنين له حقًا لأن هناك إصدارات قليلة جدًا من المفاتيح الثلاثة التي
تعمل بشكل جيد مع Breakout.
وقام بتصحيح أحد الرموز الخاصة بـ RC لجعل الاختراق يعمل بشكل جيد.
لذا فإن آدم باسكال لا يقوم فقط بالحفاظ على PyTorch ، ولكنه أيضًا أحد المبدعين.
وكما قلت اليوم ، فهو من بين العشرة الأوائل الأكثر تأثيراً في التعلم الآلي.
لذلك يمكننا أن نشعر بالثقة في أن الإصدار الذي نحن على وشك تنفيذه هو على الأرجح أقوى إصدار
من C الثلاثة اليوم.
فما هو هذا التنفيذ؟
حسنًا ، في الأصل يأتي من مطور يسمى Ilia Stoichkov.
وكما ترون ، قام بتنفيذ PyTorch لـ a3c ، والذي لم يعمل في الأصل بشكل جيد للاختراق
، ولكن بعد ذلك قام شخص ما بطلب السحب.
إذا انتقلنا إلى طلب السحب هنا ، فيمكننا أن نرى في أقرب طلب ننتقل إليه ، فلدينا هذا
، وهو حل أنظف لمشكلة التخرج.
وتخمين من الذي تم تقديم طلب التجمع هذا منه؟
تم صنعه من آدم باسكال ، مبتكر PyTorch.
وقد أدى ذلك إلى حل المشكلة التي جعلت HRC يعمل بشكل جيد للغاية على Breakout دون انتظار لأيام
وأيام.
وبالتالي ، إذا عدنا إلى هذا التنفيذ ، يمكننا أن نرى المساهمين الأربعة لهذا التطبيق
الأقوى وإليكم المساهمون.
لذا شكراً جزيلاً لهم جميعاً.
ويمكننا أن نقول شكراً جزيلاً وخاصاً لآدم باشكي لإصلاحه مشكلة مشاركة التدرج.
بدأ بعمل فورك ، وهو فرع فرعي من الكود ، ثم قام بطلب سحب للمطور لإصلاح
هذه المشكلة التي كانت في الكود ، وهي مشكلة مشاركة كبيرة ، وهكذا أصبح مساهمًا رئيسيًا
من هذا التنفيذ ، مما يجعل كل شيء يعمل بشكل جيد.
وثق بي ، لقد أجريت الكثير من التجارب على نموذج C الثلاثة.
لقد قمت بالفعل بتنفيذ خمسة نماذج.
كنت يائسًا حتى من أن ذلك لم يعمل بشكل جيد ، لذلك قمت بعمل اختراق خاص بي على المنحنى
للحصول على كرة أكبر وبالتالي معالجة أسهل للصور.
ثم عدت لفتح API وقمت بتطبيق HRC الخاص بي ، لكن ذلك استغرق وقتًا طويلاً للتشغيل والتدريب على
جهاز كمبيوتر قوي جدًا.
لذلك أردت أن أجد طريقة أفضل وهذا هو الحال.
هذا التنفيذ القوي للغاية لطراز a3c.
أحد المساهمين الرئيسيين هو مبتكر PyTorch.
إذن ما سنفعله في هذه الوحدة ، أعتقد أنك مستعد لذلك ، هو تنفيذ رمز
المستوى الأعلى لتنفيذ RC.
لذلك سنقوم بشكل أساسي بإعادة تنفيذ كل هذه الملفات وسنصر في الغالب على الملفات
المرتبطة مباشرة بـ RC لجميع الأجزاء التي ترتبط مباشرة بـ RC.
سنقوم بتنفيذ الكود سطرًا سطرًا للآخرين.
سأشرح فقط الكود.
لذلك يجب أن نكون قادرين على معالجة هذا دون أن نجده مرهقًا للغاية.
لذا ها نحن ذا.
وحدة خاصة جدا.
لا نعمل فقط على أحدث نموذج للذكاء الاصطناعي ، ولكن أيضًا في الوقت الذي أتحدث
فيه ، أنا واثق تمامًا من أننا نطبق أقوى إصدار من RC.
لنفعلها اذا.
دعنا نعود إلى بايثون ودعنا نبدأ كل هذا.
قبل أن نبدأ ، سنقوم بأبسط شيء سنفعله في هذه الوحدة ، وهو إعداد
مجلد دليل العمل.
لذلك دعنا ننتقل إلى مجلد القالب A-Z الخاص بنا.
الوحدة الثالثة ، اخترع أكثرها تحديًا وها نحن ذا.
هذا كل ملفاتنا.
لذلك دعونا نرى أيها يرتبط ارتباطًا مباشرًا بـ a3c ، لذا دعونا نرى أيها سنقوم بتنفيذها
سطراً سطراً ونركز طاقتنا عليها.
لذلك يوجد بالفعل ملفان.
تم تصميم النموذج الأول في PI ، وهو هذا.
لذا سنعيد تنفيذه سطراً سطراً لأن هذا هو الأهم.
هذا هو المكان الذي نصنع فيه العقول الرئيسية الثلاثة.
وأهم شيء يجب فهمه هنا هو أنه سيكون لدينا نموذج مشترك سيكون
له نفس تحديث الأوزان للممثل والناقد.
هذا هو جزء من الإصدار الخاص من RC ، النموذج المشترك مع التحديث المشترك للأوزان.
ثم الملف الآخر الأكثر أهمية الذي سنقوم بتنفيذه سطراً بسطر هو القطار الذي
سقط PI ، بالطبع بعد أن صنعنا أدمغة RC.
حسنًا ، يجب أن ندربهم ونقوم بتدريبهم في هذا القطار ، ملف PI هذا.
إذن هذا رمز طويل جدًا ، لكن هذا ما يحتوي على قلب نموذج a3c ، والذي سيكون
له خسارتان لتقليل خسارة القيمة ، وهي الخسارة المتعلقة بتنبؤات الناقد
وخسارة السياسة ، وهي آخر ما يتعلق بتنبؤات الممثل.
لذلك هذا جديد تمامًا.
لكن كما تعلم ، هذا لأنه في a3t ، نحن نعمل أساسًا مع عدة وكلاء ، كل واحد لديه نسخته
الخاصة من البيئة.
لكن لدينا أيضًا هذه الطبقة المتصلة بالكامل والتي تُخرج قيمة دالة V ، وهذه في الأساس
رؤية مشتركة لما يحدث في اللعبة.
لذلك سيكون هذا صعبًا للغاية.
لذا تأكد من أن تكون في حالة جيدة وبقية الملفات.
حسنًا ، سأشرحها بالتفصيل فقط ، لكن ليس بقضاء الكثير من الوقت عليها.
صدقني ، أنت تريد الاحتفاظ بطاقتك من أجل هذا.
سيكون هذا بالفعل كثيرًا.
إذن هذه الملفات ضد PI ، وهو تحسين لبيئة الصالة الرياضية بفضل الكون.
لذلك ، يعمل هذا الملف بشكل أساسي على تحسين بيئة الصالة الرياضية مع الكون
وهذا يسمح بإجراء معالجة مسبقة مثالية للصور وأيضًا لتطبيع جميع قيم البيئة ، مثل
شدة الألوان أو شدة المكافآت.
حسنًا ، كل قيم البيئة.
يعمل هذا الملف على تطبيع كل هذه القيم والتأكد أيضًا من أن لدينا معالجة مسبقة مثالية للصور.
وكما ترون ، هذا مأخوذ من صفحة Openai GitHub حيث وكيل متجر الكون.
لذلك لن نقضي الكثير من الوقت في هذا الأمر.
سنتوقف هنا في الواقع.
تحتاج فقط إلى فهم أننا نقوم بتحسين بيئة الصالة الرياضية مع الكون للحصول على المعالجة المسبقة
المثلى للصور.
الباقي ليس بهذه الأهمية ، خاصة بالنسبة لثلاثة C.
ثم لدينا واجهة برمجة التطبيقات الرئيسية ، وهي الكود الذي سينفذ الأمر برمته.
لذا فأنت تعرف الكود الذي سيشغل كل شيء ، وإنشاء الدماغ ، وتدريب الدماغ وإخراج مقاطع الفيديو.
وذلك لأنه سيتم تشغيل كل هذه الأكواد هنا.
لذا فقد رأينا نموذجًا ما كان عليه آنذاك.
بي الأمثل هو مُحسِّن خاص.
هذا هو محسن الذرة بشكل أساسي ، لكن قم بتكييفه مع هذا النموذج المشترك الذي نطبقه.
لذلك سنشرح كل هذا الرمز في درس واحد.
ثم قمنا باختبار باي.
هذا في الواقع آخر واحد.
لذا فإن اختبار pi هو في الأساس الملف الذي سينفذ عامل اختبار.
هذا هو الوكيل الذي سيلعب دون تحديث النموذج.
هذا مستقل تمامًا عن التدريب.
وسنشرح أيضًا هذا الرمز بالتفصيل.
علاوة على ذلك ، فإن الخبر السار هو أنه سيكون لديك رمزان رمز واحد ، والذي سيكون الرمز الذي نطبقه في البرامج
التعليمية ولكن بدون أي تعليق.
وأحد الكود الذي هو أحد مجلدات الكود الذي يحتوي على جميع الرموز يأمر به ، لذلك مع كل هذه
الملفات الستة ، كلها أوامر جيدة ، بحيث إذا فاتتك شيء ما في أي برنامج تعليمي ، فستتمكن من
إلقاء نظرة على الأوامر في الكود لفهم ما يحدث.
لذا ها نحن ذا.
أتمنى أن تكون متحمسًا لتنفيذ ذلك.
أنت حقًا في قمة الجبل الآن أو أسفل القمة لأنك تحتاج إلى فهم هذا
أولاً.
أنت تصل إلى هناك لتتنفس جيدًا من الأكسجين.
وهناك نذهب في هذه الرحلة المثيرة للغاية.
حتى ذلك الحين ، استمتع.
أنا.