المدرب: مرحبًا بالجميع ومرحبًا بعودتك.
في هذا الفيديو سنتحدث عن كيفية
استخدام ChatGPT لحل "الاختراق"
، باستخدام ChatGPT لتنفيذ A3C.
لذلك قمت بالفعل بتحفيز ذلك من خلال الكثير من المطالبات المجنونة
، وحصلنا على نتائج مذهلة ، وسنراهم في ثانية.
لذلك ، سيكون هذا الفيديو في الأساس
عرضًا مشيًا خلال عملية
تفكيري حول كيفية حصولي على النتائج
بالفعل ، وكيف يمكنك بالفعل استخدام ChatGPT
لإنشاء خوارزمية A3C أيضًا.
حسنًا ، لقد بدأت بشكل مشابه لما كان لدينا في "DOOM" ، لقد ذكرت
، حسنًا ، أنت في الأساس خبير
في التعلم الآلي ولديك
سنوات من الخبرة في مجال الروبوتات.
أنا أوظفك للقيام بخوارزمية A3C لـ "Breakout. الهدف هو الحصول على خوارزمية SOTA و A3C
تعمل بكامل طاقتها
يمكنها لعب لعبة "Breakout".
لقد قمت بتطبيق فئات ، وبيئة
رمز الاختبار ، وإصدارات
مخصصة من مُحسِّن آدم الذي
يُستخدم كمحسِّن للأوزان المشتركة
لطراز A3C.
هذا يعطيها المزيد من السياق
، ما فعلته ، سأقدم لك هذه الأشياء الثلاثة.
لذا كما أشرت قبل إنشاء بقية الكود ، فإن هدفك هو تنفيذ
الحل الكامل باستخدام
Python ، Torch ، بشكل
مشابه لما لدينا
، وتحسين الكود ليتم تنفيذه
في Google Colab ، تمامًا
كما كان لدينا من قبل.
بالإضافة إلى ذلك ، قم بالتعليق
على كل سطر من الكود حتى يتمكن الطلاب
من فهم ما فعلته في الكود.
اطرح أسئلة توضيحية إذا لزم الأمر ، احصل عليها.
لذلك لدينا بعض التداخل بين ما فعلناه
للمحادثة Deep Q لـ "DOOM"
، لكنني أضفت الكثير من السياق الذي لدي بالفعل أشياء
تم تنفيذها ، وأود
أن يتم استخدامها.
هذا ما أبدأه وتم تأكيده.
نعم ، أفهم ذلك وسأطرح أي
أسئلة ، يرجى تقديم بقية الكود.
ثم ذكرت ، هذا محسن آدم ، لقد قمت
بلصق رمز محسن آدم ، للموارد
التي لدينا ، وأعطيت هذه التعليمات ، وقلت
، انتظر بقية الكود
قبل التنفيذ ، أنا فقط
، قبل أن أحصل على أي نتائج جيدة ، لقد
قمت بلصقه للتو وانتقل على الفور إلى تنفيذ A3C
، دون انتظار الباقي.
لذا أضفت هذا كنوع من
التعليمات البرمجية
النظامية ، موجه نظامي ، وقال ، حسنًا ، يرجى توفير البيئة
واختبار الكود.
إذن فهو يشير في الواقع إلى
ما قدمناه في الموجه الأول.
قلت ، رائع ، إليك تنفيذ
بيئة الصالة الرياضية.
لقد قمت بلصق هذا الرمز
الرئيسي ، وأضفت سياق هنا ، إذا ألقيت نظرة
، وهذا هو الملف الرئيسي
الذي يشغل كل شيء.
ثم قلت ، حسنًا ، رائع ، انتظر
كود الاختبار.
وقد قال ، نعم ، ومع ذلك ، ما
زلت بحاجة إلى رؤية
كود الاختبار قبل أن أقوم بتطبيق A3C ، قلت ، رائع ،
إليك رمز اختبار.
وترى أن هذا هو كيف إذا كان
لديك مشروع أكبر وأكبر ،
يمكنك استخدام ذلك للتأثير
عليه نوعًا ما لاستخدام
قطعة من الكود أو كمرجع ، في النمط بحيث
يمكنك بالفعل إنشاء شيء في أسلوبك
في الكود.
رائع ، وعندما فعلت
ذلك ، قال ، رائع ، اذهب إليه.
وقد قال بشكل أساسي أنني سأستخدم
هذا الرمز الرئيسي ، وأختبر ، وأنفذ هذا.
وبعد ذلك قال ، خلق النموذج. py ، وهو ما فعلناه بالفعل في الدورة التدريبية
أيضًا.
وقال ، ها هو نموذج الممثل الناقد
، وأنا أقارن بنموذجنا.
هذا هو الإصدار الأحدث من Python
، ويمكن تهيئة الكثير من الأوزان
وأشياء من هذا القبيل بطريقة أكثر أناقة.
لذلك فعلت ذلك وهي تستخدم بشكل جيد
جدًا ، ثم قامت بإنشاء رمز القطار ، وبشكل أساسي
ActorCritic.
وإذا ألقيت نظرة ، فهذا أمر بسيط للغاية ،
لذا فهو بالتأكيد بحاجة إلى
التحسين.
إذن ما يمكنك فعله ، يمكنك أن تقول
، حسنًا ، لقد قلت
استمر ، وسيستمر في تدوينه.
لقد خلقت هذا كنوع من الخسارة
، ولكن هناك ، نعم ، في الأساس
كل ما نحتاجه ، لقد حسّن كل شيء
، ويمكنك رؤية هذا المُحسِّن.
توقف في النهاية.
لذلك فقد استخدم أساسًا
كل ما حددناه حتى الآن
، بالإضافة إلى الخسارة
المناسبة ، ونعم ، المحسن ، كل شيء.
هذا كل شيء.
في خطوتين بسيطتين ،
تمكنا من تنفيذ الكود بالكامل لأحد
النماذج الحديثة التي تصادف
أنها واحدة من أفضل النماذج
في عام 2017 ، 2018.
حتى يومنا هذا ، تمتلك في الواقع
قدرة كبيرة على حل البيئات المعقدة مثل
"الاختراق. لقد رأيت الآن ، بعد أن أصبح لدينا
ChatGPT على سبيل المثال
، يمكنك توجيهه لتنفيذ أجزاء معينة من الكود.
وإذا كنت لا تعرف ما تفعله
أجزاء معينة من
الكود فعليًا ، فيمكنك
أن تذهب وتسأله ، على
سبيل المثال
، رائع ، هل يمكنك شرح جزء
التدريب وأين هي عادة آدم؟
لذلك أنا أحثه على شرح نفسه بالفعل ، لذلك فهذه
طريقة أخرى
لدفعه بشكل أساسي لإعطائك المزيد من المنطق
وراء جيله.
ويمكنك أن ترى أنه
في الواقع سيشرح خطوة بخطوة.
لذا ، نعم ،
يمكننا انتظار هذا ، يمكنك فعل نفس
المطالبات وستحصل على نتائج مشابهة
حقًا لنتائجي ، ولكن
بشكل عام ، ما سيفعله الآن هو أن
يأخذ وظيفة القطار التي
حددتها في الأعلى هنا ، وسوف
يمر بشكل أساسي بكل خطوة وينفذها.
لذا نعم ، سيكون ذلك.
أنا بالتأكيد أشجعك على تجربة هذا الرمز
في Google Colab
، ويمكن القيام
به ، وسيكون من الصعب بعض الشيء جعله يعمل ، بسبب التصور
والقيود المفروضة
على بيئة Goggle Colab.
ومع ذلك ، يمكنك بالتأكيد
الانتقال ولصق الأخطاء هنا ، ويمكنك ، يمكنك
الذهاب والحصول على بعض
النتائج اللائقة لذلك لتصحيح العملية.
ونعم ، سأسمح لك بذلك ، والآن لديك
طريقة لاستخدام ChatGPT حول
كيفية الحصول على قيمة لـ A3C.
ونعم ، أتمنى أن تكون قد استمتعت
بالدورة حتى الآن ، مع السلامة.