المدرب: مرحبًا
، أصدقائي ، ومرحبًا بكم في حالة استخدام علم البيانات الجديدة
هذه مع ChatGPT ، والتي ستكون هذه المرة في التعلم المعزز.
لذلك سنخبر ChatGPT الآن أننا
قمنا ببرمجة سيارة افتراضية ذاتية القيادة بدون أي ذكاء
اصطناعي حتى الآن.
لذلك قمنا للتو بتنفيذ قدرته على المضي قدمًا ، والانعطاف إلى اليسار
، والانعطاف يمينًا ، والتوقف.
وسنقول إن هذه السيارة ذاتية القيادة تكافأ
إذا تمكنت من الوصول إلى وجهة معينة
، وتعاقب إذا ابتعدت عن هذه الوجهة
، أو إذا واجهت بعض العقبات.
حسنًا ، ثم سنطلب من ChatGPT نموذج
الذكاء الاصطناعي الذي يجب تنفيذه
للسيارة ذاتية القيادة وكيف.
تمام؟
لذلك دعونا نفعل هذا.
سأفتح محادثة جديدة هنا.
وفي الداخل سنقول بالضبط
، "مرحبًا ، لقد قمت ببرمجة سيارة
افتراضية ذاتية القيادة مع الإجراءات
التي تتمثل في التحرك للأمام ،
والانعطاف إلى اليسار ، والانعطاف يمينًا
، والتوقف.
ثم تكافأ هذه السيارة
بمجرد وصولها إلى وجهة معينة
، وتعاقب إذا
ابتعدت عن هذه الوجهة
، أو إذا اصطدمت ببعض
العقبات. حسنًا ، لنكن أكثر جشعًا الآن.
أردت فقط أن أسأل عن بعض
التوصيات حول كيفية بناء نموذج تعليمي
معزز للسيارة ذاتية القيادة ، لكن دعونا في الواقع
نطلب بنائه مباشرة.
ولم لا؟
دعونا نرى ما هو قادر على ChatGPT.
لذلك سوف أسأل ، "هل
يمكنك كتابة رمز Python
لي باستخدام أفضل المكتبات
لبناء نموذج تعليمي معزز ينفذ الذكاء
الاصطناعي داخل تلك السيارة ذاتية القيادة؟
حسنًا
، من الجشع أن نسأل هذا ، لكننا لا نعرف أبدًا.
قد تعطينا ChatGPT ما نريده بالضبط.
لذلك دعونا نحاول
وإذا واجهت أي مشكلة ، فسنساعدها.
حسنًا ، لنضغط على Enter وها نحن ذا.
بالتأكيد ، حسنًا ، هذه بداية رائعة مرة أخرى.
"يمكنني مساعدتك في البدء في تنفيذ نموذج التعلم
المعزز لسيارتك ذاتية القيادة
في Python. مدهش.
"إليك بعض التعليمات البرمجية
التي توضح كيفية استخدام مكتبة OpenAI Gym. مذهل.
"لتدريب نموذج التعلم
المعزز لسيارتك ذاتية القيادة. حسنًا ، هذا أمر مذهل حقًا ، لم أتوقع أن يقوم ChatGPT بذلك
بسهولة ، ومن المنطقي تمامًا ما
يفعله الآن.
إنها تهيئة ، جدول Q ، عدد الحالات
، عدد الإجراءات ، معدل التعلم الذي
تمت تهيئته إلى 0. 1 ، عامل
خصم حتى 0. 95.
هذا رائع حقًا ، أنا في حالة من الرهبة.
معدل الاستكشاف إلى 0. 5 ، الحد الأقصى لعدد الحلقات 1000
، والحد الأقصى لعدد الخطوات لكل
حلقة هو 100.
ثم تقوم بتدريب نموذج Q-Learning ، مذهل.
سأقوم بتحديه بعد ذلك لتنفيذ نموذج أكثر تقدمًا
مثل نموذج التعلم
العميق Q ، أو A3C ولكن دعنا نرى.
يقوم بتنفيذ كل شيء من البداية باستخدام For Loop.
يبدأ باختيار إجراء ، ثم ينفذ الخطوة التي
يتخذ فيها الذكاء الاصطناعي الإجراء
، ثم يقوم بتحديث جدول Q ثم يقوم بتعيين
الحالة إلى اليوم التالي.
هذه حقًا عملية التعلم المعزز ، عملية التعلم
Q ، هذا مذهل.
ثم يقوم بتطبيق كيفية اختبار نموذج Q-Learning
، ثم يقوم أخيرًا بإغلاق البيئة.
واو ، كان ذلك مذهلاً حقًا.
حسنًا ، لم أتوقع الكثير.
لذلك نظرًا لأنها فعلت ذلك بسهولة
، فلنتحدىها أكثر ، بل أكثر صعوبة.
لذلك أولاً ، دعنا نقول ، بالطبع ، "شكرًا جزيلاً
، لقد كان ذلك مفيدًا حقًا.
ومع ذلك ، فأنا
أعرف بالفعل كيفية
تنفيذ Q-Learning.
لذا هل يمكنك
فعل الشيء نفسه مع نموذج التعلم
المعزز الأكثر
تقدمًا مثل ، على سبيل المثال
، التعلم العميق Q. أو حتى أفضل ، لنكن جشعين للغاية.
"نموذج تعليمي متطور معزز. حسنًا ، مستعد لهذا؟
ها نحن.
و بالتأكيد. يقول دائمًا: "بالتأكيد. هذا مذهل.
"إليك بعض التعليمات البرمجية التي توضح كيف
يمكنك استخدام مكتبة خطوط أساس
OpenAI لتدريب نموذج Q-Learning
العميق ، DQN ، لسيارتك ذاتية القيادة. وهنا نذهب مرة أخرى.
يعطينا الرمز.
هذا رائع حقًا.
حسنًا ، نعم ، إنها تستخدم الآن مكتبة Wrap DeepMind من
مكتبة Atari الشائعة لخط الأساس ، وتقوم بتنفيذ الذكاء
الاصطناعي مرة أخرى باستخدام نموذج
Q-Learning العميق هذه المرة.
هذا حقًا رائع حقًا.
"يستخدم هذا الرمز خوارزمية DQN لتدريب نموذج Q-Learning العميق
لسيارتك ذاتية القيادة.
سيتعلم النموذج اتخاذ أفضل إجراء
في كل ولاية من أجل تعظيم المكافأة.
بدلاً من ذلك ، إذا كنت
ترغب في استخدام نموذج تعليمي معزز أكثر تقدمًا ، فيمكنك استخدام
مكتبة OpenAI Spinning Up ، التي توفر تطبيقات لخوارزميات
التعلم المعزز الحديثة.
إليك بعض التعليمات البرمجية التي توضح
كيف يمكنك استخدام مكتبة Spinning Up لتدريب
تحسين السياسة القريب ، نموذج PPO. في الواقع ، هذا نموذج رائع.
"لسيارتك ذاتية القيادة. وها أنت ذا ، يعطيك النموذج مرة أخرى
مع الكود الكامل.
واو ، يا لها من ثورة ، هذا ChatGPT.
بجدية ، أنا معجب حقًا.
حسنًا ، وها أنت ذا ، لديك الرمز.
"يستخدم هذا الرمز خوارزمية PPO
لتدريب نموذج التعلم
المعزز لسيارتك ذاتية القيادة.
سيتعلم النموذج اتخاذ إجراءات
لتعظيم المبلغ المتوقع للمكافآت المخصومة.
آمل أن يساعد هذا.
يُرجى إعلامي إذا كان لديك
أي أسئلة ، أو إذا كنت تريد المزيد من المساعدة. حسنًا ، حتى أنني لم أتوقع الكثير
، لذلك أنا معجب مثلك
تمامًا ، وفي نفس الوقت أفعل كل هذا.
لذلك سنقول ، "شكرًا جزيلًا ، كان ذلك رائعًا. وفعلت.
نشكرك مرة أخرى على مشاهدة حالة استخدام
علم البيانات هذه مع ChatGPT.
دعنا الآن ننتقل إلى المرحلة التالية.
وحتى ذلك الحين ، استمتع بالتعلم الآلي.