هل أنت جاهز؟
هيا بنا نقوم بذلك.
لنبدأ بتثبيت جميع تبعيات النظام للحكمة.
دعنا نضغط على زر التشغيل هذا ، والآن سيقوم بتثبيت جميع التبعيات ، كما ترون ، مثل الوسادة أو
psi ، و pi ، وكذلك بعض التبعيات الأخرى التي ستكون مطلوبة لتشغيل هذا بنجاح.
ولكن كل الباقي مثل pytorch ، تم بالفعل تثبيت وحدات الصالة الرياضية.
لذلك هذا رائع حقًا.
هذا حقًا هو جمال Google CoLab وهذا بفضله لن يواجه أي منكم أي مشكلة في تنفيذ
الكود وتصور النتيجة النهائية.
حسنا.
لذلك سيستغرق هذا في الواقع دقيقة أو دقيقتين.
لذلك سأقدم سريعًا هنا وسأراكم قريبًا جدًا لبقية تنفيذ الشفرة.
حسنا.
يبدو أننا في نهاية تثبيت النظام.
التبعيات ، كما ترى ، تقوم بتنزيلها وتثبيتها أثناء تجميعها مع جميع المتطلبات
الصحيحة.
وفي غضون ثوانٍ ، يجب أن يتم ذلك بشكل صحيح.
ودعونا نرى.
ثلاثة ، اثنان.
هناك نذهب.
تم تثبيت كل شيء بنجاح.
لا تقلق بشأن هذه الأخطاء هنا.
لن تؤثر على تنفيذ الكود ، ولكن تم تثبيت كل شيء بنجاح كما نريد.
حسنًا ، والآن الخطوة التالية.
مهم جدا.
انظر إلى هذه العقدة المهمة.
تقول أنه بعد تثبيت جميع التبعيات ، بشكل أساسي بعد تنفيذ هذه الخلية الأولى هنا ، يجب عليك
إعادة تشغيل وقت التشغيل.
وإلا ستحصل على بعض أخطاء التنفيذ هنا.
لذلك دعونا نفعل ذلك بسرعة.
انها بسيطة جدا.
تحتاج فقط إلى النقر فوق وقت التشغيل هنا ثم إعادة تشغيل وقت التشغيل ثم نعم ، حسنًا.
سيؤدي هذا إلى استعادة وقت التشغيل الخاص بك.
والآن يمكنك تنفيذ كل هذه الخلايا بمجرد النقر فوق زر التشغيل.
لنقم بذلك ، بدءًا من هذه المعالجة المسبقة لصورة الملف الأولى.
حسنًا ، لذلك دعنا أولاً نستورد المكتبات ، ثم نعالج الصور مسبقًا باستخدام فئة
صورة المعالجة المسبقة والآن انتقلنا بالفعل إلى تجربة إعادة التنفيذ التي تعني هذا.
حسنًا ، لنفعل هذا.
نقوم أولاً باستيراد المكتبات ، ثم نحدد خطوة واحدة من البيئة.
ثم نحقق التقدم في عدة خطوات وخطوات مع فئة Step Progress تمامًا مثل ما لدينا
في المجلد.
ثم نقوم بتنفيذ تجربة إعادة التشغيل من خلال بناء فئة ذاكرة إعادة التشغيل هذه.
حسنًا ، كل خير.
والآن ننتقل إلى الملف الثالث ، هذا هو الملف الذي أقوم به إما py ثم نقوم أولاً باستيراد المكتبات.
ثم.
حسنا.
لذلك يستغرق الأمر بعض الوقت هنا لأننا نستورد جميع وحدات المصباح ، ثم نستورد الحزم
الخاصة بـ openai و doom.
حتى مع الصالة الرياضية و Wisdom Gym ومغني الراب.
كل ذلك على ما يرام.
ثم ننتقل إلى الجزء الأول هنا ، نبني الذكاء الاصطناعي حيث سنصنع الدماغ
، ثم الجسد ، ثم نجمع كل شيء.
لذلك دعونا أولاً نجعل الدماغ في حالة جيدة مع فئة CNN.
ثم دعونا نصنع الجسم بفئة ناعمة بحد أقصى للجسم ، ثم لنجعل الذكاء الاصطناعي مع فصل دراسي.
حسنا.
كل ذلك على ما يرام.
والآن ننتقل بالفعل إلى الجزء الثاني ، حيث سنقوم بتدريب الذكاء الاصطناعي ، بالطبع
، بالتعلم التلافيفي العميق.
حسنا.
هذا هو بالضبط نفس ما لدينا هنا.
نحصل أولاً على بيئة الهلاك من خلال وحداتنا الجديدة مع القبر.
لا تقلق بشأن هذا.
هذا ليس خطا.
ثم سنقوم ببناء الذكاء الاصطناعي عن طريق إنشاء كائنات مختلفة ، الدماغ ، CNN ، أجسام الجسم الأقصى والذكاء
الاصطناعي بالكامل الذي يحتوي على الدماغ والجسم.
حسنا.
هل قمت بتنفيذ هذا؟
نعم.
ثم نقوم بإعداد التجربة ، وإعادة التشغيل مع والخطوات والذاكرة كذاكرة إعادة تشغيل موضوعية
، ثم نقوم بتنفيذ تتبع الأهلية.
حسنا.
لتحسين الأداء.
ثم نجعل المتوسط المتحرك 100 خطوة مع فئة MA.
وأخيرا ، يا أصدقائي ، هل أنتم مستعدون؟
حسنًا ، لقد حان الوقت الآن ، كما تعلمون ، للجزء المثير للغاية حيث سنقوم بتدريب الذكاء الاصطناعي
على مدى 20 حقبة.
حسنًا ، سترى أن هذا سيكون طويلًا بالفعل.
كما تعلم ، سيستغرق الأمر ربما ساعة أو ساعتين لأنني أقوم بزيادة الأبعاد.
لا تتردد في تقليل الأبعاد إلى 80 × 80 إذا وجدت أنها طويلة جدًا.
لكن صدقني ، سيكون لديك مقاطع فيديو أفضل بكثير بهذه الأبعاد.
هل انت جاهز؟
لنفعل هذا في ثلاثة ، اثنان ، واحد ، نبدأ.
حسنًا ، هذا سيؤدي إلى تنفيذ رمز التدريب.
وفي غضون ثوانٍ قليلة ، يجب أن نكون قادرين على رؤية المرحلة الأولى ، والتي ستحصل بالطبع على مكافأة
سلبية.
لكنك سترى أنه على مر العصور ، ستزداد المكافأة شيئًا فشيئًا حتى تصل إلى المكافأة
الإيجابية ثم حتى تصل إلى مئات المكافآت.
حسنًا ، دعنا نهدف إلى ذلك ، في الواقع.
دعونا نأمل أنه مع 20 حقبة سنحصل على بعض المكافآت النهائية عند حوالي مائة ، كما تعلمون ، مثل
100 أو 200 أو 300 ، لأنه مع هذه المكافآت ، جربتها بالفعل.
نعم.
الحقبة الأولى ، المكافآت السلبية ، -98.
لذلك كنت أقول أنه مع المكافآت حوالي 100 ، 203 مائة ، سنحصل بالفعل على بعض النتائج الرائعة.
كما تعلم ، سنرى الذكاء الاصطناعي ينجح إما في قتل بعض الوحوش أو تجنبها أو ،
كما تعلم ، يتحرك نحو السترة.
هذه هي الفترة الأولى ، الحقبة الأولى -98.
وبعد ذلك ، كما تعلم ، سنرى الحقبة الثانية مع ربما مكافأة أفضل بالفعل.
لكن ، كما تعلم ، في البداية ، بالطبع ، لم يتم تدريب الذكاء الاصطناعي.
إنه يستكشف البيئة.
الصحيح.
تذكر هذه المقايضة في التعلم المعزز ، والاستكشاف مقابل الاستغلال؟
حسنًا ، في البداية ، يستكشف الذكاء الاصطناعي تمامًا ثم يتدرب ، وبعد
ذلك سيصبح أكثر ذكاءً وذكاءً ، وعندها سيصل إلى بعض المكافآت العالية.
لذلك من الجيد تمامًا الحصول على مكافآت سلبية في البداية.
ربما سنحصل على ذلك خلال حقبة 3/1 ، ولكن بعد ذلك سترى أنه بعد الحقبة الرابعة أو الخامسة
أو السادسة ، حسنًا ، سنبدأ في الوصول ربما إلى مكافآت إيجابية ومن ثم نأمل أن نكافئ عند حوالي 102 مائة
أو 300.
لذا سيستغرق الأمر بعض الوقت ، كما قلت.
لذلك لن نبقى هنا لمدة ساعتين ، وإلا فسوف تنفد مني الأشياء لأقولها.
لذا ما سأفعله هو أنني سأضع موسيقى ممتعة أو رائعة الآن.
وها نحن ذا ، الحقبة الثانية ، -62.
لذلك هناك بالفعل بعض التحسن.
هذا جيد.
لكنك سترى أنه سيكون هناك بعض التحسينات الأفضل كلما تقدمنا في العصور.
إذن ماذا كنت أقول؟
نعم ، سأضع بعض الموسيقى الرائعة الآن وألعب التدريب في الوضع المتسارع.
وبالطبع سأراك في نهاية التدريب لأرى النتائج النهائية.
حسنا.
لذا ها نحن ذا.
ثلاثة ، اثنان ، واحد ، انطلق.
حسنا.
وها نحن في نهاية التدريب.
تهانينا.
تقوم بتدريب نموذج التعلم العميق التلافيفي على تطبيق صعب للغاية ، وهو لعب لعبة
الموت.
إذن ماذا أقول أولا؟
حسنًا ، كما كنا نأمل ، وصلنا إلى بعض المكافآت المتوسطة بأكثر من 100.
ثم ما هو مهم أن نقوله ، بالطبع ، أنه مع المزيد من العصور ، ستحصل على مكافآت أعلى.
لذا ، إذا كنت مستعدًا ، على سبيل المثال ، لتدريب هذا النموذج لمزيد من العهود ، مثل 100 حقبة أو
أكثر من أجل الوصول إلى المزيد من المكافآت حوالي 304 مائة و 500 أو حتى 1000.
حسنًا ، لا تتردد في فعل ذلك.
على سبيل المثال ، يمكنك ترك هذا يعمل طوال الليل أثناء نومك ، وعندما تستيقظ في الصباح
، تحصل على نتائج أفضل.
لاحظ أنه يمكنك أيضًا استخدام GPU في وقت التشغيل ، أليس كذلك؟
إذا قمت بتغيير نوع وقت التشغيل ، وهو ما لا ينبغي أن أفعله وإلا فسيتم إعادة تشغيل الكمبيوتر الدفتري.
ولكن في مسرع الأجهزة هنا ، يمكنك اختيار GPU أو حتى وحدة المعالجة المركزية ، ولكن هذا فقط إذا كنت ترغب
في تحسين الأداء والقيام ببعض التدريب الشاق للغاية.
لكني هنا فقط أستخدم الشيء الكلاسيكي لأنني أريد فقط أن أوضح لك كيفية تنفيذ كل هذا.
وها نحن ذا.
سنقوم الآن بتنفيذ بقية المصنف باستخدام هذا الكود الإضافي المخصص فقط لكتاب النواة هذا حيث ، بالطبع
، سنقوم بتصور الذكاء الاصطناعي أثناء العمل.
حسنًا ، لنفعل هذا.
لنقم أولاً باستيراد المكتبات.
الصحيح.
الامور جيدة.
ثم سنقوم بطباعة شكل الإدخال وعدد من الإجراءات الممكنة.
حسنا.
إذاً هنا سنحصل بالفعل على سبعة إجراءات محتملة في بيئة Doom Corridor.
إذن فهؤلاء يتحركون للأمام ، يتحركون للخلف ، اذهب يسارًا ، يمينًا ، أطلق النار.
وبعد ذلك ربما تحمي نفسك أو أيا كان.
لا أعرف ما هو الإجراء الأخير ، لكن شيئًا من هذا القبيل.
ثم هذه هي أبعاد إطار الإدخال.
هذا يتوافق مع ارتفاع الإطار.
يبلغ ارتفاعه 240 بكسل.
هذا يتوافق مع عرض الإطار ، أليس كذلك؟
إنها 320 كبيرة.
وهذا يتوافق ، كما تعلمون ، مع حقيقة أننا نعمل بصور ملونة وأن الثلاثة هنا تتوافق
مع العناصر الثلاثة لقنواتنا.
حسنًا ، دعنا ننفذ الخلية التالية ، ونعرض إطارًا للبيئة فقط لنرى كيف
تبدو.
وبالفعل ، تذكر ، من المفيد أن ترى البيئة التي تعمل بها ، أليس كذلك؟
لذلك نرى هنا أننا في Doom Corridor ، ولكن إذا كنت ترغب في تجربة بعض البيئات الأخرى
هنا ، في الواقع ، تذكر أنها موجودة أيضًا في الصفحة الرئيسية هنا.
هنا.
نعم.
لديك كل قائمة البيئات ، كما تعلم ، التي أوصي بتجربتها.
لذلك إذا كنت تريد إلقاء نظرة على واحدة أخرى.
حسنًا ، كما تعلم ، يمكنني أن أريك في الواقع.
دعنا نحصل على هذا ثم سأعود إلى ممر الموت هذا.
الصحيح.
لذلك إذا استبدلت ذلك بهذا.
الحق وأنا أنفذ هذا بشكل جيد.
سوف نحصل على ثلاثة إجراءات هذه المرة.
بالطبع إنها أكثر بساطة ، وإذا نفذنا هذه الخلية جيدًا ، فسنرى هذه البيئة ، أليس كذلك؟
لذا فهي مجرد طريقة لرؤية ما تعمل به بسرعة وللحصول على معاينة ، بشكل أساسي ، لما سيفعله
الذكاء الاصطناعي في البيئة.
حسنا.
لذلك دعونا نعود إلى ممر الحكمة.
دعنا نعيد تنفيذ هذا الآن في حال احتجنا إليه للخلايا التالية.
حسنًا ، ممر عذاب مثالي.
الآن دعنا ننتقل إلى الخلية الأخيرة.
إذن هذه وظيفة مساعدة سيتم استخدامها للتخيل.
لذلك دعونا ننفذ هذه الخلية والآن لنقم بتشغيل الذكاء الاصطناعي في حلقة واحدة.
وهنا سوف تكون قادرًا على فهم الكود لأنه ، كما تعلم ، هو في الأساس عملية تشغيل
الهواء في حلقة كاملة حيث يكون في كل خطوة في حالة معينة ، حيث سيتم تشغيل إجراء داخل الولاية
، ثم ستحصل على المكافأة ثم تصل إلى الحالة التالية ، أليس كذلك؟
إذن هذه هي عملية MDP الكلاسيكية ، أليس كذلك؟
عملية قرار ماركوف.
وها نحن ذاهبون
تم ذلك لحلقة واحدة.
وأخيرًا ، سنحصل على مقطع فيديو عن طريقة لعب الذكاء الاصطناعي لدينا ، والذي تم تدريبه مقابل 20 دولارًا ، وتمكن من الوصول
إلى أكثر من 100 مكافأة ، والتي ستحقق لنا بعض النتائج الجيدة ، ولكن ربما لم تصل إلى السترة.
لكن لا بأس.
سوف تجرب ذلك بنفسك.
والآن أود أن تنقر على هذا الزر بالكامل هنا لأنني أريد أن أوضح لك كيف يتم نشر
الفيديو.
هذه بعض المجلدات التي تحتوي على بعض العناصر مثل الإطارات ، كما تعلم ، إطارات النتائج أو بعض
ملفات JS والملفات.
لكن ما سنهتم به حقًا هو الفيديو النهائي.
وللحصول عليه ، نحتاج فقط إلى النقر فوق زر التشغيل هنا وسترى أنه سيتم نشره في المجلد
الرئيسي هنا.
لا تفوتها ولا بأس.
كما تعلم ، يبدو أنه تم تنفيذ الخلية بالفعل ، وهذا هو الحال.
لكنك سترى ذلك في بضع ثوان.
سنرى ملف AVI ، وهو ملف فيديو يتم ملؤه هنا.
سيظهر في غضون 10 ثوانٍ.
يمكنني حتى العد التنازلي إذا كنت تريد.
لذلك دعونا نفعل هذا.
عشرة ، تسعة ، ثمانية ، سبعة ، ستة ، خمسة ، أربعة ، ثلاثة ، اثنان ، واحد ، انطلق.
والآن يجب أن تظهر حقًا في بضع ثوانٍ.
نعم ، ها نحن ذا.
حسنا.
لذا ، لعبة الوكيل.
العب ذلك يا آفي.
هذا هو الفيديو الخاص بك.
فلنقم بتنزيله وسيتم تنزيله على جهاز الكمبيوتر الخاص بك ، والذي سأجده هنا.
الصحيح.
هذه هي لعبة وكيل الفيديو.
العب في مكتب التحقيقات الفدرالي.
تأكد من فتحه بمشغل فيديو يحتوي على برامج ترميز مثل VLC.
الصحيح.
لن يعمل مع مشغل Quicktime إذا كنت تستخدم جهاز Mac ، ولكنه سيعمل بالتأكيد مع VLC.
لذلك دعونا نلقي نظرة وها هو الفيديو.
حسنا.
لذا اسمحوا لي فقط الضغط هنا.
حسنا.
إذن ها هو الفيديو.
وكما ترى ، فهذه أبعاد الإطار 256 × 256.
لذا ، كما ترى ، فهي ليست كبيرة جدًا.
الصحيح.
لهذا السبب أردت حقًا العمل بهذه الأبعاد بدلاً من 80 × 80.
الآن دعونا نلقي نظرة على الفيديو.
إذن هذا هو الذكاء الاصطناعي الذي يلعب دور الموت في حلقة واحدة وعليه تجنب الوحوش ، وليس القتل.
يجب أن تمضي قدمًا للوصول إلى السترة.
لذلك دعونا نرى كيف يعمل.
3 إلى 1 يذهب.
حسنا.
لذا يتم إطلاقها أولاً ، إنها تتحرك للأمام ، حسنًا؟
ثم قتلته الوحوش.
لكن هذا لا يزال جيدًا.
كما تعلم ، فهمت أنه كان عليها المضي قدمًا نحو السترة لأن أعلى مكافأة تحصل عليها
من خلال الوصول إلى السترة.
وبالطبع ، كما تعلم ، إذا كنت تريد حقًا مشاهدة فيديو عينك وهي تصل إلى السترة
وتربح في هذه اللعبة ، فسيتعين عليك في الأساس تدريب عينك على المزيد من العهود وربما إجراء بعض
التحسينات الأخرى ، مثل الضبط عقلك أو القيام ببعض ضبط المعلمات ، مثل ضبط معدل التعلم.
حسنًا ، لديك العديد من الخيارات إذا حصل أي منكم على فيديو رائع أو ، كما تعلم ، مقطع فيديو ذكاء اصطناعي
وصل إلى مكافأة تزيد عن 1000 ، على سبيل المثال.
حسنًا ، لا تتردد في مشاركتها في الأسئلة والأجوبة.
أنا متأكد من أن الطلاب الآخرين سيكونون سعداء للغاية بالحصول عليها.
حسنا.
لذلك آمل أن تكون قد أحببت تطبيق نموذج التعلم التلافيفي العميق.
سننتقل الآن إلى الجزء التالي ، والذي سيكون حول تنفيذ نموذج ثلاثة
مفاتيح وحتى نموذج أفضل وأكثر قوة والذي سيتم تنفيذه للعب لعبة الاختراق.
لذلك سأراك في الجزء التالي.
وحتى ذلك الحين ، استمتع.
أنا.