أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
في درس اليوم ، نتخذ خطوتنا الأولى في عالم a3c ، وكخطوة أولى ، سنكتشف
ما يمثله هذا الاختصار.
لذا فإن a3c تعني خوارزمية الناقد ذات الميزة المتزامنة.
هذه خوارزمية تم تطويرها في Google DeepMind في عام 2016 من قبل مجموعة من الباحثين
، وهي خوارزمية متطورة للذكاء الاصطناعي حتى الآن.
الآن لديها العديد من التعديلات ، وسوف نناقش ذلك أكثر في الدورة ، خاصة في الدروس
العملية.
ولكن مع ذلك ، فإن هذه الخوارزمية تنفخ كل شيء آخر ، بما في ذلك شبكات التعلم التلافيفية العميقة
خارج الماء تمامًا.
وهو أسرع.
يستغرق التدريب وقتًا أقل ويحقق نتائج أفضل.
لذلك خلال هذا الجزء من الدورة التدريبية ، سنرجع إلى المرجع وقد أشرنا إليه
بالفعل ، لكننا سنشير أكثر إلى ورقة أو الورقة التي تم نشرها والتي قدمت لأول مرة a3c.
يطلق عليه الأساليب غير المتزامنة للتعلم المعزز العميق من قبل فلاديمير ميونيخ وآخرين من Google DeepMind.
سأعرض عليكم هذه الورقة الآن حتى يكون لديكم مقدمة لها.
إذن ، ها هي هذه الورقة.
أردت أن أعرضه عليك حتى تتمكن من الشعور به والاستعداد للتعرّف عليه قليلاً.
وبالطبع ، يوصى بشدة بقراءة الورقة وفهم ما الذي يتحدثون عنه بالضبط.
وسترى أنه من خلال الدروس العملية في Lund ، ستأخذك عبر أجزاء معينة
من الورقة ، من خلال فقرات أو أقسام معينة ستكون ذات صلة بما سنقوم ببرمجته في ذلك
الوقت.
وما أردت أن أشير إليه هنا ، كما ترون ، تم إجراء الكثير من الأبحاث حول هذا الموضوع ، ولكن هناك
الكثير من المراجع أيضًا ، ولكن مثل الجزء الذي يعجبني حقًا هو أنه في النهاية؟
في النهاية يقارنون الخوارزميات المختلفة ويقارنون النتائج.
وهذا ما أردت أن أشير إليه هنا.
لذلك دعونا نكبر قليلا.
لذا هنا ، كما ترون هناك ، حتى في Google DeepMind ، هم يتدربون أو يقومون بتقييم الخوارزميات
في الألعاب تمامًا كما نفعل في هذه الدورة.
لذلك نفس المبدأ بالضبط لأن الألعاب عبارة عن بيئة محاكاة أو بيئة صغيرة ، بيئة محصورة بقواعد
معينة ويريدون فهم مدى جودة أداء هذا الذكاء الاصطناعي في تلك الألعاب.
وهنا لدينا بالضبط كل تلك الألعاب التي يمكنك أن تجد الكثير منها في صالة الألعاب الرياضية في الهواء
الطلق والألعاب التي كنا نعمل معها.
على سبيل المثال ، في هذا القسم نعمل مع Breakout.
لذا فهي هنا أيضًا.
لذلك يمكنك أن ترى ذلك بالنسبة إلى Breakout ، فقد تم تمييزهم بالخط العريض ، وتم إبراز أفضل خوارزمية.
إذاً DCN هذه هي الخوارزمية التي كنا نعمل معها ومن ثم بعض الخوارزميات الأخرى.
ثم هنا لديك a3c ، a3c مع ذاكرة طويلة المدى lshtm.
إذن هذا هو الشيء الذي سننفذه في هذا الجزء من الدورة التدريبية.
سنكون لدينا a3c مع LSHTM ، مما يجعلها أقوى.
كما ترون ، الاختراق هو أفضل نتيجة يتم تحقيقها من خلال نظام ثلاثي المفاتيح.
هذه هي النتيجة 66. 8 مقارنة بالآخرين.
ويمكنك أيضًا رؤية ذلك لمعظمهم.
لذا ، إذا أخذنا الآن طريقة عرض أكبر للصورة ، يمكنك أن ترى أن معظم الصور الجريئة موجودة بالفعل في هذا
العمود الأخير.
لذا ، نعم ، في الواقع ، هناك بعض الألعاب التي تعمل فيها الخوارزميات الأخرى بشكل أفضل.
ولكن كما ترى ، فإن أداء DCN لا يعمل بشكل أفضل في أي من الألعاب.
لكن يمكنك أن ترى أن هناك خوارزميات أخرى.
تعمل الخوارزميات الأخرى بشكل أفضل في بعض الأحيان ، لكن أداء الفريق هو الأفضل في معظم الحالات.
لذلك يمكنك أن ترى أن هذا جريء.
هذا جريء ، هذا ، هؤلاء ، هذا ، وما إلى ذلك.
لذا يمكنك أن ترى أن نظام a3c هو خوارزمية قوية حقًا.
إنها بالفعل في طليعة الذكاء الاصطناعي وهذا بالضبط ما سنقوم بتنفيذه.
قسم مثير للغاية في المستقبل.
نشجعك بشدة على استعراض هذه الورقة والتعرف على ما سنتحدث
عنه.
وبعد ذلك خلال هذا القسم وخلال الجانب العملي للأشياء بشكل خاص ، مجموعة عملية من
القش ، سنخوض هذا بالتفصيل.
سنعمل في الواقع مع الكود الكاذب الخاص بهم هنا ، وهو متاح.
وسنكون حذرين وسنوضح لك كيفية تنفيذ ذلك وكيف سنعمل
معه.
وفي هذه الملاحظة ، أتمنى أن تستمتع بهذه الورقة وأتطلع إلى رؤيتك في المرة القادمة.
وحتى ذلك الحين ، استمتع بـ I.