أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
في درس اليوم ، بدأنا القسم الخاص بالتعلم الأساسي التلافيفي العميق.
لذلك دعونا نلقي نظرة على ما يدور حوله كل شيء.
تحدثنا سابقًا عن التعلم العميق ، لذلك كان لدينا بيئة مع عامل وكان لدينا ناقل يصف تلك
البيئة التي تم تغذيتها في شبكة عصبية.
وفي النهاية حصلنا على قيم Q كمخرجات.
ثم بالطبع اكتشفنا كيفية تدريب الشبكة.
جزء التعلم.
اكتشفنا كيف يتم تحديد الإجراءات بناءً على قيم الإشارات هذه.
هذا جزء من العمل.
وتحدثنا عن سياسات اختيار الإجراء وأشياء مختلفة حول كيفية عمل التعلم العميق.
لكن هنا المفهوم الأساسي لكل هذا هو كيف ننتقل من هذا ، من البيئة الفعلية والحالة
إلى الشبكة العصبية؟
حسنًا ، لقد انتهى الانتقال هنا ، متجه الإدخال.
إذن طبقة الإدخال لشبكتنا العصبية وهي متجه.
إذن ما ننظر إليه هو OC ، لذا فنحن في الواقع لسنا هو المصطلح ، إنه ليس المصطلح الصحيح ، ولا
ننظر إلى أي شيء.
الوكيل لديه هذه المعلومات بشكل أساسي.
إذن البيئة تمرر هذه المعلومات قائلة ، حسنًا ، أنت الوكيل ، أنت حاليًا في هذا
، حالتك موصوفة بواسطة هذا المتجه وهذا المثال المبسط ، يتم وصفه بواسطة هذا المتجه x واحد من
واحد ، x اثنان من اثنين.
إذن ، إحداثياتك هي واحد اثنان وهذه هي حالتك الكاملة.
في بيئة أكثر تعقيدًا ، قد تتضمن الحالة أشياء أخرى يمكن أن يراقبها الفاعل.
لكن النقطة هنا هي أنه يتم طرحه كمتجه.
والشيء هو أن هذا لا يحدث في الحياة الواقعية ، في الحياة الواقعية ، باستثناء أنظمة GPS وأشياء أخرى من هذا
القبيل.
لكن في الحياة الواقعية ، ماذا نستخدم؟
معظم الوقت؟
نستخدم حواسنا وأعيننا.
حتى في نظام تحديد المواقع العالمي (GPS) ، فهو غير مدمج في دماغنا.
إنه لا يخبرنا بالإحداثيات عبر دماغنا.
ولذا فنحن ما زلنا نستخدم أعيننا للنظر إلى GPS وفهم ما يحدث هناك.
وهذا نوع من الغش للذكاء الاصطناعي لتكون قادرة على الحصول على مثل المعلومات حول البيئة كمتجه.
الأمر بسيط للغاية.
إنها ليست الطريقة التي تعمل بها في الحياة الواقعية.
هذه ليست الطريقة التي نعمل بها نحن البشر.
وفي النهاية ، نريد إنشاء ذكاء اصطناعي ، يمكن أن يعمل بطريقة مشابهة للبشر
، وهو ما يمكنه من مواجهة نفس التحديات التي يواجهها البشر.
وهكذا في العالم البشري ، ليس لدينا ذلك ، ليس لدينا ذلك ، ليس لدينا هذه الإحداثيات أو
أنواع أخرى من المتجهات التي تم طرحها لنا والتي تشرح الحالة التي نحن فيها في تلك البيئة.
لذا سيتعين علينا إزالة ذلك لجعله أكثر واقعية.
ثم ما الذي يمكننا استبداله به؟
ماذا نرى أو ماذا نفعل كبشر للحصول على المعلومات؟
حسنًا ، في معظم الأوقات التي نراها ، بالطبع ، نستخدم جميع حواسنا
، لكن معظم المعلومات التي نحصل عليها عن العالم من حولنا تأتي من خلال أعيننا.
ولهذا السبب سنقوم بتغيير ذلك السهم الصغير الذي كان لدينا إلى شبكة عصبية تلافيفية كاملة.
إذن هذا من الملحق رقم اثنين.
لدينا الطبقة التلافيفية ، ولهذا من المهم أن تكون مرتاحًا تمامًا مع الشبكات العصبية
الالتفافية وكيفية عملها.
لذلك إذا كنت قد أكملت دورة التعلم العميق الخاصة بنا ، فيجب أن تكون مرتاحًا لذلك.
أو يمكنك فقط إلقاء نظرة على الملحق.
ثانيًا ، لدينا بعض الدروس التعليمية الجيدة جدًا عن الحدس.
إذن لدينا هنا عملية الالتواء التي تحدث.
لذلك سننظر إلى هذا على أنه صورة.
إذن هذه صورة للبيئة الصافية.
وبالتالي فإن الوكيل يبحث بالفعل في البيئة.
إذن في هذه الحالة ، ليس لأنه يشبه النظر من الداخل هناك ، إنه يبدو وكأنه لنفترض أنه يلعب هذا على جهاز
كمبيوتر ويمكنه رؤية هذه البيئة وبالتالي يمكنه رؤية مكان وجود هذا الرقم
الذي يمثل الوكيل في الواقع.
لذلك يمكنك أن ترى هذه البيئة بأكملها أو أيًا كان ما يراه الإنسان إذا كانت متاهة فعلية وسيرى الإنسان
المتاهة من الداخل.
وبالتالي يجب أن يكون العملاء قادرين على رؤية نفس الشيء بالضبط.
لذا فإن ما يراه يتم من خلال طبقة التفاف ويمر عبر طبقة تجميع كاملة.
يمر من خلال التسطيح مرة أخرى.
يمكنك معرفة المزيد حول هذه الأجزاء المختلفة من الشبكة العصبية التلافيفية في الملحق.
ثم بعد أن يتم تسويتها ، لدينا مدخلات تدخل في الشبكة العصبية.
وهذه طريقة أكثر واقعية لأن الوكيل يجب أن يستخدم مواقعه و / أو يجب عليه معالجة الصور
التي توفرها البيئة للوكيل ، تمامًا كما يقوم الإنسان بمعالجة الصور.
والجمال في هذا ليس فقط أنه أكثر واقعية وأنه يشبه إلى حد ما هنا العوامل الموجودة في
الواقع أكثر مثل الإنسان ، ولكنها تسمح لنا بمعالجة بيئات أكثر تعقيدًا.
على سبيل المثال ، هذه هي الطريقة التي يمكننا بها لعب Doom أو ألعاب أخرى من هذا القبيل
، لأنه بدلاً من مجرد الحصول على ناقل المعلومات الذي مثل شخص ما قد خلقه لنا في هذه البيئة ، يمكننا فقط
ربط الذكاء الاصطناعي ببيئة مثل البشر. ، نحن.
سيكون لدينا رؤية لهذه البيئة.
لذا كإنسان ، عندما تلعب هذه اللعبة ، يمكنك رؤية هذه الصورة بالضبط وهذا بالضبط
ما ستراه الشبكة العصبية الاصطناعية أو الوكيل.
الآن ، في هذا الجزء من الدورة ، عندما تقوم ببرمجة المواد العملية ، سيرى الوكيل
هذه الصورة بالضبط ، سترى وحدات البكسل.
ستحصل على هذه الصورة الدقيقة لكل البكسلات مع هذا الشخص ، مع هذا مع هذا المسدس ، مع هذا
الوجه ، بهذه النسبة ، مع كل شيء.
بالضبط ما نراه هنا.
هذا بالضبط ما سيراه الوكيل.
ثم سيتعين عليها تشريح ذلك من خلال السحب التلافيفي ، وتسطيح الطبقة ، وبعد ذلك ستنتقل إلى
الشبكة العصبية.
وغني عن القول إن الشبكة العصبية ستكون في الواقع أكثر تعقيدًا من ذلك.
لذلك دعونا نستبدلها بشيء مثل هذا.
هذا ليس أكثر تعقيدا بكثير.
هذا يبدو أكثر تعقيدًا بعض الشيء.
لكن في الواقع ، الشبكات العصبية التي ستعمل معها وتخلقها باستخدام Atlan
ستكون ممتعة للغاية.
سيكونون أكثر تعقيدًا من هذا.
لكن كما ترون هنا ، حتى لو كان لدينا خمسة مدخلات فقط بدلاً من اثنين ، فإن الأمور تصبح أكثر
تعقيدًا.
وهنا يمكنك أن ترى أن لدينا العديد من الإجراءات التي يمكن للوكيل اتخاذها.
لذا في لعبة الموت واستدر يمينًا ويسارًا ، انظر إلى أسفل ، ابحث عن ، ركض ، أطلق النار ، أعد تحميل أو كل تلك الإجراءات
المختلفة الممكنة في أول شخص يطلق النار مثل الموت.
علاوة على ذلك ، ليس بالضرورة أنه يمكنك إرفاق هذا الوكيل بنوع آخر من الألعاب.
هذا هو جمالها ، أنها تدرك بعد ذلك أنها تستطيع الآن تشغيل أي نوع من البيئة التي ترفقها بها ، لأنه طالما
يوجد مثل التمثيل المرئي للبيئة ، لتلك البيئة ، فهي تحتوي
بالفعل على البنية التحتية الكاملة.
الهيكل بأكمله جاهز لمعالجة ذلك.
هذا ما يدور حوله التعلم التلافيفي العميق.
لذا فإننا ننتقل حتى إلى الخطوة التالية.
نحن نضيف التلافيف إلى جميع الطبقات التلافيفية في دماغ العملاء الآن ، ونجعلها أكثر
تعقيدًا.
وبالتالي يمكننا مكافأتنا بقدرتنا على حل تحديات أكثر تعقيدًا.
لذلك آمل أن تكون متحمسًا جدًا لأن هذا سيكون قسمًا ملحميًا وسننشئ بعض الأشياء
الرائعة.
ولا أطيق الانتظار لرؤيتك في القصة التالية.
وحتى ذلك الحين ، استمتع.
أنا.