مرحبًا ومرحبًا بكم في برنامج Python التعليمي هذا.
حسنًا ، سنقوم الآن بعمل الوظيفة الأمامية التي ستنشر إشارات خرج دماغنا
إلى جسم الذكاء الاصطناعي بحيث يلعب الإجراء الصحيح للوصول إلى السترة.
لكن لا يوجد عمل صحيح حتى الآن لأنه لا يوجد تدريب حتى الآن.
لم ندرب العين بعد ، ولكن هذا بالضبط ما سنفعله في الجزء الثاني من خلال تطبيق التعلم التلافيفي
العميق ، والذي بالمناسبة ، سأعيد تسمية تدريب الذكاء الاصطناعي بالتعلم التلافيفي العميق.
لكن في الوقت الحالي ، نحتاج إلى إعادة توجيه الإشارة من الطبقة الخارجة من الدماغ إلى الجسم.
وهذا بالضبط ما سنفعله بهذه الوظيفة الأمامية ، وهي الوظيفة الأخيرة
لجسمنا.
لذلك دعونا نفعل هذا.
نبدأ مع جيف فورد.
ووفقًا لك ، ما الحجة التي ستتخذها؟
حسنًا ، سيستغرق الأمر ، بالطبع ، الذات الأولى.
ثم هل هناك واحد آخر؟
حسنًا ، نعم ، هناك.
وماذا سيكون؟
حسنًا ، بطبيعة الحال ، نريد إعادة توجيه إشارة خرج الدماغ إلى الجسم ، وبالتالي فإن الإدخال
سيكون إشارة الإخراج للدماغ.
والآن نحتاج إلى تسمية إشارات الخرج هذه.
ولذا سأضيف هنا الحجة المطروحة.
حسنا.
بحيث يتوافق ذلك مع إشارات الإخراج للدماغ بعد نشر صور الإدخال عبر الدماغ بالكامل للوصول إلى
طبقة الإخراج ، وهي X هنا ، وترجع من خلال الوظيفة الأمامية للدماغ والآن سيتم إرسال
إشارة الإخراج للدماغ للجسم مع هذه الوظيفة الأمامية الجديدة التي نصنعها
في فئة الجسم الناعمة التالية.
لذلك دعونا نفعل هذا.
دعونا نضيف بعض الألوان هنا.
والآن ، كما فهمت ، سنستخدم طريقة soft max لتشغيل الإجراء.
وهذا يعني أن جسد أعيننا ، بعد تلقي إشارات الإخراج من الدماغ ، سيلعب الإجراءات باستخدام
تقنية soft max.
لذا فإن ما يتعين علينا فعله الآن هو بالضبط نفس ما فعلناه للسيارة ذاتية القيادة.
سنحصل على توزيع الاحتمالات.
هذه هي الخطوة الأولى ، وبعد ذلك سنقوم بأخذ عينة من الإجراء وفقًا لتوزيع الاحتمالات هذا.
إذن ما يمكننا فعله الآن هو الحصول على ملف السيارة ذاتية القيادة ونسخ ولصق ما طبقناه لوظيفة
الإجراء المحدد في السيارة ذاتية القيادة.
لكن دعونا نفعل ذلك مرة أخرى.
ستكون ممارسة جيدة وفي الواقع يمكنك محاولة كتابتها قبلي.
تمام.
أولًا ، ما سنفعله هو الحصول على الاحتمالات.
لذلك أذكر أن هذا هو توزيع للاحتمالات لكل من قيم Q ، والتي تعتمد على المدخلات
والصورة وكل إجراء.
إذن لدينا قيمة Q واحدة لكل من الإجراءات الستة أو السبعة الممكنة ، وبالتالي نحصل على توزيع
لسبعة احتمالات.
أنا أقول سبعة لأنني أعتقد أن هناك سبعة أفعال بدلاً من ستة ، لأنه إلى جانب التحرك للأمام أو
اليسار أو اليمين أو إطلاق النار ، يمكننا أيضًا الركض.
هذا يجعل سبعة إجراءات ممكنة ، وبالتالي نحصل على توزيع سبعة احتمالات
، واحد لكل قيمة Q مرتبطة بكل إجراء.
لذا الدعائم تساوي.
والآن تذكر ما يتعين علينا القيام به.
حسنًا ، يتعين علينا بشكل أساسي استخدام وظيفة set max من الوحدة الوظيفية.
لذلك هذا بسيط للغاية.
نأخذ الوحدة الوظيفية أولاً ، ثم النقطة ، ثم نأخذ دالة max soft.
ها هو.
نضغط على مفتاح الإدخال (Enter) ، والآن نقوم بإدخال وسيطات الدالة max ، والتي أذكر أنها العناصر
التي تريد إنشاء توزيع للاحتمالات لها.
وهذه بالطبع قيم Q ، وهي مخرجات الشبكة العصبية ، وهي مخرجات الشبكة العصبية
التي تريد إنشاء توزيع للاحتمالات لها.
وأذكر أننا نريد إنشاء هذا التوزيع للاحتمالات لنكون قادرين على استكشاف الإجراءات المختلفة
بدلاً من الاختيار المباشر للإحتمالات ذات القيمة القصوى Q.
إذا اخترنا مباشرة الشخص الذي يحتوي على أقصى قيمة Q ، حيث لا نستكشف الكثير من الإجراءات الأخرى
وقد نفقد شيئًا ما ، ولكن باستخدام طريقة self max ، يمكننا القيام ببعض الاستكشافات ، وبالتالي ربما نجد
بعض الحلول المخفية في الأنماط التي قد تكون أفضل بكثير.
لذا مرة أخرى ، أوصي بشدة بـ self max ، وبالتالي ما يتعين علينا فعله الآن هو إدخال قيم Q.
هذه هي مخرجاتنا هنا ، مخرجات عقولنا.
إذن المخرجات ، ها نحن ذا.
ولكن بعد ذلك لدينا معلمة درجة الحرارة هذه التي يمكننا استخدامها والتي يمكننا تهيئتها لتخصيص الاستكشاف.
تذكر أنه كلما قمنا بتعيين درجة الحرارة أعلى ، قل استكشاف الإجراءات الأخرى التي
سنفعلها ، لأنه سيتم اختيار الإجراء الأفضل باحتمالية أعلى مقارنة بالإجراءات الأخرى
التي سيتم تحديدها باحتمالات أقل.
هذا تمامًا مثل السيارة ذاتية القيادة ، وبالتالي علينا مضاعفة الناتج هنا في واجبنا
الذاتي لمعامل درجة الحرارة.
هناك نذهب.
في احسن الاحوال.
نتلقى الآن تحذيرًا بسيطًا لأننا لم نستخدم الدعائم بعد ، لكننا على وشك استخدامها الآن.
وهذا يقودنا إلى الشيء التالي الذي يتعين علينا القيام به.
كيف سنستخدم هذه الاحتمالات؟
حسنًا ، سنقوم بأخذ عينة من الإجراء النهائي للعب من توزيع الاحتمالات هذا.
وبالتالي ، ما يتعين علينا فعله الآن هو استخدام الدالة المتعددة العادية لأخذ عينة من الإجراء وفقًا
لتوزيع الاحتمالات هذا.
لذلك نحن الآن على استعداد لاتخاذ إجراءاتنا.
لذلك أقوم بإنشاء متغير جديد هنا لأن ذلك سيصبح الإجراءات التي سيقوم بها
جسم أعيننا.
والآن نأخذ توزيعنا للاحتمالات ، الدعائم التي نضيف إليها النقطة ثم طريقة الأعداد
المتعددة.
حسنا.
والآن نبدأ أعمالنا النهائية.
تم أخذ عينات منها من توزيع الدعائم لدينا.
حسنًا ، رائع.
لذلك نحن الآن على استعداد لإعادة ما نريد.
هذه هي الإجراءات التي يجب أن تلعبها.
وهذه بالطبع أفعال.
والآن يجب أن يختفي التحذير.
نحن نستخدم كل ما نريد.
هناك نذهب.
في احسن الاحوال.
حتى الآن وظيفة الأمام جاهزة.
و مبروك.
الجسم جاهز أيضًا.
حتى الآن لدينا دماغنا.
لدينا أجسادنا ، وبالتالي ، نحن على استعداد لتجميعها لجعل المستقبل هو مستقبلنا.
لن أتكون من شيء سوى دماغ وجسد.
وبالتالي سيكون لديها ذكاء وجسم لتلعب الأفعال ، والتي ستكون الإجراءات
الصحيحة للعب بفضل ذكائها.
لكن تذكر ، قبل أن نضطر إلى تدريب ذكاءها ، وهذا ما سنفعله في الجزء الثاني ، تدريب الذكاء الاصطناعي
على التعلم العميق التلافيفي.
حسنًا ، لنجعل الذكاء الاصطناعي في البرامج التعليمية التالية.
مرة أخرى ، ستكون فئة من وظيفتين ، على ما أعتقد.
وهذا يتطلب منا دروسين أو ثلاثة دروس.
لذلك لا استطيع الانتظار.
سيكون هذا مثيرًا.
وحتى ذلك الحين ، استمتع.
أنا.