اهلا بكم جميعا ومرحبا بكم من جديد.
في المحاضرة الأخيرة ، انتهى بنا المطاف في البدء في بناء بيئتنا.
لدينا شبكة 11 × 11 هنا نريد من ساعي البريد أن يكررها لحل التحدي الذي نواجهه.
نريد الآن أن نبدأ في التفكير بمجرد أن نحصل على الشبكة.
نحتاج أيضًا إلى اتخاذ إجراءات لوكيلنا وسأقوم بحذفها سريعًا.
لا نحتاج هذه الخلايا.
أردت فقط إدخاله لبعض التباعد.
فقط يجعل من السهل مشاهدته.
أعطني 1/2 ، دعني أحذفها ويمكننا ترك هذا هنا.
لذا.
لقد تركت نصًا في ذلك لدينا ونريد أن نضع أفعالنا في وضع مستقيم يسارًا ويسارًا.
مع Python ، يكون الأمر واضحًا جدًا.
يمكننا بناء القائمة وتحديد إجراءاتنا.
ستكون أفعالنا متساوية.
اثنان كما لدينا أعلى اليمين ، أسفل اليسار.
لذلك دعونا نضعه لأسفل ولليسار.
نحتاج إلى إعطاء وكيلنا المعذرة بعض القدرة على المناورة بهذه الإجراءات من خلال المتاهة.
بالإضافة إلى ذلك ، علينا أيضًا أن نبدأ في تحديد المكافآت.
الآن ، هذا هو المكان الذي ستبدأ فيه أن تصبح أكثر صعوبة قليلاً لأننا يجب
أن نضع حالات مختلفة من بيئتنا ، حالات مختلفة بمعنى أننا نريد أن نكون قادرين على تعيين
هذه -100 وسلبية واحدة هذه الخطوات أو قيم الحالة هذه لكل مربع داخل الشبكة.
لذلك نحرص على مساعدة وكيلنا في التعرف على كل ولاية أو موقع في مدينتنا ، فنحن نريد الحصول على قيمة مكافأة.
هذه هي الطريقة التي سيتعلم بها وكيلنا.
لذلك قد يبدأ الوكيل في أي مربع أبيض ، لكن هدفه هو نفسه دائمًا.
أرغب في تعظيم إجمالي مكافآتها ضمن Q Learning Native Rewards.
نحن نعلم أنه يشار إليها بالعقوبات.
يتم استخدام هذه لجميع الدول باستثناء الهدف.
هذه هي الطريقة التي سنرسي بها تلك السياسة المثلى ، والتي تشجع العين على تحديد أقصر
طريق إلى الهدف من خلال تقليل العقوبات.
حسنا.
أيضًا ، لتعظيم المكافآت التراكمية ، سيحتاج وكيل الذكاء الاصطناعي إلى العثور على أقصر طريق بين منطقة
تعبئة العناصر ، والمربع الأخضر ، وتذكر ، والمواقع الأخرى في المدينة التي يمكن أن
يسافر فيها ساعي البريد.
سيتعلم عملاء White Squares تجنب الاصطدام بأي من حدود المدينة.
هذه هي المربعات السوداء ، كما نرى مع -100.
نريد الابتعاد عنهم.
لديهم المزيد من العقوبة.
لذلك من أجل القيام بذلك ، لدينا شبكتنا ، البيئة التي أنشأناها أعلاه مع صفوفنا
، لكننا نريد أيضًا تعيين هذه القيم لها.
لذلك من أجل القيام بذلك ، دعنا نحاول التفكير في كيفية إثبات أنه يمكننا استخدام NumPy ويمكننا
أيضًا البدء في تعيينه على Native 100 لصفوف البيئة وأعمدة البيئة.
لذلك لدينا صفوف بيئتنا وأعمدة بيئتنا.
لذلك دعونا نسمي هذه المكافآت مساوية لـ num pi ممتلئة ودعنا نمرر في أعمدة بيئة صفوف بيئتنا ولتعيين
قيمنا ، يمكننا البدء بـ -100.
بالإضافة إلى ذلك ، نريد أيضًا ضبط نافذة المكافآت الخاصة بنا على.
استخدم فهارس الصفر وخمسة.
يساوي 100.
وسيكون هذا منطقيًا في غضون ثانية.
لذلك نحن نلقي نظرة على الساحة الخضراء.
لدينا صفر وخمسة.
لدينا Green Square الخاص بنا تم تعيينه على 100 مع أخذ هذه أو هذا الموقع لتعيين القيمة.
الآن ، سأقوم بلصق المقتطف التالي من الكود حتى نتمكن من استعراضه.
لذلك ليس عليك مشاهدتي وأنا أكتب كل خطوة لأنها متكررة قليلاً.
والآن لدينا مسافاتنا البيضاء.
دعنا نضع ملاحظتنا لنقاط المكافأة الخاصة بنا.
وفي مقتطف الكود هذا ، نستخدم قاموسًا ونضع كل قيمنا في قواميسنا.
لذلك لدينا ممراتنا.
نحن نفكر في ذلك على أنه كل صف فردي ، ويمكننا ضبطه باستخدام الفهرس من واحد
إلى تسعة.
ونريد استخدام التكرار مع حلقة for لتعيين هذه القيم.
عند القيام بذلك ، سترى إذا نظرنا إلى واحد من خلال واحد إلى عشرة وواحد وسبعة وتسعة وباستخدام هذا
، يمكننا بالفعل تعيين فهرس الصف في النطاق من واحد إلى عشرة ، والذي نعمل من خلاله في
بيئتنا .
يمكننا ضبط فهرس العمود.
في ممرات فهرس الصف الخاص بنا مع قاموسنا وفهرس صف المكافآت وفهرس العمود ، يمكننا تعيينه
على سالب واحد.
إذن ما يفعله هذا هو في الأساس إذا نظرنا إلى كل نوع محدد ، إذا أخذنا نطاقًا هنا ، على سبيل المثال ، الممر
التاسع بالنسبة لـ I في نطاقنا ، لدينا مجموعة سالبة واحدة في جميع أنحاء البيئة بأكملها أو كل حالة
داخل بيئتنا.
لثمانية ، لدينا ثلاثة وسبعة.
إذا تمكنا من التمرير لأعلى ، يمكننا أن نرى أنه في ثلاثة وسبعة ، نضع سالب واحد
لأنهم جميعًا سيكونون سالبين ، و 100 مضبوط على سالب مائة وبهذا التكرار يمكننا تعيين
تلك المكافآت أو تعيين كل حالة التي نحددها داخل الممرات إلى سالب واحد.
إنها تجعلها سهلة للغاية.
بدلاً من الاضطرار إلى كتابة المزيد من المنطق أو ربما وظائف أو عبارات أكثر تفصيلاً ، يمكننا تكرار
هذه القيم وتعيينها.
أوصي بشدة أن تستغرق دقيقة لاستكشاف التجربة إذا كنت تريد تغيير البيئة لاحقًا.
بعد تشغيل هذا الحل ، يعد طريقة رائعة للمساعدة في تعلم هذه السياسات وتعزيزها.
لكن هذا بدأ يتشكل والشيء الرائع الذي يمكننا القيام به هو أنه يمكننا بالفعل تخيله.
إذن ، لنقم بأربعة صفوف في المكافآت.
اطبع الصف ودعنا نطبع هذا ويمكننا أن نرى أنني قد أضطر بالفعل إلى إعادة تشغيل الخلايا.
اعتذاري.
لم أكن متصلاً بالدفتر الذي أعمل هنا.
أعطه 1/2.
سيكون هناك خطأ.
أنا بحاجة للعودة من خلال الخلايا وإعادة تشغيلها.
لذا اسمحوا لي أن أجري هذا بسرعة كبيرة.
أريد استيراد NumPy.
يمكنني في الواقع فقط.
أوه ، اعتذاري.
اسمحوا لي أن أعبر هذا هنا وسننزل.
نريد أن ندير بيئتنا.
نريد أن ندير أعمالنا.
الآخرون هم مجرد نصوص لذا فنحن لسنا بحاجة إليهم.
لكني أحب أن أحصل على ذلك حتى تتمكن من الحصول على إشارة إليه.
نريد نقاط المكافأة الخاصة بنا ونريد أخيرًا تصور ذلك.
يمكننا أن نرى التصور ، التمثيل العددي الفعلي في كتلة بيئتنا.
رائع حقا.
لذلك قمنا بإعداد بيئتنا.
عمل مدهش.
أتمنى أن تجدوا هذا مفيدا يا رفاق.
الآن سنقوم بإغلاقه هنا لأنه في المحاضرة القادمة سنبدأ تدريب النموذج.
لذلك كان هذا لتعيين تصرفات وكلائنا ، لتهيئة بيئتنا ، لتحديد مكافآتنا ، عقابنا.
سيساعد هذا الوكيل على وضع السياسة المثلى ضمن Q Learning.
بشكل عام ، لدينا هذا التمثيل المرئي أو هذه الصورة المبنية ، ويمكننا رؤيتها هنا إذا
قمنا بطباعة صفنا.
مدهش.
حسنا.
لن أستمر في التجول.
دعنا نغطيها هنا في المحاضرة القادمة.
لنبدأ تدريب النموذج.
سأراكم يا رفاق في المحاضرة القادمة.