مرحبا بالجميع ، ومرحبا بكم من جديد.
في هذه المحاضرة ، سنقوم بإعداد بيئتنا وأريد أن أقدم هذه النظرة العامة عالية المستوى
لأولئك منكم الذين يرغبون في محاولة حلها بنفسك.
وقد يبدو هذا مألوفًا في المحاضرة الأخيرة ، لقد رأيتم هذا.
لذلك إذا قرأت ذلك ، أعتذر.
سنقوم بمراجعتها بسرعة كبيرة.
اهم الاشياء اولا.
في هذا المشروع ، نهدف حقًا إلى إبقائه بسيطًا قدر الإمكان بمعنى أننا لا نحتاج إلى استيراد عدد كبير
جدًا من المكتبات.
نحن في الأساس سنستخدم NumPy لذلك.
نحتاج فقط إلى استيراد NumPy كـ NP ، وعادةً ما يكون المرجع المشترك لـ numpy.
ونريد أيضًا إعداد بيئتنا كما سترى هنا.
وسنراجع هذا مرة أخرى بسرعة كبيرة كنظرة عامة.
تتمثل الخطوة الأولى لتعلم Q الخاص بنا في أننا نريد تحديد البيئة التي يتعين على ساعي البريد التنقل فيها.
نحن بحاجة إلى إعداد هذه البيئة حتى نتمكن من تكرارها والمرور بها.
في هذه المحاضرة ، ستتكون البيئة من حالات وأفعال ومكافآت.
الحالات والإجراءات هي مدخلات لعامل التعلم Q ، في حين أن الإجراءات المحتملة هي العوامل
، والمخرجات هي حالات يمكننا التفكير فيها والنظر إلى هذه الصورة على أنها تمثيلنا.
الدول في بيئتنا هي جميع المواقع الممكنة داخل المدينة التي يمكننا أن نطلق عليها مثال المدينة.
بعض هذه المواقع هي حدود المدينة التي ستكون مربعاتنا السوداء ، في حين أن المواقع الأخرى عبارة عن جزر
يمكن أن يستخدمها ساعي البريد للسفر عبر المدينة.
ستكون تلك المربعات البيضاء.
يشير المربع الأخضر إلى منطقة تعبئة العنصر والشحن.
المربعات السوداء والخضراء هي ما سنطلق عليه حالات نهائية.
بشكل عام ، هدفنا أو هدف وكيلنا ، نريد استخدام أقصر طريق.
نريد أن يتعلم وكيلنا أقصر طريق بين منطقة تعبئة العناصر ، والبرطمان ، والأخضر وجميع المواقع الأخرى
في المدينة التي يُسمح لساعي البريد بالسفر فيها.
في الصورة أعلاه ، لدينا 121 ولاية أو موقعًا محتملاً داخل المدينة.
هذه الحالات مرتبة في شبكة 11 في 11.
يمكن بالتالي تحديد كل موقع من خلال فهرس الصف والعمود.
إذن ما هي خطوتنا الأولى؟
وهذا حقا يريدكم يا رفاق أن تبدأوا في التفكير في كيفية تعريفه.
نحن بحاجة إلى تحديد بيئتنا.
هذا مثال جيد على صورتنا وكيف سنتعامل معها.
إذن كيف يمكنك تصميم ذلك؟
تذكر أننا نستخدم NumPy ، لذلك نحتاج إلى تحديد هذه الحدود ويمكننا تحديد مصفوفة numpy
a3d للاحتفاظ بقيم Q الحالية الخاصة بنا لكل حالة وزوج إجراء كما نرى تمثيلنا.
ولأولئك الذين ليسوا على دراية بها ، أو ربما هذا جديد أو تريد فقط
الحصول على تنشيط ، كتيب i a z من هذه الدورة مفيد للغاية ، موصى به للغاية.
إذن ماذا علينا أن نفعل هنا؟
يمكننا في الواقع.
اسمحوا لي فقط بتوسيع هذا بسرعة كبيرة بالنسبة لنا حتى نتمكن من رؤيته بشكل أسهل قليلاً.
اسمحوا لي فقط إضافة بعض خلايا التعليمات البرمجية.
سنقوم بتعريف ثلاثة مصفوفة d numpy.
كيف يمكنك أن تذهب نحو هذا؟
لذلك لدينا بعض الخيارات ، ولكن الخيار الأكثر وضوحًا وبساطة حقًا ، دعنا نطلق عليه صفوف
البيئة.
روز ودعنا نضبطها على 11.
إنها 11 في 11.
ثم يمكننا أيضًا عمل بيئة ، تسطير الأعمدة.
ويمكننا أيضًا ضبط هذا على 11.
أخيرًا ، يمكننا تعيين قيم Q الخاصة بنا لأننا نحتاج إلى إضافة صفوف البيئة ، وأعمدة البيئة.
ويمكننا تعيين هذا كقيم Q تساوي أصفار NumPy ونحتاج إلى استخدام صفوف بيئتنا وأعمدة البيئة.
ولدينا مصفوفة ثلاثية الأبعاد ، تمثيل بيئي ثلاثي الأبعاد يتناسب مع بيئتنا.
رائع.
الآن ونحن بصدد ترك الأمر هنا ، لكني أريدكم يا رفاق أن تبدأوا في التفكير في كيفية حل
هذا لأنك بالفعل قد أعددت بيئتك.
الشيء التالي الذي تريد القيام به كتلميح هو إعداد أفعالك.
يجب أن يكون وكيلك قادرًا على التحرك عبر البيئة.
فكيف تمثل ذلك؟
كيف تكتب ذلك لهذه المشكلة؟
دعنا نتركها هنا.
في الفيديو التالي ، سنعيد النظر في تلك الإجراءات.
رائع.
سأراكم يا رفاق في الفيديو التالي.