اهلا بكم جميعا ومرحبا بكم من جديد.
في المحاضرة الأخيرة ، رأيت كيف نستخدم وظائفنا المساعدة لإعداد جوهر وظائفنا بالفعل لتدريب
نماذجنا.
لذلك كان لدينا حالتنا الطرفية ، وموقع البداية ، وإجراءنا التالي ، والموقع التالي
، وأقصر مسار يحدد حقًا غالبية كيفية عمل وكيلنا أو كيفية عمل البيئة.
آخر شيء يتعين علينا القيام به هو استخدام تدريبنا من أجل استخدام تدريبنا.
إنه أمر واضح ومباشر بمعنى أن ما نحتاج إلى تضمينه من خلال كيفية القيام بذلك هو قصة مختلفة.
ومع ذلك ، أيضًا ، إذا كنتم تستخدمون أسلوبًا مختلفًا أو إذا كنتم تريدون تخصيص هذا الأمر
وتجربته ، فيوصى به بشدة.
بالإضافة إلى ذلك ، إذا كنت تستخدم نهجًا مختلفًا وترغب في مناقشته ، فلا تتردد في مشاركته
في الأسئلة والأجوبة.
أكثر من سعيد لمناقشته معك.
إنها فكرة رائعة لأن هناك العديد من الطرق لحلها وقد تجد طريقة
أفضل وأكثر فائدة.
يمكننا أن ننظر إلى الإيجابيات والسلبيات مرة أخرى ، وسعداء بمناقشتها.
حسنا.
إذن ماذا علينا أن نفعل؟
علينا أن نبدأ تدريبنا.
لتدريبنا.
نريد استخدام إبسيلون.
إذن ، النسبة المئوية التي سنتخذها من أجل أفضل إجراء لنا بدلاً من الإجراء العشوائي.
لذلك دعونا نضبط epsilon الخاص بنا ودعنا نضبطه على 0. 9 وسنفعل شيئًا مشابهًا لقيمنا لعامل الخصم
ومعدل التعلم لدينا.
لنقم إذن بعامل خصم يساوي 0. 9.
لنأخذ أيضًا معدل التعلم لدينا ونضبطه على 0. 9.
سيكون هذا هو المعدل الذي سيتعلمه وكيلنا أو يجب أن يتعلمه.
ونريد أيضًا أن نأخذ عدد حلقات التدريب ، دعنا نسميها حلقات تدريبية.
لذلك لدينا عدد من حلقات التدريب.
دعنا نضبطه على 1000.
كم مرة سيتدرب فيها أو كم عدد الحلقات التي سيتدرب عليها هذا؟
رائع.
الآن ، ما نريد القيام به هو تكرار كل حلقة.
نريد أن نأخذ نطاق عدد حلقات التدريب لدينا ونضع أساسًا إبسيلون الخاص بنا.
نريد معرفة الاختلاف الزمني لدينا.
لضبط ذلك ، نحتاج إلى إلقاء نظرة على بعض قيم Q السابقة.
نحتاج إلى حساب موضع البداية في مؤشر العمل الخاص بنا.
اذا هيا بنا نبدأ.
لنأخذ حلقة for كبيرة.
لذلك لدينا أربع حلقات.
في نطاق عدد حلقات التدريب لدينا.
ها نحن ذا.
باستثناء أي خطأ نحوي من جانبي هناك ، نريد أن نأخذ فهرس الصف وفهرس العمود لشبكتنا لفهرس
عمود الذرة لدينا.
وضبطها على موقع البداية المستهدف.
نحن بحاجة إلى موقع بداية ، لذلك دعونا نحصل على ذلك في كل حلقة.
الآن يمكننا ضبط حالتنا النهائية بينما.
لا.
هي حالة نهائية.
نريد أن ننظر إلى فهرس الصف وفهرس العمود.
بعد ذلك ، دعنا نضع مؤشر الإجراء الخاص بنا لإجراءنا التالي.
لذلك نحن بحاجة إلى عملنا التالي.
نظرًا لأن هذا الوكيل يتكرر عبر المتاهة لمؤشر الإجراءات الخاص بنا ، فيمكننا استخدام الإجراء التالي الخاص بنا.
ويمكننا استخدام فهرس عمود فهرس الصف الخاص بنا ودعنا نسمي epsilon.
لذلك نريد الحصول على هذا بدلاً من الإجراء العشوائي ، فلنستخدم فهرس العمود.
ونحن بحاجة إلى إبسيلون.
رائع.
إذا كان بإمكاني التهجئة بشكل صحيح ، فنحن هنا.
هل تريد إبسيلون؟
حسنًا ، دعني أحذف OC فقط.
اسمحوا لي أن أحصل على بقية الكود وسنتصفحه حتى لا نضطر لمشاهدتي وأنا أكتب
كل سطر.
لكن ضع في اعتبارك فقط كيف نريد التعامل مع هذا من تعيين الصف القديم ، سنحتاج إلى فهرس
صف قديم.
نود أيضًا الحصول على مكافآت أعمدةنا وصفوفنا.
نحتاج إلى إلقاء نظرة على قيم قائمة الانتظار وقيم قائمة الانتظار القديمة ونحتاج إلى حساب الاختلاف الزمني لدينا.
OC حتى ترى التغيير في الكود أو التحديث على الكود.
نحن نأخذ فهرس الصف القديم وفهرس العمود القديم الخاص بنا لإلقاء نظرة على فهرس الصفوف وفهرس العمود.
سيكون فهرس عمود فهرس الصف لدينا مساويًا لموقعنا التالي وموقعنا التالي سيحتاج إلى فهرس الصف
والعمود والفهرس والإجراء.
أخيرًا ، نحن نبحث عن مكافآت.
ستكون قيم Q القديمة لدينا هي قيم Q مع فهرس الصف القديم ، وفهرس العمود القديم ، ومرة أخرى ، بالإشارة
إلى فهرس الإجراء الخاص بنا وحساب الفرق الزمني لدينا ، وهو مكافأتنا ، بالإضافة إلى
عامل الخصم مضروبًا في قيم Q مع الصف الفهرس وفهرس العمود مطروحًا منه قيمة Q القديمة من قيمة Q السابقة.
لقد تم الانتهاء تقريبًا حيث نحتاج إلى قيمة Q الجديدة ، وهي قيمة Q القديمة بالإضافة إلى معدل
التعلم والأوقات والفرق الزمني وقيم Q الخاصة بنا مع فهرس الصف القديم في فهرس العمود القديم الذي يساوي قيمة
Q الجديدة.
إذا كنتم تريدون مناقشة هذا الأمر مرة أخرى ، فنوصيكم بشدة بالأسئلة والأجوبة.
لا تتردد في الطباعة.
حاول تجربة جميع المتغيرات المستخدمة هنا.
إذا كنت تريد رؤية الأشكال ، انظر كيف يمكن استخدامها ، وما هي الإشارة إليها.
أنا أوصي به بشدة وأنا أكثر من سعيد لمناقشته أكثر.
شيء أخير يمكننا القيام به ، لذلك لدينا القليل من الإشعار.
دعنا نضيف بيان طباعة حتى نعرف متى يكتمل التدريب لصفوفنا البالغ عددها 1000 صف.
حسنا.
إذا لم تكن هناك أخطاء في بناء الجملة من جانبي ، فيجب أن نكون على ما يرام.
تمت تهيئة دفتر collab.
أعدت كل شيء.
اسمحوا لي أن أدير هذا.
يجب أن يكون سريعًا جدًا نظرًا لأننا نستخدم numpy فقط.
إنه نموذج مُحسَّن للغاية بمعنى ما.
اسمحوا لي أن انقر فوق هذا وسنبحث بعد ذلك عن أقصر طريق.
حسنا.
لقد اكتمل تدريبنا.
دعنا أيضًا نطبع أقصر مسار لبعض خيارات البدء.
لذلك نبدأ من الصف الثالث ، العمود التاسع ، مع خيار أقصر مسار بأقصر مسار.
نريد إلقاء نظرة على الصف الخامس والصفر والبدء من الصف التاسع والعمود رقم خمسة.
دعونا نطبعها.
رائع.
لدينا أقصر طريق ، لكننا لم ننتهي.
نحن على وشك الانتهاء.
يمكننا أن نرى ساعي البريد لدينا يحصل تلقائيًا على أقصر طريق من موقع قانوني يمكننا اعتباره من مدينتنا
إلى منطقة تعبئة العناصر.
ولكن ماذا عن السيناريو المعاكس أو المعاكس؟
بالإشارة بشكل أساسي إلى هل يستطيع ساعي البريد لدينا تسليم عنصر من أي مكان في المدينة إلى منطقة التعبئة والتغليف؟
ولكن بعد العنصر ، سيتعين عليه الانتقال من تلك المنطقة ، من منطقة التعبئة والتغليف إلى موقع آخر في المدينة
، لأنه سيتعين عليه التقاط العنصر التالي.
إذن ما الذي يمكننا فعله لحل هذا؟
وهو في الواقع بسيط جدًا.
يمكنك مراجعة ترتيب أقصر طريق.
حاول التفكير في ذلك لثانية ثم سيكون هذا هو الحل.
يمكننا استخدام أقصر طريق.
لنأخذ الصف الخامس والعمود الثاني ثم كل ما عليك فعله هو استخدام خيار العكس.
باستخدام Python ، نستخدم path reverse ويمكننا طباعة المسار.
إذن فنحن ننظر إلى خمسة واثنين.
وها نحن ذا.
لدينا أقصر طريق وهو مفيد حقًا إذا كنت تريد التقاط الصورة في الخلية وإزالتها للمقارنة
وإلقاء نظرة على تلك المسارات.
ولكن يمكنك في الواقع رؤية المسارات إذا قمت بإخراج البيان المطبوع ، وانظر إلى العمود
بالترتيب وشاهد كيف يسافر مندوب المبيعات.
هذا العمل الرائع الذي تستخدمه.
س التعلم.
ما تعلمناه من هذه الدورة يحتوي على القليل من سيناريو المكافآت والمرح وقسم لحل هذا النوع
من مشكلة البائع المتجول بشكل أساسي.
نحن نبحث عن ساعي البريد لتسليم الطرود والعناصر في المدينة للعثور على أقصر الخيارات
وأقصر الطرق.
أوصي بشدة بتخصيص الخيارات الأخرى واختبارها وتغيير المعلمات الفائقة ، وإذا اكتشفت
أي شيء أفضل ، إذا اكتشفت أي تحسين أو أفضل معلمات لاستخدامها ، فلا تتردد في مشاركتها في الأسئلة
والأجوبة.
مدهش.
اتمنى انكم استمتعتم حقا يا رفاق هذا.
يرجى التخصيص والتجربة والاستمرار في التعلم.
العمل معه ممتع للغاية.
س.
التعلم والاستمتاع أنا.