أهلاً ومرحبًا بعودتك إلى الدورة التدريبية حول الذكاء الاصطناعي.
في الجزء السابق تحدثنا عن حدس التعلم العميق القاتل.
لقد بدأنا هناك وفي الواقع وصلنا إلى هذا الجزء وحيث تحدثنا عن التعلم والآن
سننتقل إلى الجزء التمثيلي الفعلي.
هناك جزءان ، جزءان متميزان علينا تذكرهما.
هذا هو جزء التعلم.
لكنه الآن فعل كل هذا في الواقع.
هذا جميل.
الآن عليه في الواقع اتخاذ إجراء.
عليه أن يقرر ما سيفعله هو القيام بعمل واحد ، أو اثنين ، أو ثلاثة ، أو أربعة.
فكيف يفعل ذلك؟
حسنًا ، الطريقة التي يفعل بها الآن تُمنح نفس قيم الإشارات.
لذلك لا تتغير قيم التلميح بعد أن يكون لدينا قيم الإشارات هذه لمقارنتها بحساب الخسارة
التي نشرناها للخطأ ، لقد قمنا بتحديث الأوزان ، لكن قيم التلميح لا تتغير في هذه العملية برمتها.
لذلك بعد أن حصلنا على قيم الإشارات هناك ، يتم إصلاحها ، ونعرف ما هي.
كل هذا يحدث ، تم تحديث الشبكات ، والآن نستخدم نفس القيم الأساسية التي كانت لدينا.
ما سنفعله هو أننا سنمررهم عبر دالة soft max.
ومرة أخرى ، تم وصف soft max في ، على ما أعتقد ، في الملحق الثاني.
وسنتحدث أكثر قليلاً عن soft max في الأسفل أو سنتحدث عن سياسة اختيار الإجراء هذه
في الجزء المتبقي من هذا القسم.
لذلك فقط في عدد قليل من البرامج التعليمية ، ولكن في الوقت الحالي سنقول فقط إننا نمررها عبر وظيفة soft
max.
وما يفعله بشكل أساسي هو أنه يسمح له بالمساعدة في اختيار الأفضل ، واختيار أفضل إجراء ممكن.
وهناك تحذير صغير لذلك.
إنه ليس فقط أفضل واحد ممكن.
سنتحدث عن ذلك في البرنامج التعليمي لسياسة اختيار الإجراء.
لكن في الوقت الحالي ، دعنا نقول فقط أنه يختار أفضل إجراء من هنا.
تقول ، حسنًا ، إذن.
س أولاً ، الاحتمال الأساسي أننا نعرف قيم Q.
لذلك تم توقع قيم Q.
لذلك يمكن أن ينظر إليهم ويقول ، حسنًا ، إذن أعلى قيمة Q من هذه ، تمامًا كما فعلنا في خوارزمية
Q Learning البسيطة ، سوف ينظر فقط إلى كل هذه ، على سبيل المثال ، أعلى قيم Q هذه .
وسأختار هذا الإجراء.
سوف آخذ هؤلاء.
وهذا كل ما في الأمر.
هذه هي الطريقة التي يختار بها الإجراء الذي يتم اتخاذه.
يأخذ العمل.
ثم تحدث كل هذه العملية مرة أخرى بالنسبة للحالة التالية ، ينتهي عامل الإضافة في حالتنا ، في المربع
التالي من المتاهة.
لكن بشكل عام ، إنها الحالة التالية.
لذا ها نحن ذا.
هذه هي الطريقة التي نتغذى بها في مشكلة التعلم المعزز في الشبكة العصبية من خلال ناقل يصف الحالة التي
نحن فيها.
وبمجرد إدخالها ، هناك جزءان من العملية يحدثان.
الجزء الأول هو التعلم.
لذا تذكر هذا الجزء حيث نقارن كل من قيم Q بالأهداف ثم نعيد نشر الخسارة
عبر الشبكة لتحديث الأوزان بحيث تتعلم شبكتنا أثناء مرورنا عبر هذه المتاهة
أو من خلال هذه البيئة.
وكذلك الجزء الثاني ، بالطبع ، علينا أن نتصرف ، وعلينا أن نختار إجراءً ما ، وهذا هو المكان
الذي نمرر فيه قيم Q إلى دالة soft max و أو أساسًا سياسة اختيار الإجراء ، والتي سنتحدث عنها
إلى الأسفل أكثر.
ثم نختار ببساطة الإجراء الذي نريد أن نتخذه ونقوم بهذا الإجراء.
وبعد ذلك تبدأ هذه العملية برمتها مرة أخرى ، وبعد ذلك ربما يصل الوكيل إلى ذلك
، ربما لا ينتقل الوكيل إلى اللعبة.
على أي حال ، تنتهي اللعبة ، ثم تتكرر العملية بأكملها مرة أخرى ، ويلعب الوكيل اللعبة
بأكملها مرة أخرى ، ثم يتوقف ذلك.
إذن فهذه حقبة أخرى في كل مرة ينتهي فيها الوكيل في كل مرة تنتهي فيها اللعبة ، سواء كان ذلك بشكل إيجابي
في فبراير ، فهذه هي نهاية حقبة.
ثم يبدأ من جديد ثم يبدأ من جديد ثم يبدأ مرة أخرى وهكذا.
لذلك هذا يحدث.
وتحدث هذه العملية في كل مرة يكون فيها الوكيل في حالة جديدة.
إذن الدولة مشفرة هنا.
لذلك هذا مهم.
لذلك ليس فقط لكل لعبة يلعبها ، ولكن لكل ولاية على حدة.
إذن فهو في حالة ، يمر بهذه العملية والتحديثات وما إلى ذلك ويحدث في كل مرة.
وهكذا يحدث التعلم ثم يحدث التمثيل أيضًا.
هذا هو التعلم العميق في الحدس وراء التعلم العميق.
لدينا الكثير لنخفيه.
وبعد ذلك بالطبع لدينا العملي.
وفي غضون ذلك ، إذا كنت ترغب في الحصول على بعض المعلومات الإضافية حول التعلم العميق ، فلدينا
قراءة موصى بها.
لقد تحدثنا بالفعل عن سلسلة مشاركات آرثر جولياني في المدونة.
إذا نظرت إلى التعلم المعزز البسيط باستخدام TensorFlow الجزء الرابع ، فستجد الجزء المناسب
لما ناقشناه اليوم.
لاحظ أنه يتحدث هنا عن التلافيف.
نحن لا نغطي الثورات في هذا القسم.
سنتحدث عنهم في القسم التالي من الدورة.
لذا فإن الاختلاف هنا هو أنه نوع من تخطي جزء التلافيف الآن وسنتحدث عنها في الجزء
التالي من الدورة.
لكن الاختلاف في التلافيف ، فأنت تشبه النظر إلى وكيلك وهو ينظر إلى الصورة ، وبالتالي
عليه معالجة الصورة.
إذن ، هناك تعقيد إضافي في الوقت الحالي.
نحن نتدرج ببطء ، ونعمل بالتدريج على تحقيق ذلك.
في الوقت الحالي ، نقوم بتشفير بيئتنا من خلال.
لذا إذا نظرت هنا ، فنحن نقوم بتشفير بيئتنا أو ربما مثل إلقاء نظرة على هذه البيئة
، ربما نقوم بترميز بيئتنا كحالة أو ترميز حالة يكون فيها الوكيل كمتجه.
لذلك في حالتنا ، هناك طريقة بسيطة للغاية.
في بعض الأحيان ، قد تكون صورة قيمتين حتى بهذه البساطة في بعض الأحيان أو كما سترى من منشور المدونة
هذا ، في بعض الأحيان يفضل الناس النسخة الساخنة والمشفرة من تلك الحالة.
لذلك ، في الأساس ، حيث يكون لكل مربع في المتاهة a ، سيكون لديك مثل متجه لحالة أخرى
12 قيمة ثلاثة في أربعة.
لذا فهو يشبه إما واحدًا أو صفرًا اعتمادًا على العنصر في المربع الذي أنت فيه ، في البيئة.
أيًا كانت الطريقة التي تقرر بها ترميز بيئتك وحالة بيئتك ، فهذه هي الطريقة التي نقوم بترميزها.
لذلك فهو في الأساس متجه.
المفتاح هنا هو أنه ليس التفافًا ، لذا فهو ليس مثل الصورة ولا يوجد التفاف في الفولتات.
لذلك سيأتي هذا الجزء لاحقًا بالنسبة لنا.
يبدأ من هنا وهذا فقط يبسط العملية لفهم أفضل تدريجيًا.
وبالطبع ، لا تنس أن هذه المدونة مكتوبة في TensorFlow ونحن نستخدم PyTorch
في دروسنا.
لذا آمل أن تكون قد استمتعت بهذه المقدمة السريعة في التعلم العميق التلافيفي والعميق وغير التلافيفي
ولكن العميق.
وفي هذه الملاحظة ، أتطلع إلى رؤيتك في المرة القادمة.
وحتى ذلك الحين ، استمتع بالذكاء الاصطناعي.