أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
وأخيرًا ، ننتقل إلى الأشياء الممتعة.
نحن في طريقنا إلى التعلم العميق.
حسنا.
لذلك دعونا نلقي نظرة.
في السابق ، تحدثنا عن التعلم الأساسي وما يدور حوله.
وتعلمنا عن العمر والبيئة وكيف سينظر الوكيل إلى الحالة هنا أو هي
فيها.
اتخذ إجراءً ، واحصل على مكافأة ، وادخل في حالة جديدة.
وبناءً على حلقة التغذية الراجعة هذه ، سيستمرون في اتخاذ الإجراءات وسوف يتعلمون من ذلك ، ويفهمون
ما هي الإجراءات الأفضل التي يجب اتخاذها.
وهكذا نظرنا إلى هذا المثال الأساسي للمتاهة.
لقد فهمنا أنه كعامل يستكشف البيئة ، يفهم ما هي قيم الدول.
ثم انتقلنا من التعامل مع قيم الدول إلى التعامل مع قيم الإجراءات
أو قيم Q.
وبعد ذلك بناءً على ذلك ، فهمنا كيف تعمل الخطط في البيئات غير العشوائية وكيف تعمل السياسات في
البيئات العشوائية.
وهذا مثال على السياسة.
هذه خلاصة سريعة لكل شيء ناقشناه في التعلم الأساسي.
والآن دعونا نلقي نظرة على كيفية نقل هذا إلى المستوى التالي من خلال التعلم العميق ، من خلال إضافة
التعلم العميق.
إذن هذه هي بيئتنا وما سنفعله الآن هو أننا سنضيف ، بدلاً من مجرد إجراء الحسابات الأساسية
في هذه المصفوفة التي لدينا ، وهي بسيطة جدًا ، ما سنفعله هو " سنضيف إلى المحاور
، سنضيف محوري X و Y ، أو سنسميهما x واحد و x اثنان ، فقط لجعل الأمور أكثر
عمومية.
وهنا سنقوم بترقيم الأعمدة.
واحد ، اثنان ، ثلاثة ، أربعة ، كعب هنا سنقوم بترقيم الصفوف.
واحد اثنين ثلاثة.
والآن يمكن وصف كل حالة من خلال زوج من قيمتين x واحد و x اثنين.
إذن ، أي من هذه المربعات التي يمكن أن يكون العامل فيها يمكن وصفها بـ x1x2.
إذن ، على سبيل المثال ، يوجد الآن في المربع حيث x واحد يساوي واحدًا و x اثنين يساوي اثنين.
وبالتالي فإن مجموع هذا هو بنفس الطريقة التي يمكننا بها الهروب من أي مربع ، مما يعني أنه يمكننا وصف أي
حالة.
وبالطبع ، هذه نسخة مبسطة جدًا من بيئة وصف الحالات ، لكنها مع ذلك تعمل في
هذه الحالة.
وهذا يعني أنه يمكننا الآن تغذية هذه الحالات في شبكة عصبية.
وبالمناسبة ، أود هنا فقط أن أذكر أنه في نهاية الدورة ، لدينا ملاحق ، لدينا
الملحق رقم واحد والمرفق رقم اثنين.
من أجل المضي قدمًا بنجاح في هذا القسم ، يُنصح بشدة بمراجعة الملحق رقم
واحد ، الموجود على الشبكات العصبية الاصطناعية ، حتى تفهم كيفية عملها حتى لا نضطر
إلى الخوض في ذلك هنا.
ويمكننا فقط استخدام فوائد معرفة كيفية عمل الشبكات العصبية الاصطناعية.
وهكذا نقوم بتغذية هذه المعلومات عن الحالة في شبكة عصبية ، وبعد ذلك ستعالج هذه المعلومات.
إذن X ، Y ، x 2 ، اعتمادًا على بنية الشبكة العصبية ، قد تحتوي على طبقات مخفية متعددة
وما إلى ذلك.
لذلك هذا شيء ستكتشفه في الدروس العملية.
لكن في النهاية سنبني بطريقة تجعله يبث أربع قيم ، وهذه القيم الأربع ستكون في
الواقع قيمنا الرئيسية.
إذن القيم التي تملي الإجراء الذي نحتاج إلى اتخاذه.
علاوة على ذلك في هذا البرنامج التعليمي ، سنرى بالضبط كيف يتم استخدام قيم Q هذه لتحديد الإجراء الذي يتم
اتخاذه.
لكن النقطة الأساسية هنا هي أننا لم نعد ننظر إلى هذه المتاهة فقط من منظور التعلم.
نحن الآن نأخذ حالات المتاهة ونقوم بإدخالها في شبكة عصبية عميقة من أجل الحصول على
هذه القيم.
وفي نهاية اليوم ، ما زلنا نتوصل إلى إجراء.
ما زلنا في طريقنا إلى فهم كيفية الإجراء الذي يتعين علينا اتخاذه.
وسنناقش كل هذا بمزيد من التفصيل.
لكن السؤال الآن لماذا؟
لماذا نفعل كل هذا؟
لماذا نلتزم؟
لماذا نجعل الأمور أكثر تعقيدًا عندما كان هذا النهج الأولي للتعلم يعمل بالفعل؟
حسنًا ، السبب في ذلك هو أن التعلم كان يعمل في هذه البيئة المبسطة للغاية ، وما زلنا نتعامل في
الوقت الحالي مع هذه البيئة المبسطة للغاية من أجل فهم المفاهيم بشكل أفضل.
لكن في الوقت نفسه ، لن يعمل هذا التعلم البسيط في بيئات أكثر تعقيدًا.
ونحن نتحدث ، على سبيل المثال ، عن السيارات ذاتية القيادة التي ستخلق أو تلعب الموت
عندما يلعب الذكاء الاصطناعي لعبة الموت أو ألعاب أتاري الأخرى مثل بريك أوت أو حتى
السيارات ذاتية القيادة وأشياء تعليمية أكثر تقدمًا مثل الروبوتات يتجول وأداء الأعمال.
في جميع هذه الحالات ، يكون التعلم الأساسي غير كافٍ وليس قويًا.
انها ليست قوية بما يكفي لتكون قادرة على السيطرة على تلك التحديات.
ومثلما رأينا في دورة التعلم العميق ، إذا كنت في دورة النشر لدينا أو إذا
كنت قد انتهيت من أقسام الملحق ، الملحق رقم واحد وثاني ، فستعرف حقًا أن التعلم
العميق أفضل بكثير من أي نوع من التعلم الآلي ، ناهيك عن التعلم البسيط.
ولهذا السبب نستفيد من قوة التعلم العميق هنا.
لذلك نحن نقوم بتغذية المعلومات المتعلقة بالبيئة كمتجه للقيم.
لذلك في هذه الحالة ، فقط ل.
القيم في شبكة عصبية عميقة.
ثم نستخدم ذلك لأداء الإجراءات التي نريد أن نقرر الإجراءات التي سيتخذها
الوكلاء.
لذا فإن هذا يشبه إلى حد ما نظرة عامة عالية المستوى عن سبب قيامنا بذلك.
والآن دعونا نلقي نظرة أكثر تفصيلاً على ما يحدث لمفاهيم التعلم الأساسي عندما نتحول ، عندما
نجري هذا التحول من التعلم البسيط أو الانتقال من التعلم العميق إلى التعلم العميق.
لذا كما رأيتم في دروس الحدس السابقة ، كان لدينا شريحة مثل هذه والتي هي أساس
تعلم الفروق الزمنية.
هذه هي معادلة الاختلاف الزمني ، لذا دعنا نتناولها بشكل أساسي.
لذلك كان لدينا وكيلًا كان في هذه الحالة هنا ، والذي أشار إليه السهم الأزرق ، وكنا نفهم كيف يعمل
الاختلاف الزمني لقيمة الإشارة ، على سبيل المثال ، الصعود.
ولذا فإن ما رأيناه هنا كان قبل ذلك في التعلم البسيط ، وليس التعلم العميق.
هذا في التعلم البسيط.
ما رأيناه كان قبل أن يكون للوكيل قيمة صبغة معينة كان قد تعلمها عن هذا الإجراء الخاص بالصعود.
ومن ثم قرر اتخاذ هذا الإجراء للارتفاع.
وبعد أن يتخذ هذا الإجراء مباشرة ، يحصل على مكافأة مقابل القيام بهذا الإجراء في هذه الحالة ، وهذه هي
المكافأة.
بالإضافة إلى ذلك ، يمكنه الآن تقييم قيمة الحالة الحالية التي يمر بها ، وهي الحد الأقصى لجميع قيم الإشارات الجديدة
، لجميع قيم الإشارات ، للإجراءات الجديدة.
يمكنه أن يأخذ عددًا أوليًا في الحالة الجديدة باعتباره عددًا أوليًا ونضربه في عامل اضمحلال جاما.
إذن هذا هو الأساس ، أو قيمة التلميح الجديد أو نوعًا ما مثل قيمة التلميح التجريبي التي تلقاها
للتو لاتخاذ هذا الإجراء.
ومن الناحية المثالية ، يجب أن يكون هذان العنصران متماثلين.
لذا فإن القيمة الأساسية التي كان يمتلكها في ذاكرته حول هذا الإجراء في هذه الحالة ، يجب
أن تكون مساوية للمكافأة الفعلية ، بالإضافة إلى أوقات جاما ، قيمة الحالة التي انتهى بها الأمر.
وبالتالي ، هكذا نحسب الفرق الزمني.
نأخذ ما حصل عليه مطروحًا منه ما حصل عليه ، وما كان يدور في خلده ، وما كان يتوقعه.
ستطرح واحدًا من الآخر ، وهذا هو اختلافك الزمني.
وبعد ذلك تستخدم معدل التعلم ألفا لضبط قيمة Q الخاصة بك بقيمة جديلة جديدة من خلال الاختلاف الزمني
، ولكن مع معامل ألفا.
لذلك هذا هو جوهر التعلم البسيط للإشارة.
الآن دعونا نلقي نظرة على كيفية تغيرها في التعلم العميق.
ولذا فإننا ما زلنا نعمل على الشريحة ، لكننا سنرى فقط ما يحدث بالضبط.
لذا في التعلم العميق ، ستتنبأ الشبكة العصبية بأربع قيم ، كما رأينا في الشريحة السابقة.
وكما سنرى لاحقًا في هذا البرنامج التعليمي ، ستتنبأ الشبكة العصبية بأربع قيم ، أو قد تتنبأ بمزيد
من القيم إذا كان هناك المزيد من الإجراءات المحتملة في حالة معينة.
لكن في هذه الحالة ، نعلم أن هناك أربعة حركات فقط في الوضع الرأسي أو الأيسر أو السفلي.
وبالتالي ، ستتنبأ الشبكة العصبية بأربعة من هذه القيم.
لذلك لن يكون هناك في وضع التعلم العميق.
من المهم أن نفهم أنه لا يوجد قبل أو بعد.
وهذه هي الطريقة التي سنتعرف بها على هذا بشكل أفضل.
لذا ستتنبأ الشبكة العصبية بأربعة من هذه القيم ، ولن تقارن بما سيحدث بعد ذلك ، لكن
الشبكة العصبية ستقارن بهذه القيمة بالضبط.
لكن هذه هي القيمة التي تم حسابها في الخطوة السابقة.
لذلك في المرة السابقة عندما كان الوكيل في هذا المربع بالضبط.
دعنا نقول ، لا أعرف ، منذ بعض الوقت كان الوكيل مرة أخرى في هذا المربع الدقيق أيضًا
، وقام بحساب هذه القيمة مسبقًا.
لذلك في المرة السابقة ، منذ زمن طويل ، قام الوكيل بحساب هذه القيمة ، ثم قام الوكيل بتخزين
هذه القيمة للمستقبل وقد حان المستقبل الآن.
الآن هو في المربع مرة أخرى والآن لديه قيم Q هذه ، والتي تم توقعها ، وإحدى هذه
القيم للأربعة صعودًا.
إذن ما سيفعله الآن هو مقارنة القيمة المتوقعة لـ Q بهذه القيمة التي سجلها من
الوقت السابق.
وسنفهم بالضبط سبب أهمية هذا الآن.
لذا من المهم فقط أن نفهم هنا أنه لا يوجد قبل ضابط في هذا المربع المحدد
، في هذا الوقت المحدد نأخذ قيمة Q التي تنبأ بها باستخدام الشبكة العصبية هذه المرة.
ونحن نقارنه بهذه القيمة التي حصل عليها من المرة السابقة ، من المرة السابقة التي كان فيها في
هذا المربع لتقييم الموقف بالكامل.
وكما تعلمون ، مثل المرة السابقة التي قام فيها بالفعل بهذا الإجراء.
لذا ها نحن ذا.
الآن دعونا نلقي نظرة على كيفية عمل كل هذا في الشبكة العصبية ولماذا.
لماذا هو من هذا القبيل؟
أعلم أن الأمر يبدو معقدًا بعض الشيء في الوقت الحالي ، لكننا سنقسمه إلى مصطلحات بسيطة ، في غضون
ثانية.
لذا فإن هذه الشبكة العصبية التي نغذيها في حالات البيئة في الشبكة العصبية تمر عبر
الطبقات المخفية.
ثم يخرج بهذه المخرجات.
Q1، Q2، Q3، Q4.
في تلك الحالة المحددة ، هذه هي القيم الأساسية التي تتوقعها الشبكة العصبية للإجراءات المحتملة.
هذه هي قيم Q.
إذن نحن إذن.
مقارنة بالهدف وهذه الأهداف بالضبط إذا عدنا إلى هنا ، فهذا هو الهدف.
إذن هذه هي القيمة التي تم توقعها.
وبعد ذلك ، نعلم أيضًا أن لدينا هدفًا من آخر مرة كنا فيها في المربع.
لدينا هدف لهذا الإجراء نفسه ، وهو الأمر ، على سبيل المثال.
إذن لدينا هنا هدف وسنقارنه.
لذلك نحن نقارن Q1 واحد مقابل هذا الهدف.
نحن نقارن Q2 مقابل هذا الهدف ، الهدف الذي كان لدينا من قبل.
س ثلاثة مقابل الهدف.
س أربعة مقابل الهدف.
وهذا هو الجزء الذي تتعلم فيه الشبكة العصبية أو الوكيل الآن من خلال التعلم العميق كيفية التنقل
بشكل أفضل عبر الفضاء.
والنقطة الأساسية هنا هي أننا ما زلنا نطبق.
س التعلم ، ولكن المفاهيم في التعلم البسيط ، تتعلم من خلال الاختلافات الزمنية ، والتي هي
واضحة جدًا ، والتي ناقشناها بالفعل ونعرفها جيدًا الآن.
لكن في الوقت نفسه ، في التعلم العميق ، كيف تتعلم الشبكات العصبية؟
حسنًا ، الشبكات العصبية تتعلم من خلال تعديل وزنها.
لذلك علينا تكييف مفاهيم تعزيز مفاهيم التعلم الأساسي البسيط مع الطريقة التي تعمل بها الشبكات العصبية
بالفعل.
وذلك من خلال تحديث وزنهم.
وهذا ما نحاول اكتشافه هنا.
كيف يمكننا تكييف مفهوم الاختلاف الزمني هذا مع الشبكة العصبية حتى نتمكن من الاستفادة من القوة الكاملة
للشبكات العصبية؟
وحتى الآن حصلنا على هذا.
لذلك ندخل حالة بيئتنا هنا حيث يمر المتجه عبر شبكة عصبية ، نحصل على تنبؤات
بقيم Q.
ثم من المرة السابقة التي كان فيها الوكيل في تلك الحالة ، لدينا هؤلاء.
س الهدف.
س استهدف واحدًا ، واثنين ، وثلاثة ، وأربعة لكل من هذه الإجراءات ذات الصلة.
والآن نحن على ما يرام ، دعنا نقارن كل واحد مع كل واحد.
ومن هنا يصبح الأمر واضحًا جدًا إذا كنت على دراية بالشبكات العصبية.
مرة أخرى ، هذا كل شيء في ملحق.
رقم واحد ، سنحسب خسارة ، وهي L هنا وسنكون كذلك.
س استهدف هذا ناقص س ناقص هذا.
سنقوم بترتيب ذلك.
إذن ، الفرق التربيعي لكل واحد من هؤلاء وسنجمعها.
لذلك سنأخذ مجموع الفروق التربيعية لقيم Q هذه وأهدافها ، وسنلخصها
وستكون خسارتنا.
ومن الناحية المثالية ، تمامًا كما فعلنا في تعلم الفرق الزمني ، لذلك إذا عدنا للوراء لثانية ، تذكر
أننا قلنا بشكل مثالي أننا نريد أن يكون هذا مساويًا لهذا ، لذلك نريد أن يكون الاختلاف الزمني صفرًا.
هذا يعني أن الوكيل يتنبأ بشكل صحيح تمامًا بقيم Q التي يتوقعها
الوكيل بالضبط.
أو أن لديه ذاكرة وصفية تمامًا للبيئة.
وبالتالي ، يمكن للوكيل التنقل في البيئة بشكل جيد.
الصحيح.
لا توجد مفاجآت.
لا يوجد ما إذا كان هذا الاختلاف الزمني إيجابيًا للغاية أو سلبيًا للغاية ، فعندئذٍ
لدينا بعض المفاجآت.
لكن إذا كان الاختلاف الزمني صفراً ، فإنه يعرف البيئة جيدًا بحيث يمكنه التنبؤ بما
يحدث ويمكنه ذلك.
وبالتالي ، ستكون سياسته جيدة جدًا وسيكون قادرًا على الإبحار فيها.
حتى هنا ، نفس الشيء.
لذلك نريد أن تكون هذه الخسارة قريبة من الصفر زائد أصغر ما يمكن.
ولهذا السبب نحن الآن ذاهبون إلى هذا الجزء حيث سنستفيد من القوة الحقيقية الحقيقية للشبكة
العصبية.
لذلك سنأخذ هذه الخسارة وسنستخدم الانتشار العكسي أو نزول التدرج العشوائي لأخذ هذه
الخسارة وتمريرها عبر الشبكة ، ونمررها للخلف أو للخلف ، وتنتشر عبر شبكة ومن خلال النسب
المتدرج العشوائي.
قم بتحديث أوزان هذه الملخصات في الشبكة بحيث في المرة القادمة التي نمر فيها عبر هذه الشبكة ، تكون الأوزان بالفعل وصفية
أفضل قليلاً للبيئة وهذه هي بالضبط الطريقة التي تعمل بها.
لذلك إذا عدت إلى الوراء ، فسيتم حساب ذلك ، ويتم احتساب الخسارة ويتم نشرها للشبكة.
يتم تحديث الأوزان.
ثم في المرة القادمة التي نصل فيها إلى هنا ، يحدث هذا مرة أخرى ونصل إلى هنا ، يحدث هذا مرة أخرى وهكذا وهكذا
ويستمر حدوث ذلك.
وهذه هي الطريقة التي يتعلم بها هذا الوكيل.
أو الآن بشكل أساسي ، الشبكة العصبية هي دماغ العامل الذي يتعلم ، وأصبحت أكثر وأكثر وصفية
للبيئة ، وبالتالي فإن الوكيل قادر على التنقل في البيئة.
عندما نقول إن البيئة الوصفية تعني أساسًا أنه عندما نضع في حالة البيئة
التي يوجد فيها الوكيل ، فمن المرجح أن نقترب أكثر فأكثر من قيم الإشارات الفعلية.
وهذا يحدث بسبب القيم الأساسية التي نريدها وإيجاد الإجراء الصحيح.
وهذا يحدث لأن أهداف Q هذه مشتقة تجريبياً.
فكيف وجد هذه الأهداف اللطيفة؟
هذا هو في الواقع هذا.
لذا فهو يلاحظ بالفعل ، حسنًا.
لذا بمجرد أن أقوم بهذه الخطوة ، ما هي المكافأة التي أحصل عليها؟
ثم ما هي قيمة هذه الدولة؟
نفس الشيء كما رأينا سابقًا في Q Learning في حدس التعلم البسيط.
لذلك يتعلم هذا من خلال التجربة والخطأ ، ثم يقوم ببناء شبكته أو تحديث شبكة
الأوزان بطريقة تجعل قيم الإشارات المتوقعة أقرب وأقرب.
تقريب الهدف.
قيم Q تشبه إلى حد بعيد المفهوم الذي ناقشناه هنا في تعلم الفرق الزمني البسيط لخوارزمية
التعلم البسيطة.
لذا ها نحن ذا.
هذه هي الطريقة التي يتعلم بها الوكيل.
لذلك نحن هنا.
هذا هو جزء التعلم.