أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
حسنا.
لذلك آمل أن تكون قد استمتعت بالدروس التعليمية حتى الآن.
نحن على وشك الانتهاء من الحدس.
أنت قريبًا.
قريبا جدا.
انتقل إلى الجانب العملي للأشياء.
لدينا فقط بعض الأشياء الصغيرة التي نحتاج للتستر عليها.
حسنًا ، لقد تحدثنا سابقًا عن كيفية إضافة الشبكات العصبية إلى هذه المعادلة الكاملة للتعلم
الأساسي ونقل تعلمك إلى الخطوة التالية وتحويله إلى تعلم عميق.
واليوم سنضيف ميزة إضافية مهمة ، والتي ستقوم بتشفيرها في الجانب العملي للأشياء.
لذا قررت أنا و Hudlin أنه من المهم بالنسبة لنا أن نغطيها في الجانب الحدسي من الأشياء حتى تكون أكثر استعدادًا لها
عندما يتعلق الأمر بالجانب الترميزي للأشياء.
لذا كما ناقشنا ، لدينا الشبكة هناك.
هناك جزئين يحدثان.
بادئ ذي بدء ، إنه التعلم.
لذا فإن الشبكة تتعلم في الواقع مع كل دولة جديدة.
يقوم ببطء بتحديث أوزانه ليصبح أفضل وأفضل وأفضل في التعامل مع هذه البيئة.
ثم هناك التصرف داخل الدولة.
لذلك بعد حساب قيم Q في الحالة ، يتم تحديد قيمة مفتاح واحدة.
حتى اليوم ما زلنا نتحدث عن جزء التعلم.
سنخرج بميزة مثيرة للاهتمام ستعمل بشكل جيد ، لن نبتكر
هذه الميزة بأنفسنا ، لكننا سنتحدث عن ميزة مهمة جدًا للتعلم العميق.
وتسمى هذه الميزة تجربة إعادة التشغيل.
حسنًا ، ها هي شبكتنا.
لذلك قمنا بنسخها هنا.
لقد حصلنا على أن الخسارة المحسوبة في الأسفل يتم نشرها مرة أخرى عبر شبكتنا.
ودعنا نلقي نظرة على مثال لما يحدث لفهم المشكلة التي نتعامل معها بشكل أفضل
قليلاً.
إذن هذا مثال بالفعل من هذه الدورة.
هذه لقطة شاشة بالضبط من هذه الدورة.
هذا ما ستقوم ببرمجته.
هذه سيارة ذاتية القيادة تسير عبر هذا الطريق وعليها أن تتعلم كيفية التنقل في هذا الطريق.
إذن ما هو ، كما ناقشنا سابقًا ، ما هذا في هذه الحالة؟
وبالطبع ، لن تكون الحالة X واحد و x اثنان فقط.
سيصف آلان قليلاً بتفاصيل أكثر بكثير عن الحالة التي ستكون عليها الحالة بضع
معلمات تتعلق بزاوية السيارة وبعض المعلمات النسبية ، وما تقرأه المستشعرات وما إلى ذلك.
لذلك سيكون هناك المزيد من المعلمات لوصف الحالة ، ولكن مع ذلك ، ستكون
متجهًا للقيم.
سوف يمر عبر شبكة عصبية.
ثم فيما يتعلق بالإخراج ، سيكون لديك بعض قيم Q.
مرة أخرى ، سيكون هناك اختلاف حسب البيئة ، يمكن أن يكون هناك عدد مختلف من الإجراءات والإجراءات
الممكنة.
لكننا سنقوم فقط ، من أجل البساطة ، بترك الأمر كما هو حتى نتمكن من فهم ما يجري
هنا بشكل أفضل قليلاً.
إذن في هذه الحالة ، ما هو السؤال حتى الآن ، ما هذا المدخل في هذه الشبكة العصبية؟
أو بشكل أكثر تحديدًا ، كم مرة نقوم بتشغيل هذه الشبكة العصبية؟
كم مرة تمر هذه الشبكة العصبية؟
حسنًا ، في كل مرة تنتهي فيها السيارة بحالة جديدة ، وبالتالي تتحرك السيارة ، ينتهي بها الأمر في حالة جديدة.
وبعد ذلك يذهب كل شيء.
كل تلك البيانات ، كل تلك المعلومات من حول الحالة التي تمر عبر الشبكة هي خطأ محسوب.
هل يتم حساب هذا الخطأ بناءً على ما ناقشناه في الدروس السابقة.
تم نشر هذا الخطأ مرة أخرى عبر الشبكة.
يتم تحديث الأوزان ، ثم تختار السيارة الإجراء الذي يجب اتخاذه ، مما يجعل هذه الخطوة تنتهي
في حالة جديدة.
في الحالة الجديدة يبدأ كل شيء من جديد.
وهذا يحدث في الأساس في كل مرة تكون فيها السيارة في حالة جديدة.
حسنًا ، ألق نظرة على هذا المثال.
لقد التقطت لقطة الشاشة على وجه التحديد لأنها تبدو جيدة جدًا توضح المشكلة التي تمت معالجتها من خلال التجربة
وإعادة التشغيل والخبرة.
إعادة التشغيل ليست مجرد شيء نستخدمه في هذه الدورة التدريبية أو في هذه المشكلة المحددة.
إنه شيء سترونه مستخدمًا طوال الوقت ، مثل مرارًا وتكرارًا في خوارزميات الذكاء
الاصطناعي ، لأنه قوي جدًا ومهم جدًا.
انظروا إلى هذه السيارة ، هذه السيارة في هذه المشكلة أو في هذه البيئة.
هدفها هو الانتقال من هنا إلى هنا والعكس.
هدفها هو الإبحار هنا ، هنا دون عبور هذه الجدران المصنوعة من الرمال.
وهكذا بدأت السيارة من هنا ، نزلت ومثل مكافأتها تعتمد على مدى قربها من هدفها.
لذا انطلقت السيارة من هنا.
نزلت واستمرت هكذا ، مثل هذا ، مثل هذا ، مثل هذا.
على طول هذا الجدار ، على طول هذا الجدار.
وماذا ستفعل بعد ذلك؟
سوف يستدير وسيستمر.
حسنًا ، ما نريده أن يفعله هو الاستمرار هنا.
لكن دعنا نفكر في الأمر لثانية.
بمجرد وصوله إلى هذا الجدار ، في كل مرة يتحرك للأمام ، يتحرك للأمام.
يتحرك للأمام ، يتحرك للأمام ، يتحرك للأمام ، يتحرك للأمام ، وهكذا يتحرك
للأمام.
لذلك قد تكون مثل اعتمادًا على بيئة الهيكل ، يمكن أن تكون مثل 100 حركة هنا أو 50
حركة هنا.
إنهم يواصلون المضي قدمًا ، للأمام ، للأمام ، للأمام لمدة أربعة.
ولا شيء يتغير.
لا شئ.
حقا يتغير.
نعم ، يبتعد أكثر عن هذا الهدف ، أقرب إلى هذا الهدف.
هذا لطيف.
ولكن فيما يتعلق بالبيئة المحيطة ، لا تتغير أشياء كثيرة.
لا يزال نفس الجدار.
إذا كنت جالسًا في السيارة ، فمن المحتمل أنك رأيت هذا الموقف عندما تقود سيارتك
في أي شيء تراه يشبه أن البيئة رتيبة للغاية لدرجة أنك ترى نوعًا من نفس الشيء مثل مجرد
المرور .
لكن مثل ، تخيل أنك تقود عبر صحراء وأنت ترى نفس الشيء.
إنه نفس الصوت ، إنه نفس الصوت.
لا شيء يحدث ، لا شيء يتغير.
وهكذا في الأساس ولكن في كل مرة نضع تلك الحالة ، تلك الحالة الجديدة هنا ، نعم ، بالطبع ،
شيء ما قد يتغير.
على سبيل المثال ، أنت تقود السيارة ويظهر لك نظام تحديد المواقع العالمي (GPS) أنك أقرب إلى وجهتك.
لذا فإن أحد هذه المدخلات هو التغيير.
لكن الكثير من هذه المدخلات الأخرى ، أجهزة الاستشعار ، على سبيل المثال ، الموجودة في السيارة ، لا تتغير.
وبالتالي ، أثناء القيادة.
في هذه الحالة ، تضع المدخلات في شبكتك العصبية.
هنا ، هنا ، هنا ، هنا ، هنا ، هنا ، هنا وهنا وهنا.
في كل وقت ، تكون المدخلات متشابهة إلى حد كبير.
وبالتالي ، إذا واصلت إدخال نفس المدخلات ، أو نفس القيم ، أو نفس المتجه أو المتجهات
المتشابهة جدًا في شبكتك ، لأنه لا يوجد تنوع ، ستتعلم السيارة جيدًا.
هناك شيء واحد ستتعلمه جيدًا عن كيفية القيادة على طول هذا الجدار الموجود على يمينه.
وهكذا سيتم تحديث الشبكة وستحصل على مكافأة.
سيبدأ ببطء في الحصول على مكافأة مقابل القيادة.
حسنًا ، سيكون الأمر كذلك ، حسنًا ، من هنا سيبدأ التعلم ، أوه ، أنا أقوم بعمل جيد.
أنا أعمل بشكل أفضل.
أنا أفعل ذلك بشكل أفضل.
سيكون لديه هذا ، هذا التصور الخاطئ بأنه في الواقع يعمل بشكل جيد للغاية ، على الرغم من أنه تعلم فقط
كيفية القيادة على طول هذا الجدار.
وبالتالي فإن الشبكة العصبية سوف تتكيف بشكل كبير مع القيادة على طول هذا الجدار.
ثم فجأة ظهر هذا المنحنى والسيارة لا تعرف ماذا تفعل ولا تتلاءم تمامًا
مع هذه الشبكة العصبية.
وحتى إذا تم ضبطه بطريقة ما ، فلنفترض أنه يمر بهذا الجزء ثم ينتهي به الأمر على هذا الجدار
، نفس الشيء سيحدث.
سيقود من هنا ، هنا ، هنا.
الآن ، الشبكة العصبية تعيد هيكلة نفسها للتكيف مع هذا الجدار وبعد ذلك ، بام ، يحدث هذا الشيء.
وبعد ذلك حتى لو تجاوز ذلك بطريقة ما ، فسوف يمر عبر هذا الشيء.
ثم نفس الشيء على طول هذه الخطوط.
لذا فهو في الأساس مثل مثال حي جدًا لمشكلة لدينا.
هذا لأن الطريقة التي نستخدم بها الشبكة العصبية ، ونقوم بتحديثها مع كل حالة على حدة ، بمجرد أن يكون لدينا الكثير
من الخطوات المتتالية ، لا يجب أن تكون هي نفسها.
ولكن في البيئات ، من الطبيعي أن تكون الحالات المتتالية مترابطة بطريقة ما أو مترابطة بطريقة ما.
ونحن لا نريد أن يؤدي هذا الاعتماد المتبادل إلى تحيز شبكتنا.
لا نريد أن تتعلم السيارة فقط كيفية القيادة على طول مثل خط مستقيم أو خط منحني طويل
أو مثل أي شيء تعتقد أنه يمكنك التفكير فيه في الحياة حيث يتنقل الوكيل في بيئة أينما
كان يمكنك التفكير فيه الحالات المترابطة أو المترابطة التي تأتي بعد الأخرى
، والتي يمكن أن تفسد شبكتك العصبية حقًا إذا كنت ستدع العامل يتعلم من ذلك.
وهنا يأتي دور إعادة التجربة.
ما يحدث في إعادة التجربة هو هذه التجارب.
إذاً هذه تنص على أنها في 1 إلى 3 ، ولكن العديد من 50 حالة هنا على التوالي ، لا يتم وضعها في الشبكة
على الفور.
يتم حفظها بالفعل في ذاكرة الوكيل.
وهكذا ، على سبيل المثال ، تم حفظ كل هذه الأشياء وحفظها كلها وبعضها في مرحلة
ما بمجرد وصولها إلى حد معين ستتمكن من ترميزه وسيوضح لك Atlan كيفية القيام
بذلك بمجرد وصوله إلى حد معين ، ثم يقرر الوكيل بنفسه.
حسنًا ، حان وقت التعلم.
لدي هذه المجموعة من الخبرات التي أمتلكها ، والآن سأتعلم من تلك المجموعة.
ولذا فهو يختار بشكل عشوائي موزعًا موحدًا ويكون بشكل موحد أمرًا مهمًا هنا لأن هذا شيء سنتحدث
عنه في الشريحة التالية.
سنذكر ذلك.
لكنها تأخذ عينة موزعة بشكل موحد.
لذلك تعتبر جميع التجارب بشكل أساسي متساوية.
يأخذ عينة موزعة بشكل موحد من تلك المجموعة من الخبرات التي لديها.
ثم يمر من خلالهم ويتعلم منهم.
لذلك لا يتطلب الأمر كل الخبرة.
يستغرق الأمر فقط عينة موزعة بشكل موحد.
لذلك قد يستغرق الأمر بضع مرات من هنا ، وزوجين من هنا ، وزوجين من هنا.
و كل تجربة تتميز بها الدولة.
لقد كان في الإجراء الذي اتخذته ، والحالة التي انتهى بها الأمر ، والمكافأة التي حققتها من خلال هذا الإجراء في
تلك الحالة المحددة.
لذلك بالنسبة للعناصر في كل تجربة ، حدد حالة عمل واحدة ومكافأة.
وهكذا يأخذ كل تلك الخبرات ثم يمرها عبر الشبكة ويتعلم.
وبهذه الطريقة ، فإنه يكسر نمط ذلك.
إلياس ، الذي يأتي من الطبيعة المتسلسلة للتجارب ، إذا كنت ستضعها عبر الشبكة واحدة
تلو الأخرى.
لذلك هذا هو التركيز الرئيسي للتجربة.
هذه هي المشكلة التي تتناولها.
ومن المزايا الأخرى لإعادة التجربة أنه في بعض الأحيان في بيئة كهذه ، قد يكون لديك
تجارب قيمة ونادرة جدًا.
على سبيل المثال ، لا أعرف ، دعنا نقول لنلقي نظرة على هذه الزاوية.
حق؟
هذه هي الزاوية اليمنى.
الصحيح.
و حاد جدا.
كم هو حاد؟
لذلك سوف يأتي من هنا ، بافتراض أنه سيعانق هذه الزاوية.
إذن كم عدد الزوايا اليمنى الحادة الموجودة في هذه الغرفة بأكملها؟
لدينا ركن واحد فقط هنا وزاوية واحدة على اليمين هنا.
حق؟
لذلك عندما يأتي هذا الطريق ، فهذه هي الزاوية اليمنى.
وبعد ذلك عندما تعود ، تكون الزاوية اليمنى الحادة هنا.
إذن وهذا ليس حادًا.
هذا واحد حاد.
لذلك هناك فرصة واحدة فقط في البيئة بأكملها للتعلم من الزاوية اليمنى الحادة.
وهذه تجربة مهمة لأنها قد تكون جيدة حقًا في القيادة على طول خطوط مستقيمة ، وتحسن حقًا في القيام
بذلك مثل الزوايا الناعمة ، مثل هذا ، من هذا القبيل.
ولكن بعد ذلك سوف تستمر في العبث بهذه الزاوية اليمنى الحادة لمجرد أنها ببساطة لا تملك الكثير من
الفرص للتعلم منها.
وبالتالي ، سيتعلم كل شيء آخر بسرعة كبيرة ، لكن الأمر سيستغرق وقتًا طويلاً لتعلم هذه الزاوية
الصحيحة.
إنه مثال مبسط للغاية.
إنه تفسير مبسط للغاية ، لكنه يوضح مفهوم أنه في بعض الأحيان تكون تجارب نادرة يمكن
أن تكون ذات قيمة.
وإذا كنت تقوم فقط بشبكة عصبية بسيطة حيث تضع قيمك هنا وهي تمر بها ، كما تعلم ، حتى
لو نسينا مشكلة الطبيعة المتسلسلة للتجارب وكيف يمكن أن تكون مترابطة
و / أو مترابطًا وحتى تنسى ذلك لثانية واحدة ، ما يحدث هو بمجرد أن تضع تجربة
، تمر عبر الشبكات المحدثة ، ثم تنسى الأمر على الفور ، وتنسى تلك التجربة.
تنتقل إلى المرحلة التالية.
هذه هي الطريقة التي تعمل بها الشبكة العصبية.
ثم تنتقل إلى الحالة التالية ، والحالة التالية ، والحالة التالية ، والتجربة التالية ، والتجربة
التالية ، والتجربة التالية ، وما إلى ذلك.
إذن هذه الزاوية اليمنى ، بمجرد أن تمر عبر شبكة ، فإنها تختفي وليس لديك أي ذاكرة
لتلك التجربة القيمة.
بينما مع إعادة التشغيل ذات الخبرة ، نظرًا لأنك تضع هذه التجارب في مجموعات ، يمكنك تنظيم مجموعتك
كنافذة متدحرجة.
لذلك على سبيل المثال ، يمكن أن يكون لديك 100 دفعة ، أي 100 تجربة في مجموعتك.
لذلك عندما يعود من هنا ، فإنه بمجرد أن يسجل هذه التجربة في مجموعته.
ثم ، كما هو الحال في وقت ما ، يتم تشغيله ، فإنه يأخذ توزيعًا موحدًا من مجموعة الخبرات الخاصة به ومن ثم
هناك نافذة متدرجة.
لذلك تنسى هذه التجارب ، لكنها بعد ذلك تحافظ على هذه التجارب ومن ثم مرة أخرى تتعلم منها
بمجرد وجودها هنا ، وتتعلم من هذه المجموعة.
وبعد ذلك بمجرد وصولها إلى هنا ، إذا وصلت إلى هنا ، ولكن بعد ذلك لديها مجموعة من التجارب من هذا القبيل.
لذلك فهي تتعلم الآن من هذه التجارب.
وبهذه الطريقة ، ما تحصل عليه هو أن هذه الزاوية اليمنى قد تظهر عدة مرات في عملية التعلم الخاصة بها لأنها كانت
في تلك الدفعة عندما كانت الدُفعة على هذا النحو هناك.
ثم كان في الدفعة هنا ، في الدفعة هنا.
لذلك تم طرحه على عدة دفعات لأنه قد يتم تحديث الدفعة كنافذة متدرجة للخبرات.
لذلك يتم طرح التجارب القديمة ، تتم إضافة التجارب الأحدث ، ثم مرة أخرى تعمل التجربة الأقدم على
تعزيزها.
لذا فهي تجربة ، تبقى في الدفعة لبعض الوقت ويمكن للسيارة أو الوكيل التعلم من تلك التجربة
عدة مرات.
هذه ميزة أخرى لإعادة التجربة.
وبالطبع يتم اختبار الميزة النهائية.
تمنحك Replay فرصة للتعلم من تجارب أكثر مما لو كنت تتعلم منها فقط في كل مرة
، لأن لديك هذه المجموعة ، وبالتالي فهي نافذة متدرجة.
وبالتالي ، حتى إذا كانت بيئتك مقتصرة على التجربة ، فإن نهج إعادة التشغيل الخاص بك يمكن أن يساعدك
على التعلم بشكل أسرع.
وبدلاً من مجرد إعادة تكوين البيئة مرات عديدة ، يمكنك التعلم بشكل أسرع لأنك لست مضطرًا إلى
إعادتها.
لديك تلك التجارب المحفوظة.
هذه هي المزايا الرئيسية للتجربة.
اعادتها.
دعونا نلخص ذلك.
لدينا أننا كسرنا نمط الاستقلال و.
ارتباط التجارب المتسلسلة.
نحن نحفظ التجارب النادرة التي قد تكون مهمة ، وبالتالي يمكننا التعلم منها في كثير من الأحيان.
ويمكننا التعلم في البيئات.
يمكننا أن نتعلم البيئات الحاضنة التي هي خبرة ، والتي لديها نقص في الخبرات ، والتي لا تحتوي على الكثير من الخبرات
التي يمر بها الوكيل وما زلنا قادرين على تعلمها.
إذن هذا ما تدور حوله تجربة إعادة العرض.
إذا كنت ترغب في قراءة أكثر من ذلك بقليل ، فهناك مقال مثير للاهتمام نشرته DeepMind في عام
2016.
إنه يسمى إعادة عرض التجربة ذات الأولوية ، ويتحدث عن السبب.
لماذا نستخدم توزيعًا موحدًا لاختيار خبراتنا من مجموعة الخبرة؟
لماذا لا نجد طريقة أفضل لاختيار تجاربنا وإعطاء الأولوية لبعض التجارب التي
نشعر بأنها مهمة؟
ولذا فهو شيء مثير للاهتمام.
لذلك في هذه الحالة ، لن تكون قادرًا على تعزيز فقط ، وليس فقط تعزيز معرفتك بتجربة إعادة التشغيل ، ولكن
ستتمكن في الواقع من التحرك بأحدث التقنيات.
هذا عام 2016 ونشرته شركة Deep Mind.
لذا فهي ورقة حديثة جدًا وقوية جدًا.
لذلك ستكون قادرًا على استكشاف الحدود أو استكشاف المزيد من هذه الخوارزمية والانتقال بها إلى المستوى
التالي.
لذلك سأترك الأمر لك لمعرفة لماذا وكيف يمكننا تغيير التوزيع الموحد إلى نهج مختلف لتجربة إعادة التشغيل
من هذه الورقة ، إذا كنت ترغب في ذلك ، وآمل أن تستمتع ببرنامج اليوم التعليمي.
والآن نحن نعرف ما هي تجربة إعادة التشغيل ويمكننا استخدامها بثقة في دروسنا العملية.
وأنا أتطلع إلى رؤيتك في المرة القادمة.
حتى ذلك الحين ، استمتع.
أنا.