أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
في البرنامج التعليمي اليوم ، سنستمتع ببعض المرح.
سنلقي نظرة على ذكاء اصطناعي يمر بالفعل بتلك المتاهة التي تحدثنا عنها
منذ فترة طويلة.
وستستخدم التعلم الأساسي للتنقل في طريقها وإيجاد مخرج.
وسنرى ما سيحدث لقيم التلميح ، وماذا سيحدث للسياسة وما إلى ذلك.
لذلك دعونا نلقي نظرة.
سنستخدم بعض المواد التي قدمتها لنا جامعة بيركلي.
لذا إذا ذهبت إلى I، Berkeley، B، r k e l e y edu ، إذا ذهبت للتو إلى هذا الرابط ، أدخل ، سترى موقع الويب
هذا.
وهنا ما سنبحث عنه هو الذهاب إلى مشاريع بكمن ، على ما أعتقد.
نعم.
مشاريع البوكيمون.
وهنا إذا قمت بالتمرير لأسفل ونظرت إلى التعلم المعزز ، فهذا ما نعمل معه.
حتى هنا يمكنك تنزيل أرشيف مضغوط.
لذلك هذا إذا كنت تريد ذلك ، فلا داعي لذلك.
هذا لن نتطرق إلى الحل معًا في هذا البرنامج التعليمي.
أنا فقط أخبرك من أين يأتي كل هذا لأننا متشابهين جدًا ، نحن نقدر حقًا أن جامعة
كاليفورنيا في بيركلي أتاحت هذه المواد.
ولكن إذا كنت ترغب في تجربة هذا بنفسك ، فقط ضع في اعتبارك أن هذا ليس جزءًا ولن يكون جزءًا من دورتنا
التدريبية.
هذا جزء من دورة بيركلي.
سأريكم فقط كيف يعمل لأغراض التوضيح.
ولكن إذا كنت ترغب في تجربة ذلك ، فيمكنك العثور عليه هنا ، والأرشيف المضغوط وجميع التعليمات
أيضًا.
وسنذهب إلى بايثون على الفور.
وأول شيء أردت أن أوضحه لكم هو أننا هنا لدينا معلومات الترخيص.
إذن هذا ما أعنيه.
نحن محظوظون جدًا لأنهم قالوا إننا أحرار في استخدام أو تمديد هذه المشاريع للأغراض التعليمية
المقدمة ، كما تعلمون ، الحلول الموزعة ، والتي لن نقوم بها.
أنت تحتفظ بهذا الإشعار الذي لدينا وأنت تقدم إسنادًا واضحًا إلى جامعة كاليفورنيا في بيركلي ، بما في ذلك الرابط
الذي لدينا أيضًا.
لذا مرة أخرى ، إذا كنت ترغب في معرفة المزيد ، فهناك ارتباط يمكنك إلقاء نظرة عليه.
وشكراً جزيلاً لكل هؤلاء الأشخاص الذين عملوا في هذا المشروع.
إذن هذا هو عالم الشبكة الذي سنعمل معه.
هناك حل هناك.
سيكون عليك أن تنجح ، عليك إما عزل نفسك أو إيجاد
حل.
ربما يساعدك بعضكم أو بعض الأشخاص ، شخص ما تعرفه على الخروج من ذلك إذا كنت تريد ذلك مرة أخرى.
لست مضطرًا لذلك ، لأننا سنلقي نظرة عليه على هذه الشاشة الآن.
لذلك بعد إنشاء كل هذه الملفات ، يمكننا تشغيلها هنا.
لذلك هناك بعض المعايير التي تشارك في هذا العالم كله.
والآن سأريكم فقط كيف سيبدو إذا أطلقناه.
لذلك دعونا نحاول تشغيله في الوضع اليدوي.
لذلك إذا ذهبت ناقص م إحدى هذه المعلمات هنا يدويًا حتى أتمكن من التحكم في العامل يدويًا.
هنا يمكنك أن ترى شبكتنا.
لذلك يمكنني الصعود.
لذا يمكنك أن ترى أنها تتخذ إجراءات ، تبدأ وتبدأ في الدول التي كنت فيها.
وبعد ذلك رأيت أنني ضغطت ، واتخذت إجراءات شمالًا وفي المرة الأولى انتهى بي الأمر إلى الصفر.
لذلك صعدت.
لكن في المرة الثانية توقفت عن اتخاذ إجراء وانتهيت في نفس الحالة.
لم أتحرك.
لذلك حدث شيء ما.
العشوائية حدثت.
ذهبت إلى اليسار أو اليمين ، ويتم تعيين المعلمات افتراضيًا.
يمكنك أن ترى هنا افتراضيًا أنها مضبوطة على ما ناقشناه بالضبط وهو أن عدد المرات التي ينتج فيها الإجراء في اتجاه
غير مقصود 20٪ من الوقت ، و 10٪ إلى اليسار ، و 10٪ إلى اليمين.
لذا إذا صعدت ، كما ترى ، فقد صعدت ، وسأذهب إلى اليمين.
ذهبت الآن.
لم يحدث ذلك بشكل صحيح وصحيح.
وانتهيت.
ولكن في هذا التطبيق ، عليك النقر مرة أخرى للخروج من هذا الناتج النهائي.
لذلك من الخروج ، ما عليك سوى النقر مرة أخرى وتنتهي.
هذه حالة طرفية حتى نتمكن من تشغيل دليل.
يمكنك أن ترى أنه إذا ذهبت يمينًا ، يمينًا ، يمينًا ، يسارًا.
إذن هنا ما رأيناه سابقًا أن الوكيل لن يتقدم بشكل مستقيم ، أليس كذلك؟
ما الهدف من الصعود إذا كانت هناك فرصة للذهاب إلى الحفرة؟
لذلك دعونا نرى ما سيفعله الوكيل.
ستذهب يسارًا ، وستتجه غربًا هنا ، لذا اذهب غربًا.
وكما ترون ، لقد نقرت على اليسار ، لكنها ارتفعت وهنا سأضغط على اليمين وسأنتهي في حالة الخروج النهائية
وترى أنني حصلت على مكافأة تساوي واحدًا.
هذا ما يبدو عليه يدويًا.
الآن دعنا في الواقع نربط ذكاءً اصطناعيًا بهذا الأمر ونتركه يمر.
فلنقم بحرف H هنا ونضيف بعض المعلمات.
لذلك اسمحوا لي فقط أن أرى ما كتبته هنا.
لذا ، آمل أن تتمكن من رؤية شبكة عالم شبكة الثعبان النقطة P ، ثم هنا ناقص R يعني أن هذه هي المكافأة للعيش.
لقد حصلت على اثنين منهم ، لذلك ربما ينبغي علي إزالة هذا.
إذن ناقص K هو كم عدد التكرارات؟
هذا هو الطريق الكثير من التكرارات.
لنفعل أقل.
دعنا نحب عشر تكرارات.
ينبغي أن يكون كافيا.
مطروحًا منه وكيل ما هو نوع الوكيل الذي أريد القيام به على وكيل عشوائي ، أو عامل قيمة
ما أو Q Q ، لذا فأنا أريد أن يقوم وكيل التعلم Q Q بعمل هذا ناقص s ما هي السرعة.
لذا فهذه طريقة سريعة جدًا.
دعنا فقط نستخدم السرعة الافتراضية في الوقت الحالي.
ناقص R عقوبة حية.
لذلك بشكل افتراضي هو صفر.
لذا تذكر منذ البداية أننا بدأنا بدون عقوبة حية.
فلنسميها أيضًا صفرًا.
هنا يمكننا فقط إزالة هذه المعلمة و dx هو ما هو خصم DX.
لذلك عامل الخصم لدينا.
لذلك دعونا نحتفظ بها عند 0. 9.
يشبه إلى حد بعيد ما بدأناه في هذا القسم من الدورة.
لذلك دعونا نجري بهذه الطريقة بسرعة كبيرة مرة أخرى.
أظن.
أوه ، في الواقع ، إنها جميلة جدًا.
لذا يمكنك أن ترى كيف يستكشف.
وحتى الآن فقد ضرب السالب ثلاث مرات.
ويمكنك أن ترى كيف يتم تحديث قيم Q في هذه المربعات.
إذن هذه قيم.
يبدأون بصفر.
يمكنك الآن رؤية قيم Q.
لقد تعلم أنه مرة أخرى ، تم تنفيذ هذا بشكل مختلف قليلاً لأنه بمجرد وصولك إلى المرحلة النهائية
، يجب عليك الخروج منها.
عليك فقط النقر فوق زر آخر للخروج.
ولذا فهي قريبة جدًا من واحدة ، ولكنها ليست واحدة تمامًا.
لكن في نفس الوقت ، يمكنك أن ترى أنه هنا ، كما تعلم ، القيمة تتبلور
ببطء نوعًا ما في 0. من الواضح أن الرقم 8 يصل إلى مكان ما ، لكن البقية حتى الآن هي نوع
من الأصفار لأنه لا يملك معلومات كافية لفهم ما يجري.
تمام.
فلنرَ ما سيحدث هنا.
استكشاف واستكشاف واستكشاف ما سيحدث.
ماذا كان يجري لفترة من الوقت.
ولا تنس أن هناك بعض العشوائية المتضمنة هنا.
لذلك هناك ضرب هذا جيد عدة مرات الآن.
يحصل على عشرة تكرارات فقط ، لذلك عليه أن يتعلم بسرعة.
أحتاجك هناك.
دعونا نرى ما يحدث.
هيا.
اخرج من تلك المتاهة بالفعل.
ونعم عشر حلقات لذا متوسط العوائد لا يهمنا حقًا ذلك.
لذلك دعونا نرى أنني لم أرهم من قبل.
إذا نقرت هناك نذهب.
لذلك يمكنك أن ترى أن هذه هي السياسة التي توصل إليها حتى من خلال عشر حلقات فقط.
لديه بالفعل سياسة.
حسنًا ، سأذهب إلى با با با باوم.
وها أنا ذاهب إلى الأسفل هنا.
سأذهب إلى هنا.
سأذهب إلى الحائط وبعد ذلك سأقفز هنا.
هذا رائع.
فلنزيد الآن السرعة.
ماذا كانت المعلمة sx هناك ودعونا نحب المضاعفة.
حسنًا ، دعنا نضاعف السرعة أربع مرات ودعنا نزيد عدد التكرارات.
لنفترض أن 20 تكرارًا هذه المرة.
دعنا نرى ما إذا كان بإمكانه تجاوز الأمر قليلاً الآن حتى تتمكن من رؤية أنه يسير بشكل أسرع قليلاً.
وهو يتعلم.
إنه يتعلم أنه ليس خارج هذه الحالة حقًا.
ليس هناك الكثير من الأفعال الجيدة أو هذه الأفعال التي لا تكون صحيحة ومباشرة.
بالتااكيد.
هذا بالتأكيد ليس جيدا
لا يزال بحاجة لتعلم ذلك.
لذا من هنا فهو جيد أيضًا.
يمكنك أن ترى أن هذا الإجراء جيد جدًا.
حسنا.
ماذا حصل؟
حسنًا ، سياسة مثيرة للاهتمام هنا.
يقرر الصعود.
فقط ليست معلومات كافية.
لذلك دعونا.
دعونا نعيد ذلك.
ودعنا نزيد السرعة إلى 100.
لذلك فهو سريع للغاية.
وسيمنحهم عدد التكرارات 100 تكرار من STEM لتشغيل هذا المشهد بسرعة
جنونية.
ويمكنك أن ترى ذلك لأن هناك الكثير من التكرارات.
لقد حصل على مزيد من المعلومات ، والمزيد من الفرص للتجربة وبناء هذه المصفوفة أو المصفوفة ،
وقيم قائمة الانتظار هذه لكل حالة يعرفها الآن.
يمكنك أن ترى أن 0. 89.
ما قلناه في مثالنا يشبه 0. 86.
شيء آخر لتذكر هذا أن قيمة أي دولة معينة.
تذكر أن الصيغة التي لدينا هي الحد الأقصى لقيم Q.
تذكر أن الشيء الذي توصلنا إليه مع صيغة الاختصار.
إذن ما هي القيمة في هذه الحالة؟
الخامس لهذه الحالة ، سيكون 0. 89 لأن هذا هو الأعلى من بين الأربعة.
هنا ، قيمة هذه الحالة هي 0. 71.
قيمة هذه الحالة هي 0. 61 وما إلى ذلك.
لذلك هذا شيء يجب تذكره.
لذلك أتذكر في مثالنا ، أعتقد أن لدينا مثل 0. 86 أو شيء من هذا القبيل ، قريب جدًا جدًا.
ولذا إذا ذهبنا بعد ذلك إلى هنا ، فقد اختفى أو اختفى.
لنفعلها مرة أخرى ونجعلها تعود.
تمام؟
تمام.
ببطء ، ببطء ، ببطء.
ملء بعض المساحات.
أرى.
وهي أيضًا عشوائية جدًا لأن البيئة ليست فقط بها عشوائية ، ولكن أيضًا الطريقة التي
يستكشف بها في البداية عندما لا يعرف السياسة هي أنه يستكشف عشوائيًا.
إنه فقط يستمر في الاختفاء.
لا افهم لماذا.
على أي حال ، دعونا نرى ما سيحدث إذا زدنا العدد هنا وهنا يجب أن يأخذ نفس القدر
من الوقت.
إذا لم يكن هناك حد أقصى للسرعة.
لذلك يمكنك أن ترى أن لديه المزيد من الفرص لاستكشاف الأشياء.
OC لنرى كيف سارت الأمور كلها ويمكنك أن ترى أن القيم تتقارب.
إنهم يرتفعون وينخفضون حسب ، كما تعلمون ، لأن هناك بعض العشوائية وقد ينتهي به
الأمر كما هو الحال في الحفرة ، على الرغم من أنه يسير على هذا النحو ، ولكن في نفس الوقت يبدأون
ببطء في الالتقاء إلى نوع من النهاية القيم و.
س القيم؟
OC من المحتمل أن يكون 1000 أكثر من اللازم من حيث الوقت.
لا يبدو أن السرعة تتزايد بشكل متناسب أيضًا.
لذلك قد يقطع هذا الجزء.
أعني ، مثل تقليل السرعة.
نعم.
في حين أن هذا طويل جدا.
لست مضطرًا إلى المشاهدة حتى نهاية هذا البرنامج التعليمي.
أنا فقط أريد أن أجرب قليلا.
لذا لأعطيكم بعض الأمثلة لما كنا نعمل من خلاله ، لكنك تحصل على النقطة التي يمر
بها كل هذا.
لديها بعض العشوائية ، مثل ذاكرة الوصول العشوائي مدمجة في سلوكها.
لذلك حتى عندما يكون لها مثل السياسة ، فإنها ستستمر في الاستكشاف.
لذلك لن يكون الأمر كما لو أنه بمجرد أن يكون لديه سياسة أساسية ، فلن يستمر فقط في اتباع سياسته.
ستستمر في تجربة الاختلافات الأخرى من حين لآخر من أجل تعزيز سياستها.
ربما لم يتم العثور على أفضل سياسة بالفعل على الفور.
ربما يمكن أن تحسن السياسة.
ولهذا السبب ، حتى بعد العديد من التكرارات ، لا يزال بإمكانك رؤية بعض التأثيرات العشوائية.
ينتقل أحيانًا إلى حالات عشوائية ، ليس فقط بسبب العشوائية في البيئة
، ولكن أيضًا بسبب وجود مستوى ما مثل المعامل الذي يمكنك التحكم فيه ، والذي يمكنك
إعداده لوكيلك ، قائلاً إنه في معظم الأحيان ، 80٪ في ذلك الوقت ، افعل ما تطلبه منك سياستك.
ولكن 20٪ من الوقت ، كما تعلم ، قم فقط ببعض التجارب الممتعة وشاهد ما يحدث واستخدم تلك
المعلومات التي تجمعها لتحديث سياستك.
تمام.
هذا يستغرق وقتا طويلا.
لنحاول ذلك مرة أخرى.
نعم.
هذه هي الطريقة التي يتعلم بها الوكيل في حالات مختلفة.
يمكن.
دعنا فقط نجري واحدة أخرى بدافع الفضول.
فهل هناك أي شيء آخر يمكننا تغييره حيال ذلك؟
التكرارات لهم.
OC OC.
لنلقي نظرة.
نعم ، حسنًا ، يمكننا تغيير الخصم ، على سبيل المثال.
لذلك في هذه الحالة ، يمكننا القول.
K -100 ناقص a q ناقص ناقص يساوي ألف فقط.
لذا مكافأة.
نريد الاحتفاظ بها.
ربما دعونا نحتفظ بها عند 0. 04 ، ولكن دعنا نقولها مرة أخرى.
دعنا نحافظ على المكافأة عند -0. 04 في كل مرة.
ثم هنا نقول أن د.
الخصم ليس 0. 9 ، لكنها مثل 0 .. 5.
لذلك يتم خصمها كثيرًا أثناء تقدمك في اللعبة.
لذلك في الواقع سيتم تحفيزها الآن لتكون أقرب إلى النهاية بدلاً من زيادة الحالات التي اقتربت من الانتهاء ، وسوف نحصل
على قيمة أعلى.
لذلك يمكنك أن ترى أن القيمة تنخفض بسرعة.
إنه ليس أخضر كما كان من قبل.
هنا يمكنك أن ترى أن هذه هي السياسة الآن.
هكذا تسير الأمور هكذا ، هكذا ، هكذا ، هكذا ، هكذا.
يشبه إلى حد كبير ما رأيناه من قبل.
ربما يكون الاختلاف الوحيد من هنا هو القفز مباشرة إلى هنا.
إذن هذا هو ذلك.
ودعونا نجري واحدة أخرى.
هذا ممتع جدا.
دعنا فقط نجري واحدة أخرى.
لذا.
K ناقص k 100 a q خصم.
احتفظ بها كما كانت أصلية.
لذلك اسمحوا لي فقط بتشغيل هذا الإعداد الأساسي للفانيليا.
OC O OC انها ذاهبة.
دعنا نرى ما إذا كانت ستظهر لنا السياسة في النهاية.
نعم.
لقد حصلنا على السياسة.
نعم.
نهاية جيدة.
إذن لدينا هنا السياسة.
كما تعلم ، هذا مألوف.
تذكر ذلك الوقت عندما رأينا أن الذكاء الاصطناعي يفوق الإنسان ، ذهب إلى الحائط ليذهب
إلى هناك ويدخل في الحائط ليذهب هكذا ، لزيادة الاحتمالية.
لذا ها نحن ذا.
هذا مثال على الذكاء الاصطناعي في العمل.
بسيط جدًا ، بسيط جدًا ، تعلم القتل.
لذلك لا يوجد تعلم عميق في هذه المرحلة.
لكن في الوقت نفسه ، فهي بالفعل ذكية جدًا.
وآمل أن تستمتع ببرنامج تعليمي اليوم.
ومرة أخرى ، شكرًا لجامعة كاليفورنيا في بيركلي وآمل أن تكون قد استمتعت ببرنامج اليوم التعليمي وأتطلع إلى رؤيتك في
المرة القادمة.
حتى ذلك الحين ، استمتع.
أنا.