أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
في قصة اليوم ، نتحدث عن النهائي A في a3c ، نتحدث عن الميزة.
إذن ها هو.
لقد تحدثنا بالفعل عن الممثل والناقد وغير المتزامن سابقًا وببطء في طريقنا إلى ما سننظر
إليه اليوم.
ومع الميزة ، سنجمع كل شيء معًا.
لذلك هذا ما لدينا حتى الآن.
لدينا شبكة عصبية مشتركة بين الوكلاء ، الوكلاء غير المتزامنين ، ثم لدينا الناقد ، والذي
يتم مشاركته أيضًا بين الوكلاء.
إذن كيف يتم كل هذا ولماذا يتم تقاسم هذا النقد بين الوكلاء؟
دعونا نلقي نظرة على ذلك.
حسنًا ، افهم هذا بشكل أفضل.
سنلقي نظرة على مثال.
سننظر إلى هذا الوكيل ، على سبيل المثال ، ونرى ما سيحدث عندما يكون في حالة معينة ويحتاج إلى اتخاذ
قرار بشأن الإجراء الذي سيلعبه.
إذن هذا الوكيل في حالة.
يرى هذه الصورة.
ثم ما يحدث هو أن هذه المعلومات تذهب إلى الشبكة العصبية ، ثم تمر عبر الطبقة التلافيفية
، ثم تنتقل إلى طبقة التجميع ، ثم تنتقل إلى طبقة التسطيح.
وبعد ذلك ينتقل من هناك إلى الطبقات المخفية للشبكة العصبية.
وبعد ذلك ، كمخرج ، يحصل على كل قيم السياسة هذه ، القيم أو السياسة ، وأيضًا يحصل
على القيمة ، القيمة النقدية.
وهكذا ، كما نعلم ، الشبكات العصبية ، لكي تعمل ، تحتاج إلى نشر بعض الأخطاء أو الخسائر مرة
أخرى عبر الشبكة.
وبهذه الطريقة ، من أجل تحديث الأوزان ، فما هي الأوزان أو ما هي الخسائر التي سنتعامل
معها هنا؟
حسنًا ، لدينا خسارتان.
لدينا خسارة القيمة وخسارة السياسة.
لذا فإن خسارة القيمة مرتبطة بخسارة سياسة القيمة مرتبطة بالسياسة.
وبالتالي ، فإن قيمة الخسارة ، تعاملنا معها من قبل.
نعلم أن لدينا مكافآت ونعلم أن لدينا عامل خصم.
إذن ، هذا مشابه جدًا لما كنا نتحدث عنه في دروس التعلم العميق.
بشكل أساسي ، تتوقع الشبكة قيمة معينة V وفي نفس الوقت يمكننا تقدير ما يجب أن يعتمد على ما
نعرفه عن البيئة حتى الآن.
يمكننا تقدير القيمة التي يجب أن تكون عليها V في الحالة وبمقارنة الاثنين يمكننا حساب خسارة القيمة
ثم إعادة نشر الشبكة وتحديث الأوزان.
هذا واضح ومباشر.
الشيء الجديد هنا هو خسارة السياسة.
إذن ما هي خسارة السياسة هذه وكيف تعمل؟
حسنًا ، هذا هو الجزء الذي سيظهر فيه هذا الموقف برمته ، حيث يتم مشاركة
النقد بين الممثلين أو بين الوكلاء.
لفهم فقدان السياسة ، نحتاج إلى تقديم قيمة تسمى الميزة ، ومن هنا جاء اسم هذا الجزء من هذا
البرنامج التعليمي وهذا الجزء الكامل من الخوارزمية.
يتم حساب الميزة والميزة على أنها Q لـ S و A ناقص V لـ S.
إذن ، بشكل أساسي ، قيمة Q التي اخترتها لتشغيل الإجراء الذي اخترت تشغيله في الحالة التي تكون فيها ، على سبيل
المثال ، مطروحًا منها قيمة تلك الحالة.
إذن هذا هو الفرق بين الاثنين وهذا ما يسمى بالميزة.
ويتم استخدام الميزة في حساب خسارة السياسة.
الآن ، لن ندخل في معادلة حساب خسارة السياسة لأنها معقدة للغاية.
إنه يستخدم الانتروبيا أو يمكنه استخدام الانتروبيا ليس بالضرورة.
لن نقوم بتشريح هذه الصيغة ، لكننا سنفهم ذلك على مستوى حدسي.
لماذا نفعل ذلك؟
لماذا نحسب هذه الميزة وكيف ستساعدنا؟
حسنًا ، دعنا ننظر إلى هذا لثانية.
تأتي قيمة Q هنا مما تنبأت به الشبكة العصبية لهذا العامل.
لذلك تنبأ في هذا الإجراء المحدد ، في هذه الحالة المحددة للعمل الذي يمكن أن يلعبه.
لذلك لديه هذه الإجراءات ويمكنه اختيار واحد منهم ويمكنه تشغيله بشكل جيد.
في حين أن قيمة V هي القيمة التي يمليها الناقد.
إنها القيمة التي لدينا هنا في هذا الجزء المشترك.
وهذا هو المفتاح هنا ، أن هذا الجزء مشترك.
لذا فإن الناقد لأن هذه هي الطريقة التي يلعب بها الناقد ، لأن لدينا قيمة نختارها أو الفعل الذي
نختار أن نلعبه لهذا الوكيل في تلك الحالة.
لكن بعد ذلك يمكن للناقد أن يخبرنا ما هي القيمة المعروفة لتلك الدولة؟
ما القيمة الإجمالية المعروفة لهذه المجموعة الكاملة من العملاء الذين يؤدون أداءً معًا؟
لأنهم يشاركون ليس فقط لأنهم يشاركون الطبيعة ، ولكن لأنهم يشاركون الناقد.
إنهم جميعًا يساهمون في هذا في هذه القيم التي يتم حسابها لمواقع مختلفة.
لذا فإن خوارزمية a3c بأكملها تقول ، حسنًا ، لذا يعرف الناقد قيمة V.
ما مقدار قيمة Q التي تختارها بشكل أفضل مقارنة بقيمة V المعروفة؟
هذا ما يقوله.
هذا هو الأساس.
حسنًا ، سأقوم بتحديد قيمة Q هنا بناءً على سياستي ، بناءً على ما إذا كان كل ما نستخدمه مثل
وظيفة soft max أو سياسة جشع epsilon أو شيء من هذا القبيل ، وبالطبع سيكون هناك
استكشاف بالإضافة إلى الاستغلال مجتمعين هناك ، لكننا نختار قيمة Q والآن السؤال
هو ما هو الزائد؟
ما هذا؟
الأفضلية لفرصة الجري.
ما هي الميزة التي يجلبها الإجراء الذي اخترته مقارنة بالقيمة المعروفة لتلك الحالة؟
وهذا هو جوهر الميزة.
وبعد ذلك يتم استخدام ذلك بشكل أساسي لحساب خسارة السياسة ومن ثم يتم إعادة نشر خسارة السياسة مرة
أخرى عبر الشبكة.
لذلك تم نشرهما مرة أخرى عبر الشبكة ويتم تعديل الأوزان من أجل تمثيل الشبكة
بشكل أفضل لقيمة الناقد.
وهذا هو الجزء العلوي أيضًا.
ولكن هذا أيضًا جزء من المفتاح هنا هو أن القيمة والأوزان تعود عندما تنتشر خسائر السياسة مرة
أخرى.
يتم تعديل الأوزان بهذه الطريقة بحيث يتم تعظيم هذه الميزة.
هذا هو الجانب البديهي للفهم البديهي لها ، أننا نعود إلى نشر خسارة
السياسة هذه عبر الشبكة من أجل المساعدة في تعظيم هذه الميزة.
وما يعنيه ذلك في الأساس هو أنه عندما يصادف عامل ما أفعالًا سيئة ، مثل الإجراءات التي تكون
فيها قيمة Q أقل من القيمة المعروفة لهذه الحالة.
لذا ، في الأساس ، تعرف الخوارزمية بأكملها أن قيمة الحالة هي شيء X ثم فجأة صادفت
إجراءً سيئًا للغاية وقمت بـ ، اخترت إجراءً سيئًا.
وما يعنيه ذلك لخوارزمية a3c ، حسنًا ، لماذا نفعل شيئًا كهذا عندما يكون
أسوأ مما نعرفه بالفعل عن هذه البيئة بأكملها وما كان بإمكاننا فعله.
لذلك لا ينبغي أن نفعل المزيد من ذلك.
وبالتالي يتم تعديل الأوزان بطريقة ما.
لذا فإن هذا يحدث بشكل نادر بحيث يكون أقل ندرة.
إذن هذا هو التكرار الأقل تكرارًا الذي نختار فيه هذا الإجراء السيئ.
من ناحية أخرى ، إذا اخترت إجراءً جيدًا للغاية حيث تكون قيمة Q أكبر من V أو
أكبر بكثير مما تم الانتقال إليه أثناء هذا الانتشار الخلفي لخسارة
السياسة عبر الشبكة ، فسيتم تحديث الأوزان بطريقة تعزز ذلك ، للتشجيع ، طمئن إلى حدوث ذلك مرة أخرى حتى يتم تعديل الأوزان
بهذه الطريقة.
لذا ستفكر خوارزمية C الثلاثة ، أوه ، واو ، كان هذا رائعًا حقًا.
كانت الميزة عالية جدًا هناك.
يجب أن أفعل المزيد من ذلك ، وبالتالي فإنه سيتم تحديث الأوزان بطريقة من المرجح أن يحدث هذا
الإجراء في المستقبل.
وهكذا ، فهذه هي الطريقة التي تسير بها الشبكة ببطء ، وتتكيف ببطء وتبدأ ببطء في بناء نفسها
في شيء يحسب القيمة بشكل صحيح من ناحية ثم من ناحية أخرى ، أو بشكل
صحيح قدر الإمكان.
ومن ناحية أخرى ، فإنه يشجع أو لديه إجراءات لها ميزة عالية.
لذا ها نحن ذا.
هذا هو هذا الجزء.
والآن دعونا نلقي نظرة على واحدة أخرى فقط لتعزيز ما ناقشناه للتو.
لذلك دعونا نلقي نظرة على الجزء العلوي.
نفس الشيء هنا.
الوكيل الأعلى يرى الموقف.
الدولة في حالة ومن ثم تحتاج إلى أن تقرر ما يجب القيام به.
لذلك يرسل هذه المعلومات إلى الشبكة.
إذن هذه الصورة تنتقل إلى الشبكة ، وتنتقل إلى طبقة تجميع الطبقات الالتفافية ، وتسطيح
الطبقة ، وتذهب إلى الطبقات المخفية.
ثم من هنا نحصل على مخرجات ، نحصل على قيم Q للسياسة ، نحصل على القيم مرة أخرى ، نفس
الشيء.
لدينا خسارتان.
لقد حصلنا على خسارة القيمة هنا ، صقل الخسارة التي هي هنا خسارة القيمة.
نحن نعلم بالفعل كيف يتم حسابها وناقشنا هذا في التعلم العميق وناقشنا هذا
الآن أيضًا.
هذه هي الطريقة التي يتم بها حساب القيمة.
ثم خسارة السياسة ، مرة أخرى ، من أجل حساب ما لن نذهب إليه في المنتدى ، ولكن على
المستوى البديهي نحسب الميزة وهي OC لذلك اتخذنا إجراءً معينًا ، واخترنا إجراءً معينًا بناءً
على سياسة الاختيار الخاصة بنا ، سواء كانت ناعمة أو حد أقصى أو إبسيلون
أو جشع أو أي سياسة اختيار أخرى نستخدمها.
ثم ما هو الإجراء الذي اتخذناه؟
لنقارنها الآن بالقيمة المعروفة للدولة ، والتي تأتي من الناقد المشترك.
لذا فإن هذا الناقد يشبه نوعًا ما ، إذا فكرت في الأمر ، فهو نوعًا ما يراقب كل هؤلاء العملاء في
نفس الوقت.
إنه ينظر إلى هذا ، ينظر إلى هذا ، هذا.
إنهم جميعًا يساهمون في مساعدة الناقد لجعل الناقد أكثر سرعة في التعامل
مع البيئة ، للتأكد من أن الناقد يمثل ما يحدث في البيئة الفعلية بحيث تكون الأوزان
التي هذا هو المكان الذي تأتي فيه خسارة القيمة في ، بحيث تعكس أوزان الشبكة العصبية
الفعلية التي تعكسها بشكل جيد للغاية ، الوضع الفعلي للأشياء في البيئة بحيث يمكنهم الاعتماد على هذه القيمة
ثم استخدامها هنا.
وهكذا فإن كل هؤلاء العملاء ، كل هؤلاء العملاء يساهمون في هذا الناقد.
ولكن بعد ذلك في نفس الوقت ، من خلال خسارة القيمة هذه ، ولكن في نفس الوقت ، فإن الناقد
يراقب قرارات أو سياسات هؤلاء العملاء كما لو كنت أعود إلى الوراء كما لو كنت أحاول الرسم
مثل السهم إلى السياسة ، سهم ، سهم.
إنه ينظر إليهم ، في القرارات التي يتخذونها.
إنه ينتقد هذه القرارات من خلال الميزة.
إنه يقول ، حسنًا ، لقد اتخذت قرارًا ، واخترت هذا ، واخترت هذا الإجراء.
ذلك رائع.
الآن دعونا نحسب ميزة أو عيب الفرع.
هذا يساوي قيمة Q لقراري الذي اتخذته أو الخيار الذي اتخذته.
الإجراء الذي قمت به اختار ناقص القيمة المعروفة للناقد.
القيمة المعروفة للناقد.
لذا احسب الفرق.
إذا كان هناك فرق بسيط في سياستك ، فعندما يتم إعادة نشر خسارة السياسة الخاصة بك عبر الشبكة ، فإن الطريقة
التي سيتم تعديلها بها ستشجع على تعديل الأوزان بطريقة لا تحدث
مرة أخرى ، بحيث .
س قيمة أو ذاك.
ستكون قيمة Q أقل.
لذلك نظرًا لأن سياستنا تحدد الإجراءات بناءً على قيم Q ، فكلما ارتفعت قيمة Q ، زاد
احتمال اختيارها.
لذلك إذا كنا نستخدم مثل سياسة ARG max ، فسنختار دائمًا السياسة ذات الأعلى.
كما تتذكر ، ناقشنا هذا ، ثم سنختار دائمًا واحدًا ذو أعلى قيمة ، لكننا
في الواقع نستخدم نهجًا احتماليًا ، في حين أنهم يستخدمون سياسة جشع soft max أو epsilon؟
ومن ثم فنحن نختار بشكل أساسي المكان الذي يمكننا فيه اختيار أي واحد منهم.
ولكن كلما زادت قيمة Q ، كان ذلك أفضل.
لذلك إذا حددنا شيئًا ثم كانت الميزة منخفضة جدًا ، ثم bam ، فسيتم تحديث الشبكة
بطريقة تجعل في المرة القادمة قيمة Q هذه ، سيكون إجراء معين أقل وربما يكون هناك
شيء آخر أكثر.
هذه هي الطريقة التي يتم بها ذلك.
ومن ناحية أخرى ، إذا حددنا شيئًا ما حيث ستكون الميزة عالية ، فسيؤدي ذلك إلى خسارة
السياسة ومن ثم سيتم تحديث الشبكة.
لذلك يتم ملاحظة ذلك بشكل أكثر شيوعًا مثل السيناريو.
وبالتالي ، فإن هذه الخسارة الكاملة في السياسة تساعد الشبكة على التكيف أو التحول بطريقة تجعلنا نفعل المزيد من الأشياء
الجيدة ، والأفعال الجيدة ، والأشياء الجيدة ، ونفعل القليل من الأشياء السيئة.
وهذه هي الطريقة التي تدخل بها هاتان الخسارتان وهذه هي الطريقة التي ينتشران بها مرة أخرى.
لذلك نأمل أن يتضح ذلك بطريقة بديهية للغاية.
بالطبع ، لم ندخل في الصيغ إلى الرياضيات المعقدة وراء كل هذا ونحب التفاصيل
المعقدة للغاية.
لكن في نفس الوقت ، وبطريقة بديهية وبديهية ، كل هذا يوضح
سبب وجود الممثل والناقد وكيفية تفاعلهما معًا ، أن لديك هؤلاء العملاء بشكل متزامن.
إذن هذا هو الجانب المتزامن للأشياء.
هذا ، كما تعلم ، هذا هو ممثلك وناقدك وهذه هي مصلحتك وكيف يلعب
كل ذلك.
لذا فهذه عوامل متزامنة.
إنهم يلعبون هذا أو يستكشفون البيئة ويعملون من خلال البيئة.
وهم جميعًا يساهمون كليًا في الناقد ، الذي يراقب سياساتهم ،
ويراقب الفاعلين ، وهو ما يسمى هذا ، ومن خلال الميزة.
وبالتالي ، عند الخروج بخسارة السياسة هذه ثم فقدان السياسة والقيمة
، يتم نشرها مرة أخرى لتعديل الشبكة لكي تمثل ، من ناحية ، الطريقة الحقيقية للأشياء في البيئة ،
من ناحية أخرى ، تحسين أداء الممثلين.
لذا ها نحن ذا.
هذه خلاصة سريعة للحدس الذي ناقشناه.
ومرة أخرى ، آمل أن يكون كل هذا معًا على مستوى حدسي.
وبالطبع ، في الدروس العملية ، سنتحدث أكثر عن كيفية عمل كل هذا.
وسيرشدك أدلون خلال هذا ، عملية بناء هذا ، لكن وجود هذه الصورة في ذهنك وهذا النوع
من خارطة الطريق لكل شيء ، كيف يتحد كل شيء سيكون جيدًا ، يجب أن يكون كذلك.
آمل أن يكون من المفيد جدًا لك التنقل بشكل أفضل في الجانب العملي للأشياء.
ومن حيث القراءة الإضافية لهذا اليوم ، لدينا عنصرين.
لذا فإن الأول هو الأفضل.
إذن لدينا هنا تحكم مستمر عالي الأبعاد باستخدام تقدير الميزة المعمم بواسطة
جون شولمان.
وهذه صورة لشكل عصا يقف ، مثل الوقوف.
وهنا يمكنك العثور على المزيد حول المزايا والمزايا وستكتشف الأنواع المختلفة
من المزايا.
إذاً لديك تقدير الميزة العامة ، لديك مزايا تستخدمها بالفعل في ، في الصيغ
، في الحساب.
لذلك إذا كنت ترغب في معرفة المزيد عن الميزة وكيف تعمل بالضبط ، والصيغ
التي تقف وراءها وبعض العناصر أو الصيغ العلوية أو العلوية وتعرف كيف في مساحة هذه الميزة التي ناقشناها ، فهذه هي المقالة
اذهب إلى.
وهناك عنصر آخر آخر أو جزء من العمل أردنا أن نذكرك به هو المدونة ، وهي سلسلة من منشورات المدونة بواسطة آرثر جولياني
، والتي ذكرناها عدة مرات بالفعل.
هذا هو الجزء الثامن ، الذي يتحدث بالتحديد عن a3c.
لذا هنا يمكنك الحصول على تفسير آخر.
لذلك مع المزيد من الرياضيات حول ما يحدث وربما يمكنك التقاط بعض الأشياء الإضافية من
هنا.
شيئين فقط لأخذهما في الاعتبار.
بادئ ذي بدء ، كما هو الحال دائمًا ، هذه المدونة موجودة في TensorFlow ، بينما نستخدم PyTorch.
لذا ضع ذلك في الاعتبار.
والشيء الثاني هو أن الطريقة التي نظمنا بها نهجنا هي أننا تحدثنا عن الناقد النشط
أولاً ، ثم تحدثنا عن التزامن ثم تحدثنا عن الميزة.
بينما يتحدث آرثر في مدونته أولاً عن ناقد وميزة متزامنة وفعلية.
لذا ضع ذلك في الاعتبار.
لذا آمل أن هذا لا يرميك.
لكن بخلاف ذلك ، بالطبع ، إنه جزء رائع من المحتوى ونحن نوصي بشدة بمراجعته للحصول على
بعض المعلومات الإضافية.
لذا ها نحن ذا.
أتمنى أن تستمتع ببرنامج اليوم التعليمي وأتطلع إلى رؤيتك في المرة القادمة.
حتى ذلك الحين ، استمتع بـ I.