أهلا ومرحبا بكم في هذا البرنامج التعليمي.
في البرنامج التعليمي اليوم ، سنقوم بالمزامنة مع النموذج المشترك.
إذن ما سنفعله هو نفس الوظيفة بالطبع ، ثم نبدأ طول الحلقة الواحدة.
لذلك سنطلق على طول الحلقة ، طول الشرطة السفلية.
هناك نذهب.
وسنقوم بتهيئته إلى الصفر.
ولكن بعد ذلك سيتم زيادة طول هذه الحلقة.
وبالحديث عن زيادتها ، هذا بالضبط ما سنفعله.
لذلك سنستخدم حلقة while loop ونستخدم هذه الحيلة لنقول إنها صحيحة.
كولين لتكرار ما سيحدث الآن ، ما الذي سيحدث داخل هذه الحلقة.
ولذا فإن أول شيء سيحدث في حلقة البئر هذه هو تنفيذ طول الحلقة.
لذا فإن أول شيء سنفعله هو زيادة العدد بمقدار واحد.
وللقيام بذلك ، يمكننا ببساطة أخذ طول الحلقة و.
أضف هنا زائد يساوي واحدًا.
والآن سنقوم بالمزامنة مع النموذج المشترك.
هذا يعني أنه الآن سيستخدم الوكيل النموذج المشترك للقيام باستكشافه الصغير على عدد
معين من الخطوات.
وكيف سيحصل النموذج على هذا النموذج المشترك؟
حسنًا ، نحتاج إلى أخذ نموذجنا ثم وضع نقطة ثم استخدام طريقة تحميل حالة الدكت لأننا
سنستخدمها للحصول على قاموس الحالة لنموذجنا المشترك.
لذلك علينا أن نضع النموذج المشترك أولاً ثم نطبق الطريقة الثابتة للحصول على معلمات هذا النموذج المشترك.
وهذه هي الطريقة التي سيحول بها نموذجنا هنا النموذج المشترك إلى استكشافه الصغير.
وبمجرد أن يحصل النموذج على هذا النموذج المشترك ، علينا الآن التمييز بين حالتين.
الأول هو إذا تم القيام به ، أي ما إذا كانت اللعبة قد انتهت.
إذن ، إذا انتهت اللعبة ، فماذا يحدث في هذه الحالة؟
حسنًا ، علينا إعادة تهيئة الحالات المخفية وحالات الخلية الخاصة بـ lshtm والنموذج.
ولهذا السبب الآن سأأخذ C X حالات الخلية وأيضًا h x الحالة المخفية وسأقوم بإعادة تهيئتهما
معًا.
وكيف سنقوم بإعادة تهيئتها جيدًا باستخدام الأصفار فقط.
سيكون هناك متجه من 256 صفراً لأنك تذكر أن مخرجات lshtm لها أبعاد واحد
و 256.
لذا ها نحن ذا.
سنقوم بتهيئتهم باستخدام مكتبة الشعلة.
ثم وظيفة الأصفار.
ونظرًا لأننا نريد متجهًا يبلغ 256 صفرًا ، فسنقوم هنا بإدخال بعدين ، أحدهما للمتجه
و 256 لعدد العناصر التي ستكون أصفارًا.
وها نحن ذا.
ولكن بعد ذلك سنحول ذلك إلى متغير شعلة لأنه سيتم بعد ذلك حساب بعض التدرجات.
لذا علينا دمج هذا مع التدرج اللوني.
حسنا.
وسنفعل الشيء نفسه بالنسبة للحالات المخفية أدناه ، ونقوم بتهيئتها بنفس الطريقة.
هناك نذهب.
هذا إذا انتهت اللعبة.
والآن الحالة الأخرى التي يمكننا الوصول إليها باستخدام ls ls ثم ما يحدث في هذه الحالة.
حسنًا ، سنحتفظ بحالات الخلية القديمة والحالات المخفية ، وبكل سهولة يمكننا الاحتفاظ بالحالات القديمة بهذه
الطريقة عن طريق الكتابة.
نرى أن x يساوي بيانات المتغير c x ونفس الشيء بالنسبة للحالات المخفية.
يمكننا ببساطة أن نضيف هنا h x يساوي المتغير h x إلى البيانات.
حسنا.
شيء جيد.
فعله.
الآن يمكننا الخروج من LS لأننا انتهينا أساسًا من هاتين الحالتين سواء انتهت اللعبة
أم لا.
لكننا نبقى في الحلقة البرية لأننا الآن سنفعل بعض الأشياء الأخرى التي هي أساسًا كل
عملية التدريب.
ولذا ما سنفعله الآن هو تهيئة العديد من المتغيرات التي ستكون في قلب العمليات
الحسابية في التدريب.
لذلك دعونا نفعل هذا.
سنحتاج إلى القيم التي نتذكرها هي نتاج الناقد.
إذن هذه هي الدالة V وسنقوم بتهيئتها كقائمة فارغة بهذه الطريقة.
ثم سنحتاج إلى احتمالات اللوغاريتمات.
لذا قم بتسجيل الاستجوابات وسنقوم أيضًا بتهيئتها كقائمة فارغة.
ثم بالطبع سنحتاج إلى مكافآتنا التي سنبدأها أيضًا كقائمة فارغة.
وأخيرًا سنحتاج إلى أن يكون الانتروبيا شيئًا جديدًا ، لكن هذا في الواقع يقع في قلب حسابات
التدريب.
قائمة فارغة كذلك.
والآن بعد أن بدأنا هذه المتغيرات الأربعة ، يمكننا بدء حلقة for جديدة.
وفي حلقة for الجديدة هذه ، سنحدِّث قيم هذه المتغيرات الأربعة.
وبالتالي فإن حلقة for الجديدة هذه ستكون حلقة كاملة على خطوات الاستكشاف ، وبالتالي فإن متغير
الحلقة سيكون خطواتنا.
لذلك بالنسبة للخطوة في النطاق والداخل ، يمكننا إدخال المعلمات مباشرة من عدد الخطوات لأن المعلمة num هي بالضبط
عدد خطوات الاستكشاف.
إذن بالنسبة لجميع خطوات الاستكشاف ، ماذا نفعل؟
حسنًا ، سنحصل على تنبؤات النموذج ، كما تعلمون ، ما تم إرجاعه بواسطة النموذج.
وللحصول على هذه التوقعات ، يمكننا ببساطة أخذ النموذج وتطبيقه على المدخلات.
إذن هذه هي إشارة الإدخال.
إنه يمر عبر الأدمغة في النموذج وسيوفر لنا المخرجات ، لكنه سيحصل على العديد من المخرجات.
كما تعلم ، ستحصل لنا على قيم الدالة V ، وهي ناتج الناقد ، ثم
مقايسة قيم Q Q ، وهي ناتج الممثل.
ولكن لا تنس أيضًا أنه سينتج أيضًا مجموعة الحالات المخفية وحالات الخلية.
لأن تذكر ، إذا عدنا إلى نموذجنا جيدًا في الوظيفة الأمامية ، يمكننا أن نرى أنه
في الواقع يُرجع ناتج الناقد الذي يمثل قيمة الدالة v مقابل ناتج الممثل ، وهي قيم Q فحص Q
، وكذلك مخرجات lshtm ، وهي عبارة عن سداسي عشري مزدوج ورؤية الحالات المخفية
وحالات الخلية.
لذلك يجب أن نكون حذرين مع ذلك.
هذا مختلف تمامًا عما حدث من قبل ، وبالتالي سنقوم الآن بتطبيق النموذج على
المدخلات وهي الحالة.
ولكن الآن هناك العديد من الأشياء التي يجب القيام بها والتي تتعلق بالتعذيب ، ولكن هذا يمنح بالطبع
قوة لما نقوم به.
أول شيء علينا القيام به هو الضغط.
الدولة المراد إضافة هذا البعد الوهمي الذي يجب أن يكون مؤشره صفر.
ذلك لأن النموذج يمكنه فقط قبول دفعة من المدخلات وليس إدخالًا بمفرده في متجه
أو موتر.
لذلك هذا هو أول شيء يجب أن نفعله في الضغط.
ولكن هذا ليس كل ما نحتاجه لتحويل حالة الإدخال إلى متغير شعلة.
لذلك أقوم بإضافة المتغير هنا.
لذلك نحن الآن بخير مع الدولة ، حالة الإدخال.
لكن تذكر أن مدخلات الوظائف الأربع هي في الواقع صورة المدخلات.
هذا ما اعتنينا به للتو ، ولكنه أيضًا العنصر الأساسي للحالات المخفية وحالات الخلية.
وبالتالي ، علينا أن نضيف هنا هذا الجزء الثاني من الإدخال مع زوجي H و x و c x.
حسنا.
وعلينا أن نأخذ القوس الذي نذهب إليه.
لدينا مدخلاتنا.
الأول هو حالة الإدخال.
هذه هي صور المدخلات التي تم تحويلها جميعًا إلى متغير شعلة ويتم ضغطها لإضافة هذا البعد الغامض
للدُفعة وهذه المجموعة من الحالات المخفية وحالات الخلية.
لذلك نحن جميعًا على ما يرام.
نحن على استعداد للحصول على توقعاتنا.
والآن منذ هذه العودة ، حسنًا ، تنبؤاتنا الثلاثة ، ناتج الناقد ، ناتج الممثل
ومجموعة الحالات المخفية وحالة الخلية بواسطة LCM.
حسنًا ، سنقوم بتقديم ثلاثة متغيرات جديدة الآن ، والتي ستكون هذه المخرجات الثلاثة.
لذا ها نحن ذا.
الناتج الأول هو قيمة الدالة V ، وهي ناتج الناقد.
لذلك سنسميها قيمة.
لذا ها نحن ذا.
هذا هو الناتج الأول.
ثم سيكون الناتج الثاني هو إخراج الممثل ، وهذا هو اختبار قيم Q Q.
ولكن نظرًا لأن قيم Q مرتبطة بالإجراءات ، يمكننا أيضًا تسميتها قيم الإجراء.
حسنا.
ثم يتم إرجاع الناتج النهائي بواسطة النموذج.
هذا هو الجزء العلوي من الحالة المخفية ، h x وحالات الخلية.
انظر X وها نحن ذا.
لدينا ثلاثة مخرجات تم إرجاعها بواسطة النموذج.
في احسن الاحوال.
والآن بعد أن أصبح لدينا التنبؤات ، نحتاج إلى استخدام حد أقصى ناعم لتشغيل الإجراء الصحيح.
والآن سيكون هذا بالضبط نفس ما فعلناه من قبل.
الخطوة التالية هي الحصول على احتمالاتنا حتى نتمكن من تسميتها prob.
وهذا هو المكان الذي نستخدم فيه طريقة soft max التي نأخذها من الوحدة الوظيفية التي تحتوي على الاختصار.
F لذا F نقطة soft max وهذا ما يولد توزيعًا لاحتمالات المدخلات التي نحن على وشك إدخالها
الآن والتي هي بالطبع قيم الإجراء.
هذه هي قيم Q ، أي ناتج الممثل في النموذج.
تمام.
إذن لدينا الآن احتمالاتنا ، لكن كما لاحظت ، سنعمل مع الانتروبيا ولنحصل على الانتروبيا
، لا نحتاج فقط إلى الاحتمالات ولكن أيضًا احتمالات اللوغاريتمات لأن الانتروبيا هي مجموع
حاصل الضرب.
مرات تسجيل الدخول prob كل هذا مضروبًا في ناقص واحد.
ولذا نحتاج أيضًا إلى الحصول على احتمال السجل الخاص بنا والذي سيتم إنشاؤه من log soft max.
لذا فبدلاً من توزيع الاحتمالات ، نأخذ توزيعًا لاحتمالات اللوغاريتمات ونفعل
ذلك باستخدام اللوغاريتمات.
أعناق محشوة ، وظيفة الأقفال من الحد الأقصى هي نفسها.
نحن نطبق على قيم جديلة.
التي نسميها قيم العمل.
حسنا.
إذن لدينا الآن المسبار والمسبار ، ولذا فنحن جاهزون للحصول على الانتروبيا والإنتروبيا.
ما هي الصيغة لذلك؟
حسنًا ، كما ذكرت للتو ، نأخذ خاصية السجل ، ونضربها في المسبار ، ثم نأخذ
مجموع كل هذا.
وللقيام بذلك ، يمكننا أن نضيف هذا المجموع هنا.
واحد.
نحن في الواقع نستخدم هذه الحيلة عدة مرات الآن.
وكما قلنا ، نضرب كل هذا في ناقص واحد.
إذن فهو ناقص مجموع محصول سجل حاصل الضرب مضروبًا في احتمال الكمال.
والآن سنقوم بتخزين الإنتروبيا التي تم حسابها للتو في قائمة الأنتروبيا لدينا.
لأننا هناك.
لدينا آخر حساب للإنتروبيا.
ولذا نحتاج إلى تخزينه في قائمة الإنتروبيا.
وللقيام بذلك ، لا شيء أكثر بساطة ، سنستخدم وظيفة الإلحاق ، بالطبع ، لأن
الإنتروبيا هي قائمة.
لذلك نأخذ قائمة الانتروبيا الخاصة بنا ، ثم النقطة ، ونستخدم وظيفة الإلحاق لإضافة الانتروبيا التي تم حسابها
للتو.
حسنا.
لذلك سنأخذ استراحة الآن.
سنفعل هذا خطوة بخطوة.
في البرنامج التعليمي التالي ، سنلعب الإجراء من خلال سحب عشوائي لهذا التوزيع الناتج
للاحتمالات.
وبعد أن نلعب الإجراء ، سنحصل على قيمة الحالة وسنقوم في النهاية بتخزين مكافآت حالات
الإرسال الجديدة الخاصة بنا وفعلنا ذلك.
ستكون هذه خطوة كبيرة جديدة نقوم بها وسنكملها في البرنامج التعليمي التالي.
حتى ذلك الحين ، استمتع.
أنا.