ما هي المعلمات الفائقة المستخدمة في التعلم الآلي؟
في مجال التعلم الآلي، وخاصة عند استخدام منصات مثل Google Cloud Machine Learning، يعد فهم المعلمات الفائقة أمرًا مهمًا لتطوير النماذج وتحسينها. المعلمات الفائقة هي إعدادات أو تكوينات خارجية للنموذج تملي عملية التعلم وتؤثر على أداء خوارزميات التعلم الآلي. على عكس معلمات النموذج، التي يتم تعلمها من البيانات أثناء عملية التدريب، يتم تعيين المعلمات الفائقة قبل بدء التدريب وتظل ثابتة طوال الوقت.
يمكن تصنيف المعلمات الفائقة على نطاق واسع إلى عدة أنواع بناءً على دورها ووظيفتها في خط أنابيب التعلم الآلي. تتضمن هذه الفئات المعلمات الفائقة للنموذج، والمعلمات الفائقة للتحسين، والمعلمات الفائقة لمعالجة البيانات. يلعب كل نوع دورًا مميزًا في تشكيل كيفية تعلم النموذج من البيانات وتعميمه على بيانات جديدة غير مرئية.
المعلمات النموذجية
1. معلمات الهندسة المعمارية:تحدد هذه بنية النموذج. في الشبكات العصبية، على سبيل المثال، تتضمن المعلمات الفائقة للهندسة المعمارية عدد الطبقات، وعدد العقد لكل طبقة، ونوع وظائف التنشيط المستخدمة. على سبيل المثال، قد تحتوي الشبكة العصبية العميقة على معلمات فائقة تحدد ثلاث طبقات مخفية تحتوي على 128 و64 و32 عقدة على التوالي، وReLU (وحدة خطية مصححة) كدالة تنشيط.
2. معاملات التنظيم الفائقة:يتم استخدام تقنيات التنظيم لمنع الإفراط في التجهيز، والذي يحدث عندما يتعلم النموذج الضوضاء في بيانات التدريب بدلاً من النمط الأساسي. تتضمن معلمات التنظيم الشائعة معاملات التنظيم L1 وL2. تتحكم هذه المعاملات في العقوبة المطبقة على الأوزان الكبيرة في النموذج. على سبيل المثال، سيؤدي تعيين معامل تنظيم L2 أعلى إلى معاقبة الأوزان الكبيرة بشكل أكبر، وبالتالي تشجيع النموذج على الحفاظ على أوزان أصغر وتحسين التعميم بشكل محتمل.
3. معدل التسرب:في الشبكات العصبية، يعتبر التسرب أسلوبًا للتنظيم حيث يتم تجاهل الخلايا العصبية المختارة عشوائيًا أثناء التدريب. معدل التسرب هو معامل فائق يحدد نسبة الخلايا العصبية التي سيتم إسقاطها أثناء كل تكرار تدريبي. يعني معدل التسرب 0.5 أن 50% من الخلايا العصبية يتم إسقاطها عشوائيًا في كل تكرار، مما يساعد في تقليل الإفراط في التجهيز.
معلمات التحسين الفائقة
1. معدل التعليم:ربما يكون هذا أحد أهم المعلمات الفائقة الأهمية في تدريب الشبكات العصبية. يحدد معدل التعلم حجم الخطوات المتخذة نحو الحد الأدنى لدالة الخسارة. قد يتسبب معدل التعلم المرتفع في تقارب النموذج بسرعة كبيرة إلى حل دون المستوى الأمثل، بينما قد يؤدي معدل التعلم المنخفض إلى إبطاء عملية التدريب بشكل مفرط أو التعثر في الحدود الدنيا المحلية.
2. حجم الدفعة:يحدد هذا المعامل الفائق عدد عينات التدريب المستخدمة في تكرار واحد لعملية التدريب. يمكن أن تؤدي أحجام الدفعات الأصغر إلى تقدير أكثر دقة للتدرج ولكنها قد تزيد من الوقت المطلوب لإكمال حقبة. وعلى العكس من ذلك، يمكن لأحجام الدفعات الأكبر تسريع التدريب ولكنها قد تؤدي إلى نماذج أقل دقة.
3. زخم:تستخدم هذه المعلمة الفائقة في خوارزميات التحسين مثل Stochastic Gradient Descent مع الزخم، وتساعد في تسريع متجهات التدرج في الاتجاه الصحيح، مما يؤدي إلى تقارب أسرع. كما تساعد في تنعيم التذبذبات في مسار التحسين.
4. عدد الحقب:يحدد هذا المعامل الفائق عدد التمريرات الكاملة عبر مجموعة بيانات التدريب. عادةً ما يتيح العدد الأكبر من العصور للنموذج فرصة أكبر للتعلم من البيانات، ولكنه قد يزيد أيضًا من خطر الإفراط في التجهيز.
معلمات معالجة البيانات
1. تحجيم الميزة:قبل تدريب نموذج، غالبًا ما يلزم توسيع الميزات. تتضمن المعلمات الفائقة المتعلقة بتوسيع الميزات اختيار طريقة التوسيع، مثل التوسيع على أساس الحد الأدنى والحد الأقصى أو التوحيد القياسي. يمكن أن يؤثر هذا الاختيار بشكل كبير على أداء النموذج، وخاصة بالنسبة للخوارزميات الحساسة لتوسيع الميزات مثل آلات المتجهات الداعمة وتجميع K-Means.
2. معلمات زيادة البيانات:في مهام معالجة الصور، يتم استخدام زيادة البيانات لتوسيع حجم مجموعة بيانات التدريب بشكل مصطنع من خلال إنشاء إصدارات معدلة من الصور في مجموعة البيانات. تتضمن المعلمات الفائقة هنا أنواع التحويلات المطبقة، مثل الدوران والترجمة والانعكاس والتكبير، واحتمالية تطبيق كل تحويل.
3. طرق أخذ العينات:في الحالات التي تكون فيها البيانات غير متوازنة، يمكن استخدام تقنيات مثل أخذ عينات زائدة من فئة الأقلية أو أخذ عينات ناقصة من فئة الأغلبية. تتضمن المعلمات الفائقة هنا نسبة عينات فئة الأقلية إلى عينات فئة الأغلبية.
ضبط Hyperparameter
تُعرف عملية اختيار المعلمات الفائقة المثلى بضبط المعلمات الفائقة. وهي خطوة بالغة الأهمية حيث يمكن أن يؤثر اختيار المعلمات الفائقة بشكل كبير على أداء النموذج. تتضمن الطرق الشائعة لضبط المعلمات الفائقة ما يلي:
1. شبكة البحث:تتضمن هذه الطريقة تحديد شبكة من قيم المعلمات الفائقة ومحاولة كل مجموعة منها بشكل شامل. ورغم بساطتها، فإن البحث في الشبكة قد يكون مكلفًا من الناحية الحسابية، وخاصة مع وجود عدد كبير من المعلمات الفائقة.
2. بحث عشوائي:بدلاً من تجربة كل مجموعة ممكنة، يختار البحث العشوائي مجموعات عشوائية من المعلمات الفائقة. غالبًا ما يكون هذا النهج أكثر كفاءة من البحث الشبكي ويمكن أن يؤدي إلى نتائج أفضل، خاصةً عندما تكون بعض المعلمات الفائقة مؤثرة.
3. النظرية الافتراضية:هذا نهج أكثر تطوراً ينمذج أداء المعلمات الفائقة كدالة احتمالية ويسعى إلى العثور على أفضل مجموعة من المعلمات الفائقة من خلال موازنة الاستكشاف والاستغلال.
4. التعلم الآلي الآلي (AutoML):تستخدم منصات مثل Google Cloud AutoML خوارزميات متقدمة للبحث تلقائيًا عن أفضل المعلمات الفائقة. ويمكن أن يوفر هذا الوقت والموارد، وخاصة للممارسين الذين قد لا يتمتعون بخبرة عميقة في التعلم الآلي.
أمثلة عملية
فكر في سيناريو حيث يتم تدريب شبكة عصبية ملتوية (CNN) لتصنيف الصور باستخدام التعلم الآلي من Google Cloud. قد تتضمن المعلمات الفائقة ما يلي:
- عدد الطبقات التلافيفية وأحجام المرشحات الخاصة بها، والتي تعد معلمات معمارية فائقة.
- معدل التعلم وحجم الدفعة، وهما من معايير التحسين الفائقة.
- تقنيات زيادة البيانات مثل التدوير والتقليب، وهي معلمات معالجة البيانات الفائقة.
من خلال ضبط هذه المعلمات الفائقة بشكل منهجي، يمكن للمرء تحسين دقة النموذج وقدرات التعميم بشكل كبير.
في مثال آخر، عند استخدام مصنف شجرة القرار، قد تتضمن المعلمات الفائقة أقصى عمق للشجرة، والحد الأدنى لعدد العينات المطلوبة لتقسيم عقدة، والمعيار المستخدم للتقسيم. يمكن لكل من هذه المعلمات الفائقة أن تؤثر على تعقيد النموذج وقدرته على التعميم.
في الأساس، تعد المعلمات الفائقة أساسية لعملية التعلم الآلي، حيث تؤثر على كفاءة وفعالية تدريب النموذج. ويمكن أن يؤدي اختيارها وضبطها بعناية إلى نماذج لا تعمل بشكل جيد على بيانات التدريب فحسب، بل وتعمم أيضًا بشكل فعال على بيانات جديدة غير مرئية.
أسئلة وأجوبة أخرى حديثة بخصوص EITC/AI/GCML تعلم الآلة على Google Cloud:
- لماذا يتم استخدام أداة الانحدار كأداة للتنبؤ؟
- هل أحتاج إلى تعلم مضاعفات لاغرانج وتقنيات البرمجة التربيعية لتحقيق النجاح في التعلم الآلي؟
- هل يمكن تطبيق أكثر من نموذج واحد أثناء عملية التعلم الآلي؟
- هل يمكن للتعلم الآلي أن يتكيف مع الخوارزمية التي يجب استخدامها اعتمادًا على السيناريو؟
- ما هو أبسط طريق لتدريب ونشر نموذج الذكاء الاصطناعي التعليمي الأساسي على منصة Google AI باستخدام طبقة/نسخة تجريبية مجانية باستخدام وحدة تحكم واجهة المستخدم الرسومية بطريقة خطوة بخطوة للمبتدئين المطلقين بدون خلفية برمجية؟
- كيفية تدريب ونشر نموذج الذكاء الاصطناعي البسيط عمليًا في Google Cloud AI Platform عبر واجهة المستخدم الرسومية لوحدة التحكم GCP في برنامج تعليمي خطوة بخطوة؟
- ما هي أبسط الإجراءات خطوة بخطوة لممارسة تدريب نموذج الذكاء الاصطناعي الموزع في Google Cloud؟
- ما هو النموذج الأول الذي يمكن العمل عليه مع بعض الاقتراحات العملية للبداية؟
- هل تعتمد الخوارزميات والتوقعات على المدخلات من الجانب البشري؟
- ما هي المتطلبات الرئيسية وأبسط الطرق لإنشاء نموذج معالجة لغة طبيعية؟ كيف يُمكن إنشاء هذا النموذج باستخدام الأدوات المُتاحة؟
عرض المزيد من الأسئلة والأجوبة في EITC/AI/GCML Google Cloud Machine Learning