استطلاعات التعلم: اجعلها ذات أهمية!

التحيزات الشائعة في استطلاعات التعلم من المستوى الأول

في التعلم في مكان العمل، يعد تقييم المستوى الأول لـ L&D، والذي يُعرف غالبًا باسم “رد الفعل” أو “أوراق الابتسامة”، أحد أكثر الأدوات شيوعًا لقياس النجاح. يمكن الحصول على أرقام الرضا ودرجات NPS بسهولة من خلال استطلاع LMS الآلي. والأرقام تبدو جيدة، لذلك قمنا بعملنا! يمين؟

لا تركز هذه المقالة على ما إذا كانت نتائج ورقة الابتسامة تعد مؤشرات جيدة للتطبيق والتأثير على الوظيفة (تلميح: في الغالب لا) ولكنها تستكشف تعقيدات كتابة استبيانات موثوقة وقيمة وعملية من المستوى الأول. ومع ذلك، إذا كنت مهتمًا بمعرفة السبب وراء عدم كون NPS أفضل المقاييس للتعلم، فاطلع على مقالة صافي نقاط الترويج وتقييمات المستوى الأول التي تستكشف صلاحية البناء (“هل تقيس ما تعتقد أنك تقيسه؟”) والتنبؤي الصلاحية (“هل تتنبأ ببعض السلوكيات المرغوبة؟”) في سياق التعلم.

نصيحة 1: ابدأ بالسبب!

لماذا تقومون بمسح التعلم؟ هذه ليست مسألة بلاغية. حقيقي: ما هو هدفك من الاستطلاع؟ هل تحتاج إلى تربيتة على ظهرك للقيام بعمل جيد؟ هل تريد التحقق من صحة فرضيتك أو رفضها بشأن ما ينجح؟ هل تحتاج فقط إلى رفع معدل الاستجابة؟ هل تريد مراقبة أداء الدورة أو البرنامج فقط في حالات الكوارث الكبيرة؟ هل أنت على استعداد لاتخاذ أي إجراءات بناءً على بياناتك؟ هل تقوم بالإبلاغ عما حدث أو التحقيق في سبب حدوثه؟ هل تقدم إرشادات تنبؤية بشأن ما قد يحدث؟

• لا توجد إجابات صحيحة أو خاطئة. مجرد إجابات.
  لا توجد إجابات صحيحة أو خاطئة، ولكن يجب أن تكون واضحًا جدًا بشأن الغرض من الاستطلاع قبل تصميم الأداة.

من هو جمهور الاستطلاع؟

أحد المفاهيم الخاطئة التي رأيتها في الصناعة هو أن استطلاعات المستوى الأول مخصصة لمصممي وميسري التعلم. وتتساءل لماذا نسبة الاستجابة منخفضة؟ هل تطلب من الموظفين العمل لديك (كما هو الحال في إنشاء البيانات لك) بالإضافة إلى إكمال بعض الدورات التدريبية أو البرامج أثناء انشغالهم أيضًا في أداء وظائفهم؟ ما في ذلك بالنسبة لهم؟ تخيل شخصًا يملأ هذه النماذج، بما في ذلك الردود النصية المفتوحة، لعدة أشهر أو سنوات ولا يرى أي تغيير. لا. واحد. شيء. مختلف. أو ربما مختلف، لكنهم لن يعرفوا أبدًا أن الأمر كان مبنيًا على ردود الفعل. ما الفائدة من تقديم التغذية الراجعة لهم؟

إذا كنت ترغب في تحسين معدل استجابتك، يمكنك جعل ذلك إلزاميًا (أنا لا أشجع ذلك بشدة)، أو يمكنك جعل جمهورك يرى قيمة تقديم التعليقات. كيف يمكنك أن تفعل ذلك؟

فكر في الاستطلاعات على أنها حوار وليس جمع بيانات.

يهتم الناس بمعرفة ما إذا كانت آرائهم تتطابق مع الآخرين. يهتم الناس بالتأثير الذي تحدثه آرائهم. يفعل الناس ما تعتبره القيادة ذا قيمة وأولوية. شارك الدروس المستفادة من الاستطلاعات مع القادة. المزيد عن هذا لاحقًا، لأن رؤى البيانات التي تكتسبها من أوراق الابتسامة التقليدية غالبًا ما تكون في أسفل قائمة اهتمامات قادة الأعمال.

نصيحة 2: التخفيف من التحيزات المشتركة

اعتدت أن أقول “تجنب” التحيزات الشائعة، لكنني تعلمت أن الكلمات مهمة. عندما يحاول المتعلمون تجنب هذه التحيزات في استطلاعاتهم ولا ينجحون، فقد يعودون إلى طرقهم القديمة. كل شيء أو لا شيء، أليس كذلك؟ ابدأ صغيرًا، فكر بشكل كبير. التقدم على الكمال في كل وقت!

المزالق الشائعة في تصميم المسح وتنفيذه

• التحيز البقاء على قيد الحياة
  إنه نوع من تحيز الاختيار حيث سيتم الاستماع إلى المستخدمين المحددين فقط (أولئك الذين نجوا من عملية الاختيار)، وبالتالي تحريف البيانات.
• • على سبيل المثال، هل ترسل الاستطلاعات إلى أولئك الذين أكملوا الدورة أو البرنامج فقط؟ ألا تريد أن تعرف سبب انسحاب الآخرين؟
• أسئلة غامضة
  يعد الغموض من أكثر المشكلات شيوعًا في تصميم الاستطلاع. يمكن أن تؤدي الأسئلة الواسعة جدًا أو الغامضة إلى إجابات غير متناسقة. تذكر أن المشاركين لا يقرأون أفكارك. يقرؤون النص الخاص بك فقط. قد يكون تفسيرهم للكلمات في السؤال مختلفًا عن المقصود. على سبيل المثال:
• • مشكلة: “ما مدى رضاك ​​عن المحتوى؟”
  • سبب: ما هو المحتوى؟ عندما طرحت هذا السؤال على LinkedIn، حصلت على إجابات مثل ما هو مدرج في الدورة (الموضوعات)، وما هو موجود على الشاشة كنص، وتجربة التعلم بأكملها، وما إلى ذلك. إذا كان من الممكن لجمهورك أن يسيء تفسير السؤال بسهولة، فكيف تفسره؟ الإجابات؟
• أسئلة رئيسية
  الأسئلة التي تقود المستجيبين نحو إجابة معينة يمكن أن تؤدي إلى تحريف النتائج. وينطبق هذا أيضًا على العبارات التي تسأل فيها عن مستوى الاتفاق. على سبيل المثال:
• • مشكلة: “ما مدى فائدة الجلسة التدريبية الغنية بالمعلومات؟”
  • سبب: أنت تقود الشاهد من خلال تزويدهم بمعلومات “غنية بالمعلومات”!
• أسئلة مزدوجة الماسورة
  تسأل هذه الأسئلة عن شيئين مختلفين في وقت واحد، مما يربك المجيبين. تشير هذه الأسئلة غالبًا إلى عدم وجود تعريف واضح لكل مكون. على سبيل المثال:
• • مشكلة: “هل كان التدريب جذابًا وذو صلة؟” أو “كيف تقيم دوافعك ومشاركتك بعد التدريب؟”
  • مشكلة: لا يمكنك التأكد مما تعنيه إجابات المشاركين. وقد يفسرونها على أنها أحد المكونين أو كليهما. قد يكون هناك شيء جذاب ولكنه غير ذي صلة، أو يوفر الكثير من المعرفة ولكن بدون مهارات.
• تحيزات الاستجابة
  يتضمن ذلك ميولًا مثل تحيز الإذعان، حيث قد يتفق المستجيبون مع العبارات بغض النظر عن مشاعرهم الحقيقية، والتحيز للاستحسان الاجتماعي، حيث يجيبون بطريقة يعتقدون أنها مقبولة اجتماعيًا أكثر.
• • مزجها: يميل الناس إلى الموافقة على تصريحاتك الإيجابية. إحدى طرق معالجة ذلك هي تقديم عبارة أو سؤال مصاغ بشكل سلبي. ومع ذلك، استخدمه بشكل مقتصد، ويفضل أن يكون ذلك في وقت مبكر من الاستطلاع. وهذا يمكن أن يجعل المجيبين يهتمون أكثر بأسئلة الاستطلاع طوال الوقت.
  • بعض الانحيازات خاصة بنوع سؤال مقياس ليكرت، مثل تحديد القيم المتطرفة أو تحديد القيم المحايدة طوال الوقت. قم بتقديم إجابة “لا أعرف” أو “لا ينطبق” لتجنب تحريف بياناتك نحو الوضع المحايد.
• خيارات الاستجابة غير كافية
  يمكن أن يؤدي توفير نطاق محدود من الاستجابات إلى تقييد فائدة البيانات، أو قد يؤدي إلى رؤى غير صحيحة إذا تم استخدامها كنقطة البيانات الوحيدة لاتخاذ القرار. على سبيل المثال:
• • مشكلة: “هل وجدت التدريب مفيداً؟ (نعم/لا)”
  • سبب: غير قابلة للتنفيذ. وإذا قالوا “نعم”، فهل نحن راضون عن نتائجنا؟ ألا يهم مدى فائدتها؟ إذا قالوا “لا”، فماذا بعد؟ هل نتخلى عن التدريب؟ مرة أخرى، يجب استخدام هذه الأسئلة مع الأسئلة الأخرى. ومع ذلك، استخدمها بشكل مقتصد لأنه كلما زاد طول الاستطلاع، قل احتمال إكمال جمهورك له.
• معضلة مقياس ليكرت
  نحن نحب مقياس ليكرت لأنه ينتج رقمًا. يمكننا مقارنة المقاييس ومقارنتها. ومع ذلك، كن على دراية بـ “الآثار الجانبية” لمقياس ليكرت. على سبيل المثال، “لاحظ فاولر (1995) أيضًا أن المشاركين هم أيضًا أكثر عرضة لاستخدام التصنيفات على الجانب الأيسر من السلسلة المتصلة، بغض النظر عما إذا كانت السلسلة المستمرة تتناقص أو تتزايد من اليسار إلى اليمين.”
• • مشكلة أخرى في مقياس ليكرت هي تصنيف الخيارات بالكلمات (أوافق بشدة، أوافق، وما إلى ذلك). نظرًا لأن كل تسمية لها كلمات مختلفة، فمن الصعب على المستجيب التعامل معها كسلسلة متصلة. المسافة بين غير موافق بشدة وغير موافق قد تكون مختلفة عن المسافة بين غير موافق وأوافق. إذا كنت بحاجة إلى استخدام مقياس ليكرت، قم بتسمية نهايات المقياس فقط. الأسئلة المصممة جيدًا ستنتج توزيعًا طبيعيًا.

نصيحة 3: هيكل مسح التعلم

التحيز للمواضيع

يميل الناس إلى الاستجابة بشكل مماثل للأسئلة التي يعتقدون أنها مرتبطة ببعضهم البعض. إذا كانت لديك أسئلة مجمعة في مواضيع، فاخلط ترتيب الأسئلة، أو على الأقل، لا تقم بتسمية الأسئلة أو الإشارة إليها كجزء من مجموعة [1]. يمكن أن تتسبب الأنواع المتشابهة من الأسئلة الموجودة على الصفحة (خاصة عندما يكون هناك الكثير منها على صفحة التمرير) في “إرهاق الاستطلاع”. خلط الأنواع والبنية.

في المقالة التالية، سوف نستكشف طرقًا لجعل استطلاعات المستوى الأول أكثر قابلية للتنفيذ، ونتعرف على الأسباب التي تجعل أخذ العينات مضللاً، ونجرب بعض الأسئلة التجريبية البديلة حول تغيير السلوك.

مرجع:

[1] الحصول على الحقيقة في الدراسات الاستقصائية في مكان العمل