استطلاعات قابلة للتنفيذ لنتائج التعلم العملية

ما تسأله وكيف تسأله كلاهما مهم

تناولت مقالتي السابقة المخاطر الشائعة عند تصميم استطلاعات التعلم. تعتمد هذه المقالة على النصائح لجعل بيانات الاستطلاع أكثر قابلية للتنفيذ. البيانات القابلة للتنفيذ تؤدي إلى الإجراءات. إذا كنت لا تخطط لفعل أي شيء بالبيانات التي تجمعها، فلماذا تجمع البيانات في المقام الأول؟

ابحث عن الاتجاهات والأنماط، وليس الاستجابات الفردية

التصرف بشكل متسرع بشأن التعليقات المعزولة قد يأتي بنتائج عكسية! يعد تضمين استجابة نصية مفتوحة في نهاية الاستطلاع أمرًا شائعًا باعتباره شاملاً للسماح للمستخدمين بإخبار أي شيء عن تجربة التعلم الخاصة بهم. الخطأ المحتمل هو التصرف بناءً على ردود الفعل الفردية بدلاً من البحث عن الأنماط والاتجاهات.

يمكن للمتعلمين الأكثر عنادًا أو الأعلى صوتًا أن يتسببوا في تغييرات مكلفة على البرنامج دون تمثيل غالبية الإجابات. على سبيل المثال، قد يقول شخص ما: “كان ينبغي أن تكون تجربة التعلم أقصر بكثير”. إن التصرف بناءً على هذا الرأي وحده قد يدفع المصممين إلى إزالة الأنشطة التي جعلت التعلم فعالاً في المقام الأول، فقط لجعله أقصر.

لا ينبغي لنا أن نعتمد على الآراء. يجب أن نعتمد على البيانات. ما يعتقده المستجيبون الأفراد أنه وسيلة فعالة للتعلم (مثل مشاهدة نصوص متحركة حول القيام بشيء ما بدلاً من القيام بشيء ما، أو تسليط الضوء على النص، وما إلى ذلك) قد لا يكون كذلك. قد يعتقد المتعلمون أنهم يعرفون أكثر مما يعرفون، أو يعتقدون أن لديهم مهارات أعلى مما لديهم:

في حين يعتقد الناس أنهم يستطيعون تحديد التدريس الفعال، فإن لديهم في الواقع معرفة محدودة بممارسات التدريس الفعال. في الدراسة، اعتقد جميع المشاركين تقريبًا أنهم يتمتعون بمهارة نسبية في تحديد استراتيجيات التدريس الرائعة، واعتبر أكثر من 75 بالمائة أنفسهم أعلى من المتوسط ​​في تقييم الممارسات التعليمية. [1]

ابحث عن الأنماط في ردود الفعل (الذكاء الاصطناعي يمكن أن يساعد) بدلاً من الاستجابات الفردية. تذكر، بغض النظر عن كيفية صياغة أسئلتك حول الإدراك، فإن هذا الاستطلاع لا يزال يتعلق بالإدراك فقط. إنها ليست المهارات الفعلية المكتسبة، أو الكفاءة في الوظيفة التي تمت ملاحظتها. لا تتخذ قرارات بناءً على استطلاعات المستوى الأول فقط. استخدم البصيرة كقطعة من اللغز الذي يتضمن نتائج التقييم الفعلية والملاحظات حول الوظيفة.

تصميم المزيد من الاستطلاعات القابلة للتنفيذ

لتصميم استطلاعات تتجاوز ردود أفعال المشاركين وتوفر رؤى قابلة للتنفيذ، فكر في اعتماد نهج تجريبي، مثل تلك المفصلة في بحث ويل ثالهايمر صحائف الابتسامة التي تركز على الأداء.

هل تتنبأ استطلاعات المستوى الأول التقليدية بنتائج التعلم؟ على ما يبدو، فهي ليست مؤشرات موثوقة.

[…]توصلت أربعة تحليلات تجميعية، تغطي أكثر من 200 دراسة علمية، إلى وجود ارتباطات بين تصنيفات ورقة الابتسامة والتعلم بمتوسط ​​يبلغ حوالي 10%، وهو ما لا يمثل أي ارتباط على الإطلاق. [2]

هل هناك قيمة في تقييمات ورقة الابتسامة إذن؟ نعم، ولكن مرة أخرى، لا ينبغي أن تكون هذه التدابير هي المقياس الوحيد. ومن خلال تجربتي، كشفت التقييمات المبتسمة عن كوارث وتناقضات واسعة النطاق. وينطبق هذا بشكل خاص على الدورات التدريبية التي يقودها المعلم أو الدورات التدريبية الافتراضية التي يقودها المعلم، حيث كان الاتساق من منظور التسليم أقل مما هو عليه في التدريب على شبكة الإنترنت.

على سبيل المثال، عندما حصلت الدورة التدريبية على درجات رضا أقل من المعتاد، نظر مديرو البرامج إلى استجابات محددة للنص المفتوح بحثًا عن أدلة، حيث كان التقييم مجهولاً. لذلك، في حين أن تقييمات ورقة الابتسامة التقليدية قد تكتشف مشكلات مهمة، فإن التعلم والتطوير (L&D) لا يزال بحاجة إلى تحقيق تشخيصي لفهم السبب.

كيف يمكنك تحسين الاستطلاع لجعله أكثر قابلية للتنفيذ؟

من خلال تغيير شيئين: ما هي الأسئلة التي تطرحها (تحول التركيز إلى الأداء التطلعي) وكيف تطرح هذه الأسئلة (خيارات قابلة للتنفيذ بدلاً من اتفاقيات مقياس ليكرت العامة).

في نهاية المطاف، لا تكمن قيمة التعلم والتطوير في المحتوى المرئي لتجارب التعلم ولكن في التغييرات غير المرئية التي تحدث للناس. ولسوء الحظ، لا يمكننا قياس هذا التغيير غير المرئي. على الأقل، ليس حتى يكون لدينا رقائق في أدمغتنا. يمكننا قياس السلوك الملحوظ، وهو تطبيق التعلم. ولهذا السبب يجب أن يكون تركيزنا استشرافيًا وقائمًا على الأداء.

تنفيذ تصميم المسح الذي يركز على الأداء

يؤكد نهج ويل ثالهايمر على مواءمة أسئلة الاستطلاع مع أهداف أداء التدريب. تعتبر أسئلة مقياس ليكرت العامة غامضة (ناهيك عن التعامل مع بعض إجابات مقياس ليكرت كبيانات مستمرة بين 1 و5 يمكن أن يؤدي إلى رؤى غير صحيحة). الهدف هو تصميم أسئلة محددة تسمح لك بقياس مقياس ذي معنى والتصرف بناءً على النتائج:

• ما مدى قدرتك على تطبيق ما تعلمته في عملك؟ اختر الخيار الوحيد الذي يصف استعدادك الحالي بشكل أفضل.

أ) لم أتعلم أي شيء جديد.
ب) وضعي مختلف جدًا عن تلك التي تمت تغطيتها في الدورة.
ج) أحتاج إلى مزيد من التوجيه قبل أن أعرف كيفية استخدام ما تعلمته.
د) أحتاج إلى المزيد من التدريب لاستخدام ما تعلمته بشكل جيد.
هـ) يمكنني الآن أن أنجح في استخدام ما تعلمته (حتى بدون المزيد من التوجيه أو الخبرة).
و) يمكنني الأداء على مستوى الخبراء في استخدام ما تعلمته.

على سبيل المثال، إذا علمت أن 45% من المجموعة يعتقدون أنهم ما زالوا بحاجة إلى المزيد من التدريب ليكونوا ناجحين في العمل من خلال تطبيق المهارات التي تعلموها، فيمكنك العمل مع أصحاب المصلحة لديك للتأكد من أن لديك خطة دعم لنقل المهارات. وإلا فمن غير المرجح أن بعض (أو كل) الـ 45% لن يطبقوا ما تعلموه في الوظيفة.

توقع تغيير السلوك باستخدام أسئلة الاستطلاع الصحيحة

إذا كان الهدف هو تغيير السلوك، فهل يمكننا قياس مدى استعداد المتعلمين للسلوك نتيجة لتجربة التعلم؟

تذكر أن الاستطلاع الذي يتم بعد تجربة التعلم مباشرة لا يزال يمثل إدراكًا، حيث أننا لا نقيس المهارات الفعلية وصنع القرار والكفاءة في أداء المهام. ولذلك، قد لا نكون قادرين على معرفة مدى استعدادهم الجيد، ولكن ربما يمكننا معرفة مدى شعورهم بالاستعداد الجيد.

على سبيل المثال، قد تساعد صياغة أسئلة المسح الصحيحة في التنبؤ بالتغيير السلوكي الملحوظ من خلال التركيز على أربعة مكونات رئيسية: الدافع (ونية التقديم)، وفرصة التقديم (البدنية والاجتماعية)، والقدرات الوظيفية (المعرفة والمهارات والقدرات)، والنتيجة (تحقيق الأهداف الذكية). إن جمال البيانات هو أنه يمكنك (ويجب عليك) اختبارها للتأكد من موثوقيتها وصلاحيتها وعمليتها.

العناصر الأربعة (الحافز، الفرصة، القدرات الوظيفية، والنتيجة) هي مجرد أمثلة لنهج محتمل يعتمد على نموذج COM-B وتأثير تحديد الأهداف [3]. جربت دراسة أخرى الجمع بين نموذج التغيير المتكامل ونظرية تقرير المصير للنشاط البدني [4]. النقطة المهمة هي أن المعرفة والمهارات ليست كافية لتغيير السلوك!

فهم مدى تعقيد تغيير السلوك

من المهم ملاحظة أن تغيير السلوك يمثل تحديًا معقدًا للغاية، ولا ينبغي لمحترفي التعلم والتطوير أن يتوقعوا تحقيق ذلك من خلال التدريب وحده.

ما هي الدوافع الأكثر فعالية لتغيير السلوك؟

وجدت دراسة حديثة أجرتها جامعة بنسلفانيا أن التدخلات التي تستهدف المحددات الفردية يمكن طلبها من خلال زيادة التأثير من المعرفة والمهارات العامة والمواقف العامة والمعتقدات والعواطف والمهارات السلوكية والمواقف السلوكية إلى العادات. بالنسبة للمحددات البنيوية الاجتماعية، فإن الأمر هو العقوبات القانونية والإدارية، والبرامج التي تزيد من الجدارة المؤسسية، والتدخلات لتغيير القواعد الزجرية، والمراقبة والتذكير، والتدخلات المعيارية الوصفية، والحوافز المادية، وتوفير الدعم الاجتماعي، والسياسات التي تزيد من الوصول إلى سلوك معين​​ [5].

خاتمة

تتطلب صياغة استبيانات موثوقة وعملية لتقييم المستوى الأول دراسة متأنية لتصميم الأسئلة ونهجًا تجريبيًا يركز على نتائج الأداء. من خلال تجنب المزالق الشائعة وتنفيذ مبادئ ويل ثالهايمر صحائف الابتسامة التي تركز على الأداء، يمكنك إنشاء استطلاعات تقيس ردود فعل المشاركين بدقة مع توفير رؤى قابلة للتنفيذ أيضًا. إن استكشاف التقاطع بين علم السلوك وتعلم العلوم من خلال الدراسات الاستقصائية وملاحظات المتابعة يمكن أن يعلمنا الكثير عن الطرق الغامضة للسلوك البشري.

مراجع:

[1] ماذا يعرف الناس عن التدريس والتعلم الممتاز؟

[2] لا ترتبط نتائج استبيان المتعلمين بنتائج التعلم

[3] نموذج COM-B لتغيير السلوك

[4] الجمع بين نموذج التغيير المتكامل ونظرية تقرير المصير: التطبيق في النشاط البدني

[5] محددات السلوك وفعاليتها كأهداف لتدخلات تغيير السلوك