باحث في الكتابة يجد أن تعليقات الذكاء الاصطناعي “أفضل مما كنت أعتقد”

تعد “الجودة العالية نسبيًا” المدهشة لتعليقات ChatGPT مهمة لأنها تعني أن الذكاء الاصطناعي الجديد لنماذج اللغات الكبيرة، والمعروف أيضًا باسم الذكاء الاصطناعي التوليدي، يمكن أن يساعد الطلاب على تحسين كتابتهم. وقال جراهام إن إحدى أكبر المشكلات في تعليم الكتابة في المدارس الأمريكية هي أن المعلمين يخصصون القليل جدًا من الكتابة، وذلك غالبًا لأن المعلمين يشعرون أنه ليس لديهم الوقت الكافي لتقديم تعليقات شخصية لكل طالب. وهذا يترك الطلاب دون ممارسة كافية ليصبحوا كتابًا جيدين. من الناحية النظرية، قد يكون المعلمون على استعداد لتعيين المزيد من الكتابة أو الإصرار على المراجعات لكل ورقة إذا كان بإمكان الطلاب (أو المعلمين) استخدام ChatGPT لتقديم الملاحظات بين المسودات.

على الرغم من الإمكانات، فإن غراهام ليس مشجعًا متحمسًا للذكاء الاصطناعي. قال: “خوفي الأكبر هو أن يصبح الكاتب”. وهو يشعر بالقلق من أن الطلاب لن يقتصروا على استخدام ChatGPT على التعليقات المفيدة، بل سيطلبون منه القيام بالتفكير والتحليل والكتابة نيابةً عنهم. هذا ليس جيدًا للتعلم. يشعر فريق البحث أيضًا بالقلق من أن تعليمات الكتابة ستتأثر إذا قام المعلمون بتفويض الكثير من الملاحظات إلى ChatGPT. وقال الباحثون إن رؤية التقدم المتزايد للطلاب والأخطاء الشائعة تظل مهمة لتحديد ما يجب تدريسه بعد ذلك. على سبيل المثال، قد تؤدي رؤية الكثير من الجمل المكررة في أوراق طلابك إلى تلقي درس حول كيفية تقسيمها. لكن إذا كنت لا تراهم، فقد لا تفكر في تدريسه. هناك شاغل آخر شائع بين معلمي الكتابة وهو أن تعليقات الذكاء الاصطناعي ستوجه الجميع إلى الكتابة بنفس الطريقة المتجانسة. يمكن تسطيح الصوت الفريد للكاتب الشاب قبل أن تتاح له الفرصة للتطور.

هناك أيضًا خطر عدم اهتمام الطلاب بالاستجابة لملاحظات الذكاء الاصطناعي. غالبًا ما يتجاهل الطلاب التعليقات المضنية التي يقدمها معلموهم بالفعل على مقالاتهم. لماذا يجب أن نعتقد أن الطلاب سوف ينتبهون إلى التعليقات إذا بدأوا في الحصول على المزيد منها من الجهاز؟

ومع ذلك، يواصل جراهام وزملاؤه الباحثون في جامعة كاليفورنيا، إيرفين، دراسة كيفية استخدام الذكاء الاصطناعي بشكل فعال وما إذا كان يؤدي في النهاية إلى تحسين كتابة الطلاب. قال جراهام: “لا يمكنك تجاهل ذلك”. “إما أن نتعلم كيف نتعايش معه بطرق مفيدة، أو أننا سنكون غير راضين عنه على الإطلاق.”

وفي الوقت الحالي، يدرس الباحثون كيف يمكن للطلاب ذلك تحدث ذهابًا وإيابًا مع ChatGPT مثل مدرب الكتابة من أجل فهم التعليقات وتحديد الاقتراحات التي يجب استخدامها.

مثال على ردود الفعل من الإنسان وChatGPT على نفس المقال

في الدراسة الحالية، لم يتتبع الباحثون ما إذا كان الطلاب قد فهموا التعليقات أو استخدموها، ولكنهم سعوا فقط إلى قياس جودتها. إن الحكم على جودة ردود الفعل هو ممارسة ذاتية إلى حد ما، تمامًا كما أن التعليقات نفسها عبارة عن حزمة من الأحكام الذاتية. قد يختلف الأشخاص الأذكياء حول شكل الكتابة الجيدة وكيفية مراجعة الكتابة السيئة.

في هذه الحالة، توصل فريق البحث إلى معاييره الخاصة لما يشكل ردود فعل جيدة على مقال التاريخ. لقد أمروا البشر بالتركيز على تفكير الطالب وحججه، بدلاً من القواعد النحوية وعلامات الترقيم، على سبيل المثال. كما طلبوا من المُقيّمين البشريين اعتماد “استراتيجية التوهج والنمو” لتقديم التعليقات من خلال العثور أولاً على شيء يستحق الثناء، ثم تحديد مجال معين للتحسين.

قدم المقيمون البشريون هذا النوع من التعليقات على مئات المقالات التاريخية من عام 2021 إلى عام 2023، كجزء من دراسة غير ذات صلة لموضوع تاريخي. مبادرة لتعزيز الكتابة في المدرسة. حصل الباحثون بشكل عشوائي على 200 من هذه المقالات وأرسلوا كتابات الطلاب الأولية – دون تعليقات بشرية – إلى الإصدار 3.5 من ChatGPT وطلبوا منه تقديم تعليقات أيضًا.

في البداية، كانت ردود فعل الذكاء الاصطناعي فظيعة، ولكن مع تعديل الباحثين للتعليمات، أو “المطالبة”، التي كتبوها في ChatGPT، تحسنت ردود الفعل. استقر الباحثون في النهاية على هذه الصياغة: “تظاهر أنك مدرس في مدرسة ثانوية. قدم 2-3 أجزاء من التعليقات المحددة والقابلة للتنفيذ على كل من المقالات التالية. … استخدم لهجة ودية ومشجعة. قام الباحثون أيضًا بتغذية المهمة التي تم تكليف الطلاب بها، على سبيل المثال، “لماذا نجحت مقاطعة حافلات مونتغمري؟” بالإضافة إلى مصادر القراءة التي تم توفيرها للطلاب. (مزيد من التفاصيل حول كيفية تحفيز الباحثين لـ ChatGPT موضحة في الملحق ج للدراسة.)

استغرق البشر حوالي 20 إلى 25 دقيقة لكل مقال. عادت تعليقات ChatGPT على الفور. قام البشر أحيانًا بترميز الجمل، على سبيل المثال، من خلال إظهار المكان الذي يمكن للطالب أن يستشهد فيه بمصدر لدعم الحجة. لم يكتب ChatGPT أي تعليقات مضمنة وكتب فقط ملاحظة للطالب.

يقوم الباحثون بعد ذلك بقراءة مجموعتي ردود الفعل – البشرية والآلية – لكل مقال، ومقارنتها وتقييمها. (كان من المفترض أن يكون اختبارًا للمقارنة الأعمى ولم يتم إخبار المُقيّمين بالتعليقات عمن قام بتأليف كل اختبار. ومع ذلك، كانت لغة ChatGPT ونبرة صوته بمثابة هبات مميزة، وكانت التعليقات المضمنة بمثابة دليل على التعليقات البشرية.)

ووجد الباحثون أن البشر يبدو أنهم يتمتعون بميزة واضحة مع الكتاب الأقوى والأضعف. لقد كانوا أفضل في دفع الكاتب القوي إلى أبعد من ذلك، على سبيل المثال، من خلال اقتراح أن يفكر الطالب في حجة مضادة ويتناولها. كافح ChatGPT للتوصل إلى أفكار للطالب الذي كان يحقق بالفعل أهداف مقالة جيدة المناقشة مع أدلة من مواد مصدر القراءة. عانى ChatGPT أيضًا مع أضعف الكتاب. اضطر الباحثون إلى حذف مقالتين من الدراسة لأنهما كانا قصيرين جدًا لدرجة أن ChatGPT لم يكن لديه أي تعليقات للطالب. كان المقيِّم البشري قادرًا على تحليل بعض المعاني من جملة قصيرة وغير مكتملة وتقديم اقتراح.

في إحدى مقالات الطلاب حول مقاطعة حافلات مونتغمري، والتي أعيد طبعها أعلاه، بدت ردود الفعل البشرية عامة للغاية بالنسبة لي: “في المرة القادمة، أود أن أرى بعض الأدلة من المصادر للمساعدة في دعم ادعاءك”. على النقيض من ذلك، اقترح ChatGPT على وجه التحديد أنه كان بإمكان الطالب أن يذكر مقدار الإيرادات التي خسرتها شركة الحافلات أثناء المقاطعة – وهي الفكرة التي تم ذكرها في مقال الطالب. اقترح ChatGPT أيضًا أنه كان من الممكن أن يذكر الطالب إجراءات محددة اتخذتها NAACP والمنظمات الأخرى. لكن الطالب ذكر في الواقع عددًا قليلاً من هذه الإجراءات المحددة في مقالته. كان هذا الجزء من تعليقات ChatGPT غير دقيق بشكل واضح.

وفي مثال آخر لكتابة الطالب، والذي أعيد طباعته أدناه أيضًا، أشار الإنسان بشكل مباشر إلى أن الطالب قد أخطأ في فهم حقيقة تاريخية. يبدو أن ChatGPT يؤكد أن رواية الطالب الخاطئة للأحداث كانت صحيحة.

مثال آخر على ردود الفعل من الإنسان وChatGPT على نفس المقال

إذًا، كيف تنافست مراجعة ChatGPT لمسودتي الأولى مع مراجعة المحرر الخاص بي؟ اقترح أحد الباحثين في فريق الدراسة مطالبة يمكنني لصقها في ChatGPT. بعد طرح بعض الأسئلة ذهابًا وإيابًا مع برنامج الدردشة الآلي حول مستوى الصف الدراسي والجمهور المستهدف، قدم في البداية بعض النصائح العامة التي لم يكن لها أي صلة بالأفكار والكلمات الواردة في قصتي. وبدا أكثر اهتماما بالشكل والعرض، واقترح ملخصا في الأعلى والعناوين الفرعية لتنظيم الجسم. أحد الاقتراحات كان من شأنه أن يجعل مقالتي طويلة جدًا. نصيحتها بإضافة أمثلة حول كيفية الاستفادة من ردود فعل الذكاء الاصطناعي كانت شيئًا قمت به بالفعل. بعد ذلك طلبت تغيير أشياء محددة في مسودتي، وقد عاد ChatGPT ببعض الأفكار الفرعية الرائعة. أخطط لاستخدامها في رسالتي الإخبارية، والتي يمكنك رؤيتها إذا كنت تريد ذلك الاشتراك في هنا. (وإذا كنت تريد رؤية مطالبتي وحواري مع ChatGPT، فإليك وصلة.)

كانت محررتي البشرية، باربرا، هي الفائزة الواضحة في هذه الجولة. لقد شددت كتابتي وأصلحت الأخطاء في الأسلوب وساعدتني في التفكير في هذه النهاية. وظيفة باربرا آمنة – في الوقت الحالي.