Artificial intelligence as an automated essay scoring tool: A focus on ChatGPT

Bu çalışma, ChatGPT'nin, Yapay Zeka (AI) dil modeli, İngilizceyi yabancı dil olarak (EFL) öğrenenlerin denemelerini notlandırmak için Otomatik Deneme Puanlama (AES) aracı olarak kullanılmasının etkinliğini araştırmaktadır. Korpus, B2 seviyesinde 10 EFL öğrencisi tarafından yazılmış analiz, karşılaştırma ve zıtlık, tanımlayıcı, anlatı ve görüş denemeleri dahil olmak üzere çeşitli türleri temsil eden 50 denemeden oluşur. İnsan dereceleyiciler ve ChatGPT (40 mini versiyon), denemeleri Uluslararası İngilizce Dil Test Sistemi (IELTS) GÖREV 2 Yazım bant tanımlayıcıları kullanarak puanladı. Nicel bir yaklaşım benimseyerek, üretilen puanları karşılaştırmak için Wilcoxon imzalı sıralama testleri ve Spearman korelasyon testleri kullanıldı ve iki puanlama yöntemi arasında önemli bir fark ortaya çıktı; insan puanlayıcılar ChatGPT'den daha yüksek puanlar veriyordu. Benzer şekilde, farklı derecelerde önemli farklılıklar da farklı derecelerde belirgindi; bu da makale türünün insan değerlendiriciler ile ChatGPT arasındaki uyumu etkileyen bir parametre olmadığını gösteriyordu. Sonuçta, ChatGPT'nin bir AES aracı olarak umut vaat ettiğini ancak gözlemlenen eşitsizliklerin pratik kullanım için yeterli yeterliliğe ulaşmadığını gösterdiği tartışıldı. Çalışma, EFL bağlamlarında makale değerlendirmesinin incelikli doğasına uymak için yapay zeka dil modellerinde iyileştirme gerekliliğini vurguluyor.