AI-assisted assessment of ESL writing: University instructor perceptions & human-AI scoring correlations
Yapay zeka desteği ile İngilizce yazma değerlendirmesi: Üniversite öğretim elemanlarının görüşleri ve insan-YZ puanlama korelasyonları
- Tez No: 961565
- Danışmanlar: DR. ÖĞR. ÜYESİ ALİ İLYA
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Bilgisayar destekli değerlendirme, Otomatik yazı yazma değerlendirme, Yapay zeka, İnsan-yapay zeka etkileşimi, Computer aided evaluation, Automated writing evaluation, Artificial intelligence, Human-artificial intelligence interaction
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Sakarya Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, İngilizce yazma değerlendirmelerine yapay zeka (YZ) araçlarının entegrasyonunu, üniversite öğretim elemanlarının görüşlerini ölçen bir anket çalışması ve insan ile YZ puanlamalarının ilişkisel analizi olmak üzere iki birbirini tamamlayan çalışma aracılığıyla ele almaktadır. İlk olarak, kesitsel bir anket ile (N = 96) ChatGPT ve Grammarly gibi genel amaçlı YZ araçlarının yaygın kullanımını, bu araçlara yönelik güven düzeylerini, algılanan etkinliklerini, etik kaygılarını ve gelecek beklentilerini ortaya koymuştur. Sonuçlarda %82'lik yüksek bir benimseme oranı, dilbilgisi ve organizasyon geri bildirimine ilişkin orta düzeyde güven, ancak puanlama kapasitesi, etik boyutlar ve insan denetiminin gerekliliği hususunda belirgin çekinceler olduğu gözlemlenmiştir. İkinci olarak, 4 insan değerlendirici ile 25 YZ araçlarının İngilizce (ikinci dil olarak, ESL) kullanılarak yazılan 60 tartışmacı kompozisyonlara verdikleri puanlar Krippendorff alfa (Ka), sınıf-içi korelasyon (ICC2k), eşleştirilmiş t-testler, Wilcoxon işaretli sıralı testleri ile Pearson (Pr) ve Spearman (Sρ) korelasyon katsayıları kullanılarak incelenmiştir. İnsan değerlendiriciler mükemmel değerlendiriciler-arası güvenirlik (Ka > 0.7; ICC2k > 0.94), ancak YZ araçları orta düzeyde değerlendiriciler-arası güvenirlik sergilemiştir (Ka ≤ 0.5; ICC2k > 0.94). YZ puanları, insan ortalamaları ile orta ila güçlü korelasyon göstermiştir (Pr ∈ [0.51, 0.65]; Sρ ∈ [0.52, 0.64]), ancak tüm kriterlerde ortalama 0,5 ile 1 puan arası, toplam puanda ise ortalama 2,5 puan düşük vermiştir (p < 0.001; Cohen's d ∈ [-0.98, -0.47]) ve bu araçlar arasında OpenAI o3-mini en yüksek Pr değerlerini elde etmiştir. Bu bulgular, güncel YZ araçlarının yazılı değerlendirmede insan kararlarına yaklaşabildiğini ancak sistematik yanılma ve sınırlı yapı geçerliliği taşıdığını ortaya koyarken, yüksek riskli dil değerlendirmelerinde YZ'nin insan denetimini tamamlayıcı, etik önlemler ve sürekli doğrulama gerektiren bir rol üstlenmesi gerekliliğini vurgulamaktadır.
Özet (Çeviri)
This thesis investigates the integration of artificial intelligence (AI) into English writing assessment through two interconnected studies: a survey of university instructors' perspectives and a correlational analysis of human and AI scoring of argumentative English as a Second Language (ESL) essays. First, a cross-sectional survey (N = 96) captured instructors' usage patterns, trust, perceived effectiveness, ethical concerns, and future outlook regarding AI tools. Usage of general purpose AI tools such as ChatGPT and Grammarly were prevalent. The survey additionally revealed high adoption (82%), moderate confidence in AI feedback for grammar and organization, but considerable reservations about AI's grading capacity, ethical implications, and the necessity of sustained human oversight. Second, a correlational design examined scores assigned by 4 human raters and 25 AI tools on 60 argumentative ESL essays, employing Krippendorff's alpha (Ka), intraclass correlation coefficient (ICC2k), paired t-tests, Wilcoxon signed-rank tests, and Pearson (Pr) and Spearman (Sρ) correlation coefficients. Human raters demonstrated excellent inter-rater reliability (Ka > 0.7; ICC2k > 0.94), while AI tools showed moderate inter-rater reliability (Ka ≤ 0.5; ICC2k > 0.94). AI scores correlated moderately to strongly with human means (Pr ∈ [0.51, 0.65]; Sρ ∈ [0.52, 0.64]) but systematically under-scored by approximately 0.5 to 1 points on all criteria and 2.5 points on total score (p < 0.001; Cohen's d ∈ [-0.98, -0.47]). Among AI tools, OpenAI o3-mini assigned scores which consistently achieved strong correlation with human scores. These findings suggest that, although contemporary AI tools can approximate human judgment in writing assessment, it exhibits systematic bias and limited construct validity. The study underscores the importance of human and AI collaboration, ethical safeguards, and ongoing validation when deploying AI for high-stakes language assessment, pointing to a complementary role for AI that enhances efficiency without displacing human oversight.
Benzer Tezler
- Edebi tür olarak garibu'l-hadis: Kaynak-metod ve muhteva analizi
Gharibu`l hadith as the literary type: Analysis of sources, methods and contents
YUSUF AKGÜL
- An investigation of the perceived effects of corpus-based versus ai-assisted multidimensional feedback on EAP engineering students' writing performance
Korpus tabanlı ile yapay zekâ destekli çok boyutlu geri bildirimin algılanan etkilerinin EAP mühendislik öğrencilerinin yazma performansı üzerine incelenmesi
HÜRRİYET AZAKLI
Yüksek Lisans
İngilizce
2025
Batı Dilleri ve EdebiyatıKaradeniz Teknik ÜniversitesiBatı Dilleri ve Edebiyatları Ana Bilim Dalı
DOÇ. DR. ALİ ŞÜKRÜ ÖZBAY
- Tahkim yargılamasında yapay zekâ destekli delil değerlendirmesi
AI-assisted evaluation of evidence in arbitration proceedings
EMİR ATAK
Yüksek Lisans
Türkçe
2026
HukukAnkara Sosyal Bilimler ÜniversitesiÖzel Hukuk Ana Bilim Dalı
DOÇ. DR. ERMAN EROĞLU
- Yapay zekâ destekli video içeriklerine yönelik kullanıcı yorumlarının motivasyon ve etkileşim bağlamında analizi
Analysis of user comments on ai-assisted video content in the context of motivation and engagement
MELİKE ÇELİK
Yüksek Lisans
Türkçe
2026
İletişim Bilimleriİstanbul Medipol ÜniversitesiYeni Medya ve İletişim Sistemleri Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. İHSAN EKEN
- Mitral yetmezlik hastalarında mitral kapak onarımı ile mitral kapak replasmanının sol ventrikül fonksiyonları üzerine etkisinin değerlendirilmesi ve sol ventrikül global longitudinal straininin yapay zeka destekli analizi
Assessment of the effects of mitral valve repair versus mitral valve replacement on left ventricular function in patients with mitral regurgitation and artificial intelligence–assisted analysis of left ventricular global longitudinal strain
ONUR BÜYÜKÇAKIR
Tıpta Uzmanlık
Türkçe
2026
Göğüs Kalp ve Damar CerrahisiAnkara ÜniversitesiKalp ve Damar Cerrahisi Ana Bilim Dalı
PROF. DR. AHMET RÜÇHAN AKAR