Comparing human-based and AI-based writing assessment at a preparatory school
Hazırlık okulunda insan tabanlı ve yapay zeka tabanlı yazma değerlendirmesinin karşılaştırılması
- Tez No: 979016
- Danışmanlar: DR. ÖĞR. ÜYESİ AYŞE BETÜL TOPLU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, İngiliz Dili ve Edebiyatı, Education and Training, English Language and Literature
- Anahtar Kelimeler: yapay zeka, Monica.ai, insan temelli değerlendirme, yapay zeka temelli değerlendirme, artificial intelligence, Monica.ai, human raters, AI raters
- Yıl: 2025
- Dil: Türkçe
- Üniversite: İstanbul Aydın Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son yıllarda teknolojinin önemli yeniliklerinden biri haline gelen yapay zekâ (YZ), birçok sektörde dikkat çekici etkiler yaratmıştır. Bu anlamda kullanım alanının genişlediği en önemli sektörlerden biri de eğitim sektörüdür. YZ ve uygulamalarının öğrencilere geri bildirim verme konusunda önemli fırsatlar sunmasıyla birlikte, öğrencilerin yazma kalitesi ve becerilerini ölçmek için kullanılabilecek kriterler de giderek çeşitlenmektedir. İkincil dil yazım kalitesini değerlendirmek için Intelligent, Essay Assessor ve IntelliMetric gibi birçok yazılım programı uygulamaya konulmuş ve kullanıma sunulmuş olsa da, yazma yeterliliğinin genel değerlendirmesi hala insan temelli değerlendirme yöntemlerine göre yapılmaktadır. Bu bağlamda özellikle üzerinde durulan en temel soru, dil öğrenenlerin yazma kalitesini ölçmek için geliştirilen YZ algoritmalarının insan değerlendiricilerin işini kolaylaştıracak yeterlilikte olup olmadığı ve insan temelli değerlendirme ile YZ temelli değerlendirme arasında anlamlı bir fark olup olmadığıdır. Bu çalışmada yarı deneysel bir araştırma modeli kullanılmıştır. Tüm bu gerçeklere dayanarak, çalışma, yeni bir yapay zeka tabanlı program olan Monica.ai platformunda Deep Seek R1 ve ChatGPT-4o'nun öğrenci yazma çalışmalarını değerlendirmedeki etkinliğini incelemeyi amaçlamıştır. Yapay zeka ve insan tabanlı değerlendirme kriterleri kullanılarak, 63 makale iki deneyimli eğitmen tarafından değerlendirilmiş, hem yapay zeka destekli hem de geleneksel kağıt tabanlı formatlarda öğrencilerin yazma becerileri hakkında geri bildirim sağlanmış ve insan ve yapay zeka değerlendiricileri arasındaki uyum düzeyi incelenmiştir. Sonuç olarak, öğrencilerin makaleleri iki insan değerlendirici ve iki yapay zeka platformu tarafından puanlanmış ve puanları karşılaştırılmıştır. Analiz, Cohen'in Kappa Değeri ve ICC (Sınıf İçi Korelasyon Katsayısı) gibi araçları kullanarak Monica.ai algoritması ve insan değerlendiriciler tarafından verilen rubrik puanlarının uyumunu, güvenilirliğini ve tutarlılığını ölçmeye odaklanmıştır. Bu çalışmada Rosmawan (2017) tarafından hazırlanan rubrik kullanılmış ve insan değerlendiricilerin makale puanlamasındaki sonuçları 8 haftalık tedaviden sonra ortaya çıkarılmıştır. Çalışmanın nitel verileri yarı yapılandırılmış görüşmelerle toplanmış ve tematik analiz kullanılarak analiz edilmiştir.
Özet (Çeviri)
Artificial intelligence (AI), which has become one of the important innovations of technology in the last few years, has had a remarkable effect on many sectors. In this sense, the education sector is one of the most prominent ones where its area of use is expanding. With AI and its applications offering important opportunities to give feedback to the students, the criteria that can be used to measure students' writing quality and skills are becoming much more diverse. Although several software programs, such as Intelligent, Essay Assessor and IntelliMetric have been implemented and introduced to evaluate the quality of secondary language writing, the general assessment of writing proficiency is still carried out according to human-based assessment methods. In this respect, the most fundamental question that is particularly emphasized is whether the AI algorithms developed to measure the writing quality of language learners have a sufficient quality that facilitates the work of human evaluators and whether there is a significant difference between human-based assessment and AI-based assessment. This study used a semi-experimental research model. Based on all these facts, the study aimed to examine the efficiency of Deep Seek R1 and ChatGPT-4o in the Monica.ai platform, a new artificial intelligence-based program, in evaluating students' writing work. Using AI and human-based evaluation criteria, 63 essays were assessed by two experienced instructors, providing feedback on students' writing skills in both AI-assisted and traditional paper-based formats, and examining the level of agreement between human and AI evaluators. As a result, students' essays were scored by two human raters and two AI platforms, and their scores were compared. The analysis focused on measuring the agreement, reliability, and consistency of the rubric scores given by the Monica.ai algorithm and human evaluators, using tools like Cohen's Kappa Value and ICC (Intraclass Correlation Coefficient). The rubric prepared by Rosmawan (2017) was utilized in this study and the results of human evaluators in article scoring were revealed after 8 weeks of treatment. The qualitative data of the study was collected through semi-structured interviews and analyzed using thematic analysis.
Benzer Tezler
- The significance and the contribution of 6+1 traits of writing to the success of the students in writing courses in English language teaching
Yazmanın 6+1 özelliğinin İngilizce öğretiminde yazılı anlatım derslerindeki öğrenci başarısına katkısı ve önemi
ÖZLEM YAZAR
Yüksek Lisans
İngilizce
2004
Eğitim ve ÖğretimGazi Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. PAŞA TEVFİK CEPHE
- Ai-powered EFL writing assessment: Investigating the validity and reliability of large language models in automated scoring
Yapay zekâ destekli İngilizce yazma değerlendirmesi: Otomatik puanlamada büyük dil modellerinin geçerlik ve güvenirliğinin incelenmesi
İREM SILA ÖZER
Yüksek Lisans
İngilizce
2026
Eğitim ve ÖğretimÇanakkale Onsekiz Mart ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. SALİM RAZI
DR. ÖZGÜR ÇELİK
- The impact of ChatGPT use in EFL Writing Classes: A case study
ChatGPT kullanımının yabancı dil olarak İngilizce yazma sınıflarında etkisi: Bir durum çalışması
ERDEM TALHA KOÇ
Yüksek Lisans
İngilizce
2025
Eğitim ve ÖğretimYıldız Teknik ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÜLÜMSER EFEOĞLU
- Yapay zekanın sektörel uygulama alanları ve etkileri üzerine bir inceleme
A study on sectoral application areas and effects of artificial intelligence
GİZEM ALTINDERE YAZICI
Yüksek Lisans
Türkçe
2025
İşletmeİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
DOÇ. DR. ADNAN VEYSEL ERTEMEL
- Yanma gecikmeli poliakrilonitril polimer ve elyafları üretimi
Producing flame retardant polyacrylonitrile polymers and fiber manufacturing from the same
MUSTAFA YILMAZ
Doktora
Türkçe
2020
Polimer Bilim ve Teknolojisiİstanbul Teknik ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. AHMET AKAR