Evaluating AI-generated and human-authored reading passages in ELT: A comparison of organization, sentence structure, and word choice
İngilizce dil öğretiminde yapay zeka tarafından üretilen ve insan yazımı okuma metinlerinin değerlendirilmesi: Metin organizasyonu, cümle yapısı ve sözcük seçimi açısından bir karşılaştırma
- Tez No: 1005817
- Danışmanlar: DOÇ. DR. BURCU ÜNAL
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Bağlamsallık, Sözcüksel bağdaşıklık, Veri analizi, Yabancı dil öğretimi, İnsan-yapay zeka etkileşimi, İçerik analizi, Contextuality, Lexical cohesion, Data analysis, Foreign language teaching, Human-artificial intelligence interaction, Content analysis
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: İngiliz Dili Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, Avrupa Ortak Dil Referans Çerçevesi (CEFR) A1, A2 ve B1 seviyelerinde İngiliz Dili Eğitimi (ELT) kapsamında kullanılan, yapay zeka (ChatGPT) tarafından üretilmiş ve insan yazımı okuma metinleri arasındaki tasarım odaklı farklılıkları incelemektedir. Analiz, genel kalite veya üstünlük iddialarında bulunmamakla birlikte; cümle karmaşıklığı, sözcük çeşitliliği ve gelişmişliği, bağlaşıklık ve tutarlılık, ton ve üslup ile metin organizasyonundaki sistematik örüntülere odaklanmaktadır. Çalışmada, nicel dilbilimsel analiz, nicelleştirilmiş nitel söylem analizi ve Alan Uzmanlarının (SME) değerlendirmelerini içeren karma bir yöntem tasarımı kullanılmıştır. Veri seti toplam 60 okuma metninden oluşmaktadır: CEFR uyumlu ELT ders kitaplarından seçilen 15 insan yazımı metin ve tematik içerik ile dil seviyesi uyumu gözetilerek örneksiz (zero-shot) istemlerle oluşturulan 45 yapay zeka üretimi metin. Nicel analizlerde Coh-Metrix'ten alınan bağlaşıklık ve tutarlılık dizinleri ile TAALES'ten alınan sözcük dizinleri kullanılmış ve bunlar keşifsel çıkarımsal istatistiklerle desteklenmiştir; nitel analizlerde frekans temelli kodlama uygulanmış, Alan Uzmanları ise Likert ölçekli değerlendirmelerin yanı sıra nicelleştirilmiş açık uçlu yanıtlar sunmuştur. Bulgular, tutarlı ve seviyeye duyarlı farklılıklara işaret etmektedir. Yapay zeka tarafından üretilen metinlerin, özellikle A1–A2 seviyelerinde yapısal tutarlılığa, belirgin yüzeysel bağlaşıklığa ve kontrollü cümle bölünmesine öncelik verdiği görülmektedir. Buna karşılık, insan yazımı metinler, üst seviyelerde daha belirgin hale gelen daha yüksek sözdizimsel yoğunluk, söylem entegrasyonu ve anlatı esnekliği sergilemektedir. Çıkarımsal sonuçlar, bu farklılıkların rastgele varyasyonlardan ziyade sistematik tasarım yönelimlerinin bir göstergesi olduğunu ortaya koymaktadır. Alan Uzmanı değerlendirmeleri bu eğilimlerle paralellik göstermiş; yapay zeka metinleri alt seviyelerde daha açık ve sınıf içi kullanıma uygun bulunurken, insan yazımı metinler özgünlükleri ve söylem derinlikleri nedeniyle takdir edilmiştir. Sonuçlar genel olarak, her iki metin türünün de İngiliz dili eğitiminde farklı ve önemli rollere sahip olduğu tamamlayıcı bir pedagojik bakış açısını desteklemektedir.
Özet (Çeviri)
This study investigates design-oriented variations between AI-generated (Chat-GPT) and human-authored reading passages employed for English Language Teaching (ELT) across CEFR levels A1, A2, and B1. The analysis does not make claims about overall quality or superiority. Instead, it looks for systematic patterns in sentence complexity, lexical diversity and sophistication, cohesion and coherence, tone and style, and text organization. A mixed-method design was utilized, incorporating quantitative linguistic analysis, quantified qualitative discourse analysis, and evaluations from Subject Matter Experts (SMEs). The dataset consisted of 60 reading passages: 15 human-authored texts chosen from CEFR-aligned ELT coursebooks and 45 AI-generated texts created via zero-shot prompting, ensuring thematic and proficiency-level alignment. Quantitative analyses utilized cohesion and coherence indices from Coh-Metrix and lexical indices from TAALES, supplemented by exploratory inferential statistics; qualitative analyses employed frequency-based coding, and subject matter experts (SMEs) delivered Likert-scale ratings alongside quantified open-ended responses. The results indicate consistent, level-sensitive contrasts. AI-generated texts prioritize structural consistency, explicit surface cohesion, and controlled sentence segmentation, particularly at A1–A2 levels. In contrast, human-authored texts exhibit greater syntactic density, discourse integration, and narrative flexibility, which become more apparent at higher levels. The inferential results indicate that these differences are indicative of systematic design orientations rather than random variation. SME evaluations corresponded with these trends, assessing AI-generated texts as more lucid and suitable for classroom use at lower levels, while appreciating human-authored texts for their authenticity and depth of discourse. The results overall support a complementary pedagogical view in which both types of texts have different, important roles in English language teaching.
Benzer Tezler
- EFL teachers' perceptions and practices on the differences between student-written and ChatGPT-generated essays
İngilizceyi yabancı dil olarak öğreten öğretmenlerin öğrenci ve ChatGPT tarafından yazılan kompozisyonlara dair algıları ve uygulamaları
GAMZE NUR ASLAN
Yüksek Lisans
İngilizce
2025
Eğitim ve ÖğretimHacettepe ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. NURAY ALAGÖZLÜ
- Prompted shifts: The possible impact of AI on vocabulary use in ELT academic writing
Yönlendirilmiş değişimler: Yapay zekanın İngiliz dili öğretimi akademik yazımında sözcük kullanımına olası etkisi
YASEMİN ESMA ŞAHİN
Yüksek Lisans
İngilizce
2026
Eğitim ve ÖğretimBursa Uludağ ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. LEVENT UZUN
- Detecting plagiarism from ai language models in education systems
Değitim sistemlerinde yapay zeka dil modellerinden intihaltespiti
MARWA NABULSI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiYapay Zeka Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SELAMİ BAĞRIYANIK
- Üretken yapay zeka modellerinin temel algoritma problemleri üzerindeki etkinliğinin analizi
Evaluating the effectiveness of generative ai models in solving fundamental algorithmic challenges
HALİL KAYNARPINAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSivas Cumhuriyet ÜniversitesiYapay Zeka ve Veri Bilimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULKADİR ŞEKER
- Assure öğretim tasarim modeli ile gerçekleştirilen yapayzekâ destekli uygulamalarin öğrencilerin yazılı istembecerilerine etkisi: Karma bir çalışma
The impact of AI-supported applications implemented through the assure instructional design model on students' prompt writing skills: A mixed-methods study
NURCAN İNAN
Doktora
Türkçe
2026
Eğitim ve ÖğretimMarmara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SEYFİ KENAN
PROF. DR. SİBEL CENGİZHAN