A comparative analysis of artificial intelligence-generated and human-designed reading comprehension tests
Yapay zekâ üretimi ve insan tasarımı okuduğunu anlama testlerinin karşılaştırmalı bir analizi
- Tez No: 989986
- Danışmanlar: DR. ÖĞR. ÜYESİ KÜBRA OKUMUŞ DAĞDELER
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: yapay zekâ tarafından üretilmiş, okuma, insan tarafından tasarlanmış, madde güçlüğü, madde ayırt ediciliği, yabancı dil olarak İngilizce, AI generated, reading, human designed, assessment, item difficulty, item discrimination, EFL
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Sivas Cumhuriyet Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Akademik ortamlarda yapay zekâ teknolojilerinin giderek daha fazla kullanılmasıyla birlikte, yapay zekâ ile oluşturulan değerlendirme araçlarının geçerliliğini, karmaşıklık düzeylerini ve öğrenenler tarafından kabul edilebilirliğini belirlemek büyük önem kazanmıştır. Bu nedenle, bu araştırma, yabancı dil olarak İngilizce (EFL) eğitim ortamlarında, yapay zekâ ile oluşturulan ve insanlar tarafından oluşturulan okuduğunu anlama değerlendirmelerini, madde zorluğu ve ayrımcılık açısından karşılaştırmaktadır. Araştırma, nicel madde değerlendirmesi (n=142) ile öğrencilerin sesli düşünme oturumlarından (n=17) elde edilen nitel analizi birleştiren karma bir metodoloji çerçevesi kullanmaktadır. Nicel sonuçlar, yapay zekâ tarafından geliştirilen soruların insan tarafından oluşturulan sorularla karşılaştırılabilir karmaşıklık düzeyleri sergilemesine rağmen, farklı yeterlilik düzeylerine sahip öğrenciler arasında ayrım yapma konusunda daha az yetenekli olduklarını ortaya koymaktadır. Özellikle, insan tarafından geliştirilen değerlendirme maddeleri, zorluk ölçümlerine göre daha az zorlayıcı görünse de yapay zekâ tarafından üretilen maddelere (0,438) kıyasla daha üstün bir ortalama ayrım katsayısı (0,535) elde etmiştir. Ayrıca, yapay zekâ araçlarını sık kullanan öğrenciler genel olarak anlamada önemli bir performans göstermezken, bazı maddeler kullanım sıklığı ile küçük korelasyonlar sergilemiştir. Nitel veriler, öğrencilerin algılarını daha da aydınlatarak, insan tarafından oluşturulan soruların netliği, aşinalık ve pedagojik uyumuna yönelik bir tercihi ortaya koydu. Bu bulgular, yapay zekâ tarafından oluşturulan değerlendirmelerin tasarımında insan gözetiminin önemini vurgulamakta ve eğitimcilere yapay zekayı dil öğrenme bağlamlarına entegre etmek için değerli bilgiler sağlamaktadır. Bu bulgular, yapay zekâ tarafından oluşturulan değerlendirmelerin tasarımında insan gözetiminin önemini vurgulamakta ve eğitimcilere yapay zekayı dil öğrenme bağlamlarına entegre etmek için değerli bilgiler sağlamaktadır.
Özet (Çeviri)
Given the growing incorporation of artificial intelligence technologies in academic environments, establishing the validity, complexity levels, and learner acceptance of AI-created evaluation tools has become essential. Thus, this research compares artificial intelligence-generated versus human-created reading comprehension assessments in terms of item difficulty and discrimination within English as a Foreign Language (EFL) educational settings. The research employs a mixed-methodology framework that integrates quantitative item evaluation (n=142) with qualitative analysis derived from student think-aloud sessions (n=17). The quantitative results reveal that although AI-developed questions demonstrated comparable complexity levels to human-generated questions, they proved less capable of differentiating between students with varying proficiency levels. Notably, human-developed assessment items achieved a superior mean discrimination coefficient (0.535) compared to AI-produced items (0.438), even though the human-created questions appeared less challenging based on difficulty measurements. Furthermore, while students who frequently used AI tools did not demonstrate a significant performance in comprehension overall, certain items exhibited minor correlations with usage frequency. Qualitative data further illuminated students' perceptions, indicating a preference for the clarity, familiarity and pedagogical alignment of human-created questions. These findings emphasise the importance of human oversight in the design of AI-generated assessments and provide educators with valuable insights for integrating AI into language learning contexts. These findings emphasise the importance of human oversight in the design of AI-generated assessments and provide educators with valuable insights for integrating AI into language learning contexts.
Benzer Tezler
- Türkçe metinlerde aldatıcı beyan tespitine yönelik doğal dil işleme tabanlı hibrit model geliştirilmesi ve sektörel bir uygulama
Development of a natural language processing based hybrid model for detection of deceptive statements in Turkish texts and a sectoral application
EKİN AKKOL
Doktora
Türkçe
2025
Yönetim Bilişim SistemleriDokuz Eylül ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
PROF. DR. YILMAZ GÖKŞEN
- Büyük dil modelleri ile yazılan kaynak kodların güvenlik analizi: Bankacılık sektörü uygulaması
Security analysis of source codes written by large language models: An application to the banking industry
RESUL SEZGİN ALBAYRAK
Yüksek Lisans
Türkçe
2026
BankacılıkKocaeli ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MELTEM KURT PEHLİVANOĞLU
- Kalsinörin proteinini hedefleyerek kandidiyaz hastalığının tedavisine yönelik peptit tabanlı moleküllerin bilgisayar ortamında tasarımı
In silico design of peptide-based molecules targeting calcineurin protein for the treatment of candidiasis
YAĞMUR DİCLE ALTUN
Yüksek Lisans
Türkçe
2026
Kimyaİstanbul Teknik ÜniversitesiKimya Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ONUR ALPTÜRK
DR. ÖĞR. ÜYESİ SEFER BADAY
- Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
Comparative analysis of large language models for natural language to SQL and visualization code generation
BAYKAL MEHMET UÇAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. SEFER BADAY
- İnsan ve yapay zeka tarafından tasarlanan giysilerin yaratıcılık ve estetik açıdan karşılaştırılması
A comparative analysis of aesthetic qualities and creativity in garments designed by humans and artificial intelligence
GÜLİZ AZAK
Yüksek Lisans
Türkçe
2026
Giyim EndüstrisiSelçuk ÜniversitesiTasarım Ana Bilim Dalı
DOÇ. DR. TUĞBA ŞENER