Enhancing diagnostic potential in language testing: A cognitive diagnostic modelling study through data-driven Q-matrix refinement
Dil testlerinde tanısal potansiyelin geliştirilmesi: Veriye dayalı Q-matrisi iyileştirmesi aracılığıyla bir bilişsel tanısal modelleme çalışması
- Tez No: 974125
- Danışmanlar: PROF. DR. AYŞEGÜL DALOĞLU
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bireyselleştirilmiş dil öğretimi ve öğrenimi, bir öğrencinin hangi alt becerilere sahip olduğunu ve hangilerinden yoksun olduğunu gösteren değerlendirmeler gerektirmektedir. Bilişsel tanısal modeller (BTM) bu tür geri bildirimler sunabilse de bu modellerin geçerliliği, maddeleri örtük özelliklerle ilişkilendiren ve doğru bir şekilde oluşturulmuş olan Q-matrisine bağlıdır. Yalnızca alan uzmanlarına dayanarak oluşturulan Q-matrisleri yanlılığa açık olabilmekte ve tutarsız ayrıntı düzeyi, potansiyel olarak hatalı parametre tahmini ve dolayısıyla hatalı sınıflandırmalara ve tanısal çıkarımlara yol açabilmektedir. Bu tez çalışması, yabancı dil sınavı geliştirme süreçleri için veriye dayalı bir Q-matrisi oluşturma prosedürü geliştirmeyi ve yabancı dil alt becerilerinin boylamsal gelişimini izlemek amacıyla BTM'leri kullanmayı amaçlamıştır. G-DINA çerçevesi altında önerilen Q-matrisi iyileştirme prosedürü, Q-matrisinin oluşturulmasında uzman kararlarını bilgilendirmek amacıyla veri ön işleme için Klasik Test Teorisi/Madde Tepki Kuramı analizlerinin entegre kullanımı, keşfedici faktör yapısının ortaya çıkarılmasını ve ayırt edicilik indeksine dayalı iyileştirmeyi kullanmaktadır. Bu prosedürün performansı, farklı değerlendirme koşullarını ve senaryolarını temsil eden dört simülasyonda iki farklı yönteme karşı değerlendirilmektedir. İçeriksel olarak, okuduğunu anlama, dinlediğini anlama ve İngilizce kullanımı alanlarındaki 24 test formunun performansını karşılaştırmak için boylamsal bir vaka çalışması deseni kullanılmıştır. BTM sonuçları kullanılarak öğrencilerin gelişim yörüngelerini izlemek için büyüme ve karma etkili modeller, alan içi ve alanlar arası ilişkileri araştırmak için korelasyon tabanlı ağlar, edinim sıralamalarını takip etmek için dinamik Bayes ağları ve başlangıç düzeyindeki tanısal profillerin nihai test yeterliliğini yordayıp yordamadığını test etmek için doğrusal regresyonlar kullanılmıştır. Çalışmanın sonuçları, genellenebilirlik üzerindeki kabul edilmiş kısıtlılıklar çerçevesinde, daha gelişmiş tanısal test tasarımı, müfredat geliştirme ve geri bildirim uygulamaları için çıkarımlar sunmaktadır.
Özet (Çeviri)
Individualised language instruction and learning require assessments that show which sub-skills an individual learner possesses and lacks. Cognitive diagnostic models (CDMs) can offer such feedback, but their validity depends upon an accurately specified Q-matrix associating items to latent attributes. Q-matrices constructed solely by subject-matter experts can be susceptible to bias, and inconsistent granularity potentially leading to inaccurate parameter estimation, examinee classification, and diagnostic inferences. This dissertation sought to develop an empirically informed Q-matrix construction procedure for L2 test development and employ CDMs for longitudinal development tracing of L2 sub-skills. A proposed data-driven, iterative Q-matrix refinement procedure under the G-DINA framework integrates CTT/IRT analyses for data preprocessing, exploratory factor structure discovery, and discrimination-index–driven refinement to inform expert judgements for Q-matrix construction. Its performance is evaluated against two methods in four simulations representing different noisy assessment conditions and scenarios. Substantively, a longitudinal case study design is used to compare the performance in 24 institutional test forms in the domains of reading comprehension, listening comprehension, and use of English. CDMs fitted to the longitudinal data were used to produce learner-level attribute profiles at multiple points in time. Using the CDM results, the study used growth and mixed-effects models to trace trajectories; correlation-based networks to investigate within- and cross-domain associations; dynamic Bayesian networks to trace acquisition sequences; and linear regressions to test whether initial diagnostic profiles at the end of first term predict final test proficiency. Implications entail enhanced diagnostic test design, curriculum design, and feedback practices, all with acknowledged constraints over generalizability.
Benzer Tezler
- Sentencing Mentally Disordered Offenders: Comparing provisions in Türkiye, England and Wales, and the Netherlands to the ECHR framework
Akıl Hastası Suçluların Cezalandırılması: Türkiye, İngiltere ve Galler ve Hollanda'daki düzenlemelerin AİHS hükümleri çerçevesinde karşılaştırılması
CANDAN YILMAZ
Doktora
İngilizce
2025
HukukUnıversıty Of Gronıngen (rıjksunıversıteıt Gronıngen)Ceza ve Ceza Muhakemesi Ana Bilim Dalı
PROF. DR. SANNE STRUIJK
- Sağlık hizmetindeki nesnelerin interneti cihazlarının güvenliğinin arttırılması
Increasing the security of IoT devices in healthcare
VOLKAN TURHAN
Yüksek Lisans
Türkçe
2024
Bilim ve Teknolojiİstanbul Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. ERGÜN EROĞLU
- Ruh sağlığı bilişiminde klinik uygulamalara yönelik güncel yaklaşımlar ve yenilikler: Kavramsal ve literatür incelemesi
Current approaches and innovations in clinical applications of mental health informatics: A conceptual and literature-based review
MELTEM BAYRAKTAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÜsküdar ÜniversitesiSağlık Bilişimi Ana Bilim Dalı
PROF. DR. TÜRKER TEKİN ERGÜZEL
- Anomaly detection and root-cause determination for automotive applications using deep learning and xai models
Otomotiv uygulamaları için derin öğrenme ve açıklanabilir yapay zeka kullanarak anomali tespiti ve kök-neden analizi
MEHMET EMİN MUMCUOĞLU
Doktora
İngilizce
2025
Otomotiv MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ÜNEL
- Dikkat eksikliği ve hiperaktivite bozukluğu olan çocukların el yazılarının görüntü işleme teknikleri ile analizi
Analysis of handwriting of children with attention deficit hyperactivity disorder using image processing techniques
ÖZLEM YILDIZ BUDAK
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED FATİH ADAK