Cognitive diagnostic assessment of second language reading comprehension: Application of the log - linear cognitive diagnosis modeling to language testing
İkinci dilde okuduğunu anlama becerisinin bilişsel tanılayıcı değerlendirmesi: Log - lineer bilişsel tanılayıcı modelin dilde ölçme - değerlendirmeye uygulanması
- Tez No: 419424
- Danışmanlar: PROF. DR. ABDULVAHİT ÇAKIR
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: İngilizce
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngilizce Öğretmenliği Bilim Dalı
- Sayfa Sayısı: 205
Özet
Bu çalışmada tanılayıcı sınıflandırma modelleme yaklaşımı çerçevesinde ikinci dilde okuduğunu anlama becerisine yönelik çok boyutlu bir bilişsel tanılayıcı test geliştirilmesi amaçlanmıştır. Tanılayıcı sınıflandırma modelleme yaklaşımı henüz gelişme aşamasında olsa da, istatistiki açıdan ileri ve karmaşık olan bu modelleme eğitimde ölçme ve değerlendirmede paydaşlara sunulacak tanılayıcı dönütün kalitesini artırmak için büyük umut vadetmektedir. Retrofitting adı verilen yeterlik sınav sonuçlarının tanılayıcı sınıflandırma modellemede kullanıldığı uygulamalarda ciddi sorunlarla karşılaşılmaktadır. İlgili literatürde de bu sıkıntılara sıklıkla değinildiğinden ötürü, bu çalışma tanılayıcı sınıflandırma modelleme kapsamında kullanılmak üzere ikinci dilde okuduğunu anlama becerisini ölçmeye yönelik bilişsel bir tanılayıcı test geliştirmeyi ve bu test sonuçlarını Log-lineer Bilişsel Tanılayıcı Modelleme adı verilen genel bir bilişsel sınıflandırma modeliyle analiz etmeyi amaçlamaktadır. Daha özele indirgemek gerekirse, bu çalışmada ikinci dilde okuduğunu anlama becerisine yönelik geliştirilecek bir bilişsel modelin ölçme değerlendirme faaliyetlerini ve bu faaliyetlerden elde edilecek çıkarımları ne derece etkilediği; geliştirilen bilişsel tanılayıcı testin (the CDSLRC test) amacına ne kadar hizmet ettiği, Log-lineer Bilişsel Tanılayıcı Modellemenin beceri profillerini ne kadar iyi belirleyebildiği ve ulaşılan beceri profili ve alt becerilerin hangi özellikleri taşıdığı gibi soruları cevaplamayı amaçlamıştır. Bunun yanı sıra, söz konusu çalışmada, simülasyon çalışmalarının aksine gerçek veriler üzerinde çalışma imkanı olmasından dolayı bu çalışma tanılayıcı sınıflandırma modelleme yaklaşımının gerçek uygulamalardaki uygunluğunu sergileyerek eğitimde ve yabancı dilde ölçme değerlendirme alanlarına katkıda bulunmayı amaçlamıştır. Log-lineer Bilişsel Tanılayıcı Modelleme yaklaşımından daha iyi yararlanabilmek ve retrofitting yaklaşımının sıkıntılarını bertaraf etmek için bu çalışmada öncelikli olarak ikinci dilde okuduğunu anlama becerisine yönelik bir bilişsel model geliştirilmiştir. Bu modelin geliştirilmesi için ana dil ve ikinci dilde okumaya yönelik teorik modeller ve literatürün sunduğu ampirik araştırma sonuçları incelenmiştir. Bunun yanı sıra dil kullanım alanı incelenmiş, İngiliz Dili Eğitimi bölümünde çalışan akademisyenlerle mülakatlar gerçekleştirilmiş, çalışmaya katılan 150 öğrencinin ileri okuma dersindeki vize ve final kağıtları incelenmiş ve katılımcılara okuma becerisine yönelik bir öz-değerlendirme anketi sunulmuştur. Bu aşamaların neticesinde bilişsel model geliştirilmiş ve bu modele bağlı olarak ortaya çıkan bilişsel tanılayıcı test (the CDSLRC test) Türkiye'de orta ve büyük ölçekli dokuz devlet üniversitesinin İngiliz Dili Eğitimi anabilim dalında eğitim gören 1058 katılımcıya uygulanmıştır. Analizler, model ve veri arasındaki uyumun ve testteki maddelerin kalitesinin oldukça iyi olduğunu ortaya koymuştur. İstatistiki kanıtlar test maddelerinin amaçlarına hizmet ettiklerini ve ölçmeyi amaçladıkları hedefleri ölçtüklerini sergilemiştir. Ayrıca Log-lineer Bilişsel Tanılayıcı Modellemenin uygulanması sonucu elde edilen beceri sınıflandırmalarının güvenirliklerinin son derece yüksek olduğu saptanmıştır. Bunlara ek olarak bu çalışmada sesli düşünme protokolleri katılımcıların okuma süresince yürüttükleri bilişsel süreçleri anlayabilmek ve bilişsel tanılayıcı testin uygulanması sonucunda edinilen çıkarımların geçerliğini sağlamak için kullanılmıştır. Testten alınan puanlara göre, en yüksek ve en düşük performans gösteren gruplardan rastgele seçilen 15 katılımcı bu protokollere katılmak için davet edilmişlerdir. Sesli düşünme protokollerinden elde edilen veriler hem testin hem de testten elde edilen çıkarımların geçerliğini saptamaya yardımcı olmuş ve ilaveten sıra okuduğunu anlama becerisi açısından iyi ve yetersiz katılımcılar arasındaki farkları saptamayı sağlamıştır. Özetlemek gerekirse, çalışmanın bulguları ölçülen beceriye dair güçlü bir teorik altyapı ile iyi bir test dizaynının bir araya gelmesi sonucunda, bilişsel tanılayıcı bir testin geliştirilmesinin ve Log-lineer Bilişsel Tanılayıcı Modelleme yaklaşımının katılımcılar hakkında pedagojik olarak yararlı ve güvenilir bilgi edinmek amacıyla kullanılmasının mümkün olduğunu göstermiştir.
Özet (Çeviri)
This study aimed to create a multidimensional cognitive diagnostic second language reading comprehension test (the CDSLRC test) within the framework of cognitive diagnostic modeling (DCM). Although the domain of cognitive diagnostic modeling is still in its infancy, DCMs, which are statistically sophisticated tools, hold great promise for improving the quality of diagnostic feedback provided to stakeholders in educational assessment. Since the limitations of retrofitting a proficiency test to a DCM are well-reported in the relevant literature, the present study was conducted to generate a cognitive diagnostic test from ground up and apply a DCM (the Log-linear cognitive diagnosis modeling) to the test data. Specifically, the present study attempted to investigate what kind of impacts would a cognitive model of second language reading exert on assessment process itself and the interpretations arising from an assessment; how well the CDSLR test served its purpose; how well the LCDM estimated skill profiles; and, what characteristics of skill profiles and attributes were captured by the LCDM. Moreover, it aimed to contribute to the fields of educational measurement and language testing by complementing simulation-based studies on DCMs and manifesting the feasibility and applicability of DCMs for operational use. To make use of the Log Linear Cognitive Diagnosis Modeling Framework and to eliminate the limitations of retrofitting, initially a cognitive model guiding the whole process and forming the foundation of the CDSLRC test was generated. The cognitive model utilized in the study was generated through a detailed review of the theoretical reading models in the first and second language and empirical research findings in the relevant areas, conducting a target language use (TLU) domain analysis, carrying out interviews with the faculty working at the English Language Teaching Department, examining a set of 150 examinees' mid-term and final exam papers in an advanced reading course and administrating a self-assessment questionnaire to the examinees. After generating a cognitive model of second language reading comprehension and developing the CDSLRC test in a series of steps, the CDSLRC test was administrated to 1058 examinees studying at the English Language Teaching Departments of nine large and mid-sized state universities in Turkey. Given second language reading comprehension is very crucial for academic success in higher education environment, investigating the skill profiles of examinees and presenting them with pedagogically meaningful and fine-grained feedback would be highly beneficial. The results revealed that there was a good fit of the model to the data, and the items on the CDSLRC test were of good quality. Statistical evidence demonstrated that the items on the CDSLRC test measured the attributes they targeted and the mastery classification reliabilities were extremely high. In the present study, think-aloud protocols were carried out to gain insights into the examinees' cognitive processes in reading and to validate the interpretations arising from their scores on the CDSLRC test. Fifteen students randomly selected from upper and lower performing groups on the CDSLR test were invited to think-aloud while they were reading the texts that were used in CDSLR test. Think-aloud data were very helpful both in validating the test itself and the interpretations arising from the test as well as in helping the researcher spot the differences between skilled and less skilled readers. Overall, the findings demonstrated that, by coupling a strong understanding of the construct at hand with an informed test design, it was possible to develop a cognitive diagnostic second language reading comprehension test and use the LCDM to gather diagnostically useful and reliable interpretations of examinees' second language reading comprehension abilities.
Benzer Tezler
- أثر الاضطرابات اللغوية على النطق والتواصل وعلاجها لطلاب المرحلة الابتدائية
Arapçada ilkokul öğrencilerindeki dilsel bozukluklarının incelenmesi
SEBA ATASSI
Yüksek Lisans
Arapça
2024
Eğitim ve Öğretimİstanbul Aydın ÜniversitesiArap Dili Eğitimi Ana Bilim Dalı
PROF. DR. ABİTYAŞAR KOÇAK
- Terapötik hipotermi uygulanmış asfiktik yenidoğanların aEEG ve MRG bulgularının erken çocukluk dönemi EEG, MRG ve Bayley-III Ölçeği ile değerlendirilmesi
Evaluation of aEEG and MRİ findings in asphyxic newborns treated with therapeutic hypothermia with early childhood EEG, MRI and Bayley-III Scale
ÖMER FARUK YALÇIN
Tıpta Uzmanlık
Türkçe
2022
Çocuk Sağlığı ve HastalıklarıPamukkale ÜniversitesiÇocuk Sağlığı ve Hastalıkları Ana Bilim Dalı
PROF. DR. ÖZMERT MUHAMMET ALİ ÖZDEMİR
- Effect of students cognitive operational level, mathematical skills and preconceptions on achievement in introductory mechanics
Öğrencilerin zihinsel yargı seviyelerinin, matematiksel becerilerinin ve ön kavramlarının mekaniğe giriş dersindeki başarılarına etkisi
HÜSEYİN HAŞMETOĞLU
Yüksek Lisans
İngilizce
1994
Bilim ve TeknolojiOrta Doğu Teknik ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ALİ TATLI
- Yoğun bakım hastalarında deliryumun değerlendirmesi ve yönetimine ilişkin klinik protokol geliştirilmesi
Development of a clinical protocol for the assessment and management of delirium in intensive care patients
DİLARA YANIKLAR
Yüksek Lisans
Türkçe
2022
Hemşirelikİstanbul Sabahattin Zaim ÜniversitesiHemşirelik Ana Bilim Dalı
PROF. DR. RUKİYE PINAR BÖLÜKTAŞ
- New q-matrix validation procedures
Başlık çevirisi yok
RAĞIP TERZİ
Doktora
İngilizce
2017
Eğitim ve ÖğretimRutgers, The State University of New Jersey-New Brunswick CampusDr. JIMMY DE LA TORRE