Madde tepki kuramı kapsamında sınıflama doğruluğu indekslerinin karşılaştırılması
Comparison of classification accuracy indices under the item response theory
- Tez No: 751338
- Danışmanlar: DOÇ. DR. EMİNE ÖNEN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 151
Özet
Eğitim ortamlarında uygulanan ölçme araçlarından elde edilen ölçümlere dayalı olarak bireyler hakkında tanılama ve yerleştirmeye yönelik kararlar verilmekte ve sınıflama doğruluğu, bu kararların doğruluğuna işaret etmektedir. Eğitsel ölçümlere dayalı bu kararlar özellikle öğrencilerin yaşamlarına yön verici nitelikte olduğundan, bu ölçümler için sınıflama doğruluğunun incelenmesi önem taşımaktadır. Bu araştırmada Madde Tepki Kuramına dayalı yöntemlerden Rudner'ın, Guo'nun ve Lee'nin yöntemleri kullanılarak hesaplanan sınıflama doğruluğu ve tutarlılığı indekslerinin doğruluk derecelerinin- 1PLM, 2PLM ve 3PLM altında- farklı test uzunluğu ve örneklem büyüklükleri açısından karşılaştırmalı olarak incelenmesi amaçlandığından bu çalışma simülasyon çalışması olarak tasarlanmıştır. Simülasyon çalışması yoluyla test uzunluğu ve örneklem büyüklüğü değişimlenerek, hangi koşul(lar) altında hangi yönteme dayalı olarak daha az yanlılıkla bu indekslerin kestirildiğini değerlendirmek mümkün olmaktadır. Bu çalışmada -1PLM, 2PLM ve 3PLM altında- iki farklı test uzunluğu (k=15, k=30) ve örneklem büyüklüğü (n=500, n=1000) koşulları altında R Studio programında 'irtoys' paketi kullanılarak veri setleri üretilmiştir. Sınıflama doğruluğu ve sınıflama tutarlılığı indeksleri ile bunlara ilişkin yanlılık değerleri 'cacIRT' paketi kullanılarak hesaplanmıştır. Sınıflama doğruluğu ve tutarlılığı indekslerine ilişkin değerlerin, madde sayısının artışına bağlı olarak dikkate değer bir farklılık gösterdiği gözlenmiştir. Lee'nin yöntemine dayalı hesaplanan kappa değerleri ile Guo'nun yöntemine dayalı hesaplanan FP ve FN değerlerinin daha yüksek yanlılık değerlerine sahip olduğu gözlenmiştir. Rudner'ın yöntemine dayalı hesaplanan sınıflama doğruluğu ve tutarlılığı indekslerinin ise diğer yöntemlere kıyasla, daha düşük mutlak yanlılık değerlerine sahip olduğu görülmektedir. Rudner'ın yönteminin büyük örneklem gruplarında uygulanmasının sınıflama kararları açısından daha uygun olacağı düşünülmektedir. Araştırma sonucunda, Türkiye'de uygulanan merkezi sınavlarda sınıflama doğruluğu ve sınıflama tutarlılığının incelenmesinde büyük örneklem gruplarında uygulandığında daha iyi performans göstermesi ve diğer yöntemlere kıyasla daha düşük mutlak yanlılık değerlerine sahip olması açısından Rudner'ın yönteminin kullanılması önerilmektedir.
Özet (Çeviri)
Individual diagnostic and placement decisions are made using data from educational measurement instruments, and classification accuracy indicates how accurate these decisions are. It is critical to investigate the classification accuracy for educational measures since decisions based on these measurements have a significant impact on students' lives. This is a simulation study since the aim is to compare the classification accuracy and consistency indices calculated using Rudner's, Guo's, and Lee's item response theory-based approaches under 1PLM, 2PLM, and 3PLM in terms of different test lengths and sample sizes. It is possible to examine under which condition(s) and which method these indices are calculated with less bias by changing the test length and sample size through the simulation study. Under the conditions of two different test lengths (k=15, k=30) and sample sizes (n=500, n=1000) under 1PLM, 2PLM, and 3PLM, data sets were generated using the 'irtoys' package in R Studio. Classification accuracy and consistency indices and related bias values were calculated using the 'cacIRT' package. As the number of items increased, the classification accuracy and consistency indices showed a significant difference. For Kappa values calculated using Lee's approach and FP and FN values calculated using Guo's method, higher bias values were observed. It can be seen that Rudner's method-based classification accuracy and consistency indices have lower absolute bias values than other methods. In terms of classification decisions, it is considered that Rudner's method would work better when applied to large sample sizes. Since Rudner's method performs better when applied to large sample groups and has lower absolute bias values than other methods, it is recommended to use it for examining the classification accuracy and consistency in the national exams used in Turkey.
Benzer Tezler
- Bilişsel tanı ve çok boyutlu madde tepki kuramı modellerinin karşılıklı uyumlarının incelenmesi
Retrofitting of cognitive diagnosis and multidimensional item response theory models
LEVENT YAKAR
Doktora
Türkçe
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması
Comparison of estimated achivement scores obtained from student achievement assessment test utilizing classical test theory, unidimensional and multidimensional item response theory models
YEŞİM ÖZER
Doktora
Türkçe
2012
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. EZEL TAVŞANCIL
- Dikey ölçeklemede madde tepki kuramına dayalı farklı kalibrasyon ve yetenek kestirim yöntemlerinin karşılaştırılması
A comparison of different calibration methods and proficiency estimators based on item response theory in vertical scaling
AYŞEGÜL ALTUN
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Bölümü
DOÇ. DR. HÜLYA KELECİOĞLU
- Parametrik ve parametrik olmayan madde tepki kuramı modellerinden çeşitli faktörlere göre elde edilen madde ve yetenek kestirimlerinin karşılaştırılması
The comparison of item and ability estimations calculated from the parametric and non-parametric item response theory according to the several factors
EZGİ MOR DİRLİK
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. NİZAMETTİN KOÇ
- Bayesci madde tepki kuramı modellerinde ölçme değişmezliğinin incelenmesi
Examining measurement invariance in Bayesian item response theory models
MERVE AYVALLI KARAGÖZ
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU