Değişen madde fonksiyonunun test eşitlemeye etkisi
The effect of differential item functioning on test equating
- Tez No: 363206
- Danışmanlar: PROF. DR. HÜLYA KELECİOĞLU
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Test eşitleme, değişen madde fonksiyonu, eşitleme hatası, eşitleme yanlılığı, çok düzeyli madde tepki modelleri, Test equating, differential item functioning, equating error, equating bias, multilevel item response models
- Yıl: 2014
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 144
Özet
Bu çalışma kapsamında DMF'li madde içeren testlerde, DMF'li maddelerin testten çıkarılması ve testte tutulması durumlarının test eşitlemeye etkisi çok düzeyli madde tepki modelleri (ÇDMTM) ve geleneksel madde tepki modelleri (MTM) kullanılarak incelenmiştir. Çalışmada kullanılan eşitleme yöntemlerinin performansı eşitleme hatalarına göre değerlendirilmiştir. Eşitleme hatası üzerindeki etkisi incelenen değişkenler: örneklem büyüklüğü, test uzunluğu, DMF etki büyüklüğü ve DMF'li maddelerin bulunduğu testtir. Çalışmada 24 farklı simülasyon koşulunda 3 farklı eşitleme yönteminin performansları incelenmiştir. DMF faktörlerinin modele parametre olarak eklendiği ÇDMTM, MTM'ye dayalı eşzamanlı kalibrasyon ve ayrı kalibrasyon yöntemlerinden SL ile karşılaştırılmıştır. MTM'ye dayalı yöntemlerde ise referans bilgi elde etmek için DMF'li maddelerin göz ardı edildiği (yok sayıldığı) ve DMF'li maddelerin testten çıkarıldığı iki durum birlikte incelenmiştir. Çalışmada kullanılan eşitleme yöntemlerinden ÇDMTM için HLM 6.8, eşzamanlı eşitleme için BILOG-MG, ayrı kalibrasyon yöntemlerinden SL için PARSCALE 4.1 ile kestirim yapıldıktan sonra aynı ölçeğe getirmek için IRTEQ programı kullanılmıştır. Çalışmada kullanılan tüm programlar R yazılımı üzerinden çalıştırılmıştır. Araştırmada elde edilen sonuçlar doğrultusunda, ele alınan koşullara göre yöntemlerin performansları farklılık göstermiştir. ÇDMTM tek bir analizle DMF'li maddeleri belirleyebilmekte, eşitleme sürecini gerçekleştirebilmekte ve DMF'den kaynaklanan yanlılığı modelden çıkarabilmektedir. Ancak bu ÇDMTM'nin en iyi eşitleme yöntemi olduğunun göstergesi değildir; çünkü örneklem büyüklüğü ve test uzunluğunun artması genel olarak MTM'ye dayalı eşitlemelerde olumlu etki yaratırken ÇDMTM bu iki koşuldan MTM'ye göre daha az etkilenmiştir. MTM'ye dayalı yöntemler kendi içinde incelendiğinde ise DMF'li maddelerin varlığından, ayrı kalibrasyon yöntemlerinin eşzamanlı kalibrasyona göre daha çok etkilendiği; bu etkinin en çok DMF'li maddenin ortak testte olduğu ve DMF etki büyüklüğünün C olduğu koşullarda gerçekleştiği görülmüştür. DMF'li maddelerin testten çıkarılmasının küçük örneklemlerde ve kısa testlerde eşitleme hatasını arttırdığı, büyük örneklemler ve uzun testlerde ise eşitleme hatasını azalttığı sonucuna ulaşılmıştır. Buradan çıkarılan sonuç yeterli test uzunluğu sağlandığında testten madde çıkarmanın eşitlemeyi olumsuz etkilemeyeceği olabilir, ancak testten madde çıkarmak test eşitlemeyi olumsuz etkilemese bile yapı ve kapsam geçerliğini düşürebilir.
Özet (Çeviri)
The purpose of this study is to investigate the equating performance based on item response models and multilevel item response models in case of including and excluding DIF items from the test which contains DIF. The performances of equating models were evaluated with respect to equating errors. The effect of sample size, length of the test, DIF effect size and DIF items on equating error was examined. In the study the performance of 3 different equating models were investigated in 24 different simulation conditions. Multilevel item response models were compared with concurrent calibration and separate calibration (SL) are based on item response models in order to understand the potential of multilevel item response models when DIF factors were added as parameters to the model. In the methods based on item response models, the cases of DIF items included and excluded in the test were examined respectively in order to get reference information. In the study, HLM 6.8 software was used for multilevel item response models, BILOG-MG software was utilized for concurrent calibration, PARSCALE 4.1 was used in the prediction for SL and IRTEQ was used test equating and scaling after prediction. All software programs were operated through R. In the scope of the results of the study, the performances of the methods vary with respect to the conditions held in the study. Multilevel item response models are able to identify DIF items, carry out the equating process and remove the bias caused by DIF from the model with the only one analysis. However, this doesn't imply that multilevel item response models are the best equating models because while increasing the sample size and test length affects item response models positively, it has less effect on multilevel item response models. When item response models were investigated in itself, the separate calibration methods are more influenced by DIF items than concurrent calibration methods and this influence become greatest in the conditions when DIF items are in common test and the effect size of the DIF is C. The results of the study indicated that excluding DIF items from the test increased equating error when the sample size is small and test is short. On the other hand, it decreased the equating error in the large samples and long tests. From these results, it can be concluded that when the test length is enough, item exclusion has no negative effect on equating. However, excluding items from the test may decrease construct and content validity of the test.
Benzer Tezler
- TEOG matematik alt testinde değişen madde fonksiyonunun coğrafi bölgelere göre incelenmesi
Examining TEOG mathematic sub-test exam in terms of differential item functioning based on geographical regions
FERİDE ÖZYILDIRIM GÜMÜŞ
Yüksek Lisans
Türkçe
2018
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Karma Rasch model ile değişen madde fonksiyonunun belirlenmesinde kovaryant (ortak) değişkenin etkisi
The effect of covariant variable on determination of differential item functioning using mixture Rasch model
GÖZDE SIRGANCI
Doktora
Türkçe
2019
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
- Değişen madde fonksiyonunun MIMIC yöntemleriyle farklı koşullar altında incelenmesi
Examination of differential item functioning under different conditions using MIMIC methods
PELİN TAMCI
Doktora
Türkçe
2024
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU
- Değişen madde fonksiyonunun lojistik regresyon yöntemiyle belirlenmesinde gözlenen ve örtük puan kullanımının performanslarının karşılaştırılması
According to the manifest and latent points the determined differential item functioning comparison of their performance by logistic regression method
SİNAN YAPICI
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimMersin ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. ÖNDER SÜNBÜL
- Değişen madde fonksiyonunun farklı koşullar altında dına ve dıno modellerinin sınıflandırma performansına etkisi
The effect of dina and dino models on classification performance under different conditions of differential item functioning
SEYHAN SARITAŞ AKYOL
Doktora
Türkçe
2023
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. MEHTAP ÇAKAN