Madde tepki kuramına dayalı test eşitleme yöntemlerinin karşılaştırılması: PISA 2012 fen testi örneği
Comparison of test equating methods based on item response theory: PISA 2012 science test sample
- Tez No: 454879
- Danışmanlar: DOÇ. DR. BAYRAM BIÇAK
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Test Eşitleme, Madde Tepki Kuramı, Eşitleme Yöntemleri, Eşitleme Hatası, Test Equating, Item Response Theory, Equating Methods, Equating Error
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 110
Özet
Bu çalışmanın amacı, madde tepki kuramına dayalı test eşitleme yöntemlerini gerçek veriler üzerinde karşılaştırmak ve en az hata veren yöntemi tespit etmektir. Bu amaçla PISA 2012 fen okuryazarlığı testinden seçilen iki kitapçık (kitapçık-1 ve kitapçık-8) ölçek dönüştürme (ortalama-ortalama, ortalama-standart sapma, Stocking-Lord, Haebara) ve test eşitleme yöntemleri (MTK gerçek-puan eşitleme, MTK gözlenen-puan eşitleme) kullanılarak eşitlenmiş ve farklı yöntemlerden elde edilen hata miktarları incelenmiştir. Araştırmanın çalışma grubunu, 1 numaralı kitapçığı cevaplayan 350 ve 8 numaralı kitapçığı cevaplayan 351 olmak üzere toplam 701 öğrenci oluşturmaktadır. Denk olmayan gruplarda ortak madde deseninde yürütülen çalışmada her iki kitapçıkta 17'si ortak olmak üzere ikili puanlanan toplam 33 madde yer almaktadır. Verilerin analizinde ilk olarak madde tepki kuramının varsayımları test edilmiştir. İkinci aşamada madde ve yetenek parametreleri iki parametreli lojistik model (2PLM) kullanılarak BILOG-MG programı ile kestirilmiştir. Parametre kestiriminde EAP (Beklenen A Posteriori) yöntemi kullanılmıştır. Ardından STUIRT programı ile dört farklı yöntem için ölçek dönüştürme işlemi gerçekleştirilmiştir. Son aşamada ise iki kitapçıktan elde edilen puanlar POLYEQUATE programı ile eşitlenmiş ve farklı yöntemlerden elde edilen hata miktarları için WMSE (ağırlıklandırılmış hata kareleri ortalaması) katsayısı hesaplanmıştır. Araştırmadan elde edilen sonuçlara göre, en az hata miktarını ortalama-standart sapma yönteminin verdiği görülmüştür. Bu yöntemi sırasıyla ortalama-ortalama, Stocking-Lord ve Haebara yöntemleri takip etmektedir. Test eşitleme yöntemlerinden elde edilen sonuçlar incelendiğinde ise her iki yöntem birbirine benzer sonuçlar vermekle birlikte MTK gözlenen-puan eşitleme yönteminin MTK gerçek-puan eşitleme yönteminden daha az hata miktarına sahip olduğu bulunmuştur.
Özet (Çeviri)
The objective of this study is to compare test equating methods based on item response theory over real data and to detect the method that gives the least error. For this purpose, two booklets selected from PISA 2012 science literacy test (booklet-1 and booklet-8) were equated using scale linking (mean-mean, mean-sigma, Stocking- Lord, Haebara) and test equating methods (IRT true-score equating, IRT observedscore equating), and error rates obtained from various methods were analysed. The research study group consisted of a total of 701 students including 350 students answering booklet-1 and 351 students answering booklet-8. In the study that was carried out in common-item nonequivalent groups design, there were a total of 33 dichotomous scored items including 17 common items in each booklet. For the data analysis, firstly item response theory assumptions were tested. At the second stage, item and ability parameters were estimated using two-parameter logistic model (2PLM) via BLOG-MG software. In parameter estimation, EAP (Expected A Posteriori) method was used. Then, scale linking process was carried out for four different methods via STUIRT software. In the final stage, scores obtained from two booklets were equated with POLYEQUATE software and WMSE (weighted mean square error) index was calculated for error rates that were obtained from different methods. According to the results obtained from the research, it was observed that the least error rate was obtained with mean-sigma method. This method was followed by mean-mean, Stocking-Lord and Haebara methods respectively. When the results obtained from the test equating methods were analyzed, it was found that, while both methods yielded similar results, IRT observed-score equating method gave less rate compared to IRT true-score equating method.
Benzer Tezler
- Denk olmayan gruplarda ortak madde deseni kullanılarak madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması
Comparison of IRT equating methods using the common-item nonequivalent groups design
BİLGE GÖK
Doktora
Türkçe
2012
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. HÜLYA KELECİOĞLU
- Kernel eşitleme ve madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması
Comparison of kernel equating and item response theory equating methods
ÇİĞDEM AKIN ARIKAN
Doktora
Türkçe
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Test eşitlemede Madde Tepki Kuramına dayalı yetenek parametresine yönelik ölçek dönüştürme yöntemlerinin karşılaştırılması
Comparison of scale transformation methods in terms of ability based on Item Response Theory in test equating
TUBA GÜNDÜZ
Yüksek Lisans
Türkçe
2015
Eğitim ve ÖğretimGazi ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. MEHTAP ÇAKAN
- Çok kategorili puanlanan maddelerden oluşan testlerde klasik test kuramı ve Madde Tepki Kuramı'na dayalı test eşitleme yöntemlerinin karşılaştırılması
Comparison of test equating methods based on classical test theory and Item Response Theory in polytomously scored tests
MERVE ÇÖRTÜK
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimAkdeniz ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. ALPER SİNAN
- Madde Tepki Kuramı'na dayalı test eşitleme yöntemlerinin karma modeller üzerinde karşılaştırılması
Comparison of irt test equating methods for mixed format tests
İBRAHİM UYSAL
Yüksek Lisans
Türkçe
2014
Eğitim ve ÖğretimAbant İzzet Baysal ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. SEVİLAY KİLMEN