Çoktan seçmeli testlerin klasik test teorisi ve örtük özellikler teorisine göre hesaplanan psikometrik özelliklerinin iki kategorili ve ağırlıklandırılmış puanlanması yönünden karşılatırılması
A Comparison of psychometric characteristics of multiple choice tests computed with respect to classical test theory and latent trait theory in relation to binary scoring and weighted scoring
- Tez No: 113466
- Danışmanlar: DOÇ. DR. SELAHATTİN GELBAL
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2002
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 127
Özet
ÖZET Bu araştırmada çoktan seçmeli test maddelerini iki kategorili (1,0) ve ağırlıklı (1,2,3,4) puanlama yönteminin testin güvenirlik ve geçerliğine etkisi klasik test teorisi ve örtük özellikler teorisine göre karşılıklı olarak incelenmiştir. Araştırma verileri, 2001-2002 öğretim yılı Güz döneminde çeşitli ilköğretim okullarında 4., 5., 6. ve 7. Sınıflarda okuyan toplam 1608 öğrenciye uygulanan ve Türkçe okuduğunu anlama yeteneğini ölçme amacıyla hazırlanan, her biri 4 seçenekli 20 maddelik bir çoktan seçmeli test yardımıyla elde edilmiştir. Örtük özellikler teorisinin varsayımlarının karşılanıp karşılanmadığının belirlenmesi amacıyla yapılan analizler sonucunda (1) test puanları dağılımının normalliği Kolmogorov Smirnov test istatistiği ile test edilmiş ve 0,05 düzeyinde dağılımın normal olduğu (d=0,079) belirlenmiştir; (2) tek boyutluluk varsayımının karşılanıp karşılanmadığının belirlenmesi amacıyla, tetrakorik korelasyon matrisi girdi alınarak faktör analizi yapılmış ve testin tek bir özelliği ölçmediği belirlenmiştir, (3) tek boyutluluk şartının sağlanmış olması yerel bağımsızlığın bir göstergesi olarak kabul edildiğinden, faktör analizi sonuçları yardımıyla yerel bağımsızlık varsayımının da karşılanmadığı sonucuna ulaşılmıştır. Araştırma verilerinin analizinde; klasik test teorisinde (1,0) puanlama için KR-20 güvenirlik katsayısı, ağırlıklı puanlama için Cronbach a güvenirlik katsayısı; örtük özellikler teorisinde (1,0) puanlama için Lord'un güvenirlik katsayısı ve ağırlıklı puanlama için de marjinal güvenirlik katsayısı kullanılmıştır. Geçerlik çalışmasının yapılabilmesi amacıyla, klasik test teorisinde (4-5), (5-6) ve (5-7). sınıflardan elde edilen test puanlan ortalamaları arasında manidar farklılık olup olmadığı hem (1,0) puanlama hem de ağırlıklı puanlama incelenerek ölçüt gruplar geçerliği belirlenmeye çalışılmıştır. Yine, örtük özellikler teorisinde (4-5), (5-6) ve (5-7). Sınıflardaki öğrencilerin 9 yetenekleri ortalamaları arasında manidar farklılık olup olmadığı hem (1,0) hem de ağırlıklı puanlama için incelenmiştir. Geçerlikii çalışması amacıyla ayrıca, güvenirliğin karekökü alınmak suretiyle geçerlik katsayısının alabileceği en yüksek değerler de belirlenmiştir. (1,0) ve ağırlıklı puanlama için elde edilen güvenirlik sonuçlan, klasik test teorisi ve örtük özellikler teorisi bakımından karşılıklı olarak incelendiğinde, (1) iki kategorili puanlamada örtük özellikler teorisi için hesaplanan Lord'un güvenirlik katsayısının (0,78) klasik test teorisi için hesaplanan KR-20 güvenirlik katsayısından (0,49) yüksek puanlar verdiği; (2) ağırlıklı puanlamada örtük özellikler teorisi için hesaplanan marjinal güvenirlik katsayısının (0,68) klasik test teorisi için hesaplanan Cronbach a güvenirlik katsayısından (0,54) yüksek sonuçlar verdiği; (3) iki kategorili puanlamada örtük özellikler teorisi için hesaplanan Lord'un güvenirlik katsayısının (0,78) ağırlıklı puanlamada klasik test teorisi için hesaplanan Cronbach a güvenirlik katsayısından (0,54) yüksek sonuçlar verdiği; (4) ağırlıklı puanlamada örtük özellikler teorisi için hesaplanan marjinal güvenirlik katsayısının (0,68) iki kategorili puanlamada klasik test teorisi için hesaplanan KR-20 güvenirlik katsayısından (0,49) yüksek sonuçlar verdiği gözlenmiştir. (1,0) ve ağırlıklı puanlama için elde edilen geçerlik sonuçları incelendiğinde, hem klasik test teorisi hem de örtük özellikler teorisi bakımından 4-5 ve 5-7. sınıfların puan ortalamaları ve ortalama yetenek düzeyleri bakımından manidar farklılıklar gösterdiği belirlenmiştir. Yine, güvenirlik katsayılarının karekökü alınmak suretiyle, geçerliğin alabileceği en yüksek değerler incelenmiştir. Araştırmadan elde edilen sonuçlara göre, test geliştirme çalışmalarında örtük özellikler teorisinin kullanılması; örtük özellikler teorisinde de iki kategorili puanlamanın kullanılması önerilebilir. Klasik test teorisi yardımıyla yapılacak test geliştirme çalışmalarında ise, ağırlıklı puanlamadan yararlanmanın uygun olabileceği söylenebilir.
Özet (Çeviri)
m SUMMARY In this study, the effects of binary scoring (1,0) and weighted scoring (1,2,3,4) methods to the validity and reliability of the test have been analysed regarding the classical test theory and item response theory. The data were collected through the administration of a multiple choice test to 1608 students of fourth, fifth, sixth and seventh grades of various primary schools in Fall semester in 2001-2002, The test consisting of 20 items with four choices, aimed of mesuring reading comprehension skills of the students in Turkish, The results of the analysis mode for the purpose of determining whether the assumptions of the item response theory is met, have shown that: (1) the normality of the distribution of the test scores was tested through Kolmogorov Smirnov test statistics and distribution was found normal (d=0,079) at the 0,05 level of significance ; (2) factor analysis were made to determine whether the assumption of unidimensionility is met by tailing tethracoric correlation matrix as input and it was identified that the test did not measure one aspect (characteristics) ;(3) as the unidimensionality is accepted being an indication of local independence it was concluded the local independence assumption was not met through the results of the factor analysis. The following statistics were employed for the analysis of the data; KR-20 reliability coefficient for binary scoring, Cronbach alpha reliability coefficient for weighted scoring in classical test theory and Lord reliability coefficient for binary scoring, marginal reliability coefficient for weighted scoring in item response theory. For the purpose of validity studies, criterion validated groups were tried to be identified through the identification of whether there was a significant difference between the means of test scores obtained from 4-5, 5-6, 5-7 grades in classical test theory with the analysis of both (1,0) scoring and weighted scoring. Regarding the same purpose, there was a significant difference between the means of the abilities ofiv the students of 4-5, 5-6, and 5-7 grades was examined for both (1,0) and weighted scoring in item response theory. For the purpose of validity study, the highest value that validity coefficient could take was determined by tailing square root of reliability. When the obtained reliability results for (1,0) and weighted scoring is analysed mutually regarding the classical test theory and hem response theory, it was concluded that (1) in binary scoring, relability coefficient (0,78) obtained for item response theory resulted higher scores than KR-20 reliability coefficient (0,49) estimated for classical test theory did; (2) in weighted scoring marginal reliability coefficient (0,68) estimated for item response theory provided higher scores than Cronbach alpha reliability coefficient (0,54) estimated for classical test theory did; (3) in binary scoring Lord's reliability coefficient (0,78) estimated for item response theory provided higher results than the Cronbach alpha reliability coefficient (0,54) for classical test theory did; (4) in weighted scoring, marginal reliability coefficient (0,68) estimated for item response theory provided results higher than KR-20 reliability coefficient (0,49) estimated classical test theory did in binary scoring. Considered the validity results for (1,0) and weighted scoring, from the aspects of both classical test theory and item response theory, significant difference was identified between mean scoring and mean ability levels for 4-5 and 5-7 grades. Also, the highest values that validity colud take were examined by taking square root of reliability coefficient. Regarding the results of the study, the use of item response theory for test development and binary scoring for item response theory are recommended. It is also be recommended that the use of weighted scoring is suitable for the test development studies made through classical test theory.
Benzer Tezler
- Geleneksel yöntemle ve eleme yöntemi ile puanlanan çoktan seçmeli testlerin psikometrik özelliklerinin incelenmesi
Investigation of psychometric properties of miltiple choice tests which scored with traditional method and elimination method
BAYRAM ÇETİN
Doktora
Türkçe
2005
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
Y.DOÇ.DR. HÜLYA KELECİOĞLU
- Ayrık seçenekli çoktan seçmeli testlerin uygulanabilirliği
Application of the discrete option multiple choice tests
ATİLLA ÖZDEMİR
Doktora
Türkçe
2022
Eğitim ve ÖğretimHacettepe ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Karma testlerin psikometrik özelliklerini belirlemede klasik test kuramı ve Rasch modelinin karşılaştırılması
The comparison of classical test theory and rasch model in determining the psychometric properties of mixed tests
ŞAFAK CANSU DOĞRU
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Çoktan seçmeli Roblox soru formatının öğrencinin matematik performansına etkisi
The effect of multiple choice Roblox question format on student's mathematics performance
GÜL GÖKÇE YAZICI
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimBahçeşehir ÜniversitesiBilgisayar ve Öğretim Teknolojileri Ana Bilim Dalı
DOÇ. DR. YAVUZ SAMUR
- Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması
Comparison of estimated achivement scores obtained from student achievement assessment test utilizing classical test theory, unidimensional and multidimensional item response theory models
YEŞİM ÖZER
Doktora
Türkçe
2012
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. EZEL TAVŞANCIL