Klasik test ve madde-tepki kuramlarına göre çoktan seçmeli testlerde farklı puanlama yöntemlerinin karşılaştırılması
A comparison of differential scoring methods for multiple-choice tests in terms of classical test and itemresponse theories
- Tez No: 234256
- Danışmanlar: PROF. DR. EZEL TAVŞANCIL
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2007
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 146
Özet
Bu çalışmada, çoktan seçmeli bir testte yer alan madde seçeneklerininiki kategorili (1-0) puanlama, uzman yargısına dayalı seçenek ağırlıklandırma vedeneysel seçenek ağırlıklandırma yöntemleriyle puanlanması durumunda testingüvenirliğinin ve geçerliğinin klasik test kuramı ve madde-tepki kuramına görenasıl etkilendiğinin belirlenmesi amaçlanmıştır. Araştırma verisi 18 maddelikçoktan seçmeli bir sözel yetenek testinin, 2006-2007 eğitim-öğretim yılı bahardöneminde Hacettepe ve Gazi Üniversitesi'nin çeşitli bölümlerinde okuyantoplam 1593 öğrenciye uygulanmasıyla elde edilmiştir. Elde edilen verininmadde-tepki kuramına göre çözümlenmesinde öncelikle kuram varsayımlarınınkarşılanıp karşılanmadığı belirlenmeye çalışılmıştır. Ölçülen özelliğindağılımının normalliği Kolmogorov-Smirnov tek örneklem testiyle, testioluşturan maddelerin tek boyutluluğu maddeler-arası tetrakorik korelasyonmatrisine dayalı temel bileşenler analiziyle ve test maddelerinin yerelbağımsızlığı farkı yetenek düzeylerindeki cevaplayıcılar için elde edilenmaddeler-arası korelasyonların karşılaştırılmasıyla incelenmiştir.Klasik test kuramında ?1-0? puanlama için KR-20 güvenirlikkatsayısından, ağırlıklı puanlamalar için ? güvenirlik katsayısından; maddetepkikuramında ise ?1-0? puanlama için Lord'un güvenirlik katsayısından,ağırlıklı puanlamalar için marjinal güvenirlik katsayısından yararlanılmıştır.Geçerlik çalışmalarında, özelliği bilinen iki grubun karşılaştırılmasınadayalı yapı geçerliği kanıtlarından, uygunluk geçerliğinden ve güvenirlikkatsayılarına dayalı olarak belirlenebilen bir ölçüte dayalı geçerliğin alabileceğiüst sınır değerlerinden yararlanılmıştır. Özelliği bilinen iki grubunkarşılaştırılmasına dayalı yapı geçerliği kanıtı elde etmek üzere, ÖSS-Sözelpuan türüne göre bölümlere yerleşen öğrencilerle ÖSS-Sayısal puan türünegöre bölümlere yerleşen öğrencilerin test puanları/ ? yetenek düzeyleriortalamaları arasındaki fark bağımsız gruplar için t testi ile incelenmiş,uygunluk geçerliği kanıtı ise bir grup cevaplayıcının test puanları/ ? yetenekdüzeyleri ile Türk Dili Sözlü Anlatım dersi notları arasındaki Pearson MomentlerÇarpımı korelasyon katsayısı ile elde edilmiştir.Araştırma verilerinin çözümlenmesiyle madde-tepki kuramındavarsayımların karşılandığının kabul edilebileceği sonucuna ulaşılmıştır.Araştırmanın bulguları, madde-tepki kuramında ?1-0? puanlamanın kullanıldığıdurumda yetenek ölçeği üzerindeki parametrelerin ağırlıklı puanlamalarınkullanıldığı duruma göre daha doğru kestirildiğini göstermiş, bu puanlamayönteminin test geçerliği açısından da daha etkili olduğu sonucuna ulaşılmıştır.Klasik test kuramında ise deneysel ağırlıklandırmanın kullanıldığı durumdagüvenirliğin daha yüksek kestirildiği, ancak tüm puanlama yöntemlerinin testgeçerliği üstünde benzer etkiyi yaptığı belirlenmiştir.
Özet (Çeviri)
The purpose of this research is to determine the effects of binary (1-0)scoring, judgement-based (a priori) option weighting and empirical optionweighting on the reliability and validity of a multiple-choice test regardingclassical test theory and item response theory. The data of the study werecollected through the administration of an 18-itemed multiple-choice test ofverbal ability to 1593 students attending several departments at HacettepeUniversity and Gazi University in spring semester of the academic year 2006-2007. In case of the data analysis, basic assumptions of item response theorywere checked first. The normality of the distribution of the trait was tested byOne Sample Kolmogorov-Smirnov test, the unidimensionality of test items wasassessed by Principal Component Analysis based on interitem tetrachoriccorrelation matrix, and the local independence of test items was studied bychecking the correlation matrix for examinees within different intervals on theability scale.Under classical test theory assumptions, KR-20 reliability coefficient wasestimated for binary scoring and ? reliability coefficient was estimated forweighted scoring. On the other hand, the reliability coefficient of the binarydata was estimated by Lord?s coefficient and the reliability of weighted datawas estimated by marginal reliability under item response theory.Validity-related studies of this research were examined in terms ofconstruct validity and concurrent validity; also, the square root of reliabilitycoefficient was used to determine the maximum value of criterion validitycoefficient. For the purpose of searching construct validity, the differencebetween the mean of test scores/ ? abilities obtained from examinees attendingdifferent depatments was examined by using independent samples t test. Forthe purpose of searching concurrent validity, correlation between test scores/? abilities of a little group of examinees and their Turkish-Verbal Expressionlesson grades was examined by Pearson product moment coefficient .Results obtained by the analysis which were carried out to check thebasic assumptions of item response theory were accepted as an evidence fornormality of the distribution, the unidimensionality of test items, and the localindependence of the responses. The research findings showed that regardingitem response theory, ?1-0? scoring estimates the parameters within differentintervals on the ability scale more precisiously than weighted scoring methods,and also it is concluded that binary scoring is superior to weighted scoring interms of validity. In case of classical test theory, the research results indicatedthat empirical option weighting estimates the highest reliability coefficientwhen compared with the other scoring methods, furthermore; in the concept ofclassical test theory, it is concluded that all of the scoring methods used in thisresearch cause an identical effect on test validity.
Benzer Tezler
- Değişen madde fonksiyonu belirleme yöntemlerinin test parametreleri kestirimlerine, karar çalışmalarına, g ve phi katsayılarına etkisi
The effects of differential item functioning determination methods on test parameters estimates, decision studies, g and phi coefficients
SAMİ PEKTAŞ
Doktora
Türkçe
2018
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ŞEREF TAN
- Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması
Comparison of estimated achivement scores obtained from student achievement assessment test utilizing classical test theory, unidimensional and multidimensional item response theory models
YEŞİM ÖZER
Doktora
Türkçe
2012
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. EZEL TAVŞANCIL
- Geliştirilen genel yetenek testinin psikometrik özelliklerinin klasik test kuramı ve madde tepki kuramına göre incelenmesi
Analysis of psychometric properties of the developed general ability test according to classical test theory and item responce theory
METİN DÜNDAR
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimHasan Kalyoncu ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERSOY KARABAY
- Öğrenci işlerine yönelik memnuniyetin klasik test ve madde tepki kuramlarına göre incelenmesi
Investigation of satisfaction with student affairs according to classical test and item response theories
GİZEM AKBAL
Yüksek Lisans
Türkçe
2021
Eğitim ve ÖğretimHasan Kalyoncu ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. UFUK AKBAŞ
- Kısa yanıtlı maddelerde farklı ağırlıklı puanlanma yöntemlerinin testin psikometrik özellikleri açısından incelenmesi
Investigation of different weighted scoring methods in short-answered items in terms of psychometric properties of the test
EMEL ILICAN
Doktora
Türkçe
2024
Eğitim ve ÖğretimAnkara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. KAAN ZÜLFİKAR DENİZ