Geri Dön

Klasik test ve madde-tepki kuramlarına göre çoktan seçmeli testlerde farklı puanlama yöntemlerinin karşılaştırılması

A comparison of differential scoring methods for multiple-choice tests in terms of classical test and itemresponse theories

  1. Tez No: 234256
  2. Yazar: GÖKSU GÖZEN ÇITAK
  3. Danışmanlar: PROF. DR. EZEL TAVŞANCIL
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2007
  8. Dil: Türkçe
  9. Üniversite: Ankara Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 146

Özet

Bu çalışmada, çoktan seçmeli bir testte yer alan madde seçeneklerininiki kategorili (1-0) puanlama, uzman yargısına dayalı seçenek ağırlıklandırma vedeneysel seçenek ağırlıklandırma yöntemleriyle puanlanması durumunda testingüvenirliğinin ve geçerliğinin klasik test kuramı ve madde-tepki kuramına görenasıl etkilendiğinin belirlenmesi amaçlanmıştır. Araştırma verisi 18 maddelikçoktan seçmeli bir sözel yetenek testinin, 2006-2007 eğitim-öğretim yılı bahardöneminde Hacettepe ve Gazi Üniversitesi'nin çeşitli bölümlerinde okuyantoplam 1593 öğrenciye uygulanmasıyla elde edilmiştir. Elde edilen verininmadde-tepki kuramına göre çözümlenmesinde öncelikle kuram varsayımlarınınkarşılanıp karşılanmadığı belirlenmeye çalışılmıştır. Ölçülen özelliğindağılımının normalliği Kolmogorov-Smirnov tek örneklem testiyle, testioluşturan maddelerin tek boyutluluğu maddeler-arası tetrakorik korelasyonmatrisine dayalı temel bileşenler analiziyle ve test maddelerinin yerelbağımsızlığı farkı yetenek düzeylerindeki cevaplayıcılar için elde edilenmaddeler-arası korelasyonların karşılaştırılmasıyla incelenmiştir.Klasik test kuramında ?1-0? puanlama için KR-20 güvenirlikkatsayısından, ağırlıklı puanlamalar için ? güvenirlik katsayısından; maddetepkikuramında ise ?1-0? puanlama için Lord'un güvenirlik katsayısından,ağırlıklı puanlamalar için marjinal güvenirlik katsayısından yararlanılmıştır.Geçerlik çalışmalarında, özelliği bilinen iki grubun karşılaştırılmasınadayalı yapı geçerliği kanıtlarından, uygunluk geçerliğinden ve güvenirlikkatsayılarına dayalı olarak belirlenebilen bir ölçüte dayalı geçerliğin alabileceğiüst sınır değerlerinden yararlanılmıştır. Özelliği bilinen iki grubunkarşılaştırılmasına dayalı yapı geçerliği kanıtı elde etmek üzere, ÖSS-Sözelpuan türüne göre bölümlere yerleşen öğrencilerle ÖSS-Sayısal puan türünegöre bölümlere yerleşen öğrencilerin test puanları/ ? yetenek düzeyleriortalamaları arasındaki fark bağımsız gruplar için t testi ile incelenmiş,uygunluk geçerliği kanıtı ise bir grup cevaplayıcının test puanları/ ? yetenekdüzeyleri ile Türk Dili Sözlü Anlatım dersi notları arasındaki Pearson MomentlerÇarpımı korelasyon katsayısı ile elde edilmiştir.Araştırma verilerinin çözümlenmesiyle madde-tepki kuramındavarsayımların karşılandığının kabul edilebileceği sonucuna ulaşılmıştır.Araştırmanın bulguları, madde-tepki kuramında ?1-0? puanlamanın kullanıldığıdurumda yetenek ölçeği üzerindeki parametrelerin ağırlıklı puanlamalarınkullanıldığı duruma göre daha doğru kestirildiğini göstermiş, bu puanlamayönteminin test geçerliği açısından da daha etkili olduğu sonucuna ulaşılmıştır.Klasik test kuramında ise deneysel ağırlıklandırmanın kullanıldığı durumdagüvenirliğin daha yüksek kestirildiği, ancak tüm puanlama yöntemlerinin testgeçerliği üstünde benzer etkiyi yaptığı belirlenmiştir.

Özet (Çeviri)

The purpose of this research is to determine the effects of binary (1-0)scoring, judgement-based (a priori) option weighting and empirical optionweighting on the reliability and validity of a multiple-choice test regardingclassical test theory and item response theory. The data of the study werecollected through the administration of an 18-itemed multiple-choice test ofverbal ability to 1593 students attending several departments at HacettepeUniversity and Gazi University in spring semester of the academic year 2006-2007. In case of the data analysis, basic assumptions of item response theorywere checked first. The normality of the distribution of the trait was tested byOne Sample Kolmogorov-Smirnov test, the unidimensionality of test items wasassessed by Principal Component Analysis based on interitem tetrachoriccorrelation matrix, and the local independence of test items was studied bychecking the correlation matrix for examinees within different intervals on theability scale.Under classical test theory assumptions, KR-20 reliability coefficient wasestimated for binary scoring and ? reliability coefficient was estimated forweighted scoring. On the other hand, the reliability coefficient of the binarydata was estimated by Lord?s coefficient and the reliability of weighted datawas estimated by marginal reliability under item response theory.Validity-related studies of this research were examined in terms ofconstruct validity and concurrent validity; also, the square root of reliabilitycoefficient was used to determine the maximum value of criterion validitycoefficient. For the purpose of searching construct validity, the differencebetween the mean of test scores/ ? abilities obtained from examinees attendingdifferent depatments was examined by using independent samples t test. Forthe purpose of searching concurrent validity, correlation between test scores/? abilities of a little group of examinees and their Turkish-Verbal Expressionlesson grades was examined by Pearson product moment coefficient .Results obtained by the analysis which were carried out to check thebasic assumptions of item response theory were accepted as an evidence fornormality of the distribution, the unidimensionality of test items, and the localindependence of the responses. The research findings showed that regardingitem response theory, ?1-0? scoring estimates the parameters within differentintervals on the ability scale more precisiously than weighted scoring methods,and also it is concluded that binary scoring is superior to weighted scoring interms of validity. In case of classical test theory, the research results indicatedthat empirical option weighting estimates the highest reliability coefficientwhen compared with the other scoring methods, furthermore; in the concept ofclassical test theory, it is concluded that all of the scoring methods used in thisresearch cause an identical effect on test validity.

Benzer Tezler

  1. Değişen madde fonksiyonu belirleme yöntemlerinin test parametreleri kestirimlerine, karar çalışmalarına, g ve phi katsayılarına etkisi

    The effects of differential item functioning determination methods on test parameters estimates, decision studies, g and phi coefficients

    SAMİ PEKTAŞ

    Doktora

    Türkçe

    Türkçe

    2018

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. ŞEREF TAN

  2. Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması

    Comparison of estimated achivement scores obtained from student achievement assessment test utilizing classical test theory, unidimensional and multidimensional item response theory models

    YEŞİM ÖZER

    Doktora

    Türkçe

    Türkçe

    2012

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    PROF. DR. EZEL TAVŞANCIL

  3. Geliştirilen genel yetenek testinin psikometrik özelliklerinin klasik test kuramı ve madde tepki kuramına göre incelenmesi

    Analysis of psychometric properties of the developed general ability test according to classical test theory and item responce theory

    METİN DÜNDAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimHasan Kalyoncu Üniversitesi

    Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ERSOY KARABAY

  4. Öğrenci işlerine yönelik memnuniyetin klasik test ve madde tepki kuramlarına göre incelenmesi

    Investigation of satisfaction with student affairs according to classical test and item response theories

    GİZEM AKBAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Eğitim ve ÖğretimHasan Kalyoncu Üniversitesi

    Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı

    DOÇ. DR. UFUK AKBAŞ

  5. Kısa yanıtlı maddelerde farklı ağırlıklı puanlanma yöntemlerinin testin psikometrik özellikleri açısından incelenmesi

    Investigation of different weighted scoring methods in short-answered items in terms of psychometric properties of the test

    EMEL ILICAN

    Doktora

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimAnkara Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. KAAN ZÜLFİKAR DENİZ