Klasik test kuramı genellenebilirlik kuramı ve rasch modeli üzerine bir araştırma
A research on classical test theory generalizaibility theory and rasch model
- Tez No: 257569
- Danışmanlar: DR. SELAHATTİN GELBAL
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2008
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 135
Özet
Bu araştırmada, 2007 yılında yapılan matematik başarısının ölçülmesiyle elde edilen puanlara klasik test kuramı, genellenebilirlik kuramı ve çok değişkenlik kaynaklı Rasch ölçme modeli uygulanmıştır. Uygulanan bu üç kurama göre puanların güvenirlikleri hesaplanmış ve üç kuramdan elde edilen sonuçlar karşılaştırılmıştır.Araştırmanının ilk aşamasında, TIMSS-1999'da yer alan açık uçlu matematik sorularından 24'ü, 2007 yılı bahar döneminde 203 öğrenciye uygulanmıştır. Daha sonra, bu öğrencilerin verdikleri cevaplar dört puanlayıcı tarafından holistik rubrik ile puanlanmıştır. Araştırmanının ikinci aşamasında, elde edilen puanların güvenirliği farklı kuramlara göre incelenmiştir. Klasik test kuramında Cronbach alfa güvenirlik katsayısı, puanlayıcılar arası uyumun belirlenmesinde Kedall'ın konkordans katsayısı, puanlayıcılar arası korelasyon katsayısı ve puanlayıcıların verdikleri puanların ortalamaları arası fark olup olmadığı F testi ile araştırılmıştır. Genellenebilirlik kuramında, b x g x p tümüyle çaprazlanmış desen kullanılarak genellenebilirlik ve güvenirlik katsayıları hesaplanmıştır. Çok değişkenlik kaynaklı Rasch ölçme modeli ile birey, puanlayıcı ve madde boyutlarına ilişkin ayrı ayrı güvenirlik hesaplamaları yapılmıştır.Bu araştırma neticesinde, klasik test kuramına göre matematik başarısının ölçülmesiyle elde edilen puanların iç tutarlılığının 0.92 gibi oldukça yüksek bir değer olduğu görülmüştür. Puanlayıcılar arası uyumun belirlenmesinde Kendall'ın konkordans katsayısı 0.52 olmakla birlikte puanlayıcılar arası korelasyon katsayıları 0.90 ile 0.97 arasında değişen değerler göstererek puanlayıcıların verdikleri puanlar arasında anlamlı bir ilişki olduğu sonucuna varılmıştır. Ancak F testi ile elde edilen sonuçlara göre puanların ortalamaları arasında farklılık olduğu belirlenmiştir. Genellenebilirlik kuramına göre matematik başarısının ölçülmesiyle elde edilen puanların genellenebilirlik katsayısı 0.92 ve güvenirlik katsayısı 0.90 bulunmuştur. Puanlayıcı değişkenlik kaynağının toplam varyansı açıklama yüzdesi 2.1 ile oldukça düşük bir değer göstermiştir. Çok değişkenlik kaynaklı Rasch ölçme modeline göre öğrenci boyutunun güvenirliği 0.95 olarak hesaplanmıştır. Bu modele göre puanlayıcılar arası güvenirlik ise 0.99 olarak bulunmuştur.Elde edilen tüm bu sonuçlara göre, 2007 yılında uygulanan matematik başarısını belirlemek için kullanılan ölçme aracının, öğrencilerin matematik başarısını belirlemede güvenilir sonuçlar verdiği görülmüştür. Matematik başarısının belirlenmesinde yer alan dört puanlayıcının puanları ortalamaları arasında fark olmakla birlikte, birbirleriyle uyumlu puanlama yaptıkları belirlenmiştir.Araştırma ile matematik başarısının ölçülmesinde güvenirliğin belirlenmesinde yararlanılacak kuramların hangisinin seçileceği, elde edilen puanların hangi amaç için kullanılacağına bağlı olarak değişebileceği görülmüş, ancak araştırma sonuçlarına göre, matematik başarısının ölçülmesinde güvenirliğin belirlenmesinde en az iki kuramdan yararlanmanın daha uygun olacağı sonucuna varılmıştır.Anahtar Sözcükler Klasik test kuramı, genellenebilirlik kuramı, çok değişkenlik kaynaklı Rasch ölçme modeli
Özet (Çeviri)
In this study, classical test theory, generalizability theory and multi facet Rasch measurement model were applied to the scores which were obtained from mathematics performance measurement in 2007. According to these three theories, inter-rater reliability was figured out and the results were compared each other.In first step of this study, 24 open-ended questions of 1999-TIMSS were applied to 203 students in 2007 spring semester. Later, the students? responds were scored by four raters. In second step of this study, the reliability of the scores was analyzed in the view of different theory. In the classical test theory, Cronbach alpha reliability coefficient, Kendall?s concordance coefficient for inter-rater reliability and correlation coefficients of four raters? scores were calculated and it was investigated whether there was a difference among the means of raters? scores with F test. In generalizability theory, by using p x t x r (all facet cross with each other) design, generalizability and dependability coefficient were calculated. With multi facet Rasch measurement model, the reliability was figured out for person, task and rater facets separately.In the results of this study, according to classical test theory inter consistency of the mathematic performance measurement was found as 0.92. Although Kendall?s concordance coefficient for four raters was obtained as 0.52, correlation coefficients for four raters were different values between 0.90 and 0.97. Thus, it was concluded that there is a statistically significant correlation between raters. However, according to F test it was found that there was a difference between the means of the raters? scores. According to the generalizability theory, the generalizability and the dependability coefficient of the mathematic performance measurement were 0.92 and 0.90, respectively. Variance due to raters accounts for only %2.1 of the total variance which suggests that very little of the variability found in the model for differences among raters who scored the mathematic performance measurement. According to multi facet Rasch measurement model, the reliability of person facet was 0.95 and the reliability of rater facet was 0.99.According to all results, for determining of the students? success in mathematics the reliability of the mathematics performance measurement which was applied in 2007 was found as very high. Although there was a difference between the means of the raters? scores it was obtained that the four raters scored the students consistently.With this study, it was seen that the theory to be selected for the determination of the reliability of the performance measurement depended upon the purpose for which the scores obtained would be used. However, it was concluded that for determination of the reliability of the performance measurement, at least two theories should rather be used.Key Words Classical test theory, Generalizability theory, Multi facets Rasch measurement model
Benzer Tezler
- Objektif yapılandırılmış sınav aracının klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramı ile değerlendirilmesi
Evaluation of objective structured examination tool with classical testing, generalizability teory and item response theory
MEVLÜDE YASEMİN AKŞEHİRLİ SEYFELİ
Yüksek Lisans
Türkçe
2023
BiyoistatistikErciyes ÜniversitesiBiyoistatistik Ana Bilim Dalı
PROF. DR. AHMET ÖZTÜRK
- Performans değerlendirmede puanlayıcılar arası uyum ile göz izleme sonuçları arasındaki ilişkinin incelenmesi
Investigation of interrater agreement and eye tracking in performance evaluation
MİNE DEMİRBAŞ
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Klasik test kuramı ve genellenebilirlik kuramından puanlayıcılar arası tutarlılığın farklı yöntemlere göre karşılaştırılması
The comparison of interrater reliability by using estimating tecniques in classical test theory and generalizability theory
BULUT YILDIZTEKİN
Yüksek Lisans
Türkçe
2014
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. DUYGU ANIL
- Kısa cevaplı matematik yazılı sınavının genellenebilirlik kuramı ve test tekrar test yöntemiyle güvenirliğinin kıyaslanması
The comparison of reliability of the generalizability theory and the test-retest technique for the short answered maths exam
AYŞEDUDU ŞALGAM
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. ŞEREF TAN
- Otizm Sosyal Beceriler Profili Ölçeğinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on classical test theory and generalizability theory for Autism Social Skills Profile
ZEYNEP PEKİN
Yüksek Lisans
Türkçe
2015
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. SEVDA ÇETİN