Klasik test kuramı ve genellenebilirlik kuramından puanlayıcılar arası tutarlılığın farklı yöntemlere göre karşılaştırılması
The comparison of interrater reliability by using estimating tecniques in classical test theory and generalizability theory
- Tez No: 363202
- Danışmanlar: DOÇ. DR. DUYGU ANIL
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Problem çözme becerisi, klasik test kuramı, genellenebilirlik kuramı, kappa tekniği, krippendorf alfa, güvenirlik, puanlayıcılar arası tutarlık, analitik ve bütünsel dereceli puanlama anahtarları, Problem solving ability, classical test theory, generalizability theory, kappa statistics, krippendorf alpha coefficients, interrater agreement level, analytical and holistic rubrics
- Yıl: 2014
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 101
Özet
Bu araştırmada 7. Sınıf matematik öğrencilerine uygulanan ve problem çözme becerisini ölçen açık uçlu sorular, analitik ve bütünsel dereceli iki ayrı puanlama anahtarı kullanılarak 5 farklı matematik öğretmeni tarafından puanlanmıştır. Elde edilen puanların Klasik test kuramı (KTK) ve Genellenebilirlik kuramına (GK) göre güvenirlik kestirimleri yapılmış ve puanlayıcılar arası tutarlık dereceleri belirlenmeye çalışılmıştır. İki kuramdan farklı tekniklerle belirlenen güvenirlik ve tutarlık düzeylerinde farklılaşma olup olmadığı ve kullanılan tekniklerden hangisinin daha fazla bilgi sunduğu belirlenmeye çalışılmıştır. Araştırma için Ankara ilindeki bir ortaokulun 7. sınıfında öğrenim gören 84 öğrenci seçilmiştir. Bu öğrencilere 2013-2014 Eğitim-Öğretim yılı bahar döneminde, tam ve rasyonel sayılarda problem çözme becerisini ölçen 6 adet açık uçlu sorudan oluşan bir test uygulanmıştır. Elde edilen cevaplar alanında uzman 5 matematik öğretmeni tarafından, analitik ve bütünsel dereceli puanlama anahtarları kullanılarak (ADPA-BDPA) 20-25 gün arayla puanlanmıştır. Araştırmanın verileri elde edildikten sonra Klasik test kuramından, Pearson momentler çarpımı korelasyon katsayısı (PMÇKK), Spearman sıra farkları korelasyon katsayısı (SSFKK), Cronbach Alpha, Kappa ve Krippendorf Alpha katsayıları ile Genellenebilirlik kuramından b x m x p çapraz deseninde değişkenlik kaynakları ve yüzdeleri belirlenerek güvenirlik analizleri yapılmıştır. Araştırma sonucuna göre, KTK ve GK 'na göre elde edilen güvenirlik katsayıları birbirine parelel ve oldukça yüksektir. Ancak Kappa istatistiği orta düzeyde uyumu işaret etmektedir. Yine aynı sonuçlarda genellenebilirlik kuramında oluşturulan birey, madde ve puanlayıcı deseninden ( b x m x p ) elde edilen sonuçlarda da puanlayıcıların iki farklı dereceli puanlama anahtarı kullanarak verdikleri puanlar arasında değişkenliğe etki etmedikleri görülmüştür. Ayrıca puanlayıcılar arası tutarlık düzeyinin yüksek olduğu ve analitik dereceli puanlama anahtarı ile elde edilen puanların tutarlığının bütünsel dereceli puanlama anahtarı ile elde edilen puanların tutarlığından göreceli olarak daha yüksek olduğu belirlenmiştir.
Özet (Çeviri)
In this research, analytical and holistic rubrics, which evaluate the problem solving ability of seventh grade students,were used to be scored by five different mathematics teachers. The reliability analysis of obtained scores from raters have been made with respect to Classical test theory and Generalizability theory and interrater agreement level has been examined. Whether there is any difference between reliability coefficents and interrater agreement level obtained from different techniques from two theories and which tecniques used to gather more information was determined. In this research the convenient sample is used. The sample consists of 84 seventh grade students in Ankara. The data collection instrument includes 6 open-ended questions which measures the problem solving ability about integers and rational numbers in 2013-2014 spring semester. Student's answers were scored with respect to analytical and holistic rubrics by five mathematics teachers in Ankara following twenty- twenty five days. For data analysis, pearson product-moment correlation coefficient (PPMCC), spearman's rank correlation coeeficient (SRCC), cronbach alpha, kappa statistics and krippendorf alpha coefficient in the classical test theory and crossed design b x m x p which examines sources of variation and percentages in the generalizability theory are used to determine reliability and interrater agreement level. Consequently, it was found that the obtained reliability coefficients with respect to classical test theory and generalizability theory are parallel and relatively high. However, the kappa statistics states middle level agreement. Furthermore, the crossed design (b x m x p) also states that raters does not have effect on variation between scores obtained from them according to two rubrics. Finally, inter rater agreement level between teachers is high and the consistency of the scores obtained from analytical rubric is relatively higher than the consistency of the scores obtained from holistic rubric.
Benzer Tezler
- Yazılı anlatım becerisi puanlama anahtarının güvenirliğinin klasik test, genellenebilirlik ve madde tepki kuramlarına göre incelenmesi
An examination of the reliability estimates of a scroring rubric of a writing skill examination using the classical test theory, generalizability theory and the item response theory models
MERVE YILDIRIM SEHERYELİ
Yüksek Lisans
Türkçe
2018
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ŞEREF TAN
- Performansa dayalı durum belirlemede puanlayıcılar arası güvenirlik tekniklerinin karşılaştırılması
The comparison of inter rater reliability estimating techniques in performance-based assessment
SİNEM ARSLAN MANCAR
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
- Klasik test kuramı genellenebilirlik kuramı ve rasch modeli üzerine bir araştırma
A research on classical test theory generalizaibility theory and rasch model
NEŞE GÜLER
Doktora
Türkçe
2008
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. SELAHATTİN GELBAL
- Problem çözme becerisinin değerlendirilmesinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on the classical test theory and generalizability theory in problem solving skills assessment
SERAP BÜYÜKKIDIK
Yüksek Lisans
Türkçe
2012
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. DUYGU ANIL
- Otizm Sosyal Beceriler Profili Ölçeğinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on classical test theory and generalizability theory for Autism Social Skills Profile
ZEYNEP PEKİN
Yüksek Lisans
Türkçe
2015
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. SEVDA ÇETİN