Dereceli puanlama anahtarının kullanımında puanlayıcı güvenirliklerinin farklı yöntemlerle incelenmesi
An examination of rater reliability by using different methods in the use of rubrics
- Tez No: 854349
- Danışmanlar: DOÇ. DR. FATİH KEZER
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Kocaeli Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 107
Özet
Bu araştırmada analitik dereceli puanlama anahtarının kullanıldığı durumlarda puanlayıcı güvenirliklerinin Klasik test kuramı ve Genellenebilirlik kuramına dayalı analizler yapılarak karşılaştırılması ve hangisinin daha detaylı bilgi sunduğunun belirlenmesi amaçlanmıştır. Bu amaç doğrultusunda analitik dereceli puanlama anahtarı olarak Bülbül ve Bülbül (2021) tarafından ders kitaplarının değerlendirilmesine yönelik geliştirilen analitik dereceli puanlama anahtarı veri toplama aracı olarak belirlenmiştir. Araştırma kapsamında Millî Eğitim Bakanlığı tarafından 2023-2024 eğitim öğretim yılında okullarda okutulmak üzere belirlenmiş olan 12 adet fen bilimleri ders kitabı araştırmaya dahil edilmiştir. Araştırmaya dahil edilen ders kitapları Kocaeli İl'inde bulunan devlet okullarında fen bilimleri öğretmeni olarak görev yapmakta olan ve uygun örnekleme yöntemi ile seçilmiş altı puanlayıcı tarafından incelenmiştir. Daha sonra puanlayıcılar belirlenen aynı zaman diliminde aynı analitik dereceli puanlama anahtarını kullanarak belirlenen ders kitaplarını puanlamışlardır. Analitik dereceli puanlama anahtarının kullanılmasıyla altı puanlayıcıdan elde edilen veriler Klasik test kuramına dayalı korelasyonel tekniklerden Pearson momentler çarpımı korelasyon katsayısı ve sınıf içi korelasyon katsayısı ile; uyuşum yüzdeleri tekniklerinden ise Krippendorff Alfa korelasyon katsayısı ile analiz edilmiş ve puanlayıcılar arası tutarlılıklar incelenmiştir. Genellenebilirlik kuramı kapsamında ise tasarlanan tümüyle çaprazlanmış desen çerçevesinde G ve K çalışmaları yapılmıştır. Daha sonra elde edilen güvenirlik katsayıları arasında anlamlı bir fark olup olmadığı Fisher Z' testi ile incelenmiştir. Araştırma sonucunda KTK'ya dayalı korelasyonel ve uyuşum yüzdeleri tekniklerinden elde edilen güvenirlik katsayıları incelendiğinde puanlayıcılar arasında yüksek düzeyde, pozitif yönlü ve anlamlı bir ilişki olduğu sonucuna varılmıştır. Genellenebilirlik Kuramına dayalı çalışmalardan elde edilen güvenirlik katsayısının ise 0.74 değerine ulaştığı gözlenmiştir. Elde edilen katsayılar ikişerli olarak Fisher Z' testi ile karşılaştırıldığında ise KTK'ya dayalı korelasyonel ve uyuşum yüzdeleri teknikleri arasında ve G kuramından elde edilen G katsayıları arasında manidar bir fark bulunmadığı; bunun sonucu olarak bu katsayıların birbirine benzer sonuçlar ortaya koyduğu sonucuna varılmıştır. Phi katsayısı ve KTK'ya dayalı tekniklerden elde edilen katsayılar arasında ise manidar bir farklılık bulunmuştur. Aynı zamanda G kuramı çerçevesinde yapılan karar çalışmaları sonucunda dereceli puanlama anahtarındaki boyut sayısının ve puanlayıcı sayısının arttırılmasıyla elde edilen güvenirlik katsayılarında da artış olduğu görülmüştür. Alanyazındaki diğer çalışmalarda da karşılaşıldığı gibi Genellenebilirlik kuramı kapsamında yapılan G ve K çalışmalarıyla birlikte KTK'ya göre daha ayrıntılı bilgiye ulaşıldığı sonucuna varılmıştır.
Özet (Çeviri)
The aim of this research is to compare the reliability of the raters in cases where analytical rubric is used by making analyzes based on Classical test theory and Generalizability theory and determined which one is offer more references. In accordance with this purpose, as an analytic rubric which was developed by Bülbül and Bülbül (2021) for the evaluation of coursebooks was determined as a data collection tool. Within the scope of research, 12 science textbooks determined by the Ministry of National Education Board of Education and Discipline to be taught in schools in the 2023-2024 academic year were included in research. The coursebooks included in research were examined by six raters selected by appropriate sampling method who work as science teacher in public schools in Kocaeli Province. Thereafter, the raters scored the determinated coursebooks using the same analytical rubric in the same determinated time. The data obtained from six raters by using the analytical rubric were analyzed with Pearson product-moment correlation coefficient and intra-class correlation coefficient, which are correlational techniques based on classical test theory and Krippendorff Alpha correlation coefficient which is the one of the agreement percentage techniques and the interrater consistency was examined. Within the scope of generalizability theory, G and C studies were conducted within the frame of the designed entirely crossed pattern. Afterwards, whether there was a significant difference between the reliability coefficients obtained was examined with Fisher Z' test. As a result of the research, when the reliability coefficients obtained from correlational and agreement percentage techniques based on CTT were examined, it was concluded that there was a high level, positive and significant relationship between the raters. It was observed that the reliability coefficient obtained from studies based on Generalizability Theory reached the value of 0.74. When the obtained coefficients were compared pairwise with the Fisher Z' test, it was concluded that there was no significant difference between the correlational and agreement percentage techniques based on CTT and the G coefficients obtained from G theory, and as a result, It was concluded that these coefficients established similar results. A significant difference was found between the Phi coefficient and the coefficients obtained from techniques based on CTT. At the same time, as a result of the decision studies carried out within the framework of G theory, it was observed that there was an increase in the reliability coefficients obtained by increasing the number of dimensions of rubric and the number of raters in the rubric. As seen in other studies in the literature, it was concluded that more detailed information was obtained with the G and C studies conducted within the scope of the Generalizability Theory compared to the CTT.
Benzer Tezler
- Problem çözme sürecinde dereceli puanlama anahtarı (Rubrik) kullanımında puanlayıcı uyumunun incelenmesi
Examining scorer's coherence of using rubric in the problem solving process
BETÜL ÖZMEN HIZARCIOĞLU
Yüksek Lisans
Türkçe
2013
Eğitim ve ÖğretimAbant İzzet Baysal ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. SEVİLAY KİLMEN
- Üst düzey zihinsel özelliklerin ölçülmesinde puanlayıcılar arası güvenirlik belirleme tekniklerinin karşılaştırılması
The comparison of interrater reliability estimating techniques in assessment of higher order cognitive skills
ÖZGE BIKMAZ
Yüksek Lisans
Türkçe
2011
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. NURİ DOĞAN
- Üniversite öğrencilerinin Newton'un hareket yasalarını anlamalarının değerlendirilmesinde dereceli puanlama anahtarı geliştirilmesi ve kullanımı
Developing and using a rubric to evaluate university students? understanding on Newtons? laws of motion
NEZAHAT NİGAH AYTAÇ
Yüksek Lisans
Türkçe
2006
Eğitim ve ÖğretimBalıkesir ÜniversitesiOrtaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. MUSTAFA SABRİ KOCAKÜLAH
- Performansa dayalı durum belirlemede puanlayıcılar arası güvenirlik tekniklerinin karşılaştırılması
The comparison of inter rater reliability estimating techniques in performance-based assessment
SİNEM ARSLAN MANCAR
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
- Çocukların sözel metinlerinde tutarlılık, bağlaşıklık ve tümce özelliklerinin incelenmesi
Examining coherence, cohesion and sentential characteristics in the oral texts of children
MUSTAFA ÇETİN
Yüksek Lisans
Türkçe
2015
Eğitim ve ÖğretimAkdeniz Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. NİHAT BAYAT