Puanlama yönergesi (rubrik) kullanılması durumunda puanlayıcı güvenirliğiniğin incelenmesi
Examining the inter-rater reliability, when using scoring rubric
- Tez No: 253324
- Danışmanlar: PROF. DR. ADNAN ERKUŞ
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2009
- Dil: Türkçe
- Üniversite: Mersin Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Bölümü
- Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Sayfa Sayısı: 104
Özet
Bu araştırmada, grafik yorumlama becerisine ilişkin bir ölçeği puanlamada puanlama yönergesi (rubrik) kullanımının, ayrıca aynı ve farklı öğretmenler tarafından yapılan puanlamalar arasında geçen zamanın güvenirlik üzerine etkisi incelenmiştir.Bu amaçla, grafik yorumlama becerisine ilişkin 4 açık uçlu maddeden oluşan bir ölçme aracı ve bu ölçme aracını puanlamak için bir puanlama yönergesi (rubrik) hazırlanmıştır.Araştırma kapsamında hazırlanan sorular Mersin Toros Koleji 8. sınıflarında okuyan 50 öğrenciye uygulanmıştır. Sorulara verilen yanıtlar ise Tarsus ve Mersin'de çalışmakta olan veya emekli 17 matematik öğretmeni tarafında puanlanmıştır.Öğretmenler, öncelikle öğrencilerin yanıtlarını puanlama yönergesi kullanmadan puanlamışlardır. Daha sonra bellek etkisini önlemek için öğretmenler 2 hafta beklemişler ve sonra aynı kağıtları puanlama yönergesi kullanarak puanlamışlardır. Zamanın puanlar üzerindeki etkisini ölçmek için aynı uygulama 10 hafta sonra tekrarlanmıştır. Bu yaklaşımla, aynı öğretmenlerin farklı zamanlarda verdikleri puanlar arasında anlamlı bir ilişki ve farklılık olup olmadığı belirlenmeye çalışılmıştır.Aynı öğretmenler tarafından verilen farklı puanlar arasındaki ilişki Pearson Momentler Çarpımı Korelasyon Katsayısı ile incelenmiş ve elde edilen korelasyon katsayıları t-testi ile test edilmiştir. Korelasyon katsayıları arasında anlamlı bir farklılık olup olmadığını bulmak için Fisher'in z' dönüşümü yapılmıştır. Ayrıca aynı öğretmenlerin verdikleri puanların ortalamaları arasında anlamlı bir farklılık olup olmadığını bulmak için bağımlı örneklemler için t testi kullanılmıştır.Her uygulama için, farklı öğretmenlerin puanları ikişer ikişer karşılaştırılmış ve puanlar arasındaki ilişki Pearson Momentler Çarpımı Korelasyon Katsayısı ile incelenmiş ve elde edilen korelasyon katsayıları t-testi ile test edilmiştir. Farklı öğretmenlerin verdikleri puanların ortalamaları arasında anlamlı bir fark olup olmadığını bulmak için tek yönlü varyans analizi yöntemi kullanılmıştır. Her puanlama tipi için, puanlayıcılar arası güvenirlik, Hoyt'un varyans analizine dayalı G katsayısı hesaplanarak belirlenmiştir.Sonuç olarak, her uygulamada, aynı öğretmenlerin puanlamaları arasında pozitif yönde, oldukça yüksek ve anlamlı bir ilişki bulunmuştur. Fakat puanların ortalamaları arasında anlamlı farklılıklar vardır. Bu noktada, öğretmenler ya da uygulamalar arasında geçen zaman bu farklılığın sebebi olarak düşünülmektedir. Her uygulamada, farklı öğretmenlerin puanları arasında da pozitif yönde, oldukça yüksek ve anlamlı bir ilişki bulunmuştur. Fakat farklı öğretmenlerin puan ortalamaları arasında tutarsızlığa neden olacak kadar manidar farklılıklar gözlenmiştir. Öğretmen özeliklerine dayalı bilişsel değişkenlerin ya da uygulamalar arasında geçen zamanın bu farklılığa neden olduğu düşünülebilir.
Özet (Çeviri)
In this research, the effects of using ?Scoring Rubric? to score a graph interpretation scale and the time between scorings by same and different teachers, on the reliability were examined.For this reason, a graph interpretation scale consisting of 4 open-ended questions and a scoring rubric for scoring the scale were prepared.In the borders of the research, prepared questions were practiced on 50 students attending 8 grade in Mersin Toros College. Answers to the questions were scored by 17 employed and retired Mathematics teachers located in Tarsus and Mersin.Teachers firstly scored the answers of students without using a scoring rubric. Later on, in order to prevent the memory effect, the teachers waited for 2 weeks and then scored the same papers using a scoring rubric. In order to measure the effect of time on the scores, the above procedure was repeated after 10 weeks. With this approach, it was tried to find out whether a meaningful relationship and difference between the scores by same teachers at different times.The relationship between the different scores by the same teachers was examined with Pearson Moment- Product Correlation Coefficient Method and the resulting correlation coefficients were tested with t- test. In order to find out whether a meaningful difference between correlation coefficients Fisher?s z' transform was used. Also, in order to find out whether a meaningful difference between the means of the given scores by same teachers t test for related samples was used.For each experiment, scores of different teachers were compared in pairs and the relationship between scores were examined with Pearson Moment- Product Correlation Coefficient Method and the resulting correlation coefficients were tested with t- test. In order to find out whether a meaningful difference between the means of the given scores by different teachers, one way variance analysis method was used. The interrater reliability for each scoring type was determined by computing the G coefficient which depends on Hoyt?s variance analysis.In conclusion, between the scores of the same teachers in each experiment, a positively, highly related, meaningful relation is reached. On the other hand, it is observed that there are meaningful differences between the means of scores. At this point, it is considered that teachers or the awaiting time between the experiments are the reason for the difference. Between the scores of different teachers in each experiment, a positive, highly related, meaningful relation is reached. Conversely, it is observed that there were unexpected differences between the scores of different teachers which caused great inconsistency in the observed mean values. Cognitive variables dependent on teacher characteristics or awaiting time between the experiments are considered to be the reason of these differences.
Benzer Tezler
- Puanlama yönergesine (Rubrik) dayalı değerlendirme ve geleneksel değerlendirme açısından ilköğretim öğrencilerinin bilgisayar dersi başarılarının karşılaştırılması
The comparison of the success level of primary school students in computer course in terms of Rubric-based assessment and traditional assessment
TURGAY ALAKURT
Yüksek Lisans
Türkçe
2006
Eğitim ve ÖğretimAnadolu ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
Y.DOÇ.DR. ADİLE AŞKIM KURT
- Lisans çocuk gelişimi ve eğitimi programına devam eden öğrencilerin dereceli puanlama anahtarı (Rubrik) geliştirme becerilerinin incelenmesi
Examination of rubric develpoment skills of students who continue to undergraduate child development program
ZÜBEYDE KAYAKCI DANIŞMAZ
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimKarabük ÜniversitesiÇocuk Gelişimi ve Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATMA BETÜL KURNAZ
- Öğrencilerin hikâye edici metinlerinin çözümleyici puanlama yönergesine göre değerlendirilmesi (6. ve 7. sınıf örneği)
Assessment of students? narrative texts by analytic rubric (grade 6 and 7)
GÖKHAN ARI
Doktora
Türkçe
2008
Eğitim ve ÖğretimMarmara ÜniversitesiTürkçe Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. LATİF BEYRELİ
- Metin tabanlı programlama öğretiminde metafor kullanımının etkileri: Bir karma yöntem araştırması
Effects of using metaphors in text-based programming instruction: A mixed method study
ERKAN GEÇİTLİ
Doktora
Türkçe
2024
Eğitim ve ÖğretimEge ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. BÜNYAMİN YURDAKUL
- Ortaokul matematik öğretmenlerinin problem kurma düzeyleri: Olasılık örneği
Problem posing levels of middle school mathematics teachers: Probability example
ERVA NUR BAYRAK
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimAtatürk ÜniversitesiMakine Eğitimi Ana Bilim Dalı
PROF. YASİN SOYLU