Geri Dön

Puanlama yönergesi (rubrik) kullanılması durumunda puanlayıcı güvenirliğiniğin incelenmesi

Examining the inter-rater reliability, when using scoring rubric

  1. Tez No: 253324
  2. Yazar: GÖZDE ATMAZ
  3. Danışmanlar: PROF. DR. ADNAN ERKUŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2009
  8. Dil: Türkçe
  9. Üniversite: Mersin Üniversitesi
  10. Enstitü: Sosyal Bilimler Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Bölümü
  12. Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  13. Sayfa Sayısı: 104

Özet

Bu araştırmada, grafik yorumlama becerisine ilişkin bir ölçeği puanlamada puanlama yönergesi (rubrik) kullanımının, ayrıca aynı ve farklı öğretmenler tarafından yapılan puanlamalar arasında geçen zamanın güvenirlik üzerine etkisi incelenmiştir.Bu amaçla, grafik yorumlama becerisine ilişkin 4 açık uçlu maddeden oluşan bir ölçme aracı ve bu ölçme aracını puanlamak için bir puanlama yönergesi (rubrik) hazırlanmıştır.Araştırma kapsamında hazırlanan sorular Mersin Toros Koleji 8. sınıflarında okuyan 50 öğrenciye uygulanmıştır. Sorulara verilen yanıtlar ise Tarsus ve Mersin'de çalışmakta olan veya emekli 17 matematik öğretmeni tarafında puanlanmıştır.Öğretmenler, öncelikle öğrencilerin yanıtlarını puanlama yönergesi kullanmadan puanlamışlardır. Daha sonra bellek etkisini önlemek için öğretmenler 2 hafta beklemişler ve sonra aynı kağıtları puanlama yönergesi kullanarak puanlamışlardır. Zamanın puanlar üzerindeki etkisini ölçmek için aynı uygulama 10 hafta sonra tekrarlanmıştır. Bu yaklaşımla, aynı öğretmenlerin farklı zamanlarda verdikleri puanlar arasında anlamlı bir ilişki ve farklılık olup olmadığı belirlenmeye çalışılmıştır.Aynı öğretmenler tarafından verilen farklı puanlar arasındaki ilişki Pearson Momentler Çarpımı Korelasyon Katsayısı ile incelenmiş ve elde edilen korelasyon katsayıları t-testi ile test edilmiştir. Korelasyon katsayıları arasında anlamlı bir farklılık olup olmadığını bulmak için Fisher'in z' dönüşümü yapılmıştır. Ayrıca aynı öğretmenlerin verdikleri puanların ortalamaları arasında anlamlı bir farklılık olup olmadığını bulmak için bağımlı örneklemler için t testi kullanılmıştır.Her uygulama için, farklı öğretmenlerin puanları ikişer ikişer karşılaştırılmış ve puanlar arasındaki ilişki Pearson Momentler Çarpımı Korelasyon Katsayısı ile incelenmiş ve elde edilen korelasyon katsayıları t-testi ile test edilmiştir. Farklı öğretmenlerin verdikleri puanların ortalamaları arasında anlamlı bir fark olup olmadığını bulmak için tek yönlü varyans analizi yöntemi kullanılmıştır. Her puanlama tipi için, puanlayıcılar arası güvenirlik, Hoyt'un varyans analizine dayalı G katsayısı hesaplanarak belirlenmiştir.Sonuç olarak, her uygulamada, aynı öğretmenlerin puanlamaları arasında pozitif yönde, oldukça yüksek ve anlamlı bir ilişki bulunmuştur. Fakat puanların ortalamaları arasında anlamlı farklılıklar vardır. Bu noktada, öğretmenler ya da uygulamalar arasında geçen zaman bu farklılığın sebebi olarak düşünülmektedir. Her uygulamada, farklı öğretmenlerin puanları arasında da pozitif yönde, oldukça yüksek ve anlamlı bir ilişki bulunmuştur. Fakat farklı öğretmenlerin puan ortalamaları arasında tutarsızlığa neden olacak kadar manidar farklılıklar gözlenmiştir. Öğretmen özeliklerine dayalı bilişsel değişkenlerin ya da uygulamalar arasında geçen zamanın bu farklılığa neden olduğu düşünülebilir.

Özet (Çeviri)

In this research, the effects of using ?Scoring Rubric? to score a graph interpretation scale and the time between scorings by same and different teachers, on the reliability were examined.For this reason, a graph interpretation scale consisting of 4 open-ended questions and a scoring rubric for scoring the scale were prepared.In the borders of the research, prepared questions were practiced on 50 students attending 8 grade in Mersin Toros College. Answers to the questions were scored by 17 employed and retired Mathematics teachers located in Tarsus and Mersin.Teachers firstly scored the answers of students without using a scoring rubric. Later on, in order to prevent the memory effect, the teachers waited for 2 weeks and then scored the same papers using a scoring rubric. In order to measure the effect of time on the scores, the above procedure was repeated after 10 weeks. With this approach, it was tried to find out whether a meaningful relationship and difference between the scores by same teachers at different times.The relationship between the different scores by the same teachers was examined with Pearson Moment- Product Correlation Coefficient Method and the resulting correlation coefficients were tested with t- test. In order to find out whether a meaningful difference between correlation coefficients Fisher?s z' transform was used. Also, in order to find out whether a meaningful difference between the means of the given scores by same teachers t test for related samples was used.For each experiment, scores of different teachers were compared in pairs and the relationship between scores were examined with Pearson Moment- Product Correlation Coefficient Method and the resulting correlation coefficients were tested with t- test. In order to find out whether a meaningful difference between the means of the given scores by different teachers, one way variance analysis method was used. The interrater reliability for each scoring type was determined by computing the G coefficient which depends on Hoyt?s variance analysis.In conclusion, between the scores of the same teachers in each experiment, a positively, highly related, meaningful relation is reached. On the other hand, it is observed that there are meaningful differences between the means of scores. At this point, it is considered that teachers or the awaiting time between the experiments are the reason for the difference. Between the scores of different teachers in each experiment, a positive, highly related, meaningful relation is reached. Conversely, it is observed that there were unexpected differences between the scores of different teachers which caused great inconsistency in the observed mean values. Cognitive variables dependent on teacher characteristics or awaiting time between the experiments are considered to be the reason of these differences.

Benzer Tezler

  1. Puanlama yönergesine (Rubrik) dayalı değerlendirme ve geleneksel değerlendirme açısından ilköğretim öğrencilerinin bilgisayar dersi başarılarının karşılaştırılması

    The comparison of the success level of primary school students in computer course in terms of Rubric-based assessment and traditional assessment

    TURGAY ALAKURT

    Yüksek Lisans

    Türkçe

    Türkçe

    2006

    Eğitim ve ÖğretimAnadolu Üniversitesi

    Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı

    Y.DOÇ.DR. ADİLE AŞKIM KURT

  2. Lisans çocuk gelişimi ve eğitimi programına devam eden öğrencilerin dereceli puanlama anahtarı (Rubrik) geliştirme becerilerinin incelenmesi

    Examination of rubric develpoment skills of students who continue to undergraduate child development program

    ZÜBEYDE KAYAKCI DANIŞMAZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimKarabük Üniversitesi

    Çocuk Gelişimi ve Eğitimi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ FATMA BETÜL KURNAZ

  3. Öğrencilerin hikâye edici metinlerinin çözümleyici puanlama yönergesine göre değerlendirilmesi (6. ve 7. sınıf örneği)

    Assessment of students? narrative texts by analytic rubric (grade 6 and 7)

    GÖKHAN ARI

    Doktora

    Türkçe

    Türkçe

    2008

    Eğitim ve ÖğretimMarmara Üniversitesi

    Türkçe Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. LATİF BEYRELİ

  4. Metin tabanlı programlama öğretiminde metafor kullanımının etkileri: Bir karma yöntem araştırması

    Effects of using metaphors in text-based programming instruction: A mixed method study

    ERKAN GEÇİTLİ

    Doktora

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimEge Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. BÜNYAMİN YURDAKUL

  5. Ortaokul matematik öğretmenlerinin problem kurma düzeyleri: Olasılık örneği

    Problem posing levels of middle school mathematics teachers: Probability example

    ERVA NUR BAYRAK

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimAtatürk Üniversitesi

    Makine Eğitimi Ana Bilim Dalı

    PROF. YASİN SOYLU