Geri Dön

Performansa dayalı durum belirlemede puanlayıcılar arası güvenirlik tekniklerinin karşılaştırılması

The comparison of inter rater reliability estimating techniques in performance-based assessment

  1. Tez No: 596844
  2. Yazar: SİNEM ARSLAN MANCAR
  3. Danışmanlar: DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: Türkçe
  9. Üniversite: Ankara Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Ölçme ve Değerlendirme Ana Bilim Dalı
  12. Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 83

Özet

Araştırmanın amacı, farklı sayıdaki puanlayıcılardan elde edilen puanların tutarlılığını Klasik Test Kuramı ve Genellenebilirlik Kuramına dayalı analizler yaparak karşılaştırmaktır. Araştırma, kuramlara dayalı olarak geliştirilen tekniklerin kullanılarak var olan durumu ortaya koyması yönüyle betimsel araştırma türündedir. Bu araştırmada, Uluslararası Bakalorya Diploma Programından mezun olan öğrenciler tarafından biyoloji dersi için hazırlanan 20 performans çalışması kullanılmış ve çalışmalar farklı sayıdaki puanlayıcılar tarafından değerlendirilmiştir. Araştırma kapsamında Uluslararası Bakalorya Örgütü uzmanlarınca geliştirilen, ilgili programı uygulayan tüm okullarda kullanılan analitik dereceli puanlama anahtarı kullanılmıştır. Araştırma verilerinin analizinde iki, üç ve beş sayıdaki puanlayıcıdan elde edilen puanların güvenirliğinin belirlenmesinde, KTK'ya dayalı olarak geliştirilen Kappa ve Krippendorff alfa istatistik teknikleri kullanılarak uyum düzeyleri hesaplanmıştır. G Kuramına dayalı olarak da (b x m x p) deseninin puanlayıcı sayısı değişimi ile Karar (K) çalışmaları sonucunda ortaya çıkan Genellenebilirlik (G) ve Phi katsayıları belirlenerek güvenirlik analizleri yapılmıştır. Bu çalışmalara ek olarak, performansa dayalı durum belirleme süreci ve analitik dereceli puanlama anahtarı kullanımına ilişkin puanlayıcı görüşlerine de yer verilmiştir. Araştırmanın bulgularına göre, Kappa ve Krippendorff alfa tekniklerinin analiz sonuçlarında bazı alt ölçeklerde elde edilen negatif değerler, puanlayıcılar arası uyumsuzluğa işaret etmektedir. Ancak analiz sonuçları, uyumsuzluğa neden olan hata kaynakları ve oranları hakkında bilgi sağlamamaktadır. G Kuramına dayalı K çalışmaları sonucunda ise, analitik dereceli puanlama anahtarında yer alan alt boyutların ve puanlayıcı sayısının artırılması durumunda, yapılan puanlamaların güvenirliğini arttıracağı belirlenmiştir. Performansa dayalı durum belirlemede puanlayıcılar arası tutarlılık düzeylerinin belirlenmesinde daha güvenilir sonuçlar elde edilmesi ve isabetli kararlar alınması için G Kuramına dayalı tekniklerin kullanılması gerektiği sonucuna ulaşılmıştır.

Özet (Çeviri)

In this research, the reliability analysis of obtained scores from ındependent raters have been made with respect to Classical Test Theory and Generalizability Theory and interrater agreement level has been examined. Whether there is any difference between reliability coefficients and interrater agreement level obtained from different techniques from two theories and techniques used to gather more information was determined. In this way, this research is pure research. Agreement levels among the raters: 2, 3 and 5 have been calculated via using Kappa statistic technique, Krippendorff alpha technique and G study used to estimate the effect of rater number variance through use of an analytic rubric for performance-based assessment. In addition to these studies, raters' opinions regarding the performance-based assessment process and the use of analytical grade rubric were also included. The analytical grade rubric key consisting of five sub-dimensions, prepared by the experts of the International Baccalaureate Organization, was used in the data collection. The study was conducted on 20 individual investigation biology report, five items (for analytic rubric) and five raters. In this study, the crossed design (b x m x p) which examines sources of variation and percentages in the generalizability theory is used to determine the reliability and interrater agreement level. According to the findings of the research, Kappa and Krippendorff alpha statistical techniques were found to be insufficient due to the comprehensive applications of performance-based case studies. On the contrary, analyzes and the K studies based on the Theory of G provided comprehensive information and detailed ideas about the study. However, it is thought that taking the opinions of the raters will suggest a performance-based assessment and related to the use of an analytical rubric.

Benzer Tezler

  1. Ortaöğretim İngilizce yeterliğinin puanlayıcılar arası güvenirliğinin genellenebilirlik kuramı ve Rasch Modeli ile belirlenmesi

    Determination of inter-rater reliability of secondary education English proficiency using generalization theory and Rasch Model

    AYKUT TÜZAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimAkdeniz Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. HAKAN KOĞAR

  2. An optimization model to control the flow of relief commodities in humanitarian supply chain under uncertainty

    Belirsiz koşullarda insani yardım tedarik zinciri malzeme akışını kontrol etmede optimizasyon modeli

    ISRAA ISMAIL

    Doktora

    İngilizce

    İngilizce

    2021

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ESRA BAŞ

  3. Hazır giyim sektöründe temel ücretin belirlenmesine yönelik bir model geliştirme

    To develop a model in determining basic wages in ready-made clothing sector

    PINAR GÖKLÜBERK ÖZLÜ

    Doktora

    Türkçe

    Türkçe

    2005

    Giyim EndüstrisiGazi Üniversitesi

    Giyim Endüstrisi ve Giyim Sanatları Ana Bilim Dalı

    PROF. DR. SEMİHA AYDIN

  4. Comparative analysis of crowdfunding platforms: Case of Türkiye and Germany

    Kitlesel fonlama platformlarının karşılaştırmalı analizi: Türkiye ve Almanya örneği

    MERT YASİNTEMUR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    İşletmeEge Üniversitesi

    İşletme Ana Bilim Dalı

    PROF. DR. DİLEK DEMİRHAN

  5. Performansa dayalı tekniklerle yürütülen biçimlendirmeye yönelik değerlendirme sürecinin öğretmen ve öğrenci üzerindeki etkisi

    The effects of formative assessment process which in used performance-based techniques on teacher and student

    SERKAN BULDUR

    Doktora

    Türkçe

    Türkçe

    2014

    Eğitim ve ÖğretimGazi Üniversitesi

    İlköğretim Ana Bilim Dalı

    PROF. DR. ALEV DOĞAN