Performansa dayalı durum belirlemede puanlayıcılar arası güvenirlik tekniklerinin karşılaştırılması
The comparison of inter rater reliability estimating techniques in performance-based assessment
- Tez No: 596844
- Danışmanlar: DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 83
Özet
Araştırmanın amacı, farklı sayıdaki puanlayıcılardan elde edilen puanların tutarlılığını Klasik Test Kuramı ve Genellenebilirlik Kuramına dayalı analizler yaparak karşılaştırmaktır. Araştırma, kuramlara dayalı olarak geliştirilen tekniklerin kullanılarak var olan durumu ortaya koyması yönüyle betimsel araştırma türündedir. Bu araştırmada, Uluslararası Bakalorya Diploma Programından mezun olan öğrenciler tarafından biyoloji dersi için hazırlanan 20 performans çalışması kullanılmış ve çalışmalar farklı sayıdaki puanlayıcılar tarafından değerlendirilmiştir. Araştırma kapsamında Uluslararası Bakalorya Örgütü uzmanlarınca geliştirilen, ilgili programı uygulayan tüm okullarda kullanılan analitik dereceli puanlama anahtarı kullanılmıştır. Araştırma verilerinin analizinde iki, üç ve beş sayıdaki puanlayıcıdan elde edilen puanların güvenirliğinin belirlenmesinde, KTK'ya dayalı olarak geliştirilen Kappa ve Krippendorff alfa istatistik teknikleri kullanılarak uyum düzeyleri hesaplanmıştır. G Kuramına dayalı olarak da (b x m x p) deseninin puanlayıcı sayısı değişimi ile Karar (K) çalışmaları sonucunda ortaya çıkan Genellenebilirlik (G) ve Phi katsayıları belirlenerek güvenirlik analizleri yapılmıştır. Bu çalışmalara ek olarak, performansa dayalı durum belirleme süreci ve analitik dereceli puanlama anahtarı kullanımına ilişkin puanlayıcı görüşlerine de yer verilmiştir. Araştırmanın bulgularına göre, Kappa ve Krippendorff alfa tekniklerinin analiz sonuçlarında bazı alt ölçeklerde elde edilen negatif değerler, puanlayıcılar arası uyumsuzluğa işaret etmektedir. Ancak analiz sonuçları, uyumsuzluğa neden olan hata kaynakları ve oranları hakkında bilgi sağlamamaktadır. G Kuramına dayalı K çalışmaları sonucunda ise, analitik dereceli puanlama anahtarında yer alan alt boyutların ve puanlayıcı sayısının artırılması durumunda, yapılan puanlamaların güvenirliğini arttıracağı belirlenmiştir. Performansa dayalı durum belirlemede puanlayıcılar arası tutarlılık düzeylerinin belirlenmesinde daha güvenilir sonuçlar elde edilmesi ve isabetli kararlar alınması için G Kuramına dayalı tekniklerin kullanılması gerektiği sonucuna ulaşılmıştır.
Özet (Çeviri)
In this research, the reliability analysis of obtained scores from ındependent raters have been made with respect to Classical Test Theory and Generalizability Theory and interrater agreement level has been examined. Whether there is any difference between reliability coefficients and interrater agreement level obtained from different techniques from two theories and techniques used to gather more information was determined. In this way, this research is pure research. Agreement levels among the raters: 2, 3 and 5 have been calculated via using Kappa statistic technique, Krippendorff alpha technique and G study used to estimate the effect of rater number variance through use of an analytic rubric for performance-based assessment. In addition to these studies, raters' opinions regarding the performance-based assessment process and the use of analytical grade rubric were also included. The analytical grade rubric key consisting of five sub-dimensions, prepared by the experts of the International Baccalaureate Organization, was used in the data collection. The study was conducted on 20 individual investigation biology report, five items (for analytic rubric) and five raters. In this study, the crossed design (b x m x p) which examines sources of variation and percentages in the generalizability theory is used to determine the reliability and interrater agreement level. According to the findings of the research, Kappa and Krippendorff alpha statistical techniques were found to be insufficient due to the comprehensive applications of performance-based case studies. On the contrary, analyzes and the K studies based on the Theory of G provided comprehensive information and detailed ideas about the study. However, it is thought that taking the opinions of the raters will suggest a performance-based assessment and related to the use of an analytical rubric.
Benzer Tezler
- Ortaöğretim İngilizce yeterliğinin puanlayıcılar arası güvenirliğinin genellenebilirlik kuramı ve Rasch Modeli ile belirlenmesi
Determination of inter-rater reliability of secondary education English proficiency using generalization theory and Rasch Model
AYKUT TÜZAN
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimAkdeniz ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. HAKAN KOĞAR
- An optimization model to control the flow of relief commodities in humanitarian supply chain under uncertainty
Belirsiz koşullarda insani yardım tedarik zinciri malzeme akışını kontrol etmede optimizasyon modeli
ISRAA ISMAIL
Doktora
İngilizce
2021
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ESRA BAŞ
- Hazır giyim sektöründe temel ücretin belirlenmesine yönelik bir model geliştirme
To develop a model in determining basic wages in ready-made clothing sector
PINAR GÖKLÜBERK ÖZLÜ
Doktora
Türkçe
2005
Giyim EndüstrisiGazi ÜniversitesiGiyim Endüstrisi ve Giyim Sanatları Ana Bilim Dalı
PROF. DR. SEMİHA AYDIN
- Comparative analysis of crowdfunding platforms: Case of Türkiye and Germany
Kitlesel fonlama platformlarının karşılaştırmalı analizi: Türkiye ve Almanya örneği
MERT YASİNTEMUR
- Performansa dayalı tekniklerle yürütülen biçimlendirmeye yönelik değerlendirme sürecinin öğretmen ve öğrenci üzerindeki etkisi
The effects of formative assessment process which in used performance-based techniques on teacher and student
SERKAN BULDUR