Açık uçlu maddelerin değerlendirilmesinde uyarlanabilir karşılaştırmalı yargı yöntemi: Uzman ve uzman olmayan değerlendiricilerin karar tutarlığı ve güvenirlik analizi
Adaptive comparative judgement method for assessing open-ended items: Decision consistency and reliability analysis of expert and non-expert raters
- Tez No: 1010450
- Danışmanlar: DOÇ. DR. İBRAHİM UYSAL
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Açık uçlu sorular, Güvenilirlik analizi, Open ended questions, Reliability analysis
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Bolu Abant İzzet Baysal Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Açık uçlu maddelerin puanlanması güç, zaman alıcı ve masraflıdır. Puanlama sürecinde puanlayıcı yargısının devreye girmesi, puanlayıcılar arası farklılıklara yol açarak ölçme hatasına ve puanlama güvenirliğinin düşmesine sebep olabilmektedir. Bu sınırlılıkların aksine Uyarlanabilir Karşılaştırmalı Yargı (Adaptive Comparative Judgement-ACJ) yanıtlara mutlak bir puan verilmesi yerine iki performanstan hangisinin daha iyi olduğunun belirlenmesine ve istatistiksel modellere dayalıdır. Bu doğrultuda mevcut araştırmanın amacı, ACJ yöntemi kullanılarak açık uçlu maddelere ilişkin yanıtların değerlendirilmesinde çevrimiçi ve basılı formların değerlendirme güvenirlikleri ile uzman ve uzman olmayan değerlendiricilerin karar tutarlıklarının karşılaştırılmasıdır. Araştırmada 127 öğretmen adayının 204 cevap kâğıdı ACJ yöntemi ile karşılaştırılmıştır. Karşılaştırmaları 9 uzman ve 9 uzman olmayan değerlendirici gerçekleştirmiştir. Süreçte cevap kağıtları önceden hazırlanmış dereceli puanlama anahtarları ile iki puanlayıcı tarafından puanlanmış ve puanlayıcılar arası tutarlık karesel ağırlıklı Kappa (quadratic weighted Kappa-QWK) katsayısı ile incelenmiştir. Cevap kağıtları aynı zamanda ACJ yönteminin kullanıldığı çevrimiçi platformda değerlendirilmiştir. Ardından, uzman ve uzman olmayan değerlendiricilerden elde edilen sıra sonuçları arasındaki ilişki (a) ile karşılaştırmalardan kestirilen parametrelerin dereceli puanlama anahtarı puanları arasındaki ilişkisi (b) Spearman korelasyonu ile incelenmiştir. Sonuçlar, değerlendiricilerden elde edilen güvenirliğin genellikle çevrimiçi formlarda basılı formlara kıyasla daha yüksek olduğunu, değerlendiricilerin hepsinin model ile uyum gösteren tutarlı kararlar verdiğini ve konu alanı uzmanı olmasa bile değerlendiricilerin güvenilir sonuçlar ürettiğini göstermiştir. Dereceli puanlama anahtarı ile orta-yüksek düzeyde istatistiksel olarak anlamlı ilişki bulunması ise yöntemin güvenilir, geçerli ve kullanılabilir bir araç olduğunu desteklemektedir. Bu yönüyle açık uçlu maddeleri değerlendiren kişi, kurum ve kuruluşlara ACJ yöntemini kullanmaları önerilebilir.
Özet (Çeviri)
Scoring open-ended items is difficult, time-consuming, and costly. The involvement of rater judgement in the scoring process can lead to differences among raters, introducing measurement error and reducing scoring reliability. In contrast to these limitations, Adaptive Comparative Judgement (ACJ) is based on statistical models and focuses on deciding which of two performances is better rather than assigning absolute scores to responses. Accordingly, the aim of this study is to compare the reliability of computer-based and paper-based forms in evaluating responses to open-ended items using the ACJ method, as well as the consistency of decisions made by expert and non-expert raters. In the study, 204 responses from 127 teacher candidates were compared using the ACJ method. The pairwise comparisons were carried out by nine expert and nine non-expert raters. During the process, the responses were scored independently by two raters using pre-prepared scoring rubrics, and the inter-rater reliability was examined using the quadratic weighted Kappa (QWK) coefficient. The responses were also evaluated on an online platform implementing the ACJ method. Subsequently, Spearman's rank-order correlation was used to examine (a) the relationship between the rank orders produced by expert and non-expert raters and (b) the relationship between the parameters estimated from the pairwise comparisons and the rubric-based scores. The results showed that reliability estimates derived from the raters' comparisons were generally higher in computer-based forms than in paper-based forms. All raters demonstrated acceptable model–data fit statistics, indicating consistency in their comparative judgements. Moreover, reliable results were obtained even when raters were not subject-matter experts. The statistically significant and moderately strong correlation between ACJ outcomes and the rubric-based scores suggests that the method is a reliable, valid, and practical assessment tool. In this regard, the ACJ method can be recommended for individuals, institutions, and organizations engaged in the evaluation of open-ended items.
Benzer Tezler
- Bağırsak hasar modellerinde kemik iliği mezenkimal kök hücre ve bağırsak mezenkimal kök hücrelerin rejeneratif ve immün modülatuvar etkilerinin karşılaştırılması
Comparison of regenerative and immune modulatory effecets of bone marrow and intestinal mesenchymal stem cells i intestinal damage models
BURCU PERVİN
Doktora
İngilizce
2025
BiyolojiHacettepe ÜniversitesiKök Hücre Ana Bilim Dalı
DOÇ. DR. FATİMA AERTS KAYA
- Bilişim teknolojileri ve yazılım dersi öğretim programının değerlendirilmesine dayalı bir mesleki gelişim programının geliştirilmesi
Development of a professional development program based on the evaluation of the curriculum of the information and communication technologies and software course
ÜMİT ÇİMEN COŞKUN
Doktora
Türkçe
2021
Eğitim ve ÖğretimÇukurova ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. MEDİHA SARI
- İlköğretim ikinci kademe öğrencilerinin Türkçe dersinde kullandıkları dinleme stratejilerinin değerlendirilmesi
Assessment of listening strategies used by secondary school students in Turkish lessons
MEHMET FİDAN
Yüksek Lisans
Türkçe
2012
Eğitim ve ÖğretimErciyes ÜniversitesiTürkçe Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. ADNAN KARADÜZ
- İlköğretim okullarında bazı durumların örgütsel çatışma yaratma derecelerine ilişkin yönetici ve öğretmen görüşleri
Başlık çevirisi yok
SONER POLAT
Yüksek Lisans
Türkçe
2000
Eğitim ve Öğretimİnönü ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. MUALLA AKSU