The impact of calibration on scoring reliability and rater severity in a business English written exam
İş İngilizcesi yazılı sınavının notlandırma güvenilirliği ve değerlendirici ağırlığı üzerine calibration'un etkisi
- Tez No: 818002
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA POLAT
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: İngiliz Dilbilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 102
Özet
Bu çalışma, çevrimiçi bir yazılı sınavda değerlendiriciler arası güvenilirliği (inter-rater), değerlendirici iç güvenilirliği (intra-rater) ve değerlendirici katılığı (severity) üzerinde kalibrasyon etkisini araştırmaktadır. İngilizce Dil Eğitimi alanında geçmişe sahip altı değerlendirici, iki aşamada, aralarında bir kalibrasyon toplantısı düzenlenmiş olan aynı 32 sınav setini değerlendirdi. İç korelasyon katsayı (ICC) analizi, T-testleri, çok yönlü Rasch ölçme modeli (MFRM) ve betimleyici istatistikler, kalibrasyonun güvenilirlik ve değerlendirici katılığı üzerindeki etkisini analiz etmek için kullanılmıştır. Bulgular, kalibrasyonun değerlendirici güvenilirliğini ve puanlama tutarlılığını önemli ölçüde arttırdığını, aynı zamanda kalibrasyonun dahil edildiği durumlarda değerlendirici iç güvenilirliğinin karmaşıklığını da vurguladığını önermektedir. Kalibrasyon sonrasında değerlendirici katılık seviyelerinde belirgin değişimler de gözlemlendi. Bu bulgular, değerlendirme süreçlerinde güvenilirlik ve tutarlılığı sağlama konusunda sonuçları vardır. Sonuçlar, kalibrasyonun puanlama güvenilirliğini iyileştirme ve değerlendirici katılık etkilerini azaltma potansiyelini vurgulamakta, kurumsal ve eğitimsel ortamlarda daha güvenilir bir değerlendirme sürecine katkıda bulunmaktadır.
Özet (Çeviri)
This study investigates the impact of calibration on inter-rater reliability, intra-rater reliability, and rater severity in an online written examination. Six raters, with backgrounds in English Language Teaching, marked the same set of 32 exams in two phases, with a calibration meeting held in-between. Intraclass Correlation Coefficient analysis, T-tests, Many Facet Rasch Measurement, and descriptive statistics were used to evaluate the impact of calibration on reliability and severity. The findings suggested that calibration significantly enhances inter-rater reliability and scoring consistency while also highlighting the complexities of intra-rater reliability when calibration is introduced. Notable shifts in rater severity levels were also observed post-calibration. These findings have implications for ensuring reliability and consistency in evaluation processes. The results underscore the potential of calibration in improving the scoring reliability and reducing rater severity effects, contributing to a more reliable assessment process in corporate and educational settings.
Benzer Tezler
- Carbon and nitrogen removal in municipal and industrial wastewater using membrane bioreactors
Evsel ve endüstriyel atık su arıtımında membran biyoreaktörler ile karbon ve nütrient giderimi
MEHMET MURAT SARIOĞLU
Doktora
İngilizce
2007
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. DERİN ORHON
- Digital ortofotolarda sayısal arazi modellerinin doğruluğu
Accuracy of digital terrain model in digital orthoptoros
HANDE DEMİREL
Yüksek Lisans
Türkçe
1998
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiFotogrametri Ana Bilim Dalı
PROF. DR. M. ORHAN ALTAN
- Güncel killi dolgu zeminde gerçekleştirilen derin kazı İksa Sisteminin davranışı: Bir vaka analizi
Behaviour of a deep excavation Shoring System in current clayey fill: A case study
BATUHAN AKGÜN
Yüksek Lisans
Türkçe
2024
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BERRAK TEYMÜR
- Öneri sistemleri ve grup çalışma yazılımı kullanılarak yapılan bir uygulama
Başlık çevirisi yok
MURAT BİRCANER
Yüksek Lisans
Türkçe
1998
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALPASLAN FIĞLALI
- Modelling formation of fuel-in-oil due to post injections in diesel applications
Dizel motorlarda art püskürtmeler sebebiyle yağ seyrelmesi oluşumunun modellenmesi
MURAT GÖNÜL
Doktora
İngilizce
2021
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. OSMAN AKIN KUTLAR