The impact of calibration on scoring reliability and rater severity in a business English written exam
İş İngilizcesi yazılı sınavının notlandırma güvenilirliği ve değerlendirici ağırlığı üzerine calibration'un etkisi
- Tez No: 818002
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA POLAT
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Değerlendirme, Güvenilirlik, Kalibrasyon, Mesleki dil, Notlandırma, Yabancı dil eğitimi, Yabancı dil öğretimi, Yazılı sınav, İngilizce, Evaluation, Reliability, Calibration, Occupational language, Scoring, Foreign language education, Foreign language teaching, Written examinations, English
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: İngiliz Dilbilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, çevrimiçi bir yazılı sınavda değerlendiriciler arası güvenilirliği (inter-rater), değerlendirici iç güvenilirliği (intra-rater) ve değerlendirici katılığı (severity) üzerinde kalibrasyon etkisini araştırmaktadır. İngilizce Dil Eğitimi alanında geçmişe sahip altı değerlendirici, iki aşamada, aralarında bir kalibrasyon toplantısı düzenlenmiş olan aynı 32 sınav setini değerlendirdi. İç korelasyon katsayı (ICC) analizi, T-testleri, çok yönlü Rasch ölçme modeli (MFRM) ve betimleyici istatistikler, kalibrasyonun güvenilirlik ve değerlendirici katılığı üzerindeki etkisini analiz etmek için kullanılmıştır. Bulgular, kalibrasyonun değerlendirici güvenilirliğini ve puanlama tutarlılığını önemli ölçüde arttırdığını, aynı zamanda kalibrasyonun dahil edildiği durumlarda değerlendirici iç güvenilirliğinin karmaşıklığını da vurguladığını önermektedir. Kalibrasyon sonrasında değerlendirici katılık seviyelerinde belirgin değişimler de gözlemlendi. Bu bulgular, değerlendirme süreçlerinde güvenilirlik ve tutarlılığı sağlama konusunda sonuçları vardır. Sonuçlar, kalibrasyonun puanlama güvenilirliğini iyileştirme ve değerlendirici katılık etkilerini azaltma potansiyelini vurgulamakta, kurumsal ve eğitimsel ortamlarda daha güvenilir bir değerlendirme sürecine katkıda bulunmaktadır.
Özet (Çeviri)
This study investigates the impact of calibration on inter-rater reliability, intra-rater reliability, and rater severity in an online written examination. Six raters, with backgrounds in English Language Teaching, marked the same set of 32 exams in two phases, with a calibration meeting held in-between. Intraclass Correlation Coefficient analysis, T-tests, Many Facet Rasch Measurement, and descriptive statistics were used to evaluate the impact of calibration on reliability and severity. The findings suggested that calibration significantly enhances inter-rater reliability and scoring consistency while also highlighting the complexities of intra-rater reliability when calibration is introduced. Notable shifts in rater severity levels were also observed post-calibration. These findings have implications for ensuring reliability and consistency in evaluation processes. The results underscore the potential of calibration in improving the scoring reliability and reducing rater severity effects, contributing to a more reliable assessment process in corporate and educational settings.
Benzer Tezler
- Revolutionizing recruitment: The impact of artificial intelligence on hiring efficiency
İşe alımda devrim: Yapay zekânın işe alım verimliliği üzerindeki etkisi
SHAYAN SEPAHNEJAD
Yüksek Lisans
İngilizce
2026
Bilim ve TeknolojiAntalya Bilim Üniversitesiİşletme Ana Bilim Dalı
DOÇ. DR. ABUBAKAR MOHAMMED ABUBAKAR
- Digital ortofotolarda sayısal arazi modellerinin doğruluğu
Accuracy of digital terrain model in digital orthoptoros
HANDE DEMİREL
Yüksek Lisans
Türkçe
1998
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiFotogrametri Ana Bilim Dalı
PROF. DR. M. ORHAN ALTAN
- Carbon and nitrogen removal in municipal and industrial wastewater using membrane bioreactors
Evsel ve endüstriyel atık su arıtımında membran biyoreaktörler ile karbon ve nütrient giderimi
MEHMET MURAT SARIOĞLU
Doktora
İngilizce
2007
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. DERİN ORHON
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
Tıpta Uzmanlık
Türkçe
1987
Kadın Hastalıkları ve DoğumGazi ÜniversitesiKadın Hastalıkları ve Doğum Ana Bilim Dalı
DOÇ. DR. MÜLAZIM YILDIRIM
- Çimentonun sertleşmesi üzerinde kimyasal komponentlerin etkisi
Başlık çevirisi yok
NACİYE TÜRKEL
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE