İngilizce akademik yazma becerilerinin değerlendirilmesinde puanlayıcı eğitiminin akran puanlayıcı davranışları üzerine etkisinin çok yüzeyli Rasch Modeli ile belirlenmesi
Examining the effect of rater training on peer rater behaviors in the assessment of academic writing skills in English through the many-facet Rasch Model
- Tez No: 985621
- Danışmanlar: PROF. DR. İSMAİL KARAKAYA
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İngilizce akademik yazma becerileri, öğrencilerin aktif olarak katılım göstererek farklı türlerde performans sergilemelerini gerektiren bir beceri türüdür. Öğrencinin akademik yazma performansı ise belirli ölçütler ve düzey tanımlamaları doğrultusunda puanlayıcılar tarafından değerlendirilmektedir. Puanlayıcı öznelliğinden kaynaklanan hataları en aza indirgemek için farklı puanlayıcıların aynı performansı benzer şartlarda ve aynı ölçme aracı kullanarak puanlaması gerekmektedir. Diğer taraftan bu gereklilik, puanlayıcı güvenirliliği tartışmalarını ve puanlayıcı davranışlarını gündeme getirmektedir. Bu davranışlardan kaynaklanan hatayı minimize etmek ve ölçme güvenirliğini sağlayarak daha geçerli kararlara ulaşabilmek için puanlayıcı eğitimi başvurulan yöntemlerden biridir. Bu çalışmada bir yazma türü olan kompozisyon görevlerinden reaksiyon türünde kompozisyonun akran değerlendirme kapsamında incelenmesi hedeflenmiştir. İngilizce öğretmenliği öğrencileri olan ve akademik yazma becerileri dersini alan 51 akran, öncelikle önceki sene aynı eğitimi alan akranlarının yazdığı 5 adet kompozisyon görevini puanlamıştır. Ardından akranlar“Puanlayıcı Hatası Eğitimi”ve“Performans Boyutları Eğitimi”çerçevesinde altı haftalık bir puanlayıcı eğitim almış ve uygulama sonrasında da aynı görevleri tekrar puanlamışlardır. Madde tepki kuramına dayalı olan Çok Yüzeyli Rasch Ölçme Modeli kullanarak akran puanlamaları birey, zaman, kriter ve kompozisyon yüzeylerine göre analiz edilmiştir. Her ne kadar akranlar, eğitim sonrasında katılık ve cömertlik gibi puanlama davranışlarında az düzeyde farklılık sergileseler ve yanlılık davranışlarında azalma olsa da eğitim öncesi ve sonrası puanlamalarda anlamlı bir fark bulunamamıştır. Değişim olmayışının nedenleri arasında eğitim süresinin kısa tutulması, puanlama zamanı ve puanlayıcıların uzmanlık alanları düşünülmektedir. Model ölçüm değerleri incelendiğinde ise akademik yazma becerilerinin Çok Yüzeyli Rasch Ölçme Modeli ile güvenilir düzeyde analiz edilebileceği ve performansın uygun biçimde yorumlanabileceği tespit edilmiştir.
Özet (Çeviri)
English academic writing skills are a type of skill that requires students' active participation and performance in various genres. Raters assess the students' academic writing performance in accordance with specific criteria and proficiency levels. To minimize errors arising from rater subjectivity, it is essential for raters to assess the same performance under similar conditions and using the same measurement tool. On the other hand, this requirement brings discussions on rater reliability and rater behaviors into play. One of the methods used to consider these behaviours and ensure measurement reliability is obviously rater training. In this study, the aim was to examine reaction essays within the scope of peer assessment. 51 participants, who are pre-service English teachers taking the Academic Writing Skills course, first scored five essays written by others who had taken the course in the previous year. Afterward, within the framework of“Rater Error Training, and ”Performance Dimensions Training", peers received six weeks of rater training and then re-scored the same tasks after training. Based on Item Response Theory, the Many-Facet Rasch Measurement Model was used to analyze peer ratings in terms of the facets of person, time, criteria, and student/essay. Although peers slightly differed in scoring behaviors such as severity and leniency, and scoring bias was reduced after the training, no significant difference was found between the pre- and post-training scores. This may be due to the short duration of the training and the ineffectiveness of the training type, considering the raters' proficiency levels, educational backgrounds, and rating/scoring times. Regarding the model measurement indices, it can be inferred that academic writing skills can be analyzed reliably using the Many-Facet Rasch Measurement Model, and that performance can be interpreted appropriately.
Benzer Tezler
- Performans değerlendirme sürecinde puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisinin incelenmesi
The investigation of the effect of rater training on the rater behaviors in the performance assessment process
MEHMET ŞATA
Doktora
Türkçe
2019
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. İSMAİL KARAKAYA
- İngilizce öğretmenlerinin dinleme ve konuşma becerilerinin değerlendirmeye dahil edilmesine ilişkin düşünceleri
Voices from efl teachers: Integrating listening and speaking components in assessment
RABİA ÇAPKIN ACAR
Yüksek Lisans
İngilizce
2025
Batı Dilleri ve EdebiyatıKaradeniz Teknik ÜniversitesiBatı Dilleri ve Edebiyatları Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HASAN SAĞLAMEL
- A conversation analytic study on video-mediated interactions for peer feedback in L2 writing
Yabancı dilde yazma öğretiminde video aracılı akran geri bildirimi etkileşimlerinin konuşma çözümlemesi yöntemiyle incelenmesi
YUSUF EMRE YEŞİLYURT
Doktora
İngilizce
2021
Eğitim ve ÖğretimGazi ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. HACER HANDE UYSAL GÜRDAL
- İngilizce öğretmenliği ve İngiliz dili ve edebiyatı bölümlerindeki öğretmen adaylarının dil öğretiminde edebiyat kullanımına ilişkin öz-yeterlik algıları
Self-efficacy beliefs of pre-service teachers in English language teaching and English language and literature departments on the use of literature in language teaching
SONGÜL ERDENER
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimNecmettin Erbakan ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMİNE EDA ERCAN DEMİREL
- English for specific purposes: Online program design, implementation and evaluation
Özel amaçlı İngilizce: Çevrimiçi program tasarımı, uygulama ve değerlendirme
ERSİN BALCI
Doktora
İngilizce
2023
Eğitim ve ÖğretimDokuz Eylül ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. HATİCE İREM ÇOMOĞLU