The impact of rating methods and rater training on the variability and reliability of EFL students' classroom-based writing assessments in Turkish universities: An investigation of problems and solutions
Puanlama yöntemlerinin ve puanlayıcı eğitiminin Türkiyede üniversilerdeki EFL öğrencilerinin sınıf temelli yazma değerlendirmelerinin değişkenliği ve güvenirliği üzerine etkisi: Bir problemler ve çözümler araştırması
- Tez No: 326847
- Danışmanlar: DOÇ. DR. JINYAN HUANG, YRD. DOÇ. DR. HÜSEYİN EFE
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2013
- Dil: İngilizce
- Üniversite: Atatürk Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: İngiliz Dili ve Edebiyatı Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 216
Özet
Bir deneysel ve bir doğal bağlam çalışmalarını içeren bu tez, puanlama yöntemlerinin (bütünsele karşı analitik) ve puanlayıcı eğitiminin Türkiyede Yabancı Dil olarak İngilizce (EFL) yazma değerlendirme değişkenliğine ve güvenirliğine olan etkisini özel olarak hem kuramsal çerçevede G-kuramına dayalı nicel yöntemi hem nitel yöntemi araştırma desenininde kullanarak araştırmayı amaçlamıştır. Deneysel çalışmada, 72 EFL kompzisyon önce bütünsel ve sonra analitik olarak detaylı puanlama eğitimi almış on puanlayıcı tarafından puanlandı. Toplam 1440 puan elde edildi. Doğal bağlam çalışmasında, aynı 72 EFL kompozisyonu sadece aynı ölçekleri kullanmaya yöneltilmiş diğer üniversitelerdeki dokuz puanlayıcı tarafından puanlanmıştır. Doğal bağlam çalışmasındaki 1296 puandan oluşan veri puanlama eğitiminin verilen puanların güvenirliğine ve değişkenliğine olan etkisini incelemek için kullanıldı. Sonuçlar, deneysel çalışma özenle yapılan puanlama eğitimiyle bütünsel puanlamanın analitik puanlama kadar tutarlılık ve güvenilirlik vereceğini ortaya koyan önemli bulgular sunmuştur, diğer yandan doğal çalışmadaki puanlayıcılar sadece temel bir puanlayıcı eğitimi aldıkları için bu durum düşük nitelikli puanlamalara yol açmış ve puanlayıcılar aynı EFL kompozisyonlarını bütünsel ve analitik puanlamalarında da oldukça farklılaşmışlardır. Yine doğal bağlam çalışması puanlayıcı eğitimi uygulamanın daha güvenilir sonuçlar almadaki önemini vurgulamıştır. Puanlamaların ardından yapılan yüzyüze mülakatlar puanlayıcıların karar verme süreçlerinin her iki ppuanlama yönteminde zorlu olduğunu göstermiştir. Puanlama yöntemleri puanlayıcıların puanlama süreçlerini etkilemiştir. Sonuç olarak, bulgular detaylı bir puanlama eğitimi uygulandığında bütünsel puanlamanın analitik puanlama kadar güvenilir ve sağlıklı sonuçlar vereceğine kanıt oluşturmaktadır. Bu bulgular Türkiyedesınıf temelli seçme ve yerleştirme yazma değerlendirme pratiklerinin nasıl iyileştirileceği gibi önemli bir konuyu ortaya çıkarmaktadır. Eğitim politikaları ve pratikleri perspektiflerinden önemli yaygın etkiler tartışılmıştır.
Özet (Çeviri)
Including one experimental and one natural context studies, this dissertation aimed to investiate the impact of scoring methods (holistic vs. analytic scoring) and rater training on the variability and reliability of EFL writing assessments in Turkey, specifically using both quantitative method based on G-theory as a theoretical framework and qualitative method in the design. In the experimental study, 72 EFL papers were scored holistically and then analytically by ten raters who received a detailed rater training. Totally 1440 scores were obtaied. In the natural context study, the same 72 EFL papers were rated by nine raters from more universities who were only oriented to using the same rubrics. The extra data set consisting of 1296 scores in the natural context study was used to examine the impact of rater training on the reliability and variability of scores. The results showed that with careful training, the experimental study did produce significant finding, which is holistic scoring could produce comparable consistency and reliability as analytic scoring; on the other hand, as the raters in the natural context study received only a basic rater training, this yielded low quality ratings and the raters considerably varied in their holistic and analytic ratings of the same EFL papers. Again, the natural context study highlighted the importance of application of rater training to obtain more reliable results. The analysis of the face-to-face follow-up interviews indicated that raters? decision-making process was challenging with both scoring methods. The scoring rubrics did impact the raters? scoring processes. Overall, the findings provide evidence holistic scoring, therefore, could yield reliable and dependable results as analytic scoring if a detailed rater training is applied. The findings raise an important issue about how to improve classroom-based high-stake writing assessment practices in Turkey. Important implications from educational policy and practice perspectives are discussed.
Benzer Tezler
- Matematiksel modelleme tabanlı proje üretimi ve yönetimi programının özel yeteneklilerin proje üretimi bağlamında etkililiği
The effectiveness of a mathematical modeling based project production and management program within the context of project production of gifted students
GÜLNUR ÖZBEK
Doktora
Türkçe
2023
Eğitim ve ÖğretimAkdeniz ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ERDOĞAN KÖSE
- The impact of rater experience and essay quality on rater behavior and scoring
Puanlayıcı tecrübesi ve komposizyon kalitesinin puanlayıcı davranışı ve komposizyon puanları üzerindeki etkisi
ÖZGÜR ŞAHAN
Doktora
İngilizce
2018
Eğitim ve ÖğretimÇanakkale Onsekiz Mart ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. SALİM RAZI
- An investigation into evaluating translation quality of university students
Üniversite öğrencilerinin çeviri kalitesinin değerlendirilmesi sürecinin incelenmesi
NİLÜFER AYBİRDİ
Doktora
İngilizce
2020
Eğitim ve ÖğretimAtatürk ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. MEHMET TAKKAÇ
- Ülke kredi derecelendirmesine ilişkin farklı yöntem denemeleri
Different method trials on sovereign credit rating
NİSA ÖZGE ÖNAL
Yüksek Lisans
Türkçe
2018
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. ERTUĞRUL KARAÇUHA
- Investigating the effectiveness of automated feedback and the impact of automated scoring on the variability and reliability of EFL writing scores
Otomatik geri bildirimin etkililiğinin ve otomatik puanlamanın İngilizce kompozisyon puanlarının değişkenliğine ve güvenirliğine etkisinin incelenmesi
ELİF SARI
Doktora
İngilizce
2020
Eğitim ve ÖğretimAtatürk ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. MEHMET TAKKAÇ
DOÇ. DR. TURGAY HAN