Geri Dön

The impact of rating methods and rater training on the variability and reliability of EFL students' classroom-based writing assessments in Turkish universities: An investigation of problems and solutions

Puanlama yöntemlerinin ve puanlayıcı eğitiminin Türkiyede üniversilerdeki EFL öğrencilerinin sınıf temelli yazma değerlendirmelerinin değişkenliği ve güvenirliği üzerine etkisi: Bir problemler ve çözümler araştırması

  1. Tez No: 326847
  2. Yazar: TURGAY HAN
  3. Danışmanlar: DOÇ. DR. JINYAN HUANG, YRD. DOÇ. DR. HÜSEYİN EFE
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2013
  8. Dil: İngilizce
  9. Üniversite: Atatürk Üniversitesi
  10. Enstitü: Sosyal Bilimler Enstitüsü
  11. Ana Bilim Dalı: İngiliz Dili ve Edebiyatı Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 216

Özet

Bir deneysel ve bir doğal bağlam çalışmalarını içeren bu tez, puanlama yöntemlerinin (bütünsele karşı analitik) ve puanlayıcı eğitiminin Türkiyede Yabancı Dil olarak İngilizce (EFL) yazma değerlendirme değişkenliğine ve güvenirliğine olan etkisini özel olarak hem kuramsal çerçevede G-kuramına dayalı nicel yöntemi hem nitel yöntemi araştırma desenininde kullanarak araştırmayı amaçlamıştır. Deneysel çalışmada, 72 EFL kompzisyon önce bütünsel ve sonra analitik olarak detaylı puanlama eğitimi almış on puanlayıcı tarafından puanlandı. Toplam 1440 puan elde edildi. Doğal bağlam çalışmasında, aynı 72 EFL kompozisyonu sadece aynı ölçekleri kullanmaya yöneltilmiş diğer üniversitelerdeki dokuz puanlayıcı tarafından puanlanmıştır. Doğal bağlam çalışmasındaki 1296 puandan oluşan veri puanlama eğitiminin verilen puanların güvenirliğine ve değişkenliğine olan etkisini incelemek için kullanıldı. Sonuçlar, deneysel çalışma özenle yapılan puanlama eğitimiyle bütünsel puanlamanın analitik puanlama kadar tutarlılık ve güvenilirlik vereceğini ortaya koyan önemli bulgular sunmuştur, diğer yandan doğal çalışmadaki puanlayıcılar sadece temel bir puanlayıcı eğitimi aldıkları için bu durum düşük nitelikli puanlamalara yol açmış ve puanlayıcılar aynı EFL kompozisyonlarını bütünsel ve analitik puanlamalarında da oldukça farklılaşmışlardır. Yine doğal bağlam çalışması puanlayıcı eğitimi uygulamanın daha güvenilir sonuçlar almadaki önemini vurgulamıştır. Puanlamaların ardından yapılan yüzyüze mülakatlar puanlayıcıların karar verme süreçlerinin her iki ppuanlama yönteminde zorlu olduğunu göstermiştir. Puanlama yöntemleri puanlayıcıların puanlama süreçlerini etkilemiştir. Sonuç olarak, bulgular detaylı bir puanlama eğitimi uygulandığında bütünsel puanlamanın analitik puanlama kadar güvenilir ve sağlıklı sonuçlar vereceğine kanıt oluşturmaktadır. Bu bulgular Türkiyedesınıf temelli seçme ve yerleştirme yazma değerlendirme pratiklerinin nasıl iyileştirileceği gibi önemli bir konuyu ortaya çıkarmaktadır. Eğitim politikaları ve pratikleri perspektiflerinden önemli yaygın etkiler tartışılmıştır.

Özet (Çeviri)

Including one experimental and one natural context studies, this dissertation aimed to investiate the impact of scoring methods (holistic vs. analytic scoring) and rater training on the variability and reliability of EFL writing assessments in Turkey, specifically using both quantitative method based on G-theory as a theoretical framework and qualitative method in the design. In the experimental study, 72 EFL papers were scored holistically and then analytically by ten raters who received a detailed rater training. Totally 1440 scores were obtaied. In the natural context study, the same 72 EFL papers were rated by nine raters from more universities who were only oriented to using the same rubrics. The extra data set consisting of 1296 scores in the natural context study was used to examine the impact of rater training on the reliability and variability of scores. The results showed that with careful training, the experimental study did produce significant finding, which is holistic scoring could produce comparable consistency and reliability as analytic scoring; on the other hand, as the raters in the natural context study received only a basic rater training, this yielded low quality ratings and the raters considerably varied in their holistic and analytic ratings of the same EFL papers. Again, the natural context study highlighted the importance of application of rater training to obtain more reliable results. The analysis of the face-to-face follow-up interviews indicated that raters? decision-making process was challenging with both scoring methods. The scoring rubrics did impact the raters? scoring processes. Overall, the findings provide evidence holistic scoring, therefore, could yield reliable and dependable results as analytic scoring if a detailed rater training is applied. The findings raise an important issue about how to improve classroom-based high-stake writing assessment practices in Turkey. Important implications from educational policy and practice perspectives are discussed.

Benzer Tezler

  1. Matematiksel modelleme tabanlı proje üretimi ve yönetimi programının özel yeteneklilerin proje üretimi bağlamında etkililiği

    The effectiveness of a mathematical modeling based project production and management program within the context of project production of gifted students

    GÜLNUR ÖZBEK

    Doktora

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimAkdeniz Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. ERDOĞAN KÖSE

  2. The impact of rater experience and essay quality on rater behavior and scoring

    Puanlayıcı tecrübesi ve komposizyon kalitesinin puanlayıcı davranışı ve komposizyon puanları üzerindeki etkisi

    ÖZGÜR ŞAHAN

    Doktora

    İngilizce

    İngilizce

    2018

    Eğitim ve ÖğretimÇanakkale Onsekiz Mart Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. SALİM RAZI

  3. An investigation into evaluating translation quality of university students

    Üniversite öğrencilerinin çeviri kalitesinin değerlendirilmesi sürecinin incelenmesi

    NİLÜFER AYBİRDİ

    Doktora

    İngilizce

    İngilizce

    2020

    Eğitim ve ÖğretimAtatürk Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. MEHMET TAKKAÇ

  4. Ülke kredi derecelendirmesine ilişkin farklı yöntem denemeleri

    Different method trials on sovereign credit rating

    NİSA ÖZGE ÖNAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. ERTUĞRUL KARAÇUHA

  5. Investigating the effectiveness of automated feedback and the impact of automated scoring on the variability and reliability of EFL writing scores

    Otomatik geri bildirimin etkililiğinin ve otomatik puanlamanın İngilizce kompozisyon puanlarının değişkenliğine ve güvenirliğine etkisinin incelenmesi

    ELİF SARI

    Doktora

    İngilizce

    İngilizce

    2020

    Eğitim ve ÖğretimAtatürk Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. MEHMET TAKKAÇ

    DOÇ. DR. TURGAY HAN