Geri Dön

The effect of rater experience and L2 speaking performance quality on score variation and rater behavior

Puanlayıcı tecrübesi ve ikinci dil konuşma performans kalitesinin puan değişkenliği ve puanlayıcı davranışı üzerindeki etkisi

  1. Tez No: 746076
  2. Yazar: MUSTAFA ÇOBAN
  3. Danışmanlar: DOÇ. DR. SALİM RAZI
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Çanakkale Onsekiz Mart Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
  12. Bilim Dalı: İngilizce Öğretmenliği Bilim Dalı
  13. Sayfa Sayısı: 254

Özet

Bu tezin amacı, puanlayıcıların puanlama deneyimlerinin ve değerlendirilen konuşma sınavlarının kalitesinin puan değişkenliği ve puanlayıcı davranışı üzerindeki etkilerini incelemektir. Yakınsayan paralel tasarım, durum çalışması karma yöntem araştırma yaklaşımı kullanılarak, puanlayıcıların puanlama deneyiminden ve konuşma sınavlarındaki yanıtların kalitesinden kaynaklanan sorunları ele almak için hem nicel hem de nitel araştırma yöntemleri kullanıldı. Bu çalışmaya 25 İngilizce öğretim görevlisi konuşma sınavı puanlayıcısı olarak katılmıştır. Tüm katılımcılar aynı araştırma bağlamından olup, Türkiye'nin batısındaki bir üniversitede görev yapmıştır. Puanlayıcı deneyim ölçeği kullanılarak, düşük deneyimli grup 10, orta deneyimli grup 7 ve yüksek deneyimli puanlayıcı grup 8 katılımcıdan olmak üzere üç adet deneyim grubu oluşturulmuştur. Bütünsel puanlama ölçeği kullanarak, 25 katılımcının hepsi farklı kaliteden oluşan 60 adet konuşma sınavı yanıtını değerlendirdi. Ayrıca, katılımcılar verdikleri puanlara gerekçe oluşturdukları yazılı puan açıklamalarının yanı sıra sesli düşünme protokollerini tamamladılar. Her iki veri toplama yöntemi de nicel verilerden elde edilen bulguları doğrulamak için kullanılmıştır. Katılımcılar 7,500 adet konuşma sınavı puanı (1,500 toplam puan ve 6,000 alt puan), 375 adet sesli düşünme protokolü ve 4,500 adet yazılı puan açıklaması oluşturdu. Çalışmanın sonuçları, düşük kaliteli, orta kaliteli ve yüksek kaliteli konuşma sınavı yanıtlarına verilen puanların birbirinden istatistiksel olarak anlamlı farklılıklar gösterdiğini göstermiştir. Ancak, puanlayıcı deneyim grupları, üç farklı kalitedeki yanıtlara verilen hem toplam hem de bileşen puanlarında anlamlı farklılıklar göstermedi. Genellenebilirlik kuramı bulguları, tüm yanıtlar toplamda incelendiğinde varyasyon üzerinde sınırlı puanlayıcı etkisinin olduğunu, ancak farklı kalitedeki yanıtlar ayrı ayrı analiz edildiğinde daha fazla puanlayıcı etkisinin gözlemlendiğini ortaya koymuştur. Nitel bulgular, puanlayıcıların üç farklı kalitedeki yanıtları değerlendirirken belirli karar verme davranışları sergilediğini ortaya koydu.

Özet (Çeviri)

The purpose of this dissertation was to examine the effect of rater experience and L2 speaking performance quality on score variation and rater behavior. Utilizing convergent parallel case study mixed-method design, both quantitative and qualitative methodologies were combined to address the issues of rater experience and L2 speaking performance quality. Twenty-five EFL instructors participated in this study. All the participants were from the same context, a university in western Türkiye. Using a rater experience scale form, three rater experience groups were formed: low-experienced (n = 10), medium-experienced (n = 7), and high-experienced raters (n = 8). Using an analytic rubric, the participant raters (n = 25) evaluated a number of 60 three quality L2 speaking performances. They also completed verbal protocols as well as written score explanations, corroborating the results retrieved from the quantitative data. The participants provided 7,500 scores (1,500 total scores and 6,000 sub-scores), 375 verbal protocols and 4,500 written score explanations. The results showed that the analytic scores assigned to low-quality, medium-quality, and high-quality L2 speaking performances were statistically significant different from each other. However, rater experience groups did not differ significantly in their both total and component scores assigned to three speaking performance qualities. Furthermore, the results of Generalizability study (G-study) suggested that there was a limited rater impact on the variation when all L2 speaking performances were examined in total, yet more rater effect was observed when speaking performance qualities were analyzed individually. The qualitative findings revealed that raters showed certain decision-making behaviors across three speaking performance qualities.

Benzer Tezler

  1. The significance and the contribution of 6+1 traits of writing to the success of the students in writing courses in English language teaching

    Yazmanın 6+1 özelliğinin İngilizce öğretiminde yazılı anlatım derslerindeki öğrenci başarısına katkısı ve önemi

    ÖZLEM YAZAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2004

    Eğitim ve ÖğretimGazi Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. PAŞA TEVFİK CEPHE

  2. The acquisition of articles in English by Arabic EFL learners

    İngilizce ögrenen Arapların İngilizcede belirteç edinimleri

    HIMDAD NAJAT AHMED AHMED

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    İngiliz Dili ve Edebiyatıİstanbul Aydın Üniversitesi

    İngiliz Dili ve Edebiyatı Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ FİLİZ ÇELE

  3. Çocukluk çağında akut lenfoblastik lösemi: 10 yıllık tek merkez deneyimimiz

    In childhood acute lymphoblastic leukemia: Our 10 years single center experience

    SELMA EROL AYTEKİN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2016

    Çocuk Sağlığı ve HastalıklarıNecmettin Erbakan Üniversitesi

    Çocuk Sağlığı ve Hastalıkları Ana Bilim Dalı

    YRD. DOÇ. HÜSEYİN TOKGÖZ

  4. The effect of English opinion essay writing instruction on Turkish essay writing: A case of university preparatory school students

    İngilizce verilen düşünce-fikir kompozisyon yazma eğitiminin Türkçe düşünce-fikir yazımına etkisi: Üniversite hazırlık öğrencileri ile yapılan bir araştırma

    SEYİTHAN KAYA

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    DilbilimOrta Doğu Teknik Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    DOÇ. DR. SULTAN ÇİĞDEM SAĞIN ŞİMŞEK

  5. The mind's eye in your creative hands: The role of hand gestures and mental imagery in creative thinking

    Yaratıcı ellerinizdeki zihnin gözü: El jestlerinin ve zihinsel imgelemin yaratıcı düşünmedeki rolü

    GYULTEN SHABAN HYUSEIN

    Doktora

    İngilizce

    İngilizce

    2024

    PsikolojiKoç Üniversitesi

    Psikoloji Ana Bilim Dalı

    PROF. DR. TİLBE GÖKSUN YÖRÜK