The effect of rater experience and L2 speaking performance quality on score variation and rater behavior
Puanlayıcı tecrübesi ve ikinci dil konuşma performans kalitesinin puan değişkenliği ve puanlayıcı davranışı üzerindeki etkisi
- Tez No: 746076
- Danışmanlar: DOÇ. DR. SALİM RAZI
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Çanakkale Onsekiz Mart Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngilizce Öğretmenliği Bilim Dalı
- Sayfa Sayısı: 254
Özet
Bu tezin amacı, puanlayıcıların puanlama deneyimlerinin ve değerlendirilen konuşma sınavlarının kalitesinin puan değişkenliği ve puanlayıcı davranışı üzerindeki etkilerini incelemektir. Yakınsayan paralel tasarım, durum çalışması karma yöntem araştırma yaklaşımı kullanılarak, puanlayıcıların puanlama deneyiminden ve konuşma sınavlarındaki yanıtların kalitesinden kaynaklanan sorunları ele almak için hem nicel hem de nitel araştırma yöntemleri kullanıldı. Bu çalışmaya 25 İngilizce öğretim görevlisi konuşma sınavı puanlayıcısı olarak katılmıştır. Tüm katılımcılar aynı araştırma bağlamından olup, Türkiye'nin batısındaki bir üniversitede görev yapmıştır. Puanlayıcı deneyim ölçeği kullanılarak, düşük deneyimli grup 10, orta deneyimli grup 7 ve yüksek deneyimli puanlayıcı grup 8 katılımcıdan olmak üzere üç adet deneyim grubu oluşturulmuştur. Bütünsel puanlama ölçeği kullanarak, 25 katılımcının hepsi farklı kaliteden oluşan 60 adet konuşma sınavı yanıtını değerlendirdi. Ayrıca, katılımcılar verdikleri puanlara gerekçe oluşturdukları yazılı puan açıklamalarının yanı sıra sesli düşünme protokollerini tamamladılar. Her iki veri toplama yöntemi de nicel verilerden elde edilen bulguları doğrulamak için kullanılmıştır. Katılımcılar 7,500 adet konuşma sınavı puanı (1,500 toplam puan ve 6,000 alt puan), 375 adet sesli düşünme protokolü ve 4,500 adet yazılı puan açıklaması oluşturdu. Çalışmanın sonuçları, düşük kaliteli, orta kaliteli ve yüksek kaliteli konuşma sınavı yanıtlarına verilen puanların birbirinden istatistiksel olarak anlamlı farklılıklar gösterdiğini göstermiştir. Ancak, puanlayıcı deneyim grupları, üç farklı kalitedeki yanıtlara verilen hem toplam hem de bileşen puanlarında anlamlı farklılıklar göstermedi. Genellenebilirlik kuramı bulguları, tüm yanıtlar toplamda incelendiğinde varyasyon üzerinde sınırlı puanlayıcı etkisinin olduğunu, ancak farklı kalitedeki yanıtlar ayrı ayrı analiz edildiğinde daha fazla puanlayıcı etkisinin gözlemlendiğini ortaya koymuştur. Nitel bulgular, puanlayıcıların üç farklı kalitedeki yanıtları değerlendirirken belirli karar verme davranışları sergilediğini ortaya koydu.
Özet (Çeviri)
The purpose of this dissertation was to examine the effect of rater experience and L2 speaking performance quality on score variation and rater behavior. Utilizing convergent parallel case study mixed-method design, both quantitative and qualitative methodologies were combined to address the issues of rater experience and L2 speaking performance quality. Twenty-five EFL instructors participated in this study. All the participants were from the same context, a university in western Türkiye. Using a rater experience scale form, three rater experience groups were formed: low-experienced (n = 10), medium-experienced (n = 7), and high-experienced raters (n = 8). Using an analytic rubric, the participant raters (n = 25) evaluated a number of 60 three quality L2 speaking performances. They also completed verbal protocols as well as written score explanations, corroborating the results retrieved from the quantitative data. The participants provided 7,500 scores (1,500 total scores and 6,000 sub-scores), 375 verbal protocols and 4,500 written score explanations. The results showed that the analytic scores assigned to low-quality, medium-quality, and high-quality L2 speaking performances were statistically significant different from each other. However, rater experience groups did not differ significantly in their both total and component scores assigned to three speaking performance qualities. Furthermore, the results of Generalizability study (G-study) suggested that there was a limited rater impact on the variation when all L2 speaking performances were examined in total, yet more rater effect was observed when speaking performance qualities were analyzed individually. The qualitative findings revealed that raters showed certain decision-making behaviors across three speaking performance qualities.
Benzer Tezler
- The significance and the contribution of 6+1 traits of writing to the success of the students in writing courses in English language teaching
Yazmanın 6+1 özelliğinin İngilizce öğretiminde yazılı anlatım derslerindeki öğrenci başarısına katkısı ve önemi
ÖZLEM YAZAR
Yüksek Lisans
İngilizce
2004
Eğitim ve ÖğretimGazi Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. PAŞA TEVFİK CEPHE
- The acquisition of articles in English by Arabic EFL learners
İngilizce ögrenen Arapların İngilizcede belirteç edinimleri
HIMDAD NAJAT AHMED AHMED
Yüksek Lisans
İngilizce
2018
İngiliz Dili ve Edebiyatıİstanbul Aydın Üniversitesiİngiliz Dili ve Edebiyatı Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FİLİZ ÇELE
- Çocukluk çağında akut lenfoblastik lösemi: 10 yıllık tek merkez deneyimimiz
In childhood acute lymphoblastic leukemia: Our 10 years single center experience
SELMA EROL AYTEKİN
Tıpta Uzmanlık
Türkçe
2016
Çocuk Sağlığı ve HastalıklarıNecmettin Erbakan ÜniversitesiÇocuk Sağlığı ve Hastalıkları Ana Bilim Dalı
YRD. DOÇ. HÜSEYİN TOKGÖZ
- The effect of English opinion essay writing instruction on Turkish essay writing: A case of university preparatory school students
İngilizce verilen düşünce-fikir kompozisyon yazma eğitiminin Türkçe düşünce-fikir yazımına etkisi: Üniversite hazırlık öğrencileri ile yapılan bir araştırma
SEYİTHAN KAYA
Yüksek Lisans
İngilizce
2013
DilbilimOrta Doğu Teknik Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
DOÇ. DR. SULTAN ÇİĞDEM SAĞIN ŞİMŞEK
- The mind's eye in your creative hands: The role of hand gestures and mental imagery in creative thinking
Yaratıcı ellerinizdeki zihnin gözü: El jestlerinin ve zihinsel imgelemin yaratıcı düşünmedeki rolü
GYULTEN SHABAN HYUSEIN