Rater cognition in the assessment of EFL speaking performance
İngilizce konuşma performansını değerlendiren öğretmenlerin yaşadığı bilişsel süreçler
- Tez No: 571019
- Danışmanlar: DR. ÖĞR. ÜYESİ SELMA KARABINAR
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Marmara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngilizce Öğretmenliği Bilim Dalı
- Sayfa Sayısı: 218
Özet
Bu çalışmada konuşma performansını değerlendiren öğretmenlerin karar verme süreçleri, değerlendirme ölçeklerini nasıl yorumladıkları ve değerlendirme ölçeklerinde verilenler dışında göz önünde bulundurdukları kriterler incelenmektedir. İkincil olarak, değerlendirme yapan öğretmenlerin puanlama esnasında gösterdikleri yüksek veya düşük not verme eğilimlerinin yaptıkları yorumlar ve neler düşündükleri ile ne kadar ilişkili olduğu incelenmektedir. Öğrencilerin İngilizce konuşma performansını değerlendiren öğretmenlerin bu not verme süreçlerini daha yakından ve detaylı bir şekilde incelemek için durum analizi yöntemi kullanılmıştır. Bu yöntem ağırlıklı olarak nitel araştırma tekniklerini içermekle birlikte, öğretmenler tarafından öğrenci performanslarına verilen nicel puanlarla desteklenmiştir. Çalışmada iki farklı grup katılımcı vardır: değerlendirme yapan öğretmenler ve öğrenciler. Çalışmaya bir devlet üniversitesinde çalışan ve İngilizceyi yabancı dil olarak konuşan altı öğretmen katılmıştır. Çalışmanın verileri üç aşamada toplanmıştır. İlk aşmada, öğrencilerin üç farklı konuşma görevi üzerinden gerçekleştirdikleri performansları video kaydı altına alınmıştır. Söz konusu üç konuşma görevi soru-cevap, resim tasviri ve tek başına konuşmadır. İkinci aşamada, öğretmenler öğrenci performanslarını analitik değerlendirme ölçekleri kullanarak değerlendirmiş ve notlandırmıştır. Performansların değerlendirilmesi sonrası, öğretmenlerden her bir performansı nasıl değerlendiklerini anlatan geriye dönük (retrospektif) sözel raporlama yapmaları istenmiştir ve bu raporlar sesli kayıt altına alınmıştır. Öğretmenlerin geriye dönük (retrospektif) sözel raporlaması sırasında, araştırmacı saha notları tutmuştur. Daha sonra bu notlar, veri toplamanın üçüncü aşaması olarak öğretmenler ile yapılan yarı yapılandırılmış yüz yüze görüşmelerde sorulacak sorulara ışık tutmuştur. Yarı yapılandırılmış görüşmeler, geriye dönük (retrospektif) sözel raporlama esnasında gözden kaçmış olabilecek verilere ulaşabilmek ve değerlendirme yapan öğretmenlere fikirlerini söyleyebilmeleri için ayrı bir şans tanımak adına yapılmıştır. Geriye dönük (retrospektif) sözel raporlar sözel protokol analiz yöntemi kullanılarak incelenmiştir. Araştırmacının saha notları ve yarı yapılandırılmış görüşmeler ise içerik analizi yöntemi ile incelenmiştir. Değerlendirme yapan öğretmenlerin yüksek veya düşük not verme eğilimlerinin analizi için öncelikle, yaptıkları yorumlar olumlu ve olumsuz şeklinde gruplandırılmıştır. Elde edilen sonuçların, her bir öğretmene ait olan not ortalamalarıyla karşılaştırılması sonucu nihai bulgulara ulaşılmıştır. Sonuçlar, değerlendirme yapan öğretmenlerin sadece değerlendirme ölçeklerindeki kriterleri değil, konuşma görevleriyle, öğrencilerle ve hatta kendileri ile ilgili kişisel kriterleri değerlendirme sürecine dahil ettiklerini ortaya koymuştur. Değerlendirme yaparken öğretmenlerin kendileri ile ilgili olarak ortaya çıkan davranışlar ve dikkat ettikleri kriterler şu şekilde listelenebilir: zihinlerinde yarattıkları ölçekler, var olan önyargıları, performansları birbirleri ile karşılaştırarak not verme eğilimi, farklı kriterleri ayırt etme güçlüğü ve uç notları vermekten kaçınma eğilimi. Ayrıca, çalışmanın sonuçları, değerlendirme yapan öğretmenlerin resim tasviri görevine karşı temkinli olduklarını ve tekli konuşma görevinin ise en iyi konuşma görevi olduğunu düşündüklerini göstermiştir. Yine de not vermelerini etkileyecek kadar herhangi bir göreve karşı önyargılı olmadıkları gözlenmiştir. Değerlendirme yapan öğretmenlerin yüksek veya düşük not verme eğilimiyle ilgili sonuçlar ise ağırlıklı olarak olumlu yorum yapan öğretmenlerin her zaman yüksek not, ağırlıklı olarak olumsuz yorum yapan öğretmenlerin ise her zaman düşük not vermediğini göstermiştir. Sonuç olarak, sadece olumlu veya olumsuz yorum sayısına bakılarak yüksek veya düşük not verme eğiliminin tespit edilemeyeceği görülmüştür. Genel olarak, sonuçlar, öğretmenlerin, değerlendirme esnasında kendilerine özel bilişsel süreçlerden geçtiklerini ve farklı kriterleri göz önüne aldıklarını göstermiştir. Bu çalışmanın sonuçları, ikinci dilde konuşma performansını değerlendiren öğretmenlerin geçirdikleri bilişsel süreçlerin araştırılması konusuna ilgi duyan araştırmacılar, sınav hazırlayanlar ve değerlendirme yapan öğretmenler başta olmak üzere dil eğitimi alanında çalışan veya sınav sonuçlarını kullanan birçok kişi ve kuruma yararlı olacak bulgular sunmaktadır.
Özet (Çeviri)
The current study investigates what goes on in raters' minds in terms of rubric-related and non-rubric factors during the assessment of examinees' speaking performance and how harshness and leniency in scoring is related with what the raters think and comment on the examinees' performances. In order to elucidate how raters assess the examinees' oral performance in English, the study adopted multiple case study methodology with a qualitative approach but it was supported with the raters' individual scores as the quantitative data. There were two groups of participants: the raters and the examinees. Six non-native instructors working at a state university in Turkey participated in the study. Data collection procedure included three phases. In the first phase, the examinees were video-recorded while performing on three different oral tasks: question and answer, picture description and extended monologue. In the second phase, the raters were asked to score these performances by using analytic rubrics. After scoring each performance, the raters were asked to produce retrospective verbal reports on how they rated the examinees' performance and they were audio-recorded. During the verbal reports, the researcher took field notes which were then used in shaping the questions in the semi-structured interviews which were conducted as the third phase of the data collection procedure. The retrospective verbal reports were analyzed by using verbal protocol analysis (VPA). Content analysis was applied to the researcher's field notes and raters' semi-structured interviews. In order to investigate the potential rater harshness and leniency, the raters' comments were grouped according to whether they are positive or negative and the results of this analysis were compared with the raters' mean scores. The findings revealed that while assessing the examinees oral performance, the raters attended to both rubric-related factors which included criteria stated in the rubrics and non-rubric factors which were not included in the rubrics. This suggested that while using the criteria given in the rubrics, the raters also brought their own criteria which are mainly related to the tasks, the examinees and themselves as raters. The criteria related to the raters themselves include their mental rubrics, pre-conceived biases, comparative judgment, failure to differentiate the distinct criteria and avoidance of extreme scores. The study also showed that the raters had some concerns over the picture description task and favored the extended monologue task, yet they did not carry any biases towards the tasks that affected their scoring. Regarding the potential rater harshness and leniency, the findings revealed that the raters with higher number of positive comments were not always lenient and the ones with more negative comments were not always harsh. In conclusion, considering only positive or negative comments was not enough to determine the rater harshness and leniency. In general, the findings revealed that there were various rater-specific features. This means that the raters had several differences in their decision making processes, which makes each of them unique cases. The findings suggested a number of implications to the field of second language speaking performance assessment especially to the fellow researchers who are interested in rater cognition and to the practitioners such as test developers, test users and raters.
Benzer Tezler
- Effects of task complexity and rhetorical mode on writing performance of EFL learners
Görev karmaşıklığı ve anlatım türünün İngilizce yabancı dil öğrencilerinin yazma performansına etkisi
MİNE YILDIZ
Doktora
İngilizce
2017
Eğitim ve ÖğretimAtatürk ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. SAVAŞ YEŞİLYURT
- The development, validation, and implementation of an inventory on English writing teachers' beliefs
İngilizce yazma öğretmenleri inançları üzerine envanter geliştirme, doğrulama ve uygulama
MEHMET KARACA
Doktora
İngilizce
2018
Eğitim ve ÖğretimGazi Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
DOÇ. DR. HACER HANDE UYSAL GÜRDAL
- Tat sosyal biliş ve nesne ilişkileri ölçeği global (SCORS-G)'in DSM-IV ve ICD-10 kişilik bozuklukları değerlendirmesini (DIP-G) yordama gücü
Predictive power of tat social cognition and object relations scale global (SCORS-G) to DSM-IV and ICD-10 assessment of personality disorder
NESRİN KARA
Yüksek Lisans
Türkçe
2019
PsikolojiAydın Adnan Menderes ÜniversitesiPsikiyatri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CENNET ŞAFAK ÖZTÜRK
- Kekemeliği Öz Değerlendirme Ölçeği'nin (The wright and ayre stuttering self-rating profile-WASSP) Türkçe versiyonunun geçerlik ve güvenirliğinin araştırılması
Investigation of the validity and reliability of the Turkish version of the wright and ayre stuttering self-rating profile (WASSP)
HALİL TAYYİP UYSAL
Yüksek Lisans
Türkçe
2020
Kulak Burun ve BoğazHacettepe ÜniversitesiDil ve Konuşma Terapisi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞEN KÖSE
- Şizofreni hastalarında oksitosin, vazopressin ve atrial natriüretik peptit düzeylerinin bilişsel işlevlerle ilişkisi
The relationship between oxytocin, vasopressin and atrial natriuretic peptide levels with cognitive functions in schizophrenic patients
TUĞBA MUTU
Tıpta Uzmanlık
Türkçe
2018
PsikiyatriSakarya ÜniversitesiRuh Sağlığı ve Hastalıkları Ana Bilim Dalı
DOÇ. DR. ESRA YAZICI