Geri Dön

Rater cognition in the assessment of EFL speaking performance

İngilizce konuşma performansını değerlendiren öğretmenlerin yaşadığı bilişsel süreçler

PDF İndir

  1. Tez No: 571019
  2. Yazar: TUBA İNAN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ SELMA KARABINAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Marmara Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
  12. Bilim Dalı: İngilizce Öğretmenliği Bilim Dalı
  13. Sayfa Sayısı: 218

Özet

Bu çalışmada konuşma performansını değerlendiren öğretmenlerin karar verme süreçleri, değerlendirme ölçeklerini nasıl yorumladıkları ve değerlendirme ölçeklerinde verilenler dışında göz önünde bulundurdukları kriterler incelenmektedir. İkincil olarak, değerlendirme yapan öğretmenlerin puanlama esnasında gösterdikleri yüksek veya düşük not verme eğilimlerinin yaptıkları yorumlar ve neler düşündükleri ile ne kadar ilişkili olduğu incelenmektedir. Öğrencilerin İngilizce konuşma performansını değerlendiren öğretmenlerin bu not verme süreçlerini daha yakından ve detaylı bir şekilde incelemek için durum analizi yöntemi kullanılmıştır. Bu yöntem ağırlıklı olarak nitel araştırma tekniklerini içermekle birlikte, öğretmenler tarafından öğrenci performanslarına verilen nicel puanlarla desteklenmiştir. Çalışmada iki farklı grup katılımcı vardır: değerlendirme yapan öğretmenler ve öğrenciler. Çalışmaya bir devlet üniversitesinde çalışan ve İngilizceyi yabancı dil olarak konuşan altı öğretmen katılmıştır. Çalışmanın verileri üç aşamada toplanmıştır. İlk aşmada, öğrencilerin üç farklı konuşma görevi üzerinden gerçekleştirdikleri performansları video kaydı altına alınmıştır. Söz konusu üç konuşma görevi soru-cevap, resim tasviri ve tek başına konuşmadır. İkinci aşamada, öğretmenler öğrenci performanslarını analitik değerlendirme ölçekleri kullanarak değerlendirmiş ve notlandırmıştır. Performansların değerlendirilmesi sonrası, öğretmenlerden her bir performansı nasıl değerlendiklerini anlatan geriye dönük (retrospektif) sözel raporlama yapmaları istenmiştir ve bu raporlar sesli kayıt altına alınmıştır. Öğretmenlerin geriye dönük (retrospektif) sözel raporlaması sırasında, araştırmacı saha notları tutmuştur. Daha sonra bu notlar, veri toplamanın üçüncü aşaması olarak öğretmenler ile yapılan yarı yapılandırılmış yüz yüze görüşmelerde sorulacak sorulara ışık tutmuştur. Yarı yapılandırılmış görüşmeler, geriye dönük (retrospektif) sözel raporlama esnasında gözden kaçmış olabilecek verilere ulaşabilmek ve değerlendirme yapan öğretmenlere fikirlerini söyleyebilmeleri için ayrı bir şans tanımak adına yapılmıştır. Geriye dönük (retrospektif) sözel raporlar sözel protokol analiz yöntemi kullanılarak incelenmiştir. Araştırmacının saha notları ve yarı yapılandırılmış görüşmeler ise içerik analizi yöntemi ile incelenmiştir. Değerlendirme yapan öğretmenlerin yüksek veya düşük not verme eğilimlerinin analizi için öncelikle, yaptıkları yorumlar olumlu ve olumsuz şeklinde gruplandırılmıştır. Elde edilen sonuçların, her bir öğretmene ait olan not ortalamalarıyla karşılaştırılması sonucu nihai bulgulara ulaşılmıştır. Sonuçlar, değerlendirme yapan öğretmenlerin sadece değerlendirme ölçeklerindeki kriterleri değil, konuşma görevleriyle, öğrencilerle ve hatta kendileri ile ilgili kişisel kriterleri değerlendirme sürecine dahil ettiklerini ortaya koymuştur. Değerlendirme yaparken öğretmenlerin kendileri ile ilgili olarak ortaya çıkan davranışlar ve dikkat ettikleri kriterler şu şekilde listelenebilir: zihinlerinde yarattıkları ölçekler, var olan önyargıları, performansları birbirleri ile karşılaştırarak not verme eğilimi, farklı kriterleri ayırt etme güçlüğü ve uç notları vermekten kaçınma eğilimi. Ayrıca, çalışmanın sonuçları, değerlendirme yapan öğretmenlerin resim tasviri görevine karşı temkinli olduklarını ve tekli konuşma görevinin ise en iyi konuşma görevi olduğunu düşündüklerini göstermiştir. Yine de not vermelerini etkileyecek kadar herhangi bir göreve karşı önyargılı olmadıkları gözlenmiştir. Değerlendirme yapan öğretmenlerin yüksek veya düşük not verme eğilimiyle ilgili sonuçlar ise ağırlıklı olarak olumlu yorum yapan öğretmenlerin her zaman yüksek not, ağırlıklı olarak olumsuz yorum yapan öğretmenlerin ise her zaman düşük not vermediğini göstermiştir. Sonuç olarak, sadece olumlu veya olumsuz yorum sayısına bakılarak yüksek veya düşük not verme eğiliminin tespit edilemeyeceği görülmüştür. Genel olarak, sonuçlar, öğretmenlerin, değerlendirme esnasında kendilerine özel bilişsel süreçlerden geçtiklerini ve farklı kriterleri göz önüne aldıklarını göstermiştir. Bu çalışmanın sonuçları, ikinci dilde konuşma performansını değerlendiren öğretmenlerin geçirdikleri bilişsel süreçlerin araştırılması konusuna ilgi duyan araştırmacılar, sınav hazırlayanlar ve değerlendirme yapan öğretmenler başta olmak üzere dil eğitimi alanında çalışan veya sınav sonuçlarını kullanan birçok kişi ve kuruma yararlı olacak bulgular sunmaktadır.

Özet (Çeviri)

The current study investigates what goes on in raters' minds in terms of rubric-related and non-rubric factors during the assessment of examinees' speaking performance and how harshness and leniency in scoring is related with what the raters think and comment on the examinees' performances. In order to elucidate how raters assess the examinees' oral performance in English, the study adopted multiple case study methodology with a qualitative approach but it was supported with the raters' individual scores as the quantitative data. There were two groups of participants: the raters and the examinees. Six non-native instructors working at a state university in Turkey participated in the study. Data collection procedure included three phases. In the first phase, the examinees were video-recorded while performing on three different oral tasks: question and answer, picture description and extended monologue. In the second phase, the raters were asked to score these performances by using analytic rubrics. After scoring each performance, the raters were asked to produce retrospective verbal reports on how they rated the examinees' performance and they were audio-recorded. During the verbal reports, the researcher took field notes which were then used in shaping the questions in the semi-structured interviews which were conducted as the third phase of the data collection procedure. The retrospective verbal reports were analyzed by using verbal protocol analysis (VPA). Content analysis was applied to the researcher's field notes and raters' semi-structured interviews. In order to investigate the potential rater harshness and leniency, the raters' comments were grouped according to whether they are positive or negative and the results of this analysis were compared with the raters' mean scores. The findings revealed that while assessing the examinees oral performance, the raters attended to both rubric-related factors which included criteria stated in the rubrics and non-rubric factors which were not included in the rubrics. This suggested that while using the criteria given in the rubrics, the raters also brought their own criteria which are mainly related to the tasks, the examinees and themselves as raters. The criteria related to the raters themselves include their mental rubrics, pre-conceived biases, comparative judgment, failure to differentiate the distinct criteria and avoidance of extreme scores. The study also showed that the raters had some concerns over the picture description task and favored the extended monologue task, yet they did not carry any biases towards the tasks that affected their scoring. Regarding the potential rater harshness and leniency, the findings revealed that the raters with higher number of positive comments were not always lenient and the ones with more negative comments were not always harsh. In conclusion, considering only positive or negative comments was not enough to determine the rater harshness and leniency. In general, the findings revealed that there were various rater-specific features. This means that the raters had several differences in their decision making processes, which makes each of them unique cases. The findings suggested a number of implications to the field of second language speaking performance assessment especially to the fellow researchers who are interested in rater cognition and to the practitioners such as test developers, test users and raters.

Benzer Tezler

  1. Tez No

    458730

    Effects of task complexity and rhetorical mode on writing performance of EFL learners

    Görev karmaşıklığı ve anlatım türünün İngilizce yabancı dil öğrencilerinin yazma performansına etkisi

    MİNE YILDIZ

    Doktora

    İngilizce

    İngilizce

    2017

    Eğitim ve ÖğretimAtatürk Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. SAVAŞ YEŞİLYURT

  2. Tez No

    528345

    The development, validation, and implementation of an inventory on English writing teachers' beliefs

    İngilizce yazma öğretmenleri inançları üzerine envanter geliştirme, doğrulama ve uygulama

    MEHMET KARACA

    Doktora

    İngilizce

    İngilizce

    2018

    Eğitim ve ÖğretimGazi Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    DOÇ. DR. HACER HANDE UYSAL GÜRDAL

  3. Tez No

    569047

    Tat sosyal biliş ve nesne ilişkileri ölçeği global (SCORS-G)'in DSM-IV ve ICD-10 kişilik bozuklukları değerlendirmesini (DIP-G) yordama gücü

    Predictive power of tat social cognition and object relations scale global (SCORS-G) to DSM-IV and ICD-10 assessment of personality disorder

    NESRİN KARA

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    PsikolojiAydın Adnan Menderes Üniversitesi

    Psikiyatri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ CENNET ŞAFAK ÖZTÜRK

  4. Tez No

    627265

    Kekemeliği Öz Değerlendirme Ölçeği'nin (The wright and ayre stuttering self-rating profile-WASSP) Türkçe versiyonunun geçerlik ve güvenirliğinin araştırılması

    Investigation of the validity and reliability of the Turkish version of the wright and ayre stuttering self-rating profile (WASSP)

    HALİL TAYYİP UYSAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Kulak Burun ve BoğazHacettepe Üniversitesi

    Dil ve Konuşma Terapisi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AYŞEN KÖSE

  5. Tez No

    489949

    Şizofreni hastalarında oksitosin, vazopressin ve atrial natriüretik peptit düzeylerinin bilişsel işlevlerle ilişkisi

    The relationship between oxytocin, vasopressin and atrial natriuretic peptide levels with cognitive functions in schizophrenic patients

    TUĞBA MUTU

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2018

    PsikiyatriSakarya Üniversitesi

    Ruh Sağlığı ve Hastalıkları Ana Bilim Dalı

    DOÇ. DR. ESRA YAZICI

Geri Dön