Rater discrepancy resolution in second language writing assessment: An analysis of rater negotiations
İkinci dilde yazma sınavı değerlendirmelerinde notlayıcı anlaşmazlıklarının çözümü: Notlayıcı uzlaşmalarının analizi
- Tez No: 506900
- Danışmanlar: DR. ÖĞR. ÜYESİ AYLİN ÜNALDI
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: Yeditepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: İngiliz Dili Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 239
Özet
Bu çalışmanın amacı notlayıcı anlaşmazlıklarınınçözümü için yapılan notlayıcı uzlaşmalarının bir metod olarak geçerliliğini araştırmaktır. Bu amaçla eğitim dili İngilizce olan Türkiye'de bulunan bir üniversitenin hazırlık okulunda uygulanan B2 modülünü bitirme sınavı sonrası yazma sınavı notlayıcılarının anlaşmazlık çözümü odaklı uzlaşma diyalogları sesli kaydedilmiş ve yazılı ortama aktarılmıştır. Çalışmaya ana dili İngilizce olmayan otuz İngilizce öğretmeni katılmıştır. Veriler kodlanmış, düzenlenmiş ve bir Notlayıcı Uzlaşma Şeması oluşturulmuştur. Oluşturulan Notlayıcı Uzlaşma Şeması'nın geçerliliği, otantik değerlendirmeye tabi tutularak test edilmiştir. Geçerlilik testi iki aşama ile yapılmıştır. İlk olarak katılımcılara Notlayıcı Uzlaşma Şeması'nı kullanma eğitimi ve egzersizleri verilmiş, bu aşamadan sonra katılımcıların seçilmiş otantik notlayıcı diyaloglarını Notlayıcı Uzlaşma Şeması'nı kullanarak kodlamarı istenmiştir. Geçerlilik testi sonunda Notlayıcı Uzlaşma Şeması, % 89 katılımcı kodlaması- cevap anahtarı uyumu ile geçerli bulunmuştur. Oluşturulan notlayıcı Uzlaşma Şeması, notlayıcı diyaloglarının analizi için hem araştırma hem de eğitim amaçlı kullanıma uygundur. Bu çalışma, ana amaçlarının yanısıra ayrıca Notlayıcı Uzlaşma Şeması'nda listelenmiş olan notlayıcı söz eylemlerini kullanarak uzlaşma diyaloglarının işlevsel bölümlerini belirlemeyi ve bu eylemlerin bölümler arası dağılımlarını incelemeyi hedeflemiştir. Notlayıcı uzlaşma diyaloglarının üç işlevsel bölümü açılış bölümü, tartışma bölümü ve kapanış bölümü olarak belirlenmiş, her bölüm içerisinde kullanılan notlayıcı söz eylemleri listelenmiştir. Bu çalışmada aynı zamanda notlayıcıların metinde doğruluk veya akıcılık arama tercihli eğilimlerinin, uzlaşma aşamasındaki iki notlayıcının vereceği ortak not kararını nasıl etkilediği de incelenmiştir. Sonuçlar, incelenen vakalardaki notlayıcıların büyük bir çoğunluğunun akıcılık arama eğilimli olduğunu ortaya koymuştur. Diğer bir taraftan ise, dil yanlışlarının sıkça vurgulandığı vakalarda kazanan tarafın her zaman doğruluk arama eğilimli notlayıcı olduğu ortaya gözlenmiştir. Bu çalışma ayrıca notlayıcıların not anlaşmazlığı sebebi olarak gördükleri faktörleri de incelemiş ve on beş maddelik bir liste oluşturulmuştur. Bu çalışmanın tümünden elde edilen bulgular, notlayıcı uzlaşma diyaloglarının notlayıcı uzlaşmazlığı çözümü olarak kullanıldığı alanlarda, özellikle notlayıcı eğitimleri, yazma sınavı hazırlanması ve değerlendirme kriterinin kullanımı açılarından önemli sonuçlar ortaya koymuştur.
Özet (Çeviri)
The purpose of this study was to analyze rater negotiations as a way to resolve score discrepancies in writing assessment with a view to understand the nature and usefulness of the method. For that purpose, rater negotiations following a B2 level module exit exam at the language school of an English-medium university in Turkey were analyzed. The data came from 30 Turkish EFL teachers and it was transcribed, analyzed and categorized into discussion moves. The Rater Negotiation Scheme (RNS) was developed through a recursive analysis and categorization process, and it was validated through field testing in authentic settings. The validation process of the RNS consisted of two phases: a) training of the participants for using the RNS to code sample transcribed rater negotiations, and b) asking the participants to code five purposefully sampled rater dialogues by using the RNS. At the end of the field testing, the RNS was validated with 89% participant coding-key agreement. In addition to the main purpose of this study, the following issues were also addressed. First, through the use of the rater moves listed in the RNS, the study investigated the stages of rater negotiations and the rater moves within them to further identify the dynamics of the process. Three functional parts of rater negotiations namely the opening stage, the discussion stage, and the concluding stage were identified, and the types of moves used at each stage were listed. Secondly, the rater negotiations were analyzed to investigate how rater tendencies towards accuracy vs. fluency orientation affect the scoring decisions of rater pairs. The results showed that a majority of the raters were fluency oriented in the examined cases. However, for the cases where linguistic features of the test taker essay frequently reported to be problematic, an overriding effect of accuracy was observed, and the winners of these cases were always the accuracy-oriented raters. Third, the study also investigated the raters' reports on factors that cause rater discrepancy, and presented a list of fifteen discrepancy creating factors. The results obtained throughout this study had significant implications for the contexts in which rater negotiations are used for score discrepancy resolution especially in terms of rater training, writing task development and scale use.
Benzer Tezler
- Sayısal yöntemler kullanarak sualtı araçlarının hidro ve vibroakustiğinin çözümü ve dijital sonar tasarımı
Hydro and vibroacoustical solution of underwater vehicles using numerical methods and digital sonar design
EMRE GÜNGÖR
Doktora
Türkçe
2018
Gemi Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. İLYAS BEDİİ ÖZDEMİR
- Dizel içten yanmalı motorlarda silindir içerisindeki hava hareketlerinin incelenmesi
In-cylinder flow characterization of air in diesel internal combustion engines
CEM DEMİRKESEN
Yüksek Lisans
Türkçe
2018
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilim ve Teknoloji Ana Bilim Dalı
PROF. DR. ÜNER ÇOLAK
- Paying for premium: A critical look into technical audio quality in streaming services
Müzik akış platformlarındaki teknik ses kalitesine eleştirel bir bakış
MUSTAFA KEMAL ÖZTÜRK
- Hibrid adım motorunun modellenmesi ve simülasyonu
Modelling and simulation of hybrid stepping motors
AYLİN TÜLAY USTA
Yüksek Lisans
Türkçe
1991
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. TAMER KUTMAN
- Karayolu taşıt aerodinamiğinin sayısal yöntemle incelenmesi
Investigetion of road vehicle aerodynamics with numerical method
MALİK TOKATLIOĞLU
Yüksek Lisans
Türkçe
1997
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. CEM SORUŞBAY
