An analytic approach to English language instructors' scoring differences of writing exams
İngilizce okutmanlarının yazma sınavlarındaki notlandırma farklılıklarına analitik bir yaklaşım
- Tez No: 577403
- Danışmanlar: DR. ÖĞR. ÜYESİ İSMAİL FIRAT ALTAY
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
- Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
- Sayfa Sayısı: 159
Özet
Bu çalışma benzer yazılı performanslar için değerlendiricilerin bireysel değerlendirme/puanlama sonuçları içinde ve birbirinden farklı değerlendiricilerin puanlama sonuçlarına odaklanarak ne kadar tutarlı ve güvenilir sonuçlar elde edilebileceğini anlamak maksadıyla değerlendiricilerce puanlandırılan yazma sınav sonuçlarını incelemiştir. Yazılı performans değerlendirmesi keskin ve net cevaplardan uzaktır, dolayısıyla değerlendirme sonuçlarında nesnelliği sağlamak her zaman aranan bir durumdur. Bunu elde edebilmek için birçok çalışma gerçekleştirilmiştir. Bu güncel çalışma değerlendirme/puanlama sonuç farklılıklarından kurtulabilmek için değerlendirme sürecini etkileyen bütün faktörleri bulmayı hedeflemiştir. Bu amaçla, Ankara'da bir devlet üniversitesinde, anket, sesli düşünme ve görüşme teknikleri kullanılarak veri toplanmıştır ve araştırma ankete katılan 25 katılımcı ile birlikte uygun örneklemeyle seçilen 15 Yabancı Diller Yüksek Okulunda İngiliz dili öğreten öğretim görevlisiyle gerçekleştirilmiştir. Çalışmada nitel ve nicel araştırma yönetimlerince oluşan karma yöntem kullanılmıştır. Nicel sonuçlar için sosyal bilimler istatistik programı kullanılarak Kruskal Wallis ve Mann Whitney U testleri uygulanmış ve sonuçlar değersiz kalmıştır, ancak yüzdelik sonuçlar oldukça anlamlı çıkmıştır. Nitel veri sonuçlarına göre incelemeler, değerlendirici etkisi, değerlendirme ölçeği kullanımı, değerlendirme yöntemleri, ön plandan tutulan ve önemsenmeyen kriterler, öğretim deneyimi, öğrenci performanslarının karşılaştırılması, değerlendirilecek performans düzeyine uyum zorluğu ve yönetimsel hedefler gibi öne çıkan birçok faktörden kaynaklı tek hakem güvenilirliğin ve hakemler arası güvenilirliğin sağlanamamasına neden olduğunu açıkça göstermiştir. Tutarlı sonuçlar elde edebilmek için örnek üzerinde karşılaştırmalı değerlendirme ve çoklu değerlendirmenin yanı sıra iyi tanımlanmış kriterlerin ve kategorilerin olduğu değerlendirme ölçeği kullanımı, danışma ve geri bildirim, standardizasyon toplantıları, sıkça çalıştay düzenleme gibi yollar izlenebilir ve geleceğin İngiliz dili öğretim görevlilerine bu yönde rehberlik sağlanabilir.
Özet (Çeviri)
This study investigated scoring results of writing exams assigned by raters so as to see how consistent and reliable scores can be acquired focusing on raters' individual scoring results and different raters' scoring results for similar written performances. Writing assessment is away from clear-cut answers, consequently, ensuring objectivity in scores has always been longed for. Various studies have been conducted to achieve this. The current study primarily aimed at discovering all factors affecting the scoring process in order to avoid variance in scoring results. For this, in a state university in Ankara, using 3 techniques- questionnaire, think aloud and interview-, data was collected and the research was conducted with 15 ELT instructors teaching at the School of Foreign Languages chosen by convenience sampling and 25 ELT instructors participating in the questionnaire. A mixed method research design was employed. For the quantitative findings, SPSS Kruskal Wallis and Mann-Whitney U tests were used and insignificant results were gathered, whereas quantitative results provided by percentages were quite significant. As for the qualitative findings, the analysis clearly illustrated that there are factors mainly like rater effects, rubric use, scoring styles, prioritized and ignored criteria, experience in teaching, comparing performances, failing to adapt to the level to be considered, and institutional goals causing both inter-rater unreliability and intra-rater unreliability. To obtain consistent results, using rubrics with well-defined criteria and categories, consultation and feedback, standardization meetings, frequent workshops can be pursued in addition to benchmarking and multiple scoring and future ELT instructors can be guided accordingly.
Benzer Tezler
- Yabancı dil olarak Türkçe öğretiminde konuşma becerisine yönelik biçimlendirici değerlendirme temelli dereceli puanlama anahtarı geliştirme çalışması (B2 ve C1 düzeyi için)
A study on the development of a formative assessment based scoring rubric for speaking skill in teaching Turkish as a foreign language (For B2 and C1 level)
AKİF ŞİMŞEK
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimKocaeli ÜniversitesiYabancılara Türkçe Öğretimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜLYA ÇEVİRME
- Exploring participation, spectatorship, and morality in videogaming activities
Başlık çevirisi yok
BURAK SUNGURALP TEKIN
- Müzik ve mekan tasarımında ortak biçimleniş özelliklerine analitik bir yaklaşım
An analytic approach to the common formation features in music and space design
ŞERİF BORA SAĞVER
Yüksek Lisans
Türkçe
2007
İç Mimari ve DekorasyonHacettepe Üniversitesiİç Mimarlık ve Çevre Tasarımı Ana Sanat Dalı
YRD. DOÇ. M. MESUT ÇELİK
- The Contribution of translation to foreign language learning and teaching: Teaching translation and teaching through translation
Başlık çevirisi yok
DİNÇAY KÖKSAL
- A conversation analytic approach to self-ınitiated self-repair patterns in an efl oral proficiency exam
Yabancı dil olarak İngilizce sözlü yeterlik sınavındaki kendi başlatımlı kendi onarım örüntülerine konuşma çözümlemeli yaklaşım
ASİYE YALÇINER
Yüksek Lisans
İngilizce
2019
Eğitim ve ÖğretimMuğla Sıtkı Koçman ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. EDA ÜSTÜNEL