Geri Dön

An analytic approach to English language instructors' scoring differences of writing exams

İngilizce okutmanlarının yazma sınavlarındaki notlandırma farklılıklarına analitik bir yaklaşım

PDF İndir

  1. Tez No: 577403
  2. Yazar: FATMA MERVE UZUN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ İSMAİL FIRAT ALTAY
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Dil öğretimi, Notlandırma, Okutmanlar, Sınav, Yabancı dil, Yabancı dil öğretimi, Yazılı sınav, İngilizce, Language teaching, Scoring, Instructors, Examination, Foreign language, Foreign language teaching, Written examinations, English
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Yabancı Diller Eğitimi Ana Bilim Dalı
  12. Bilim Dalı: İngiliz Dili Eğitimi Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Bu çalışma benzer yazılı performanslar için değerlendiricilerin bireysel değerlendirme/puanlama sonuçları içinde ve birbirinden farklı değerlendiricilerin puanlama sonuçlarına odaklanarak ne kadar tutarlı ve güvenilir sonuçlar elde edilebileceğini anlamak maksadıyla değerlendiricilerce puanlandırılan yazma sınav sonuçlarını incelemiştir. Yazılı performans değerlendirmesi keskin ve net cevaplardan uzaktır, dolayısıyla değerlendirme sonuçlarında nesnelliği sağlamak her zaman aranan bir durumdur. Bunu elde edebilmek için birçok çalışma gerçekleştirilmiştir. Bu güncel çalışma değerlendirme/puanlama sonuç farklılıklarından kurtulabilmek için değerlendirme sürecini etkileyen bütün faktörleri bulmayı hedeflemiştir. Bu amaçla, Ankara'da bir devlet üniversitesinde, anket, sesli düşünme ve görüşme teknikleri kullanılarak veri toplanmıştır ve araştırma ankete katılan 25 katılımcı ile birlikte uygun örneklemeyle seçilen 15 Yabancı Diller Yüksek Okulunda İngiliz dili öğreten öğretim görevlisiyle gerçekleştirilmiştir. Çalışmada nitel ve nicel araştırma yönetimlerince oluşan karma yöntem kullanılmıştır. Nicel sonuçlar için sosyal bilimler istatistik programı kullanılarak Kruskal Wallis ve Mann Whitney U testleri uygulanmış ve sonuçlar değersiz kalmıştır, ancak yüzdelik sonuçlar oldukça anlamlı çıkmıştır. Nitel veri sonuçlarına göre incelemeler, değerlendirici etkisi, değerlendirme ölçeği kullanımı, değerlendirme yöntemleri, ön plandan tutulan ve önemsenmeyen kriterler, öğretim deneyimi, öğrenci performanslarının karşılaştırılması, değerlendirilecek performans düzeyine uyum zorluğu ve yönetimsel hedefler gibi öne çıkan birçok faktörden kaynaklı tek hakem güvenilirliğin ve hakemler arası güvenilirliğin sağlanamamasına neden olduğunu açıkça göstermiştir. Tutarlı sonuçlar elde edebilmek için örnek üzerinde karşılaştırmalı değerlendirme ve çoklu değerlendirmenin yanı sıra iyi tanımlanmış kriterlerin ve kategorilerin olduğu değerlendirme ölçeği kullanımı, danışma ve geri bildirim, standardizasyon toplantıları, sıkça çalıştay düzenleme gibi yollar izlenebilir ve geleceğin İngiliz dili öğretim görevlilerine bu yönde rehberlik sağlanabilir.

Özet (Çeviri)

This study investigated scoring results of writing exams assigned by raters so as to see how consistent and reliable scores can be acquired focusing on raters' individual scoring results and different raters' scoring results for similar written performances. Writing assessment is away from clear-cut answers, consequently, ensuring objectivity in scores has always been longed for. Various studies have been conducted to achieve this. The current study primarily aimed at discovering all factors affecting the scoring process in order to avoid variance in scoring results. For this, in a state university in Ankara, using 3 techniques- questionnaire, think aloud and interview-, data was collected and the research was conducted with 15 ELT instructors teaching at the School of Foreign Languages chosen by convenience sampling and 25 ELT instructors participating in the questionnaire. A mixed method research design was employed. For the quantitative findings, SPSS Kruskal Wallis and Mann-Whitney U tests were used and insignificant results were gathered, whereas quantitative results provided by percentages were quite significant. As for the qualitative findings, the analysis clearly illustrated that there are factors mainly like rater effects, rubric use, scoring styles, prioritized and ignored criteria, experience in teaching, comparing performances, failing to adapt to the level to be considered, and institutional goals causing both inter-rater unreliability and intra-rater unreliability. To obtain consistent results, using rubrics with well-defined criteria and categories, consultation and feedback, standardization meetings, frequent workshops can be pursued in addition to benchmarking and multiple scoring and future ELT instructors can be guided accordingly.

Benzer Tezler

  1. Tez No

    495555

    The impact of rater experience and essay quality on rater behavior and scoring

    Puanlayıcı tecrübesi ve komposizyon kalitesinin puanlayıcı davranışı ve komposizyon puanları üzerindeki etkisi

    ÖZGÜR ŞAHAN

    Doktora

    İngilizce

    İngilizce

    2018

    Eğitim ve ÖğretimÇanakkale Onsekiz Mart Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. SALİM RAZI

  2. Tez No

    600031

    A conversation analytic approach to self-ınitiated self-repair patterns in an efl oral proficiency exam

    Yabancı dil olarak İngilizce sözlü yeterlik sınavındaki kendi başlatımlı kendi onarım örüntülerine konuşma çözümlemeli yaklaşım

    ASİYE YALÇINER

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Eğitim ve ÖğretimMuğla Sıtkı Koçman Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. EDA ÜSTÜNEL

  3. Tez No

    764724

    Reference to testing principles as an interactional resource in l2 testing and evaluation classroom interaction in teacher education context

    Bir öğretmen eğitimi bağlamında gerçekleşen yabancı dilde ölçme ve değerlendirme sınıf içi etkileşiminde etkileşimsel bir kaynak olarak test ilke ve prensiplerine referans gösterme

    MÜBERREM BERNA BAYDAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    PROF. DR. ÇİLER HATİPOĞLU

  4. Tez No

    693880

    An alternative multi-trait rubric for the performance-based assessment of EFL writing proficiency at Bursa Uludağ University, School of Foreign Languages

    Bursa Uludağ Üniversitesi Yabancı Diller Yüksekokulu İngilizce Hazırlık Bölümü'nde İngilizce yazılı anlatım becerisini ölçmek üzere geliştirilen çok boyutlu notlandırma ölçeğinin güvenirlik ve geçerliliği

    ALİYE EVİN YÖRÜDÜ

    Doktora

    İngilizce

    İngilizce

    2021

    Eğitim ve ÖğretimAnadolu Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. FATMA HÜLYA ÖZCAN ÖNDER

  5. Tez No

    730645

    A discourse analysis of story-based lessons with young learners in an EFL context from the perspective of classroom interactional competence

    Çocuklar ile yürütülen hikaye temelli İngilizce öğretimi derslerinde sınıf içi söylemin etkileşim becerileri açısından çözümlemesi

    EYLEM ATAY

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Eğitim ve ÖğretimGazi Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    DOÇ. DR. SEMRA SARAÇOĞLU

Geri Dön