Geri Dön

Performans değerlendirme sürecinde puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisinin incelenmesi

The investigation of the effect of rater training on the rater behaviors in the performance assessment process

PDF İndir

  1. Tez No: 626117
  2. Yazar: MEHMET ŞATA
  3. Danışmanlar: DOÇ. DR. İSMAİL KARAKAYA
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: Türkçe
  9. Üniversite: Gazi Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 213

Özet

Bu araştırmada, performans değerlendirme sürecinde ölçümlere karışan problemli puanlayıcı davranışlarının belirlenmesi ve puanlayıcı eğitiminin bu problemli davranışlar üzerindeki etkisinin incelenmesi amaçlanmıştır. Araştırma, deney ve kontrol gruplu ön test-son test uygulamalı yarı deneysel desen ile tasarlanmıştır. Araştırmanın çalışma grubu 23 kontrol grubu ve 22 deney grubu olmak üzere toplam 45 puanlayıcıdan oluşmaktadır. Araştırmacı tarafından geliştirilen analitik dereceli puanlama anahtarı, Uluslararası İngilizce Dil Test Sistemi tarafından hazırlanan düşünce temelli yazma görevi ve kişisel bilgi formu kullanılarak araştırmanın verileri toplanmıştır. Araştırma verileri; çok yüzeyli Rasch ölçme modeli, genellenebilirlik kuramı ve bağımsız örneklemler t-testi kullanılarak analiz edilmiştir. Hem çok yüzeyli Rasch hem de genellenebilirlik analizlerinde tamamen çaprazlanmış desen kullanılmıştır. Deneysel işlem olarak puanlayıcı eğitimi verilmiş olup bu eğitim, puanlayıcı hatası eğitimi ve referans çerçevesi eğitimi desenlerinin birleştirilmesi ile oluşturulmuştur. Deney grubuna uygulanan puanlayıcı eğitimi her hafta bir saat olmak üzere toplam dört hafta sürmüştür. Puanlayıcı eğitimi öncesi hem kontrol grubunun hem de deney grubunun problemli puanlayıcı davranışlarının istatistiksel olarak benzer olduğu belirlenmiştir. Bu araştırmada; puanlayıcı katılığı, puanlayıcı cömertliği, merkeze yönelim, halo, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği olmak üzere altı tane problemli puanlayıcı davranışı incelenmiştir. Araştırmanın bulguları incelendiğinde puanlayıcı eğitimi öncesi deney ve kontrol grubunda; puanlayıcı katılığı, puanlayıcı cömertliği, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliğinin hem grup düzeyinde hem de bireysel düzeyde, halo ve merkeze yönelim davranışlarının ise sadece bireysel düzeyde ortaya çıktığı tespit edilmiştir. Puanlayıcı eğitimi sonrası incelenen problemli puanlayıcı davranışlarının yeniden ortaya çıktığı fakat deney grubundaki bu davranışların ölçümlere karışma düzeylerinin istatistiksel olarak kontrol grubundan görece daha az olduğu belirlenmiştir. Puanlayıcı eğitiminin puanlayıcı katılığı ve puanlayıcı cömertliği davranışı üzerinde büyük bir etkiye sahip olduğu ve katılık ile cömertlik davranışındaki değişimin %15'inin puanlayıcı eğitimi ile açıklanabildiği bulunmuştur. Puanlayıcı eğitiminin puanlayıcı güvenirliği üzerindeki etkisine bakıldığında ise puanlayıcılar arası güvenirliğin arttığı ve bu etkinin orta düzeyde olduğu ayrıca puanlayıcı güvenirliğindeki değişimin %10'unun puanlayıcı eğitimi ile açıklanabildiği tespit edilmiştir. Araştırmanın verileri hem çok yüzeyli Rasch hem de genellenebilirlik kuramı ile analiz edilmiş ve her bir yüzeyden gelen varyans kaynakları incelenmiştir. Elde edilen bulgulara göre her iki analiz yöntemin benzer sonuçlar verdiği bulunmuştur. Araştırmanın ulaştığı sonuçlardan hareketle jüri üyelerinin yer aldığı ve önemli kararların verildiği durumlarda yer alan puanlayıcılara yönelik puanlayıcı eğitiminin verilmesi önerilmektedir. Bu araştırmada akademik yazma becerilerinin değerlendirilmesine yönelik puanlayıcı eğitimi verildiğinden benzer olarak diğer yazma türlerine ve sayısal ders içeriklerine de yönelik puanlayıcı eğitimlerinin verilmesi önerilmektedir.

Özet (Çeviri)

In this study, it is aimed to determine the problematic rater behaviors interfering with the measurements in the performance assessment process and to investigate the effect of rater training on these problematic behaviors. The research was designed with a quasi-experimental design with pre-test and post-test with experimental and control groups. The study group consists of 45 raters, 23 participants in control group and 22 participants in experimental groups. Data were collected by using analytical writing scoring rubric developed by the researcher, opinion-based writing task prepared by International English Language Test System and personal information form. The research data were analyzed by using the many facet Rasch measurement model, generalizability theory and independent samples t-test. Fully-crossed design was used in both many facet Rasch and generalizability analyses. Rater training was provided as an experimental procedure. Besides, this training was prepared by combining rater error training and frame of reference training design. The rater training for the experimental group lasted four weeks, one hour per week. Before the rater training, it was found that problematic rater behaviors of both control and experimental groups were statistically similar. In this study, six problematic rater behaviors, which are rater stiffness, rater generosity, center orientation, halo, differing rater stiffness, and differing rater generosity, were examined. When the findings of the study were examined, the experimental and control groups before the rater training; rater rigidity, rater generosity, differing rater rigidity and differing rater generosity were determined both at group level and at individual level, and halo and center orientation behaviors appeared only at individual level. The problematic rater behaviors reappeared after rater training. However, it was determined that the level of interference of these behaviors in the experimental group was statistically less than the control group. It was found that rater training had a large effect on rater stiffness and rater generosity behavior, and 15% of the change in stiffness and generosity behavior could be explained by rater training. When the effect of rater training on rater reliability was examined, it was found that reliability between raters increased, and this effect was moderate, and also 10% of the change in rater reliability could be explained by rater training. The data of the research were analyzed with both many facet Rasch and generalizability theory, and the sources of variance from each surface were examined. According to the findings, both analysis methods gave similar results. Based on the results of the research, it is recommended to provide rater training for the raters on the occasions when jury members take part in, and important decisions should be made. In this study, since rater training is provided for the evaluation of academic writing skills, it is suggested that rater trainings for other types of writing and course content should be given in the similar way.

Benzer Tezler

  1. Tez No

    618930

    Performance assessment of physiotherapy and rehabilitation exercises with deep learning

    Derin öğrenme ile fizyoterapi ve rehabilitasyon egzersizleri için performans değerlendirme

    İLHAN AYTUTULDU

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ TARKAN AYDIN

  2. Tez No

    738374

    The effect of distance self-assessment training on Turkish EFL learners' writing skills

    Uzaktan öz değerlendirme eğitiminin İngilizceyi yabancı dil olarak öğrenen Türk öğrencilerin yazma becerilerine etkisi

    ATİYE BUDANIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. İSMAİL HAKKI MİRİCİ

  3. Tez No

    847190

    Prediction of COVID 19 disease using chest X-ray images based on deep learning

    Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini

    ISMAEL ABDULLAH MOHAMMED AL-RAWE

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ADEM TEKEREK

  4. Tez No

    643528

    Peer assessment in writing at preparatory level within a Turkish higher education context: Perceptions, efficacy, and implementation of peer assessment

    Türkiye yükseköğretimi bağlamında hazırlık seviyesinde yazma dersinde akran değerlendirmesi: Akran değerlendirmesine yönelik algılar, akran değerlendirmesinin verimliliği ve uygulanması

    BİROL DUDU

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Eğitim ve ÖğretimÇukurova Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    PROF. DR. YONCA ÖZKAN

  5. Tez No

    429376

    Problem çözme becerilerinin değerlendirilmesinde öz, akran ve öğretmen puanlarının çok yüzeyli Rasch ölçme modeli ile incelenmesi

    Investigation of self, peer and teacher's scores with many-facet rasch measurement model in problem solving skills assessment

    SEYHAN SARITAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. İSMAİL KARAKAYA

Geri Dön