Performansın değerlendirilmesinde farklılaşan puanlayıcı davranışlarının çok yüzeyli Rasch Ölçme Modeli ile incelenmesi
Examination of the differential rater behaviours in performance evaluation with many facet Rasch Measurement
- Tez No: 629923
- Danışmanlar: PROF. DR. İSMAİL KARAKAYA
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Farklılaşan Puanlayıcı Davranışları, Çok Yüzeyli Rasch Ölçme Modeli, Yazma Performansı, Analitik Dereceli Puanlama Anahtarı, Puanlayıcı Güvenirliği, Differential Rater Behaviors, Many-Facet Rasch Measurement, Writing Performance, Analytic Rubric, Rater Reliability
- Yıl: 2020
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 148
Özet
Bu araştırmada, ilköğretim 7. sınıf öğrencilerinin performanslarının değerlendirilmesine yönelik yazma performansının belirlenmesi sürecinde öğretmen puanlamalarına karışan puanlayıcı davranışlarının yanı sıra puanlayıcı yanlılıklarının ve puanlayıcı güvenirliğinin Çok Yüzeyli Rasch Ölçme modeli (ÇYRÖM) ile belirlenmesi amaçlanmaktadır. Performansa dayalı değerlendirmelerde puanlayıcı davranışları ve puanlayıcıların yanlı davranması birey performansının belirlenmesi aşamasında hem geçerliği hem de güvenirliği olumsuz yönde etkilediği düşünüldüğünde bu davranışların belirlenmesi ve sonuçların bu bağlamda değerlendirilmesi önem taşımaktadır. Araştırmanın çalışma grubunu, 2019-2020 eğitim öğretim yılı ikinci döneminde Ankara ilinde bir devlet okulunda yedinci sınıfta öğrenim gören 57 ortaokul öğrencisi ile puanlayıcı eğitimi alan 11 öğretmen oluşturmaktadır. Mevcut çalışmada, öğrencilere yedi farklı ikna edici metin görevi verilerek bunlardan bir tanesini seçmelerini ve bu göreve uygun olarak ikna edici metinler oluşturmaları istenmiştir. Öğrencilerin yazmış olduğu metinlerden 9 tanesinin ikna edici metin yapısına ait olmadığı görülmüş ve 48 öğrenciye ait metinler 11 öğretmen tarafından altı ölçütten oluşan analitik dereceli puanlama anahtarı ile değerlendirilmiştir. Bu araştırmada öğretmen puanlamalarına bağlı olarak değerlendirmelerde en fazla ortaya çıkan puanlayıcıların davranışları (puanlayıcı katılığı/cömertliği davranışı, halo etkisi, merkeze yönelme davranışı), yanısıra farklılaşan puanlayıcı katılık/ cömertlik davranışının diğer bir deyişle puanlayıcı yanlılığının ve puanlayıcı güvenirliğinin KTK, GK ve MTK kuramlarına dayalı sonuçları incelenmiştir. Çalışmanın bulguları incelendiğinde, öğrencilerin yazma becerilerinin değerlendirilmesi sürecinde bireylerin performansında puanlayıcı katılığı ve cömertliği davranışına rastlanmış; merkeze eğilim ve halo etkisi gibi puanlayıcı davranışlarının bulunmadığı görülmüştür. Farklılaşan puanlayıcı katılığı ve cömertliği davranışı yani yanlılık etkileşimleri incelendiğinde; grup düzeyinde puanlayıcılarda yanlı puanlayıcı davranışlarının görülmediği fakat bireysel düzeyde puanlayıcıların yanlı puanlayıcı davranışı sergiledikleri görülmüştür. KTK, GK ve MTK kuramlarına dayalı puanlayıcı güvenirlikleri incelendiğinde, farklı yöntemlerle hesaplanan güvenirlik katsayılarının yüksek olduğu bulunmuş; puanlayıcıların birbirinden farklı puanlamalar yapmasına rağmen puanların birbiri ile tutarlı olduğu sonucuna varılmıştır. Sonuç olarak; performansın değerlendirilmesi sürecinde Çok Yüzeyli Rasch Ölçme modelinin farklılaşan puanlayıcı davranışlarının ve puanlayıcı güvenirliğinin belirlenmesinde kullanılabilecek alternatif ölçme modeli olduğu açıklanmıştır.
Özet (Çeviri)
In this study, it is aimed to determine the rater bias and rater reliability with the Many-facet Rasch Measurement Model (MFRM) as well as the differential rater behaviors involved in the assessment of the writing performance for the evaluation of the performances of the 7th grade students of primary education. Considering that the rater behaviors and the biased behavior of the raters negatively affect both validity and reliability in the determination of individual performance, it is important to determine these behaviors and evaluate the results in this context. The study group of the research consists of 57 secondary school students studying at a seventh grade in a public school in Ankara in the second semester of the 2019-2020 academic year and 11 teachers who received rater education. In the current study, students were given seven different persuasive writing tasks and asked to choose one of them and create persuasive writings in accordance with this task. It was observed that 9 of the texts written by the students did not belong to the persuasive writing structure, and the texts of 48 students were evaluated by 11 teachers with an analytical grading key consisting of six criteria. In this research, the behaviors of the raters that appeared most in the evaluations based on teacher ratings (rater severity / lenincy effect, central tendency effect, halo effect), as well as the effects of differential rater severity / lenincy effect, namely scoring bias, and scoring reliability based on KTK, GK and MTK theories were examined. When the findings of the study were examined, the effect of the rater severity / lenincy on the performance of the individuals was found during the evaluation of the students' writing skills; it was observed that there were no scoring behaviors such as central tendency effect and halo effect. When differential rater severity / lenincy behavior, that is, bias interactions are examined; it was observed that biased scoring behaviors were not observed in group-level raters, but individual level raters showed biased scoring behavior. When the rater reliability based on KTK, GK and MTK theories were examined, it was found that the reliability coefficients calculated using different methods were high; although the raters made different scores, it was concluded that the scores were consistent with each other. As a result; it has been explained that the Multi-Facet Rasch Measurement model is an alternative measurement model that can be used in determining different rater behaviors and rater reliability in the process of evaluating performance.
Benzer Tezler
- Performans değerlendirme sürecinde puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisinin incelenmesi
The investigation of the effect of rater training on the rater behaviors in the performance assessment process
MEHMET ŞATA
Doktora
Türkçe
2019
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. İSMAİL KARAKAYA
- Problem çözme becerisinin değerlendirilmesinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on the classical test theory and generalizability theory in problem solving skills assessment
SERAP BÜYÜKKIDIK
Yüksek Lisans
Türkçe
2012
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. DUYGU ANIL
- Problem çözme becerilerinin değerlendirilmesinde öz, akran ve öğretmen puanlarının çok yüzeyli Rasch ölçme modeli ile incelenmesi
Investigation of self, peer and teacher's scores with many-facet rasch measurement model in problem solving skills assessment
SEYHAN SARITAŞ
Yüksek Lisans
Türkçe
2015
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. İSMAİL KARAKAYA
- Gümrük Birliği sürecinde Türkiye'nin demir çelik ticareti performansı: 1996 - 2014
Iron and steel trade performance of Turkey in the Customs Union process: 1996 - 2014
YASİN BIYIK
Doktora
Türkçe
2019
Ekonometriİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. NEDİME LERZAN ÖZKALE
- Ortaöğretim yapılarında yeni eğitim teknolojilerinin yoğun olarak kullanıldığı mekanların kullanım sürecinde değerlendirilmesi (POE/KSD)
Evaluation of places in which new education technology in used intensely, with post occupancy evaluation approach
EBRU GÖKTEKİN
Yüksek Lisans
Türkçe
2002
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. ORHAN HACIHASANOĞLU