Farklı eğitim desenlerine göre verilen çevrim içi puanlayıcı eğitiminin puanlama davranışları üzerine etkisinin incelenmesi
An examination of the effect of online rater training based on different educational designs on rating behaviors
- Tez No: 931764
- Danışmanlar: PROF. DR. İSMAİL KARAKAYA
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 165
Özet
Bu araştırmada, öğrencilerin müzik performansının puanlanmasında puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisinin incelenmesi amaçlamaktadır. Bu amaç kapsamında araştırmada eşit olmayan kontrol gruplu desen kullanılmıştır. Araştırmanın iki deney ve bir kontrol grubu mevcuttur. Deney A grubunda 10 puanlayıcı, Deney B grubunda 7 puanlayıcı ve Kontrol grubunda 8 puanlayıcı olmak üzere toplamda 25 müzik alanındaki öğretim elemanlarından oluşmuştur. Yapılan bu araştırmada her gruptaki puanlayıcıların puanlama davranışları olarak şunlar incelenmiştir: katılık, cömertlik, halo etkisi, farklılaşan puanlayıcı katılığı ve puanlayıcı cömertliği. Araştırmaya katılan puanlayıcı veya değerlendiricilerin davranışları hem grup düzeyinde hem de bireysel düzeyde incelenmiştir. Araştırmada veri toplama aracı olarak müzik bölümünde birinci sınıfta eğitim gören on öğrencinin başlangıç düzey piyano performansına ilişkin iki tane eser alınmıştır. Araştırmacılar tarafından geliştirilen analitik dereceli puanlama anahtarı ile puanlayıcıların değerlendirme formu ölçme aracı olarak kullanılmıştır. Buna göre veriler çevrim içi olarak toplanarak puanlayıcıların her bir öğrenci performansını değerlendirirken gösterdikleri davranışlar incelenmiştir. Puanlayıcılardan ön uygulama alındıktan sonra Deney A grubuna Referans Çerçevesi ile Puanlayıcı Hatası; Deney B grubuna ise Referans Çerçevesi ile Performans Boyutu Eğitimi çevrim içi olarak verilmiştir. Çok Yüzeyli Rasch ölçme modeli kullanılan bu araştırmada puanlayıcıların yapmış olduğu analizlerde tümüyle çaprazlanmış desen tercih edilmiştir. Puanlayıcı eğitimi sadece iki deney grubunda uygulanarak dört haftada toplamda on iki saatlik puanlayıcı eğitimi gerçekleştirilmiştir. Araştırmada öğrenci performansı, ölçütler ve puanlayıcılar olmak üzere üç yüzey bulunduğu için her bir yüzeyin ölçüm sonuçları ve uyum istatistikleri incelenmiştir. Deney A, Deney B ve Kontrol grubu ön ve son uygulama sonuçları incelendiğinde tüm yüzeylerin model veri uyumunun iyi olduğu belirlenmiştir. Puanlayıcı eğitimi öncesinde puanlayıcıların katılık, cömertlik, halo etkisi ve yanlılık davranışlarının hem grup düzeyinde hem de bireysel düzeyde ortaya çıkma durumları incelendiğinde; Deney A, Deney B ve Kontrol ön uygulama gruplarında grup düzeyinde katılık, cömertlik ve yanlılık davranışlarının olduğu belirlenirken gruplarda grup düzeyinde halo etkisi davranışının olmadığı belirlenmiştir. Her bir grubun bireysel düzeyde puanlayıcı davranışları incelendiğinde Deney A ön uygulama grubunda iki cömert, üç katı, iki halo etkisi ve üç tane de yanlılık davranışlarının olduğu belirlenmiştir. Deney B grubu ön uygulama grubunda iki cömert, üç katı, bir halo etkisi ve iki tane de yanlılık davranışlarının olduğu belirlenmiştir. Kontrol grubu ön uygulama grubunda üç cömert, üç katı, iki halo etkisi ve bir tane de yanlılık davranışı belirlenmiştir. Puanlayıcı eğitimi sonrasında puanlayıcıların katılık, cömertlik, halo etkisi ve yanlılık davranışlarının hem grup düzeyinde hem de bireysel düzeyde ortaya çıkma durumları incelendiğinde; Deney A ve Kontrol son uygulama gruplarında grup düzeyinde katılık, cömertlik ve yanlılık davranışlarının olduğu belirlenirken gruplarda grup düzeyinde halo etkisi davranışının olmadığı belirlenmiştir. Deney B grubu son kontrol grubunda ise grup düzeyinde katılık ve cömertlik davranışları yer alırken halo etkisi ve yanlılık davranışlarının yer almadığı belirlenmiştir. Bu durum Deney B grubuna verilen puanlayıcı eğitiminin halo ve yanlılık davranışları üzerinde daha etkili olduğu ile açıklanabilir. Deney A grubuna verilen eğitimde eğitim süresi, eğitimin zamanı, eğitmen kaynaklı sınırlılıklar gibi durumlar eğitimin etkisini sınırlandırmış olabilir. Her bir grubun bireysel düzeyde puanlayıcı davranışları incelendiğinde Deney A son uygulama grubunda üç cömert dört katı, iki halo etkisi ve iki tane de yanlılık davranışlarının olduğu belirlenmiştir. Deney B grubu son uygulama grubunda iki cömert, bir katı, iki halo etkisi ve bir tane de yanlılık davranışlarının olduğu belirlenmiştir. Kontrol grubu son uygulama grubunda üç cömert, üç katı, üç halo etkisi ve iki tane de yanlılık davranışı belirlenmiştir. Tüm bireysel sonuçlar grup içinde değerlendirildiğinde; Deney A grubuna verilen puanlayıcı eğitiminin puanlayıcıların grup düzeyindeki davranışlarını değiştirmemiştir. Deney A grubunda ön uygulamada katılık davranışı gösteren iki puanlayıcının puanlayıcı eğitiminden sonra davranışlarının ortadan kalktığı belirlenmiştir. Ayrıca Deney A grubunda halo etkisi davranışı gösteren iki puanlayıcının ve yanlılık davranışı gösteren üç puanlayıcının da puanlayıcı eğitiminden sonra bu davranışları ortadan kalkmıştır. Bu durum Deney A grubuna verilen eğitimin puanlayıcıların katılık, halo etkisi ve yanlılık davranışları üzerinde etkili olduğunu göstermektedir. Deney B grubuna verilen puanlayıcı eğitiminin puanlayıcıların yanlılık davranışlarını ortadan kaldırdığı belirlenmiştir. Ayrıca Deney B grubunda ön uygulamada iki katılık, üç cömertlik, bir halo etkisi ve bir de yanlılık davranışlarının ortadan kalktığı belirlenmiştir. Bu durum Deney B grubuna verilen eğitimin puanlayıcıların katılık, halo etkisi ve yanlılık davranışları üzerinde etkili olduğunu göstermektedir. Ayrıca Deney B grubuna verilen puanlayıcı eğitiminin Deney A grubuna göre daha etkili olduğu da söylenebilir. Çünkü Deney B grubuna verilen puanlayıcı eğitimi sonrasında ön uygulamada farklı puanlayıcı davranışlarına sahip olan tüm puanlayıcılar benzer davranışlara sahip olmuşlardır. Kontrol grubunda ise her iki uygulamada da puanlayıcı davranışları genel olarak benzer kalmıştır. Bu durum beklenen bir durumdur.
Özet (Çeviri)
The purpose of this research is to investigate how rater training affects rater behaviors in the student musical performance scoring. The research used an uneven control group structure for this aim. The research included one control group and two experimental ones. There are 25 music faculty members and members overall— Experimental A group has 10 raters; Experimental B group has 7 raters—and the Control group has 8 raters. The scoring behaviors of the raters in each group were investigated in this work under the following categories: (severity, generosity, halo effect, differential rater severity and generosity). Examined both group and individual levels, the actions of the raters—or evaluators—participated in the research. Two compositions on the beginning level piano performance of ten first-year students enrolled in the music department were chosen as the data collecting instruments for the research. Measurement instruments were the analytical rubric created by the raters' assessment form and the researchers. Consequently, the data were gathered online and the raters' conduct under evaluation of every student's performance was under analysis. Rater error was investigated using the reference frame in Experimental A Group after the first application collected from the raters; the reference frame and performance dimension training modules were sent online to Experimental Group B. In this work using a many-facet Rasch measurement model, the evaluations carried out by the raters favored a totally crossed design. Only two experimental groups had rater training, and in four weeks a total of twelve hours of rater instruction were dedicated. Examined were the measurement findings and fit statistics of each of the three surfaces in the study—student performance, criteria and raters. Examining pre- and post-application findings of Experiment A, Experiment B, and the Control group revealed that the model data fit of all surfaces was excellent. It was found that there were severity, leniency and bias behaviors at the group level in Experiment A, Experiment B and the Control pre-application groups, while it was found that there was no halo effect behavior at the group level in the groups. This was examined both at the group level and at the individual level before the rater training. Examining the rater behaviors of every group at the individual level revealed in the Experiment A pre-application group two generosity, two halo effects, and three bias behaviors. The pre-application group of Experiment B revealed two generous, one halo effect, and two biased behaviors. Pre-application the Control group revealed three generous, three rigids, two halo effects, and one bias behavior. It was found that there were severity, generosity, and bias behaviors at the group level in the Experiment A and Control post-application groups, while there was no halo effect behavior at the group level in the groups when the severity, generosity, halo effect, and bias behaviors of the raters were investigated at both the group and individual levels following rater training. While there were no halo effects and bias behavior in the Experiment B post-Control group, it was found that there were severity and generosity behaviors at the group level there. The fact that the rater training offered the Experiment B group was more successful on bias behaviors helps to explain this circumstance. Limitations resulting from the teacher, the length of the training, and the timing of the training might have reduced the impact of the instruction in the training delivered to the Experiment A group. Examining the rater behaviors of every group at the individual level revealed three generous, four strict, two halo effect, two bias behaviors in the Experiment A post-application group. The Experiment B post-application group revealed two generous, one rigid, two halo effect, one biased conduct. In the Control group post-application, three generous, three rigorous, three halo effect, two bias behaviors were found. When all individual data were aggregated within the group; the rater training provided to the Experiment A group had no effect on the group level behavior of the raters. It was found that after rater training, the rigorous conduct of the raters in Experiment A vanished. Furthermore, disappearing following the rater training were the raters displaying halo effect behavior and those displaying bias behavior in the Experiment A group. These results imply that the training provided to the Experiment A group was efficient on the raters' strictness, halo effect and bias behaviors. Rater training assigned to the group Experiment B.
Benzer Tezler
- Derin öğrenme ve büyük veri analitiği yöntemleriKullanarak Covid-19 yayılımının ileriye dönük tahmini
Forecasting the spread of covid-19 using deep learning and big data analytics methods
CYLAS KIGANDA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. MUHAMMET ALİ AKCAYOL
- Çokkültürlü paylaşım atölyesinin okul öncesi öğretmenlerinin çokkültürlü eğitime ilişkin görüş ve yeterlik algılarına etkisi
The effect of multicultural sharing workshop on preschool teachers' views and perceptions of efficacy regarding multicultural education
NURULLAH DÜZEN
- Eşitlik temalı reklam tasarımlarının dijital yerliler üzerinden göstergebilimsel analizi
A semiological analysis of equality-themed advertising designs on the digital natives
BEGÜM AYLİN ÖNDER
Sanatta Yeterlik
Türkçe
2020
Güzel Sanatlarİstanbul Arel ÜniversitesiGrafik Tasarım Ana Bilim Dalı
PROF. SELAHATTİN GANİZ
DR. ÖĞR. ÜYESİ GÜLEN KURT ÖNCEL
- Taxonomy and visualization of digital architecture knowledge: Proposal for a scientific online encyclopedia
Dijital mimarlık bilgisinin taksonomisi ve görselleştirilmesi: Bilimsel bir çevrim içi ansiklopedi önerisi
ESRANUR KARACİF
- Kadın öğretmenlerin yönetici olmaları önündeki engellerin cam tavan sendromu bağlamında incelenmesi
An analysis of obstacles in the way of female teachers' progression to managerial positions in the context glass ceiling syndrome
PINAR MERT
Doktora
Türkçe
2019
Eğitim ve Öğretimİstanbul Sabahattin Zaim ÜniversitesiEğitim Yönetimi ve Denetimi Ana Bilim Dalı
DOÇ. DR. AHMET FARUK LEVENT