Açık uçlu soruların puanlanmasında puanlayıcı eğitiminin puanlayıcı davranışlarına etkisinin incelenmesi
Examining the effect of rater training on rater behaviors in scoring open-ended questions
- Tez No: 888971
- Danışmanlar: PROF. DR. İSMAİL KARAKAYA
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 284
Özet
Yapılan araştırma, açık uçlu soruların puanlanmasında puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisini incelemeyi amaçlamaktadır. Bu amaç doğrultusunda araştırmada denk olmayan kontrol gruplu desen kullanılmıştır. Araştırmanın çalışma grubu, 14 Türkçe öğretmenliği, 20 matematik öğretmenliği bölümünde öğrenimine devam eden puanlayıcılardan oluşmaktadır. Türkçe öğretmenliği bölümünde öğrenimine devam eden puanlayıcılardan yedi tanesi deney, yedi tanesi kontrol grubunda yer alırken matematik öğretmenliği bölümünde öğrenimine devam eden puanlayıcılardan on tanesi deney, on tanesi de kontrol grubunda yer almaktadır. Araştırma kapsamında hem Türkçe hem de matematik puanlayıcı grubundaki puanlayıcıların puanlayıcı katılığı, puanlayıcı cömertliği, merkeze eğilim, halo etkisi ve farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği olmak üzere altı çeşit puanlayıcı davranışı incelenmiştir. Puanlayıcı davranışları hem grup düzeyinde hem de bireysel düzeyde incelenmiştir. Araştırmada veri toplama aracı olarak araştırmacı tarafından geliştirilen ortaokul Türkçe ve Matematik dersleri kazanımlarını kapsayan beş Türkçe ve altı Matematik olmak üzere toplam 11 açık uçlu maddeden oluşan başarı testi kullanılmıştır. Ayrıca araştırmacı tarafından geliştirilen bütünsel dereceli puanlama anahtarı ve puanlayıcı değerlendirme formu kullanılmıştır. Araştırmada elde edilen veriler, çok yüzeyli rasch modeli, Mann-Whitney U testi ve Wilcoxon İşaretli Sıralar testi kullanılarak analiz edilmiştir. Çok yüzeyli rasch modeli kapsamında yapılan analizlerde tümüyle çaprazlanmış desen kullanılmıştır. Araştırmada deneysel işlemde hem Türkçe hem de matematik puanlayıcı grubuna puanlayıcı eğitimi verilmiştir. Puanlayıcılara puanlayıcı eğitimi verilirken puanlayıcı eğitim stratejilerinden puanlayıcı hatası eğitim stratejisi ve referans çerçevesi eğitim stratejileri bir arada sunulmuştur. Sadece deney grubuna uygulanan deneysel işlem haftada bir saat olmak üzere dört hafta sürmüştür. Puanlayıcı eğitimi öncesinde hem Türkçe hem de matematik deney ve kontrol gruplarının puanlayıcı davranışları açısından benzer olduğu belirlenmiştir. Deneysel işlem öncesinde Türkçe puanlayıcı deney ve kontrol grubunda puanlayıcı katılığı ve puanlayıcı cömertliği davranışlarının hem grup hem de bireysel düzeyde ortaya çıktığı, merkeze eğilim, halo etkisi, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği davranışlarının ise sadece bireysel düzeyde ortaya çıktığı belirlenmiştir. Deneysel işlem öncesi Matematik puanlayıcı deney ve kontrol grubunda da puanlayıcı katılığı ve puanlayıcı cömertliği davranışlarının hem grup hem de bireysel düzeyde ortaya çıktığı, merkeze eğilim, halo etkisi, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği davranışlarının ise sadece bireysel düzeyde ortaya çıktığı belirlenmiştir. Puanlayıcı eğitiminden sonra Türkçe ve matematik puanlayıcı gruplarının davranışları incelendiğinde deney grubunda yer alan puanlayıcıların puanlayıcı davranışları tamamen ortadan kalkmasa da puanlayıcı davranışlarında azalma olduğu görülmüştür. Hem Türkçe hem de matematik puanlayıcı deney gruplarının puanlayıcı eğitimi öncesinde ve sonrasında yapılan karşılaştırmalarında istatistiksel olarak fark olduğu bulunmuştur. Türkçe puanlayıcı grubundaki puanlayıcıların katılık ve cömertlik durumlarında meydana gelen değişimin %60,2'sinin, matematik puanlayıcı grubundaki puanlayıcıların katılık ve cömertlik durumlarında meydana gelen değişimin de %57,8'inin puanlayıcı eğitimi ile açıklanabildiği bulunmuştur. Ayrıca puanlayıcı eğitiminin matematik puanlayıcı grubunda yer alan puanlayıcıların davranışlarında daha fazla azalmayı sağladığı ve dolayısıyla daha etkili olduğu belirlenmiştir. Araştırma sonuçlarından hareketle açık uçlu soruların puanlanmasında puanlama işlemi öncesinde puanlayıcılara puanlayıcı eğitimi verilmesi önerilmektedir.
Özet (Çeviri)
The study aims to examine the effect of scorer training on scorer behaviors in the scoring of open-ended questions. To this end, a non-equivalent control group design was employed in the research. The study group consisted of scorers currently enrolled in 14 Turkish language teaching and 20 mathematics teaching programs. Seven scorers from the Turkish language teaching program were assigned to the experimental group and seven to the control group, while in the mathematics teaching program, ten scorers were in the experimental group and ten in the control group. In the research, six types of scorer behaviors were examined across both Turkish and mathematics scorer groups: scorer severity, scorer leniency, central tendency, halo effect, and differential scorer severity and leniency, analyzed at both group and individual levels. The research employed an achievement test consisting of 11 openended items, five in Turkish and six in mathematics, covering middle school Turkish and Mathematics curriculum outcomes, developed by the researcher as the data collection instrument. Additionally, a holistic graded scoring rubric and scorer evaluation form developed by the researcher were utilized. The data obtained in the research were analyzed using the Many-Facets Rasch Model, Mann-Whitney U test and Wilcoxon test. The Many-Facets Rasch Model analysis utilized a fully crossed design. In the experimental procedure of the study, scorer training was provided to both Turkish and mathematics scorer groups. Scorer training included scorer error training and reference frame training strategies presented together. The experimental procedure applied only to the experimental group, lasting one hour per week for four weeks. Prior to scorer training, it was determined that Turkish and mathematics experimental and control groups were similar in terms of scorer behaviors. Before the experimental procedure, scorer severity and leniency behaviors emerged at both group and individual levels in the Turkish scorer experimental and control groups, while central tendency, halo effect, differential scorer severity, and leniency behaviors emerged only at the individual level. Similarly, in the mathematics scorer groups before the experimental procedure, scorer severity and leniency behaviors emerged at both group and individual levels, while central tendency, halo effect, differential scorer severity, and leniency behaviors emerged only at the individual level. After scorer training, when examining scorer behaviors of Turkish and mathematics scorer groups, a reduction in scorer behaviors was observed in the experimental group, although scorer behaviors did not completely disappear. Statistical differences were found in comparisons before and after scorer training in both Turkish and mathematics scorer experimental groups. It was found that 60.2% of the change in severity and leniency behaviors of Turkish scorers and 57.8% of the change in severity and leniency behaviors of mathematics scorers could be explained by scorer training. Additionally, it was determined that scorer training led to a greater reduction in behaviors among mathematics scorers, indicating its greater effectiveness. Based on the research findings, it is recommended that scorer training be provided to scorers before the scoring process of open-ended questions.
Benzer Tezler
- PISA 2009 okuma becerileri açık uçlu sorularının puanlanmasında genellenebilirlik kuramındaki farklı desenlerin karşılaştırılması
Comparison of different designs in scoring of PISA 2009 reading open ended items according to generalizability theory
MERAL ALKAN
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. NURİ DOĞAN
- Test geliştirme sürecinde madde seçimi için hiyerarşik puanlayıcı model: Sinyal algılama puanlayıcı modelinin uyarlaması
The hierarchical rater model in item selection of test development process: Adaption of si̇gnal detection rater model
ELÇİN MANAP
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimEge ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. TAHSİN OĞUZ BAŞOKÇU
- Temel eğitimden ortaöğretime geçiş (TEOG) sınavında açık uçlu soruların kullanılmasına ilişkin öğrenci görüşlerinin incelenmesi.
Determination of student views on the use of open-ended questions on transition from primary to secondary education exam (TEOG)
EMRE KOYUNCU
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. YEŞİM ÖZER ÖZKAN
- Standart ve SLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı etkilerinin çok yüzeyli Rasch modeli ile incelenmesi
The identification of rater effects on open-ended math questions rated through standard rubrics and rubrics based on the SOLO taxonomy in reference to the many facet Rasch model
MUSTAFA İLHAN
Doktora
Türkçe
2015
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. BAYRAM ÇETİN
- Fen bilimleri eğitiminde kullanılan açık uçlu soruların puanlanmasında puanlayıcılar arasındaki ilişkinin incelenmesi
Inter-rater correlation on scoring open-ended questions in science education
SÜMEYYA BUDAK
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimAğrı İbrahim Çeçen Üniversitesiİlköğretim Ana Bilim Dalı
DOÇ. DR. MEHMET AKİF HAŞILOĞLU