Açık uçlu maddelerin puanlanmasında öğrencilere verilen puanlayıcı eğitiminin puanlayıcı davranışlarına etkisinin Çok Yüzeyli Rasch Ölçme Modeli ile incelenmesi
Investigation of the effect of rater training given to students on rater behavior in scoring open-ended items using the Multi-facet Rasch Measuring Model
- Tez No: 839567
- Danışmanlar: PROF. DR. İSMAİL KARAKAYA
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 121
Özet
Bu araştırmada, lise 10.sınıf öğrencilerinin açık uçlu matematik maddelerine verdikleri yanıtların değerlendirilmesinde öğrencilere verilen puanlayıcı eğitiminin puanlayıcı davranışlarına etkisi incelenmiştir. Öğrencilere akran değerlendirmesi yaptırılmıştır ve ilgili analizler Çok Yüzeyli Rasch Ölçme Modeli (ÇYRÖM) ve genellenebilirlik kuramı ile yapılmıştır. Araştırmanın çalışma grubunu 2022-2023 eğitim öğretim yılı ikinci döneminde Ankara ilinde bir devlet okulunda onuncu sınıfta öğrenim gören 65 lise öğrencisi oluşturmaktadır. Araştırmada deney ve kontrol gruplu ön-test son test yarı deneysel desen kullanılmıştır. Deney grubunda 32, kontrol grubunda 33 öğrenci bulunmaktadır. Araştırma öncesinde her iki gruba da 4 açık uçlu matematik maddesinden oluşan başarı testi uygulanmıştır. Araştırmacı tarafından tüm yanıtlar dereceli puanlama anahtarı (DPA) yardımıyla değerlendirilmiş ve içlerinden başarılı, orta başarılı ve daha az başarılı yanıtlar olmak üzere toplamda üç öğrencinin kağıtları seçilmiştir. Buradaki amaç puanlayıcıların her yanıt tarzını görmelerini sağlamaktır. Deneysel işlem (puanlayıcı eğitimi) uygulanmadan önce hem deney hem de kontrol grubundaki öğrencilerin puanlayıcı davranışlarının istatistiksel olarak benzer olduğu bulunmuştur. Ön test olarak her iki gruptaki öğrencilerin seçilen bu üç öğrencinin kağıdını DPA kullanarak değerlendirmeleri istenmiştir. Deney grubuna puanlayıcı eğitimi verildikten sonra aynı kağıtlar her iki gruba da tekrar uygulanmış ve değerlendirmeleri istenmiştir. Ön test ve son test için deney ve kontrol grubundaki öğrencilerin katılık/cömertlik ve farklılaşan puanlayıcı katılığı /cömertliği (yanlılık) davranışları incelenmiştir. Puanlayıcı eğitimi öncesinde hem grup düzeyinde hem de bireysel düzeyde katılık/cömertlik davranışının ortaya çıktığı görülmüştür. Puanlayıcı eğitimi sonrası deney grubunda puanlayıcıların katılık cömertlik davranışlarının yüzde olarak değişmediği bulunmuştur (%12,5). Kontrol grubunda ise son testteki oranın (%18) ön teste (%33) göre azaldığı bulunmuştur.
Özet (Çeviri)
In this study, the effect of rater training given to 10th grade high school students in evaluating their responses to open-ended mathematics items was examined. The students were peer-evaluated and the relevant analyzes were carried out using the multi-facet Rasch measurement model and generalizability theory. The study group of research consists of 65 higl school students studying in the tenth grade at a public school in Ankara in the second semester of the 2022-2023 academic year. In the research, a pre-test post-test quasi-experimental design with experimental and control groups was used. There are 32 students in the experimental group and 33 students in the control group. Before the research, an achievement test consisting of 4 open-ended mathematics items was applied to both groups. All answers were evaluated by the researcher with the help of a rubric, and a total of three students' papers were selected, including successful, moderately successful and less successful answers. The goal here is to ensure that raters see each response style. Before the experimental produre ( rater training) was implemented, it was found that the rater behaviors of the students in both the experimental and control groups were statistically similar. As a pre-test, students in both groups were asked to evaluate the papers of these three selected students using the rubric. After rater training was given to the experimental group, the same papers were shown again to both groups and they asked to evaluate them. For the pre-test and post-test, the strictness/generosity and differing rater strictness/generosity (bias) behaviors of the students in the experimental and control groups were examined. It was observed that strictness and generosity behavior emerged both at the group level and at the individual level before the rater training. After rater training, it was found that the raters' strictness and generosity behaviors did not change as a percentage in the experimental group (%12,5). In the control group, it was found that the rate in the post-test (%18) desreased compared to the pre-test (%33).
Benzer Tezler
- Çoktan seçmeli sorulara dayalı olmayan bir kitle matematik sınavı sürecinin değerlendirilmesi: Grup uyumu değerlendirme modeli
Evaluation of a math exam process, which is not based on multiple choice questions: The group moderation evaluation model
MİTHAT TAKUNYACI
Doktora
Türkçe
2016
Eğitim ve ÖğretimMarmara ÜniversitesiOrtaöğretim Fen ve Matematik Öğretmenliği Eğ. Ana Bilim Dalı
DOÇ. DR. EMİN AYDIN
- Dereceli puanlama anahtarı türünün rutin olmayan matematik problemlemlerinin puanlanmasında puanlayıcı davranışları üzerine etkisinin incelenmesi
Investigation of the effect of grading key type on rater behavior in non-routine mathematics problems scoring
ESRA ONKUN ÖZGÜR
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. İSMAİL KARAKAYA
- Standart ve SLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı etkilerinin çok yüzeyli Rasch modeli ile incelenmesi
The identification of rater effects on open-ended math questions rated through standard rubrics and rubrics based on the SOLO taxonomy in reference to the many facet Rasch model
MUSTAFA İLHAN
Doktora
Türkçe
2015
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. BAYRAM ÇETİN
- Temel eğitimden ortaöğretime geçiş (TEOG) sınavında açık uçlu soruların kullanılmasına ilişkin öğrenci görüşlerinin incelenmesi.
Determination of student views on the use of open-ended questions on transition from primary to secondary education exam (TEOG)
EMRE KOYUNCU
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. YEŞİM ÖZER ÖZKAN
- Açık uçlu maddelerin puanlanmasında bulanık mantık yaklaşımının kullanımı: Bulanık TOPSIS yöntemi örneği
Using a fuzzy logic approach to scoring open-ended questions: Example of the fuzzy TOPSIS method
AYKUT ÇİTCİ
Yüksek Lisans
Türkçe
2021
Eğitim ve ÖğretimKocaeli ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH KEZER