Dereceli puanlama anahtarı türünün rutin olmayan matematik problemlemlerinin puanlanmasında puanlayıcı davranışları üzerine etkisinin incelenmesi
Investigation of the effect of grading key type on rater behavior in non-routine mathematics problems scoring
- Tez No: 862068
- Danışmanlar: PROF. DR. İSMAİL KARAKAYA
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 115
Özet
Bu araştırmada, rutin olmayan açık uçlu matematik problemlerinden oluşan matematik başarı testinin analitik ve bütünsel dereceli puanlama anahtarları ile puanlanmasının puanlayıcı davranışları üzerine etkileri Çok Yüzeyli Rasch Ölçme Modeli ile incelenmiştir. Çalışma grubu, açık uçlu rutin olmayan matematik problemlerinden oluşan başarı testinin uygulandığı öğrenci grubu ve cevaplanan başarı testini değerlendiren puanlayıcılar olmak üzere iki farklı kısımdan oluşmaktadır. Çalışmanın öğrenci grubunu 2023-2024 Eğitim-Öğretim yılında, bir devlet okulunda öğrenim gören 10'u kız, 10'u erkek toplam 20 öğrenci; puanlayıcı grubunu ise yedisi kadın, dokuzu erkek toplam 16 matematik öğretmeni oluşturmaktadır. Bu çalışmada, betimsel araştırma yöntemlerinden tarama modeli kullanılmıştır. Bu çalışmada, öğrencilere araştırmacı tarafından hazırlanmış, 15 farklı rutin olmayan açık uçlu matematik probleminden oluşan başarı testi, iki farklı oturum şeklinde iki günde öğrencilere uygulanmıştır. Puanlama öncesinde, puanlayıcılara ilgili araştırma, puanlayıcı davranışları, başarı testi, dereceli puanlama anahtarları ve puanlama süreci ile ilgili eğitim verilmiştir. Puanlayıcılar matematik başarı testini, araştırmacı tarafından hazırlanmış, matematiksel yeterliklere göre hazırlanmış altı ölçütten oluşan, performans düzeyi 0- 4 olan analitik dereceli puanlama anahtarı ve performans düzeyi 0- 4 olan ve matematiksel yeterliklere göre hazırlanmış bütünsel dereceli puanlama anahtarı ile puanlamışlardır. Analitik ve bütünsel dereceli puanlama anahtarlarına göre yapılan puanlamada, birey, madde ve puanlayıcı yüzeylerine ait hesaplanan güvenirlik değerleri ve uygunluk istatistikleri ile puanlayıcı davranışlarından katılık ve cömertlik ile yanlılık davranışları incelenmiştir. Çalışmanın bulguları incelendiğinde, analitik ve bütünsel dereceli puanlama anahtarlarına göre yapılan puanlamalarda, puanlayıcı, birey ve madde yüzeylerinde ayrı ayrı model veri uyumunun sağlandığı görülmüştür. Puanlayıcılar arası güvenirlik indeksinin yüksek olduğu yani puanlayıcıların katılıkları veya cömertlikleri yönüyle farklılık gösterdiği, ayrıca puanlayıcılar arası uyumun olduğu belirlenmiştir. Birey yüzeyine ait veriler incelendiğinde, yetenek düzeyleri farklı olan öğrencilerin yetenek düzeylerine göre birbirlerinden ayırt edilebildiği görülmüştür. Madde yüzeyine ait veriler incelendiğinde, maddeler arasında güçlük düzeyleri açısından istatistiksel olarak anlamlı fark olduğu görülmüştür. Bunun yanında, analitik dereceli puanlama anahtarı ile yapılan puanlamanın bütünsel dereceli puanlama anahtarı ile yapılan puanlamaya göre, puanlayıcı yüzeyi bakımından göreceli olarak daha güvenilir sonuçlar verdiği belirlenmiştir. Yapılan puanlamalar sonucunda elde edilen puanlayıcı yüzeyleri karşılaştırıldığında, analitik dereceli puanlama anahtarı kullanılan puanlamalarda puanlayıcı katılık/cömertliğinin düzeylerinin, bütünsel dereceli puanlama anahtarı kullanılan puanlamalardan daha fazla olduğu belirlenmiştir. Ayrıca, analitik dereceli puanlama anahtarı kullanılan puanlamalar arasındaki uyumun, bütünsel dereceli puanlama anahtarı kullanılan puanlamalardan daha düşük olduğu sonucuna varılmıştır. Puanlayıcı davranışları incelendiğinde hem analitik hem de bütünsel dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılardan P2, P9, P10 ve P16'nın cömertlik davranışı; P11, P12 ve P13'ün de katılık davranışı gösterdiği görülmüştür. Her iki davranış için de analitik dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılar P2, P9, P10 ve P16 cömertlik; P11, P12 ve P13 katılık; bütünsel dereceli puanlama anahtarına göre yapılan puanlamalarda ise bu puanlayıcıların yanında P5 cömertlik, P1 ve P2 de katılık davranışı göstermiştir. Hem analitik hem de bütünsel dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılardan P8'in yanlılık davranışı gösterdiği, bunun yanında, analitik dereceli puanlama anahtarına göre yapılan puanlamalarda puanlayıcılardan P14'ün farklılaşan cömertlik ve P12 ve P13'ün de farklılaşan katılık davranışları gösterdikleri belirlenmiştir.
Özet (Çeviri)
In this study, the effects of scoring the mathematics achievement test, which consists of non-routine open-ended mathematics problems, with an analytical rubric and a holistic rubric, on rater behavior were examined with the Multifaceted Rasch Measurement Model. The study group of the research consists of two different parts: the student group to which the achievement test consisting of open-ended, non-routine mathematics problems is applied, and the raters who evaluate the answered achievement test. The student group of the study was a total of 20 students, 10 girls and 10 boys, studying at a public school in Sakarya Province in the 2023-2024 academic year; The rater group consists of a total of 16 mathematics teachers, seven female and nine male. In this study, survey model, one of the descriptive research methods, was used. In this study, an achievement test consisting of 15 different non-routine open-ended mathematics problems, prepared by the researcher, was administered to the students in two different sessions in two days. Before scoring, raters were trained on the relevant research, rater behaviors, achievement test, rubrics and scoring process. The raters were evaluated with the mathematics achievement test, prepared by the researcher, consisting of six criteria prepared according to competencies, with an analytical rubric with a performance level of 0-4 and a holistic rubric with a performance level of 0-4 and prepared in accordance with the capacity. In the scoring made according to analytical and holistic rubrics, reliability values and fit statistics calculated for the rater, individual and item facets, and rater behaviors such as rigidity, generosity and bias were examined. When the findings of the study were examined, it was observed that in the scoring made according to analytical and holistic rubrics, model data harmony was achieved separately on the rater, individual and item surfaces. It was determined that the inter-rater reliability index was high, meaning that the raters differed in terms of their strictness or generosity, and the inter-rater agreement was poor. When the data on the individual surface was examined, it was seen that students with different ability levels could be distinguished from each other according to their ability levels. When the data on the item surface was examined, it was seen that there was a statistically significant difference between the items in terms of difficulty levels. In addition, it has been determined that scoring with the analytical rubric gives relatively more reliable results in terms of the rater surface than scoring with the holistic rubric. When the rater surfaces obtained as a result of the scoring were compared, it was determined that the levels of rater strictness/generosity in the scoring using the analytical rubric were higher than in the scoring using the holistic rubric. Additionally, it was concluded that the agreement between the scores using the analytical rubric was worse than the scores using the holistic rubric. When the rater behaviors are examined, the rigidity behavior of raters P11, P12 and P13 in the scoring made according to both analytical and holistic rubrics; It was observed that P2, P9, P10 and P16 also showed generosity behavior. In the ratings made according to the analytical rubric for both behaviors, raters P11, P12 and P13 rated rigidity; P2, P9, P10 and P16 generosity; In the scoring made according to the holistic rubric, P5 showed generosity and P1 and P2 showed strictness. It was determined that raters P8 showed bias behavior in the scoring made according to both analytical and holistic rubrics, while raters P14 showed varying generosity and P12 and P13 showed varying strictness behaviors in the scoring made according to the analytical rubric.
Benzer Tezler
- Problem çözme becerisinin değerlendirilmesinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on the classical test theory and generalizability theory in problem solving skills assessment
SERAP BÜYÜKKIDIK
Yüksek Lisans
Türkçe
2012
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. DUYGU ANIL
- Kazanımlara yönelik dereceli puanlama anahtarlarının geliştirilmesi, kullanılması ve değerlendirmede objektifliğe katkısı
Development and use of scoring rubrics and its contrubition to objectivity in evaluation
SÜMEYYE AYDIN GÜRLER
Doktora
Türkçe
2016
Eğitim ve ÖğretimFırat Üniversitesiİlköğretim Ana Bilim Dalı
PROF. DR. OKTAY BAYKARA
- Üniversite öğrencilerinin Newton'un hareket yasalarını anlamalarının değerlendirilmesinde dereceli puanlama anahtarı geliştirilmesi ve kullanımı
Developing and using a rubric to evaluate university students? understanding on Newtons? laws of motion
NEZAHAT NİGAH AYTAÇ
Yüksek Lisans
Türkçe
2006
Eğitim ve ÖğretimBalıkesir ÜniversitesiOrtaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. MUSTAFA SABRİ KOCAKÜLAH
- Güzel sanatlar lisesi öğrencilerinin ekspresyonist resimlerinde yazınsal anlatımın etkisi
The effect of literary expression in expressionist paintings of fine arts high school students
ÇİĞDEM ÖZDEMİR
Doktora
Türkçe
2021
Eğitim ve ÖğretimGazi ÜniversitesiGüzel Sanatlar Eğitimi Ana Bilim Dalı
PROF. DR. MELİHA YILMAZ
- İki boyutlu bir düzlemde üç boyutluluğun sağlanmasında görsel algı etkisinin sanat eğitimi kapsamında incelenmesi
Study on the effect of visual perception to ensure three dimensionality on a two dimensional plane within the scope of art education
NERGİZ ÜÇÜNCÜ
Yüksek Lisans
Türkçe
2013
Eğitim ve ÖğretimGazi ÜniversitesiGüzel Sanatlar Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. NURETTİN ŞAHİN