Açık uçlu matematik sorularının değerlendirilmesinde yapay zekâ ve öğretmen puanlamalarının karşılaştırılması
A comparison of artificial intelligence and teacher scoring in the assessment of open-ended mathematics questions
- Tez No: 955051
- Danışmanlar: PROF. DR. SEHER YALÇIN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Yapay zeka sistemleri, matematik eğitimi, açık uçlu soruların değerlendirilmesi, öğretmen değerlendirmesi, psikometrik analiz, puanlayıcılar arası tutarlılık, Artificial intelligence systems, mathematics education, assessment of open-ended questions, teacher evaluation, psychometric analysis, inter-rater reliability
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 115
Özet
Bu araştırma, yapay zeka (YZ) destekli sistemlerin matematik sorularının değerlendirilmesindeki yerini ve geleceğini öğretmen değerlendirmeleriyle karşılaştırmalı olarak incelemeyi amaçlamaktadır. Araştırmada karma yöntem benimsenmiş; bir özel okulun beş farklı yerleşkesinden (Ankara Oran, Ankara İncek, Antalya Muratpaşa, Antalya Manavgat, Sakarya) 217 7. sınıf öğrencisi, 4 ölçme uzmanı ve 5 matematik öğretmeni ile çalışılmıştır. Veri toplama sürecinde beş okulda aynı anda uygulanan 2. Dönem 1. ortak yazılısının 10 maddelik matematik testi kullanılmış, aynı öğrencilere ait yazılı kağıtları hem öğretmenler hem de YZ sistemi tarafından değerlendirililerek öğrencilere geri bildirimler verilmiştir. Nicel veriler güvenirlik, madde-toplam korelasyonu, ayırt edicilik ve ağırlıklandırılmış Kappa uyum analizleri ile incelenirken nitel veriler 36 öğretmenin katıldığı bir anket, yazılı sınavın uygulandığı okulun matematik öğretmenleri ve ölçme uzmanları ile yapılan birebir görüşmeler ve yazılı sonuçları doğrultusunda belirlenen farklı başarı seviyelerinden 30 öğrenci ile gerçekleştirilen odak grup görüşmeleri yoluyla toplanmıştır. Araştırmanın bulgularına göre, yazılı puanlamasında YZ sisteminin Cronbach alfa güvenirlik katsayısı öğretmen değerlendirmesinden yüksek çıkmıştır. Madde-toplam korelasyonları ve ayırt edicilik indekslerinde de YZ sisteminin daha tutarlı olduğu yönünde sonuçlar olmakla birlikte iki değerlendirmenin de güvenirliğinin yüksek olduğu belirlenmiştir. Ancak değerlendiriciler arası (öğretmen ve YZ) uyum analizinde algoritmik işlemler ve formül uygulamalarında yüksek (.60 ve üstünde) uyum gözlenirken, kavramsal anlama ve çok aşamalı problem çözme gerektiren sorularda düşük (.40 ve altında) uyum tespit edilmiştir. En büyük puan farklılıklarının yaşandığı maddeler; çok aşamalı yüzde hesaplamaları, gerçek hayat uygulamaları ve sözel ifadelerden denklem kurma gibi matematik konularını içermektedir. Nitel bulgular, öğretmenlerin büyük çoğunluğunun YZ sistemlerinin eğitime eklemlenmesini desteklediğini ancak bu sistemlerin öğretmen değerlendirmesi kadar iyi olmadığını düşündüklerini göstermiştir. Öğrencilerin değerlendirme ve geri bildirimlere bakışı başarı seviyesine göre farklılaşmış; üst düzey başarı grubundaki öğrenciler YZ sistemlerinin“objektiflik”tarafını vurgularken, alt düzey başarı grubundaki öğrenciler“anlayışsızlık”eleştirisi yapmıştır. Araştırma sonuçları, YZ sistemlerinin tutarlılık, nesnellik ve hız gibi avantajlar sunduğunu ancak esneklik, bağlamsal anlama ve duygusal açıdan sınırlı kaldığını ortaya koymuştur. Bu bulgular doğrultusunda, YZ sistemleri ile öğretmenlerin birbirlerini tamamladıkları bütünleşik bir değerlendirme modelinin benimsenmesi önerilmektedir.
Özet (Çeviri)
The aim of this study is to analyze the place of systems supported by artificial intelligence (AI) in evaluation of mathematics questions through a comparative analysis with teacher assessments. A mixed method was adopted in the subject study; 217 7th grade students and their teachers from 5 different campuses of a private school (Ankara Oran, Ankara İncek, Antalya Muratpaşa, Antalya Manavgat, Sakarya) were studied. In the data collection process, the 10-item mathematics test of the 2nd semester's 1st common exam was used in 5 schools at the same time, and the exam papers of the students were evaluated by both the teachers and the AI system and feedback was given to the students. Quantitative data were analyzed through reliability, item-total correlation, distinctiveness, and weighted Kappa agreement analyses, while qualitative data were collected through a questionnaire with 36 teachers, individual interviews with the mathematics teachers and assessment and evaluation experts of the school and focus group discussions with 30 students from different achievement levels determined by the exam results. According to the outcomes of the study, the Cronbach's alpha reliability coefficient of the AI system was higher than the teacher assessment. The item-total correlations and distinctiveness indices also showed that the AI system was more consistent; furthermore, the reliability of both assessments was high. However, on the one hand evaluator correspondence analysis, high correspondence (.60 and above) was observed in algorithmic operations and formula applications, on the other hand low correspondence (.40 and below) was found in questions requiring conceptual understanding and multi- stage problem solving. The items with the largest score differences include mathematics topics such as multi-stage percentage calculations, real-life applications, and creating equations from verbal expressions. The qualitative findings showed that the majority of teachers supported the integration of AI systems into education, but they did not think that these systems were as good as teacher assessment. The students' views on the subject were different based on their achievement levels. While the high-level achievement group considers the AI systems as“objective”, the low-level achievement group considers as“unsympathetic”. The results revealed that the AI systems offer advantages such as consistency, objectivity and speed, but are limited in terms of flexibility, contextual understanding and emotionality. In line with these findings, it is recommended to adopt an integrated assessment model in which AI systems and teachers working in harmony.
Benzer Tezler
- Ortaokul öğrencilerinin matematik dersi akademik başarılarının makine öğrenmesi algoritmaları ile tahmini
Prediction of secondary school students' academic achievement in mathematics with machine learning algorithms
BÜŞRA KARACA
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimSüleyman Demirel ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. MUHAMMET DEMİRBİLEK
DOÇ. DR. TARIK TALAN
- Mixed methods research at the intersection of mathematics teachers' adoption of curriculum change and assessment of students' readiness level through educational neuroscience methods
Matematik öğretmenlerinin öğretim programı değişikliğini benimsemesi ve öğrencilerin hazır bulunuşluk düzeylerinin değerlendirilmesinin kesişiminde eğitimsel nörobilim yöntemleriyle karma yöntem araştırması
BENGİ BİRGİLİ
Doktora
İngilizce
2022
Eğitim ve ÖğretimOrta Doğu Teknik ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HANİFE AKAR
DR. ÖĞR. ÜYESİ TUNA ÇAKAR
- Açık uçlu matematik sorularının değerlendirilmesinde puanlayıcı güvenirliğinin genellenebilirlik kuramına göre incelenmesi
Inter-rater reliability in the evaluation of open ended mathematics questions according to generalizability theory
SONGÜL GÜNEŞ
Yüksek Lisans
Türkçe
2020
Eğitim ve ÖğretimMersin ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEÇİL ÖMÜR SÜNBÜL
- Sosyobilimsel konulara dayalı etkinliklerin ortaokul öğrencilerinin akademik başarılarına, medya okuryazarlığına etkisi ve öğrencilerin karar verme süreçlerinin incelenmesi
The effect of activities based on socio-scientific topics on the academic success of secondary students and the media literacy and investigation of the decision-making process of the students
ESRA GÜN ŞAHİN
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimDüzce ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HARİKA ÖZGE ARSLAN
- Açık uçlu soruların kullanıldığı matematik sınavlarının ölçme ve değerlendirme perspektifinden incelenmesi
Inspection of mathematic exams with open ended questions from the perspective of measurement and evaluation
İLKNUR BİLGEÇ
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimMarmara ÜniversitesiOrtaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı
DOÇ. DR. İLYAS YAVUZ