Fen bilimleri dersinde başarı testlerinin üretken yapay zeka ile değerlendirilmesi
Assessing science achievement tests through generative articial intelligence
- Tez No: 996603
- Danışmanlar: PROF. DR. HARUN ÇELİK
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Kırıkkale Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Fen Bilgisi Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
21. yy'da bilgiye erişimin hızlanmasıyla birlikte; dijitalleşme ve artan problem çözme ihtiyaçları, eğitim sistemlerinde bir dönüşümü başlatmıştır. Bu doğrultuda eğitim sistemleri bilgiyi aktaran bir sistem olmaktan ziyade öğrencileri; eleştirel düşünebilen, analiz edebilen, çıkarsama yapabilen ve bilimsel akıl yürütme gibi üst düzey becerileri merkeze alma yoluna yönlendiren beceri temelli ölçme ve değerlendirme anlayışına yönelmiştir. Bu ihtiyaç doğrultusunda, öğrencilerin becerilerini görünür kılan açık uçlu soruların değerlendirilmesinde YZ destekli beceri temelli ölçme ve değerlendirme yaklaşımının uygulanabilirliğine odaklanılmıştır. 5. sınıf TYMM FDÖP'nin“Kuvveti Tanıyalım”ünitesi kapsamında uygulanan KTBT'nin, Gen-AI aracı olan ChatGPT-4o modeliyle değerlendirilmesi ve bu değerlendirmelerin öğretmenlerle arasındaki uyumunun incelenmesi amaçlanmaktadır. Gen-AI aracının ölçme ve değerlendirmesi sırasında üç farklı prompt stratejisinde (zero-shot, few-shot rompting ve CoT), açık uçlu soruların hazırlanmasında ve uygulanması sürecinde TTA yöntemi kullanılmıştır. Hazırlanan sorular ve rubrikler uzman görüşü doğrultusunda revize edilmiştir. Çalışma grubundaki öğrenci ve öğretmenler seçkisiz örnekleme olarak tercih edilmiştir. Çalışma nitel araştırma yöntemi çerçevesinde planlanmış ve verilerin dokümantasyon yöntemiyle toplandıktan sonra analizi yapılmıştır. Öğrencilerden alınan yanıtlar insan uzman tarafından etiketlenmiştir. Öğrenci yanıtları OKT ile dijital metin haline getirilmiştir. Kırk öğretmen arasındaki güvenirliği incelemek için sınıf içi korelasyon katsayısı (ICC) ve Krippendorff's alpha katsayısı kullanılmıştır. YBT ve öğrenme çıktısı rubriğine göre öğrenci yanıtlarının etiketlenmesinde iki insan uzman arasında Miles ve Huberman'nın uzlaşma yüzdesi kullanılmıştır. Öğretmenlerin ve YZ değerlendirmelerinin arasındaki uyuşma yüzdesini ölçmek için Cohen's kappa katsayısı kullanılmıştır. Ayrıca doğruluk, kesinlik, duyarlılık ve F1 skorlarına göre insan uzman ve YZ arasında etiketlemelerin karşılaştırılması yapılmıştır. Bulgular doğrultusunda ChatGP-4o'nun objektif ve tutarlı sonuçları elde edilmiştir. Ayrıca, YZ destekli geri bildirimlerle öğrenci gelişiminin takip edilmesinin daha kolaylaştırıcı olduğu görülmüştür. Bu araştırmada fen öğretiminde üst düzey becerilerin ölçülmesine yönelik yenilikçi ölçme ve değerlendirme yaklaşımının önemi vurgulanmıştır. Bu araştırma, YZ destekli değerlendirme sistemlerine yönelik örnek teşkil etmektedir.
Özet (Çeviri)
In the 21st century, the acceleration of access to information, together with digitalization and growing demands for problem-solving, has initiated a transformation in educational systems. Accordingly, education systems have shifted from being structures that merely transmit knowledge to approaches centered on skill-based assessment and evaluation, which aim to cultivate students who can think critically, analyze, infer, and employ scientific reasoning as higher-order skills. In line with this need, the present study focuses on the applicability of an AI-supported, skill-based assessment and evaluation approach in the evaluation of open-ended questions that make students' skills visible. The purpose of the study is to evaluate the KTBT administered within the 5th-grade TYMM Science Curriculum's“Let's Explore Force”unit using the ChatGPT-4o model, a Gen-AI tool, and to examine the consistency between these evaluations and those made by teachers. During the assessment process conducted with the Gen-AI tool, three different prompt strategies (zero-shot, few-shot prompting, and CoT) were employed, and the TTA method was used in the preparation and implementation of the open-ended questions. The prepared questions and rubrics were revised in line with expert opinions. Students and teachers in the study group were selected through random sampling. The study was designed within the framework of qualitative research, and after collecting the data through documentation, analysis was carried out. The responses obtained from students were labeled by a human expert. Student responses were digitized using OKT. To examine the reliability among forty teachers, the intraclass correlation coefficient (ICC) and Krippendorff's alpha coefficient were used. For labeling student responses according to the SBT and learning-outcome rubric, Miles and Huberman's agreement percentage was used between two human experts. Cohen's kappa coefficient was used to measure the agreement percentage between teachers' evaluations and AI evaluations. In addition, comparisons between the human expert and AI were made based on accuracy, precision, recall, and F1 scores. In line with the findings, objective and consistent results were obtained from ChatGPT-4o. Moreover, it was observed that monitoring student development became more facilitative through AI-supported feedback. This study highlights the importance of an innovative assessment and evaluation approach aimed at measuring higher-order skills in science education. This study serves as an example for AI-supported assessment systems.
Benzer Tezler
- STEM kapsamında yapılan bir uygulamanınöğrencilerin matematik başarı düzeyleri vetutumlarına etkisinin incelenmesi
Examining the effect of an application within thescope of STEM on students' mathematics achievementlevels and attitudes
BETÜL CENGİZ
Yüksek Lisans
Türkçe
2024
MatematikMarmara ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. AHMET ŞÜKRÜ ÖZDEMİR
- Ortaokul fen bilimleri dersinde görsel okuryazarlık destekli öğretimin öğrencilerin akademik başarısına etkisi
The effect of visual literacy supported instruction on students' academic success in secondary school science class
ÖZLEM ALTINKAYNAK YAYLACI
Doktora
Türkçe
2023
Eğitim ve ÖğretimGazi ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. ALEV ÇETİN
- Sinir sistemi öğretiminde kavram karikatürlerinin kullanımının öğrencilerin başarısı ve fen bilimleri dersine yönelik tutumuna etkisi
The effect of the use of concept cartoons in nervous system teaching on students' success and attitudes to the science course
BURCU AKMAN
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimNecmettin Erbakan ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. OSMAN ÇARDAK
- İlkokul dördüncü sınıf fen ve teknoloji dersinde kavramsal değişim yaklaşımının etkililiğinin incelenmesi
Examining the effectiveness of conceptual change approach in fourth grade primary school science and technology course
GÖKHAN UYANIK
- Probleme dayalı öğrenme yöntemi ile geliştirilmiş 5E öğretim modelinin 7. sınıf öğrencilerinin akademik başarı ve tutumlarına yönelik etkisi
The effect of academic achievement and attitudes on the 7th grade students of problem based learning method and improved 5E learning model
FİGEN HUN
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimGiresun ÜniversitesiFen Bilgisi Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. ŞERİF ALİ DEĞİRMENÇAY