Üretken yapay zekâ destekli otomatik metin değerlendirme sisteminin tasarlanması, geliştirilmesi, uygulanması ve değerlendirilmesi
Design, development, implementation and evaluation of a generative aı-supported automatic text evaluation system
- Tez No: 978751
- Danışmanlar: DOÇ. DR. EMBİYA ÇELİK
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: EFL, yazma öğretimi, otomatik metin değerlendirme, geribildirim, tasarım tabanlı araştırma, EFL, writing instruction, automated writing evaluation, feedback, design-based research
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Atatürk Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
- Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Amaç: Araştırma, İngilizceyi yabancı dil olarak öğrenen (EFL) öğrencilerin yazma becerilerini desteklemek amacıyla geliştirilen, üretken yapay zeka tabanlı öğretim yönetim sistemine entegre bir otomatik metin değerlendirme sisteminin tasarlanması, geliştirilmesi ve uygulanmasına yönelik bir araştırma sürecini ortaya koymaktır. Araştırma, hem teknik hem de pedagojik boyutlarıyla sistemin sahip olması gereken temel özellikleri ve öğrencilerin öğrenme sürecini destekleyici geri bildirim tasarımını ele almayı hedeflemiştir. Yöntem: Araştırma, tasarım tabanlı araştırma yaklaşımıyla yürütülmüş; sistemin geliştirilmesi, uygulanması ve değerlendirilmesi aşamalarında hızlı prototipleme modeli temel alınmıştır. Araştırmada üç aşamalı bir süreç izlenmiştir: (1) alanyazın taraması ve mevcut sistemlerin incelenmesi, (2) uzman görüşleri ve pilot uygulama ile sistem tasarımının geliştirilmesi, (3) uygulama sonrası öğrenci ve öğretmen görüşlerinin içerik analiziyle değerlendirilmesi. Bulgular: Araştırma bulguları, geliştirilen otomatik metin değerlendirme sisteminin öğretim elemanı değerlendirmeleri ile karşılaştırıldığında daha temkinli puanlama eğilimi gösterdiğini ortaya koymuştur. Bununla birlikte, öğretim elemanları arasında puanlama tutarlılığı bulunmuştur. Öğrenciler, sistemin dilbilgisi ve mekanik gibi mikro düzey becerilerde etkili olduğunu, ancak içerik ve organizasyon gibi makro düzey yazma becerilerinde geliştirilmesi gerektiğini belirtmiştir. Öğrenci görüşleri, sistemin ilk başta şüpheyle karşılandığını ancak kullanım sürecinde hızlı geribildirim, öz-düzenleme becerilerinde gelişim ve yazma farkındalığı kazandırması nedeniyle olumlu bir dönüşüm yaşandığını göstermektedir. Öğretmenler, sistemin objektif ve tutarlı değerlendirme yapması, anında geribildirim sağlaması ve iş yükünü önemli ölçüde azaltması açısından olumlu görüşler belirtmiştir. Öğretim elemanı, öğrencilerin dilbilgisi, noktalama, paragraf organizasyonu ve yazı düzeni açısından belirgin ilerlemeler kaydettiğini gözlemlemiştir. Öğretmenler, sistemin şeffaf rubrik kullanımı ve özelleştirilebilir kriterler sayesinde değerlendirme sürecini kolaylaştırdığını; sınıf içi entegrasyonun daha da kolaylaşması için açıklanabilirlik, görselleştirilmiş geribildirim ve öğretmen arabuluculu hibrit kullanım senaryolarının güçlendirilmesi gerektiğini önermiştir. Sonuçlar: Araştırma, otomatik metin değerlendirme sistemlerinin EFL bağlamında etkili kullanılabilmesi için açıklayıcı ve görsel geribildirim mekanizmaları, öğretmen arabuluculuğunu destekleyen hibrit modeller ve bağlamsal uyarlama özelliklerinin geliştirilmesi gerektiğini göstermektedir. Bulgular, hem öğrenci motivasyonu hem de öğretim süreci açısından sistemlerin biçimlendirici değerlendirme rolünün güçlendirilmesinin önemini ortaya koymaktadır.
Özet (Çeviri)
Purpose: This study outlines the design, development, and implementation of a generative AI-powered automated writing evaluation system integrated into a learning management system to support the writing skills of EFL learners. The study aimed to address the system's essential features, both technical and pedagogical, and the feedback design that supports students' learning process. Method: The research was conducted using a design-based research approach; the rapid prototyping model was adopted to develop, implement, and evaluate the system. The research comprised three stages: (1) literature review and analysis of existing systems, (2) development of the system design through expert opinions and pilot application, and (3) evaluation of the application through content analysis of student and teacher feedback. Findings: Compared to instructors, the system tended to assign more conservative scores, while consistency among instructors was observed. Students reported fast, actionable feedback for micro‑level skills (grammar/mechanics) and the need for clearer, example‑based guidance for macro‑level skills (content/organization). Student perspectives revealed initial skepticism that transformed into positive engagement as they experienced rapid feedback, self‑regulation skill development, and increased writing awareness. Teachers expressed positive views regarding the system's objective and consistent evaluation, immediate feedback provision, and significant workload reduction. The instructor observed marked student progress in grammar, punctuation, paragraph organization, and text formatting. Teachers noted that transparent rubric use and customizable criteria facilitated the evaluation process, and recommended strengthening explainability, visualized feedback, and hybrid teacher‑mediated scenarios for enhanced classroom integration. Conclusions: The study demonstrates that for automated text assessment systems to be used effectively in the EFL context, descriptive and visual feedback mechanisms, hybrid models that support teacher mediation, and contextual adaptation features should be developed. The findings highlight the importance of strengthening the formative assessment role of systems in terms of both student motivation and the teaching process.
Benzer Tezler
- Reinforcement learning for automatic ground collision avoidance system of fighter jets: sequential maneuver primitive approach
Savaş jetlerinin otomatik yer çarpışmasından kaçınma sistemi için pekiştirmeli öğrenme: sıralı manevra primitif yaklaşımı
FATİH EROL
Yüksek Lisans
İngilizce
2025
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HAYRİ ACAR
- Üretken yapay zeka destekli yazılım performans testlerinin hazırlanması ve analizlerinin yapılması
Preparation and analysis of generative artificial intelligence-supported software performance tests
BURAK TUZLUTAŞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOstim Teknik ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT ŞİMŞEK
- Yabancılara Türkçe öğretiminde öğrenicilerin yazılı ürünlerini değerlendirmeye yönelik yapay zekâ destekli web tabanlı bir uygulama
An artificial intelligence supported web-based application for evaluating learners' written products in teaching Turkish to foreigners
KADİR COŞKUN
Doktora
Türkçe
2026
Eğitim ve ÖğretimHacettepe ÜniversitesiTürkiyat Araştırmaları Ana Bilim Dalı
PROF. DR. MUSTAFA DURMUŞ
- Yapay zekâ yöntemleri ile multifokal elektroretinogram ve görme alanı verilerini kullanarak Retinitis Pigmentosa hastalığının değerlendirilmesi
Evaluation of Retinitis Pigmentosa disease using multifocal electroretinogram and visual field data with artificial intelligence methods
BAYRAM KARAMAN
Doktora
Türkçe
2025
Mühendislik BilimleriErciyes ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞEGÜL GÜVEN