Geri Dön

Açık uçlu soruların yapay zeka destekli otomatik değerlendirilmesi ve kullanıcı deneyimleri

Open-ended questions' automatic evaluation with artificial intelligence, and user experiences

PDF İndir

  1. Tez No: 918729
  2. Yazar: ABDULKADİR KARA
  3. Danışmanlar: DOÇ. DR. SERKAN YILDIRIM
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Atatürk Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
  13. Sayfa Sayısı: 194

Özet

Amaç: Araştırmanın amacı dijital ortamdaki açık uçlu soruların otomatik değerlendirilmesi sürecinin sistem tasarımı ve uygulama boyutlarıyla incelenmesidir. Bu doğrultuda araştırma, Türkçe dilinde açık uçlu soruların otomatik değerlendirilmesi için uygun bir yapay zeka destekli sistem geliştirerek değerlendirme performansını ortaya koymak ve geliştirilen sistemin kullanımı sonucunda öğrencilerin deneyimlerini ve görüşlerini analiz etmek şeklinde iki ana hedef etrafında şekillenmiştir. Yöntem: Araştırma sorularını yanıtlamak için karma araştırma yöntemi tercih edilmiştir. Araştırma süreci karma yöntemlerden iç içe desen kapsamında yapılandırılmıştır. Araştırmanın nitel boyutu durum çalışması yöntemi çerçevesinde yürütülürken nicel boyutta ise betimsel araştırma yöntemi çerçevesi esas alınmıştır. Bulgular: Alanyazın taramasında otomatik değerlendirme sistemlerinde dize tabanlı, anlamsal tabanlı, hibrit tabanlı, makine ve derin öğrenme tabanlı yaklaşımların tercih edildiği gözlenmiştir. Derin öğrenme (%32) ve anlamsal tabanlı yaklaşımlar (%32) en çok tercih edilen yöntemlerdir. Derin öğrenme tabanlı sistemler, yüksek anlama kapasitesi ve ölçeklenebilirlik kapsamında öne çıktığı görülmüştür. BERT ve GPT gibi transformatör modelleri, özetleyici değerlendirme ve açıklayıcı geri bildirim üretme yetenekleriyle öne çıkmıştır. Geliştirilen otomatik değerlendirme sisteminin değerlendirme performansının yüksek doğruluk düzeyine (acc=91.96%) sahip olduğu gözlenmiştir. Ana uygulama kapsamında uzman değerlendirmeleri ile ilişki gücü ve uyumu değerleri (r = 0.714-1.00, κ = 0.714-1.00) olarak tespit edilmiştir. Öğrenci görüşlerinde sistem değerlendirmesi doğruluk (f=20) ve şeffaflık (f=18) açısından oldukça etkili bulunduğu gözlenmiştir. Sistem özelliklerinden anlık değerlendirme (f=20), açıklayıcı geri bildirim (f=18), açık uçlu sınav (f=12), etkileşim (f=8) ve esneklik (f=7) özelliklerinin öne çıktığı görülmüştür. Otomatik değerlendirme sistemi kullanımı öğrencilerin öğrenme yaşantılarını öğrenme süreçleri, algısal süreçler ve çalışma stratejileri bağlamlarında olumlu etkilediği gözlenmiştir. Sistemin geliştirilmesine yönelik önerilerin farklı sınav türlerinin birlikte kullanımı, yapay zeka ile sohbetin derinleştirilebilmesi ve sistem arayüzünün iyileştirilmesine yönelik olduğu gözlenmiştir. Sonuçlar: Araştırma kapsamında geliştirilen otomatik değerlendirme sisteminin alanyazında yer alan otomatik değerlendirme araştırmalarıyla rekabet edecek düzeyde değerlendirme performansına sahip olduğu gözlenmiştir. Sistem, öğrenme süreçlerini desteklemekte, öz değerlendirme ve akademik başarıyı artırmaktadır. Bununla birlikte motivasyon, özyeterlik ve öz güven gibi algısal süreçlerini olumlu etkilemiştir. Sistemin geliştirilmesi gereken yönleri (örneğin arayüz tasarımı, sınav türleri dengesi) iyileştirildiğinde, eğitimde daha etkili bir araç olarak kullanılabileceği öngörülmektedir. BERT ve GPT gibi modellerin entegrasyonu, sistemi daha şeffaf, kullanıcı dostu ve etkili hale getirmiştir.

Özet (Çeviri)

Purpose: The aim of the research is to analyse the process of automatic evaluation of open-ended questions in digital environment with system design and implementation dimensions. In this direction, the research is shaped around two main objectives: to develop an artificial intelligence-supported system suitable for the automatic evaluation of open-ended questions in Turkish language and to reveal the evaluation performance and to analyse the experiences and opinions of the students as a result of the use of the developed system. Method: Mixed research method was preferred to answer the research questions. The research process was structured within the scope of nested design from mixed methods. While the qualitative dimension of the research was carried out within the framework of the case study method, the quantitative dimension was based on the descriptive research method framework. Findings: In the literature review, it was observed that string-based, semantic-based, hybrid-based, machine-based and deep learning-based approaches are preferred in automatic evaluation systems. Deep learning (32%) and semantic-based approaches (32%) are the most preferred methods. It was observed that deep learning-based systems stand out in terms of high comprehension capacity and scalability. Transformer models such as BERT and GPT stood out with their ability to produce summarising evaluation and explanatory feedback. It was observed that the evaluation performance of the developed automatic evaluation system had a high level of accuracy (acc=91.96%). Within the scope of the main application, the correlation strength and agreement values with expert evaluations were determined as (r = 0.714-1.00, κ = 0.714-1.00). It was observed that the system evaluation was found to be very effective in terms of accuracy (f=20) and transparency (f=18) in student opinions. Among the system features, instant evaluation (f=20), explanatory feedback (f=18), open-ended exam (f=12), interaction (f=8) and flexibility (f=7) were found to be prominent. It was observed that the use of automatic assessment system positively affected students' learning experiences in the contexts of learning processes, perceptual processes and study strategies. It was observed that the suggestions for the development of the system were for the use of different types of exams together, deepening the conversation with artificial intelligence and improving the system interface. Conclusions: It was observed that the automated assessment system developed within the scope of the research has a level of assessment performance that competes with the automated assessment studies in the literature. The system supports learning processes, increases self-assessment and academic achievement. In addition, it positively affected perceptual processes such as motivation, self-efficacy and self-confidence. When the aspects of the system that need to be improved (e.g. interface design, balance of exam types) are improved, it is predicted that it can be used as a more effective tool in education. The integration of models such as BERT and GPT made the system more transparent, user-friendly and effective.

Benzer Tezler

  1. Tez No

    871167

    Yapay zeka doğal dil işleme robotu ile yürütülen argümantasyon sürecinin incelenmesi

    An investigation of the argumentation process conducted with an artificial intelligence natural language processing robot

    MEHMET SERHAN KAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimMarmara Üniversitesi

    Matematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı

    DOÇ. DR. EROL SÜZÜK

    PROF. DR. OSMAN SERHAT İREZ

  2. Tez No

    955051

    Açık uçlu matematik sorularının değerlendirilmesinde yapay zekâ ve öğretmen puanlamalarının karşılaştırılması

    A comparison of artificial intelligence and teacher scoring in the assessment of open-ended mathematics questions

    SERRA SEZİN ŞENER

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Eğitim ve ÖğretimAnkara Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. SEHER YALÇIN

  3. Tez No

    883359

    Implications of NFV-SDN technology on the telecom sector in Turkey

    NFV-SDN teknolojisinin Türkiye'deki telekom sektörüne etkilerinin araştırılması

    AHMET ÇETİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    İşletmeİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. DERYA GÜLTEKİN

    DOÇ. DR. NİHAN YILDIRIM

  4. Tez No

    946030

    Multimodal medical visual question answering: Knowledge spaces and semantic segmentation for improved and explainable AI

    Çok-kipli tıbbi görsel soru cevaplama: Bilgi uzayları ve anlamsal bölütleme ile gelişmiş ve açıklanabilir yapay zekâ

    ZİYA ATA YAZICI

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. HAZIM KEMAL EKENEL

  5. Tez No

    900833

    Game-based learning in architecture education: Consolidating visual design principles in freshmen

    Mimarlık eğitiminde oyun-tabanlı öğrenme: Mimarlık 1. sınıf öğrencilerinde görsel tasarım ilkelerinin pekiştirilmesi

    MERT KARAKAYA

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ASLI KANAN

Geri Dön