Türkçe metin tabanlı açık uçlu soruların yapay zekâ ile değerlendirilmesi
Evaluation of turkish text-based open-ended questions with artificial intelligence
- Tez No: 916233
- Danışmanlar: PROF. DR. BÜNYAMİN ATICI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Eğitim ve Öğretim, Computer Engineering and Computer Science and Control, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
- Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
- Sayfa Sayısı: 122
Özet
Bu çalışmada, Türkçe metin tabanlı açık uçlu soruların otomatik olarak değerlendirilmesi için yapay zeka tabanlı bir sistem geliştirilmiştir. Sistem mimarisinde, metin verisinin bağlamını daha iyi anlayabilmek ve dil ilişkilerini daha doğru bir şekilde ortaya çıkarabilmek için Bi-LSTM (Çift yönlü uzun-kısa süreli hafıza) kullanılan altı katmanlı bir model geliştirilmiştir. Sistemde, yanıtların gömülü temsillerini oluşturmak için dört farklı metin gömme yöntemi kullanılmıştır (BERT, S-BERT, Glove ve Word2Vec). Çalışmanın temel amacı, farklı gömme yöntemlerinin performanslarını karşılaştırmak ve geliştirilen sistemin, eğitmenler tarafından yapılan puanlamalarla ne kadar tutarlı olduğunu değerlendirmektir. Çalışmada kullanılan gömme yöntemlerinin performansı, Ağırlıklı Kappa Katsayısı (QWK) kullanılarak ölçülmüştür. Sonuçlar, S-BERT ve BERT gibi bağlamsal anlam çıkarımı yapan yöntemlerin, Glove ve Word2Vec gibi klasik gömme yöntemlerine kıyasla daha yüksek başarı sergilediğini göstermiştir. Bu bulgular, metin değerlendirmede bağlamsal bilgi çıkarımının önemini ortaya koymuştur. Ayrıca Bi-LSTM'nin bu tür bağlamları işleyebilme yeteneğini doğrulamıştır. Sistemin performansı, tüm öğrenci gurubu ve farklı öğrenim düzeyindeki (önlisans ve lisans) öğrenciler üzerinde gerçek eğitmen puanları ile karşılaştırılmıştır. Yapılan analizler sonucunda sistemin öğrencilerin geneline ve lisans düzeyindeki öğrencilere gerçek eğitmen puanlarına yakın puanlar verdiğini göstermiştir. Bu bulgu, sistemin özellikle lisans seviyesindeki öğrenciler için daha etkili bir değerlendirme aracı olabileceğini göstermektedir. Önlisans düzeyindeki öğrencilere ilişkin değerlendirmede sitemin verdiği puan ile gerçek eğitici puanları arasında anlamlı bir farklılık görülmüştür. Bu bulgu, sistemin daha düşük eğitim seviyesindeki öğrencilerin yanıtlarını gerçek eğitmenlere kıyasla daha düşük puanlama eğiliminde olduğunu ortaya koymaktadır. Genel olarak bu çalışma bulguları yapay zeka tabanlı otomatik değerlendirme sistemlerinin insan değerlendirmesine yakın sonuçlar üretebildiğini ortaya koymaktadır. Ancak sistemin en yüksek QWK puanının 0.68 olması, performans iyileştirilmesi gerekliliğini de ortaya koymaktadır. Ülkemizde bu konuda yapılan çalışmaların sayısı çok azdır. Çalışma bu yönüyle ülkemizde açık uçlu soruların otomatik değerlendirilmesi konusunda önemli bir adım atmıştır. İleride farklı disiplinlerde daha geniş ölçekli veri setleri ve daha güncel gömme yöntemleri kullanılarak yapılacak çalışmalar sistemin genelleştirilebilirliğini ve güvenirliğini daha da arttırabilir.
Özet (Çeviri)
In this study, an artificial intelligence-based system was developed to automatically evaluate Turkish text-based open-ended questions. In the system architecture, a six-layer model using Bi-LSTM (Bi-directional long-short term memory) was created in order to better understand the context of text data and reveal language relationships more accurately. In the system, four different text embedding methods were used to create embedded representations of the answers (BERT, S-BERT, Glove and Word2Vec). The main purpose of the study is to compare the performances of different embedding methods and to evaluate how consistent the developed system is with the ratings made by instructors. The performance of the embedding methods used in the study was measured using the Weighted Kappa Coefficient (QWK). The results showed that contextual meaning extraction methods such as S-BERT and BERT showed higher success compared to classical embedding methods such as Glove and Word2Vec. These findings revealed the importance of contextual information extraction in text evaluation. It also validated the ability of Bi-LSTM to handle such contexts. The performance of the system was compared with real instructor scores on the all student group and students at different education levels (associate and undergraduate). As a result of the analysis, it has been shown that the system gives scores close to the real instructor scores for the students in general and for undergraduate students. This finding shows that the system can be a more effective assessment tool, especially for undergraduate students. In the evaluation of associate degree students, a significant difference was observed between the scores given by the system and the actual instructor scores. This finding suggests that the system tends to score the responses of students with lower education levels lower than those of real instructors. In general, the findings of this study reveal that artificial intelligence-based automatic evaluation systems can produce results close to human evaluation. However, the fact that the system's highest QWK score is 0.68 also reveals the need for performance improvement. The number of studies on this subject in our country is very few. In this respect, the study has taken an important step in the automatic evaluation of open-ended questions in our country. Future studies in different disciplines using larger-scale data sets and more up-to-date embedding methods may further increase the generalizability and reliability of the system.
Benzer Tezler
- Bina bilgi modelleme ile erken tasarım aşamasında karar verme süreçlerinin sürdürülebilirlik bağlamında değerlendirilmesi
Evaluation of decision making processes in the early design stage with building information modeling in the context of sustainability
ÖMER HALİL ÇAVUŞOĞLU
- Bilgisayar programlamayı öğrenme sürecindeki öğrencilerin duyguları, yetkilendirilmeleri ve bilgi işlemsel kimliklerinin metin madenciliği algoritmalarını kullanarak tahmin edilmesi
Predicting emotions, empowerment and computational identity of students in the process of learning computer programming using text mining algorithms
NİLÜFER ATMAN USLU
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Katip Çelebi ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYTUĞ ONAN
- Doğal dil işleme tabanlı canlı mülakat videolarından adayların kişilik envanterinin çıkarılması
Extracting personality inventory of candidates from natural language processing based live interview videos
BÜŞRA SARIKAYA
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYHAN KÜÇÜKMANİSA
- Proje tabanlı öğrenme yaklaşımının 'yaşamımızdaki elektrik' ünitesinde ilkokul 4. sınıf öğrencilerinin kavramsal anlamalarına ve yazma becerilerine etkisi
The Effect of conceptual understanding and writing skills of 4th class students on project based learning approach in 'electricity in our life' unit
AYTEN KILIÇ
Yüksek Lisans
Türkçe
2015
Eğitim ve ÖğretimDumlupınar Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. NEJLA GÜLTEPE
- Harezmi eğitim modeli uygulama verisinin metin madenciliği teknikleriyle değerlendirilmesi
Evaluation of Harezmi education model application data with text mining techniques
ALİ ÇİMEN
Doktora
Türkçe
2022
Dokümantasyon ve Enformasyonİstanbul ÜniversitesiEnformatik Ana Bilim Dalı
PROF. DR. SEVİNÇ GÜLSEÇEN