Türkçe metin tabanlı açık uçlu soruların yapay zekâ ile değerlendirilmesi
Evaluation of turkish text-based open-ended questions with artificial intelligence
- Tez No: 916233
- Danışmanlar: PROF. DR. BÜNYAMİN ATICI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Eğitim ve Öğretim, Computer Engineering and Computer Science and Control, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
- Bilim Dalı: Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada, Türkçe metin tabanlı açık uçlu soruların otomatik olarak değerlendirilmesi için yapay zeka tabanlı bir sistem geliştirilmiştir. Sistem mimarisinde, metin verisinin bağlamını daha iyi anlayabilmek ve dil ilişkilerini daha doğru bir şekilde ortaya çıkarabilmek için Bi-LSTM (Çift yönlü uzun-kısa süreli hafıza) kullanılan altı katmanlı bir model geliştirilmiştir. Sistemde, yanıtların gömülü temsillerini oluşturmak için dört farklı metin gömme yöntemi kullanılmıştır (BERT, S-BERT, Glove ve Word2Vec). Çalışmanın temel amacı, farklı gömme yöntemlerinin performanslarını karşılaştırmak ve geliştirilen sistemin, eğitmenler tarafından yapılan puanlamalarla ne kadar tutarlı olduğunu değerlendirmektir. Çalışmada kullanılan gömme yöntemlerinin performansı, Ağırlıklı Kappa Katsayısı (QWK) kullanılarak ölçülmüştür. Sonuçlar, S-BERT ve BERT gibi bağlamsal anlam çıkarımı yapan yöntemlerin, Glove ve Word2Vec gibi klasik gömme yöntemlerine kıyasla daha yüksek başarı sergilediğini göstermiştir. Bu bulgular, metin değerlendirmede bağlamsal bilgi çıkarımının önemini ortaya koymuştur. Ayrıca Bi-LSTM'nin bu tür bağlamları işleyebilme yeteneğini doğrulamıştır. Sistemin performansı, tüm öğrenci gurubu ve farklı öğrenim düzeyindeki (önlisans ve lisans) öğrenciler üzerinde gerçek eğitmen puanları ile karşılaştırılmıştır. Yapılan analizler sonucunda sistemin öğrencilerin geneline ve lisans düzeyindeki öğrencilere gerçek eğitmen puanlarına yakın puanlar verdiğini göstermiştir. Bu bulgu, sistemin özellikle lisans seviyesindeki öğrenciler için daha etkili bir değerlendirme aracı olabileceğini göstermektedir. Önlisans düzeyindeki öğrencilere ilişkin değerlendirmede sitemin verdiği puan ile gerçek eğitici puanları arasında anlamlı bir farklılık görülmüştür. Bu bulgu, sistemin daha düşük eğitim seviyesindeki öğrencilerin yanıtlarını gerçek eğitmenlere kıyasla daha düşük puanlama eğiliminde olduğunu ortaya koymaktadır. Genel olarak bu çalışma bulguları yapay zeka tabanlı otomatik değerlendirme sistemlerinin insan değerlendirmesine yakın sonuçlar üretebildiğini ortaya koymaktadır. Ancak sistemin en yüksek QWK puanının 0.68 olması, performans iyileştirilmesi gerekliliğini de ortaya koymaktadır. Ülkemizde bu konuda yapılan çalışmaların sayısı çok azdır. Çalışma bu yönüyle ülkemizde açık uçlu soruların otomatik değerlendirilmesi konusunda önemli bir adım atmıştır. İleride farklı disiplinlerde daha geniş ölçekli veri setleri ve daha güncel gömme yöntemleri kullanılarak yapılacak çalışmalar sistemin genelleştirilebilirliğini ve güvenirliğini daha da arttırabilir.
Özet (Çeviri)
In this study, an artificial intelligence-based system was developed to automatically evaluate Turkish text-based open-ended questions. In the system architecture, a six-layer model using Bi-LSTM (Bi-directional long-short term memory) was created in order to better understand the context of text data and reveal language relationships more accurately. In the system, four different text embedding methods were used to create embedded representations of the answers (BERT, S-BERT, Glove and Word2Vec). The main purpose of the study is to compare the performances of different embedding methods and to evaluate how consistent the developed system is with the ratings made by instructors. The performance of the embedding methods used in the study was measured using the Weighted Kappa Coefficient (QWK). The results showed that contextual meaning extraction methods such as S-BERT and BERT showed higher success compared to classical embedding methods such as Glove and Word2Vec. These findings revealed the importance of contextual information extraction in text evaluation. It also validated the ability of Bi-LSTM to handle such contexts. The performance of the system was compared with real instructor scores on the all student group and students at different education levels (associate and undergraduate). As a result of the analysis, it has been shown that the system gives scores close to the real instructor scores for the students in general and for undergraduate students. This finding shows that the system can be a more effective assessment tool, especially for undergraduate students. In the evaluation of associate degree students, a significant difference was observed between the scores given by the system and the actual instructor scores. This finding suggests that the system tends to score the responses of students with lower education levels lower than those of real instructors. In general, the findings of this study reveal that artificial intelligence-based automatic evaluation systems can produce results close to human evaluation. However, the fact that the system's highest QWK score is 0.68 also reveals the need for performance improvement. The number of studies on this subject in our country is very few. In this respect, the study has taken an important step in the automatic evaluation of open-ended questions in our country. Future studies in different disciplines using larger-scale data sets and more up-to-date embedding methods may further increase the generalizability and reliability of the system.
Benzer Tezler
- Ham verilerden akıllı sorulara: İnsan doğrulamasıyla büyük dil modelleri destekli üretim
From raw data to intelligent questions: Large language models powered generation with human validation
ABDÜLKADİR AKYILDIZ
Yüksek Lisans
Türkçe
2025
Bilim ve TeknolojiKocaeli ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DOÇ. SÜLEYMAN EKEN
- T5 modeli ile doğal dil işleme yaklaşımıyla eğitim materyallerinden otomatik soru üretimi
Automatic generation of questions from educational materials utilizing a natural language processing approach with the T5 model
MOHAMED IBRAHIM ABDI
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BURHAN ERGEN
- Bina bilgi modelleme ile erken tasarım aşamasında karar verme süreçlerinin sürdürülebilirlik bağlamında değerlendirilmesi
Evaluation of decision making processes in the early design stage with building information modeling in the context of sustainability
ÖMER HALİL ÇAVUŞOĞLU
- Yapılandırmacı öğrenme yaklaşımının öğrenenlerin problem çözme becerilerine, bilişötesi farkındalık ve derse yönelik tutum düzeylerine etkisi ile öğrenme sürecine katkıları
The effects of constructivist learning approach on learners' problem solving skills, metacognitive awareness, and attitudes towards the course, and contributions to learning process
BÜNYAMİN YURDAKUL
Doktora
Türkçe
2004
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ÖZCAN DEMİREL
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
Tıpta Uzmanlık
Türkçe
1987
Kadın Hastalıkları ve DoğumGazi ÜniversitesiKadın Hastalıkları ve Doğum Ana Bilim Dalı
DOÇ. DR. MÜLAZIM YILDIRIM