Yabancı dil yeterlik sınavı maddelerinin sınıflandırılmasında farklı metin madenciliği algoritmalarının sınıflama doğruluklarının karşılaştırması
A comparison of classification accuracy of different text mining algorithms in classification of foreign language proficiency exam items
- Tez No: 803721
- Danışmanlar: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Makine öğrenmesi, Makine öğrenmesi yöntemleri, Metin madenciliği, Sınıflandırma, Yabancı dil, Yabancı dil seviyesi, Yeterlilik, Machine learning, Machine learning methods, Text mining, Classification, Foreign language, Foreign language level, Sufficiency
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmanın amacı yabancı dil yeterlik sınavı maddelerinin sınıflandırılmasında farklı metin madenciliği algoritmalarının sınıflama doğruluklarının karşılaştırılmasıdır. Bu çalışmada ÖSYM tarafından 2006 - 2012 yılları arasında gerçekleştirilmiş ÜDS İngilizce testlerine (N=42) ait maddeler incelenmiştir. Fen Bilimleri (n=956), Sağlık Bilimleri (n=956) ve Sosyal Bilimler (n=956) alanlarına ait test maddeleri (N=2868) k-En Yakın Komşu (kNN), Naïve Bayes (NB), Naïve Bayes-Kernel (NB-K), Rastgele Orman (RF) ve Destek Vektör Makineleri (SVM) algoritmaları ile sınıflandırılmıştır. Ön işleme adımlarından sonra, genel ve üç alan özelinde sözcük frekansları elde edilmiştir. Parametre optimizasyonlarının sonrasında, üç alana ilişkin maddelerin ikili ve çoklu sınıflandırılması gerçekleştirilmiştir. Fen Bilimleri ve Sağlık Bilimleri maddelerinin ikili sınıflandırma doğrulukları NB-K (%90.60), kNN (%90.23), RF (%86.84), SVM (%86.84) ve NB (%83.08); Fen Bilimleri ve Sosyal Bilimler maddelerinin ikili sınıflandırma doğrulukları kNN %89.10, NB-K (%88.35), SVM (%85.34), RF (%84.59) ve NB (%78.20); Sağlık Bilimleri ve Sosyal Bilimler maddelerinin ikili sınıflandırma doğrulukları SVM (%92.48), kNN (%91.35), RF (%89.10), NB (%87.22) ve NB-K (%86.47) olarak belirlenmiştir. Üçlü sınıflandırılma doğrulukları kNN (%84.96), NB-K (%83.96), RF (%80.45), SVM (%78.70) ve NB (%71.93) olarak belirlenmiştir. Uzman görüşü ve çapraz doğrulama yöntemi ile veri setinde sınıflama doğruluğuna zarar verdiği belirlenen maddelerin (n=325) veri setinden çıkarılmasının, sınıflama doğruluğuna etkilerini belirlemek için ikili ve çoklu sınıflandırmalar tekrarlanmıştır. İkili sınıflandırmalarda, NB (X̄=%9.83), NB-K (X̄=%9.12), RF (X̄=%8.82), SVM (X̄=%8.75) ve kNN (X̄=%7.39); çoklu sınıflandırmada NB (%17.89), SVM (%15.31), NB-K (%12.15), RF (%11.47) ve kNN (%10.58) manidar sınıflama doğruluğu artışları elde edilmiştir (p<.05). kNN algoritmasının sınıflama doğruluğuna zarar veren maddelerden en az etkilenen algoritma olduğu belirlenmiştir.
Özet (Çeviri)
The aim of this study is to compare the classification accuracy of different text mining algorithms in the classification of foreign language proficiency examination items. In the study, previous test items from ÜDS English tests (N=42) held between 2006 and 2012 by ÖSYM were analysed. Natural and Applied Sciences (n=956), Health Sciences (n=956) and Social Sciences (n=956) test items (N=2868) were classified with k-Nearest Neighbours (kNN), Naïve Bayes (NB), Naïve Bayes-Kernel (NB-K), Random Forest (RF) and Support Vector Machines (SVM) algorithms. After the pre-processing step, domain specific and general word frequencies were obtained. Following the parameter optimizations, binomial and multiclass classifications of the items from three domains were executed. The binary classification accuracies were obtained as Natural and Applied Sciences vs. Health Sciences items, NB-K (90.60%), kNN (90.23%), RF (86.84%), SVM (86.84%) and NB (83.08%); Natural and Applied Sciences vs. Social Sciences items, kNN (89.10%), NB-K (88.35%), SVM (85.34%), RF (84.59%) and NB (78.20%); Health Sciences vs. Social Sciences items, SVM (92.48%), kNN (91.35%), RF (%89.10%), NB (87.22%) and NB-K (86.47%). The multiclass classification accuracy was obtained as kNN (84.96%), NB-K (83.96%), RF (80.45%), SVM (78.70%) and NB (71.93%). Binomial and multiclass classifications were repeated to determine the effects of the removal of the items, which were determined to be damaging the classification accuracy by expert opinion and cross-validation method, from the data set. Significant increase in classification accuracy in the binomial classifications, NB (X̄=9.83%), NB-K (X̄=9.12%), RF (X̄=8.82%), SVM (X̄=8.75%) and kNN (X̄=7.39%); in the multiclass classification, NB (17.89%), SVM (15.31%), NB-K (12.15%), RF (11.47%) and kNN (10.58%) was obtained (p<.05). kNN was determined to be the least affected from the items that damage the classification accuracy.
Benzer Tezler
- Ulusal alanda yapılan Türkçe yeterlik sınavlarının Yabancı Diller Öğretimi Ortak Çerçeve Metni'nde belirtilen dil yeterlikleri açısından incelenmesi
Examination of Turkish proficiency exams in the national area in terms of language qualifications stated in the Common Framework on Foreign Language Teaching
GÖKHAN HALDUN DEMİRDÖVEN
Doktora
Türkçe
2022
Eğitim ve ÖğretimSakarya ÜniversitesiTürkçe ve Sosyal Bilimler Eğitimi Ana Bilim Dalı
PROF. DR. ALPASLAN OKUR
- Cognitive diagnostic assessment of second language reading comprehension: Application of the log - linear cognitive diagnosis modeling to language testing
İkinci dilde okuduğunu anlama becerisinin bilişsel tanılayıcı değerlendirmesi: Log - lineer bilişsel tanılayıcı modelin dilde ölçme - değerlendirmeye uygulanması
TUĞBA ELİF TOPRAK
Doktora
İngilizce
2015
Eğitim ve ÖğretimGazi ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. ABDULVAHİT ÇAKIR
- An assessment of the validity of the standardized achievement test administered at Çanakkale Onsekiz Mart University
Çanakkale Onsekiz Mart Üniversitesi?nde uygulanan standart başarı testinin geçerliğinin değerlendirilmesi
ÇİĞDEM CESUR
Yüksek Lisans
İngilizce
2009
Eğitim ve ÖğretimÇanakkale Onsekiz Mart ÜniversitesiEğitim Bilimleri Bölümü
PROF. DR. DİNÇAY KÖKSAL
- Akdeniz Üniversitesi 2019 Yabancı Öğrenci Seçme Sınavının (YÖS) başarı puanları açısından değerlendirilmesi
Evaluation of Akdeniz University 2019 Foreign Student Selection Exam (YÖS) in terms of success points
ERHAN ÇATAL
Yüksek Lisans
Türkçe
2021
Eğitim ve ÖğretimAkdeniz ÜniversitesiEğitim Bilimleri Eğitimi Ana Bilim Dalı
DOÇ. DR. ALPER SİNAN