Geri Dön

Yabancı dil yeterlik sınavı maddelerinin sınıflandırılmasında farklı metin madenciliği algoritmalarının sınıflama doğruluklarının karşılaştırması

A comparison of classification accuracy of different text mining algorithms in classification of foreign language proficiency exam items

PDF İndir

  1. Tez No: 803721
  2. Yazar: HÜSEYİN ATASEVEN
  3. Danışmanlar: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Ankara Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 155

Özet

Bu çalışmanın amacı yabancı dil yeterlik sınavı maddelerinin sınıflandırılmasında farklı metin madenciliği algoritmalarının sınıflama doğruluklarının karşılaştırılmasıdır. Bu çalışmada ÖSYM tarafından 2006 - 2012 yılları arasında gerçekleştirilmiş ÜDS İngilizce testlerine (N=42) ait maddeler incelenmiştir. Fen Bilimleri (n=956), Sağlık Bilimleri (n=956) ve Sosyal Bilimler (n=956) alanlarına ait test maddeleri (N=2868) k-En Yakın Komşu (kNN), Naïve Bayes (NB), Naïve Bayes-Kernel (NB-K), Rastgele Orman (RF) ve Destek Vektör Makineleri (SVM) algoritmaları ile sınıflandırılmıştır. Ön işleme adımlarından sonra, genel ve üç alan özelinde sözcük frekansları elde edilmiştir. Parametre optimizasyonlarının sonrasında, üç alana ilişkin maddelerin ikili ve çoklu sınıflandırılması gerçekleştirilmiştir. Fen Bilimleri ve Sağlık Bilimleri maddelerinin ikili sınıflandırma doğrulukları NB-K (%90.60), kNN (%90.23), RF (%86.84), SVM (%86.84) ve NB (%83.08); Fen Bilimleri ve Sosyal Bilimler maddelerinin ikili sınıflandırma doğrulukları kNN %89.10, NB-K (%88.35), SVM (%85.34), RF (%84.59) ve NB (%78.20); Sağlık Bilimleri ve Sosyal Bilimler maddelerinin ikili sınıflandırma doğrulukları SVM (%92.48), kNN (%91.35), RF (%89.10), NB (%87.22) ve NB-K (%86.47) olarak belirlenmiştir. Üçlü sınıflandırılma doğrulukları kNN (%84.96), NB-K (%83.96), RF (%80.45), SVM (%78.70) ve NB (%71.93) olarak belirlenmiştir. Uzman görüşü ve çapraz doğrulama yöntemi ile veri setinde sınıflama doğruluğuna zarar verdiği belirlenen maddelerin (n=325) veri setinden çıkarılmasının, sınıflama doğruluğuna etkilerini belirlemek için ikili ve çoklu sınıflandırmalar tekrarlanmıştır. İkili sınıflandırmalarda, NB (X̄=%9.83), NB-K (X̄=%9.12), RF (X̄=%8.82), SVM (X̄=%8.75) ve kNN (X̄=%7.39); çoklu sınıflandırmada NB (%17.89), SVM (%15.31), NB-K (%12.15), RF (%11.47) ve kNN (%10.58) manidar sınıflama doğruluğu artışları elde edilmiştir (p

Özet (Çeviri)

The aim of this study is to compare the classification accuracy of different text mining algorithms in the classification of foreign language proficiency examination items. In the study, previous test items from ÜDS English tests (N=42) held between 2006 and 2012 by ÖSYM were analysed. Natural and Applied Sciences (n=956), Health Sciences (n=956) and Social Sciences (n=956) test items (N=2868) were classified with k-Nearest Neighbours (kNN), Naïve Bayes (NB), Naïve Bayes-Kernel (NB-K), Random Forest (RF) and Support Vector Machines (SVM) algorithms. After the pre-processing step, domain specific and general word frequencies were obtained. Following the parameter optimizations, binomial and multiclass classifications of the items from three domains were executed. The binary classification accuracies were obtained as Natural and Applied Sciences vs. Health Sciences items, NB-K (90.60%), kNN (90.23%), RF (86.84%), SVM (86.84%) and NB (83.08%); Natural and Applied Sciences vs. Social Sciences items, kNN (89.10%), NB-K (88.35%), SVM (85.34%), RF (84.59%) and NB (78.20%); Health Sciences vs. Social Sciences items, SVM (92.48%), kNN (91.35%), RF (%89.10%), NB (87.22%) and NB-K (86.47%). The multiclass classification accuracy was obtained as kNN (84.96%), NB-K (83.96%), RF (80.45%), SVM (78.70%) and NB (71.93%). Binomial and multiclass classifications were repeated to determine the effects of the removal of the items, which were determined to be damaging the classification accuracy by expert opinion and cross-validation method, from the data set. Significant increase in classification accuracy in the binomial classifications, NB (X̄=9.83%), NB-K (X̄=9.12%), RF (X̄=8.82%), SVM (X̄=8.75%) and kNN (X̄=7.39%); in the multiclass classification, NB (17.89%), SVM (15.31%), NB-K (12.15%), RF (11.47%) and kNN (10.58%) was obtained (p

Benzer Tezler

  1. Tez No

    419424

    Cognitive diagnostic assessment of second language reading comprehension: Application of the log - linear cognitive diagnosis modeling to language testing

    İkinci dilde okuduğunu anlama becerisinin bilişsel tanılayıcı değerlendirmesi: Log - lineer bilişsel tanılayıcı modelin dilde ölçme - değerlendirmeye uygulanması

    TUĞBA ELİF TOPRAK

    Doktora

    İngilizce

    İngilizce

    2015

    Eğitim ve ÖğretimGazi Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. ABDULVAHİT ÇAKIR

  2. Tez No

    249197

    An assessment of the validity of the standardized achievement test administered at Çanakkale Onsekiz Mart University

    Çanakkale Onsekiz Mart Üniversitesi?nde uygulanan standart başarı testinin geçerliğinin değerlendirilmesi

    ÇİĞDEM CESUR

    Yüksek Lisans

    İngilizce

    İngilizce

    2009

    Eğitim ve ÖğretimÇanakkale Onsekiz Mart Üniversitesi

    Eğitim Bilimleri Bölümü

    PROF. DR. DİNÇAY KÖKSAL

  3. Tez No

    665037

    Akdeniz Üniversitesi 2019 Yabancı Öğrenci Seçme Sınavının (YÖS) başarı puanları açısından değerlendirilmesi

    Evaluation of Akdeniz University 2019 Foreign Student Selection Exam (YÖS) in terms of success points

    ERHAN ÇATAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Eğitim ve ÖğretimAkdeniz Üniversitesi

    Eğitim Bilimleri Eğitimi Ana Bilim Dalı

    DOÇ. DR. ALPER SİNAN

  4. Tez No

    903427

    Rusça Yabancı Dil Bilgisi Seviye Tespit Sınavlarında (YDS) güvenirlik ve geçerliğin İncelenmesi

    Reliability and comprehensive Examinations in Turkish Foreign Language Proficiency Tests (YDS)

    HÜLYA ATEŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Batı Dilleri ve EdebiyatıAnkara Hacı Bayram Veli Üniversitesi

    Rus Dili ve Edebiyatı Ana Bilim Dalı

    PROF. DR. ZEYNEP BAĞLAN ÖZER

  5. Tez No

    512575

    Validating aspects of a reading test

    Bir okuma sınavının bazı yönlerden geçerlemesi

    ZEYNEP AKŞİT

    Doktora

    İngilizce

    İngilizce

    2018

    Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    DOÇ. DR. ÇİLER HATİPOĞLU

Geri Dön