Geri Dön

Açık uçlu maddelerin otomatik puanlanmasında doğal dil işleme yönteminden yararlanılarak makine öğrenmesi algoritmalarının karşılaştırılması

Comparison of machine learning algorithms utilizing natural language processing in the automatic scoring of open-ended items

PDF İndir

  1. Tez No: 922236
  2. Yazar: KÜBRA YILMAZ
  3. Danışmanlar: PROF. DR. KAAN ZÜLFİKAR DENİZ
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Ankara Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 98

Özet

Bu tez çalışmasında makine öğrenmesi ve doğal dil işleme yöntemlerinden yararlanılarak Türkçe açık uçlu maddelerin otomatik puanlanmasında denetimli makine öğrenmesi modellerinden Naif Bayes (Naive Bayes-NB), Lojistik Regresyon (Logistic Regression-LR), Karar Ağacı (Decision Tree-DT), Rastgele Orman (Random Forest-RF), Gradyan Artırma (Gradient Boosting-GB) ile BERT (Bidirectional Encoder Representations from Transformers - Çift Yönlü Kodlayıcı Temsilleri Dönüştürücü) model karşılaştırılmıştır. Çalışma ABİDE (Akademik Becerilerin İzlenmesi ve Değerlendirilmesi) 2016 Türkçe açık uçlu maddeleri ve nihai puanlayıcılardan elde edilen puanlar üzerinde yürütülmüştür. Çalışmada 8.sınıf öğrencilerine ait cevaplar yer almaktadır. Çalışmanın makine öğrenmesi modelleri ile ilgili analizlerinde Python programlama dili ve Pycharm geliştirme ortamından yararlanılmıştır. BERT modeli için ise Google Colaboratory ortamı kullanılmıştır. Metin ön işleme adımlarında MintLemon Türkçe paketi, Pandas ve Scikit-Learn kütüphaneleri kullanılmıştır. Makine öğrenmesi ve BERT algoritmaları ile ayrı ayrı puanlama yapılmış ve makine insan uyumu Ağırlıklandırılmış Kappa (QWK) ile hesaplanmıştır. Buna göre en iyi uyumu BERT modelin sağladığı sonucuna ulaşılmıştır (0,72-0,93). Gradyan Artırma algoritmasının da BERT modele yakın değerler vererek oldukça iyi performans sergilediği görülmüştür (0,67-0,90). Naif Bayes ise tüm maddeler için en düşük performans sağlayan algoritma olmuştur (0,44-0,78).

Özet (Çeviri)

In this thesis, Naive Bayes (NB), Logistic Regression (LR), Decision Tree (DT), Random Forest (RF), Gradient Boosting (GB) and BERT (Bidirectional Encoder Representations from Transformers) models were compared for automatic scoring of Turkish open-ended items by using machine learning and natural language processing methods. The study was conducted on ABIDE (Monitoring and Evaluation of Academic Skills) 2016 Turkish open-ended items and scores obtained from final raters. The study includes the answers of 8th grade students. Python programming language and Pycharm development environment were used in the analyses related to machine learning models. Google Colaboratory environment was used for the BERT model. MintLemon Turkish package, Pandas and Scikit-Learn libraries were used in text preprocessing steps. Machine learning and BERT algorithms were scored separately and machine-human agreement was calculated using Weighted Kappa (QWK). Accordingly, it was concluded that the BERT model provided the best fit (0.72-0.93). The Gradient Boosting algorithm was also found to perform very well, giving values close to the BERT model (0.67-0.90). Naive Bayes was the lowest performing algorithm for all items (0.44-0.78).

Benzer Tezler

  1. Tez No

    546121

    Açık uçlu maddelerde otomatik puanlamanın güvenirliği ve test eşitleme hatalarına etkisi

    The reliability of automated essay scoring and its effect on test equating errors

    İBRAHİM UYSAL

    Doktora

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. NURİ DOĞAN

  2. Tez No

    677949

    Açık uçlu maddelerin puanlanmasında bulanık mantık yaklaşımının kullanımı: Bulanık TOPSIS yöntemi örneği

    Using a fuzzy logic approach to scoring open-ended questions: Example of the fuzzy TOPSIS method

    AYKUT ÇİTCİ

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Eğitim ve ÖğretimKocaeli Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ FATİH KEZER

  3. Tez No

    839567

    Açık uçlu maddelerin puanlanmasında öğrencilere verilen puanlayıcı eğitiminin puanlayıcı davranışlarına etkisinin Çok Yüzeyli Rasch Ölçme Modeli ile incelenmesi

    Investigation of the effect of rater training given to students on rater behavior in scoring open-ended items using the Multi-facet Rasch Measuring Model

    BURÇİN GÖRGÜLÜ ÖZTÜRK

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. İSMAİL KARAKAYA

  4. Tez No

    826066

    Açık uçlu ve çoktan seçmeli maddelerden oluşan madde takımlarının güvenirliğe etkisinin genellenebilirlik kuramı ile incelenmesi

    Investigation of the effect of testlets consisting of open-ended and multiple choice items on reliability via generalizability theory

    SERPİL KOCAOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. MELEK GÜLŞAH ŞAHİN

  5. Tez No

    708236

    Çok Yüzeyli Rasch Modeli puanlama desenlerine göre açık uçlu maddelerin puanlayıcılar arası güvenirliklerinin karşılaştırılması

    Comparison of inter-rater reliability of open-ended items according to Many Facet Rasch Model rating designs

    ZEYNEP GÖLCÜR

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. İSMAİL KARAKAYA

Geri Dön