Bireyselleştirilmiş bilgisayarlı sınıflama testi kriterlerinin sınıflama doğruluğu ve test uzunluğu açısından karşılaştırılması
Comparison of computerized adaptive classification test criteria in terms of classification accuracy and test length
- Tez No: 483376
- Danışmanlar: PROF. DR. NURİ DOĞAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 124
Özet
Bireyselleştirilmiş Bilgisayarlı Sınıflama Testleri (BBST) bireyi, önceden belirlenen bir ya da birden fazla sayıda kesme noktasına göre en az sayıda maddeyle en yüksek sınıflama doğruluğunda sınıflamayı amaçlar. Bu sınıflamaların etkililiği, madde havuzlarına, sınıflama kriterlerine, madde seçme ve yetenek kestirim yöntemlerine göre değişkenlik göstermektedir. Buna göre BBST'de farklı desenlerin oluşturulması ve bu desenlerin Monte Carlo (MC) ve Post Hoc (PH) simülasyonlar altında incelenmesi gerçek uygulamalar için önem arz etmektedir. Bu çalışmada BBST'de farklı sınıflama kriterleri, yetenek kestirim ve madde seçme yöntemleri hem MC hem de PH simülasyonları altında, sınıflama doğruluğu, test uzunluğu ve ölçme kesinliği bakımından karşılaştırılmıştır. Araştırmada sınıflama kriterlerinden Ardışık Olasılık Oran Testi (AOOT), Genelleştirilmiş Olabilirlik Oranı (GOO) ve Güven Aralığı (GA) yöntemleri; yetenek kestirim yöntemlerinden Beklenen Sonsal Dağılım (BSD) ve Ağırlıklandırılmış Olabilirlik Kestirimi (AOK) yöntemleri; madde seçme yöntemlerinden ise kesme noktasında (KN) ve kestirilen yetenek (KY) temelinde Maksimum Fisher Bilgisi (MFB) ve Kullback-Leibler Bilgisi (KLB) yöntemleri incelenmiştir. Bu amaçla MC simülasyonu için 3 PLM temel alınarak kesme noktası 1,0 ve etrafında yüksek bilgi verecek şekilde 500 maddelik bir havuz oluşturulmuş; PH simülasyonu için ise 80 maddelik gerçek veri setinden yararlanılmıştır. MC simülasyonunda birey yetenekleri normal dağılım yardımıyla (N(0,1)) toplam 3000 kişi üzerinden türetilmiştir. PH simülasyonunda ise veri setindeki 994 bireyin yetenek düzeyleri 3 PLM temelinde BSD ile kestirilmiştir. MC simülasyonunda bireylerin madde cevap örüntüleri R yazılımda rasgele türetilmiş; PH simülasyonda ise herhangi bir manüpülasyon olmaksızın gerçek madde cevap örüntüsü kullanılmıştır. Çalışmada PH ve MC simülasyonları için toplam 96 koşul incelenmiştir. BBST simülasyonu sonunda, ortalama test uzunluğu (OTU), ortalama sınıflama doğruluğu (OSD), bireylerin gerçek yetenek düzeyleriyle vii kestirilen yetenek düzeyleri arasındaki korelasyon (r), yanlılık, RMSE ve ortalama mutlak hata (OMH) değerlerinin 25 tekrara ait ortalamaları hesaplanmıştır. Araştırma sonuçlarına göre hem MC hem de PH simülasyon çalışmasında test etkililiği bakımından GOO ve GA yöntemlerinin AOOT'ye kıyasla daha iyi performans gösterdiği; AOOT'nin yanlılık, RMSE ve OMH bakımından diğer iki yönteme kıyasla daha başarılı çalıştığı; sınıflama kriterlerinin farksızlık bölgesi genişledikçe veya hata düzeyi değeri küçüldükçe OTU'nun azaldığı ve test etkililiğinin arttığı görülmüştür. Bununla birlikte sınıflama kriterlerinin tümünün her koşulda oldukça yüksek düzeyde sınıflama doğruluğuna sahip oldukları; gerçek ve kestirilen yetenekler arasındaki korelasyonlar bakımından BSD ve AOK yetenek kestirim yöntemlerinin her ikisinin de başarılı kestirimlerde bulundukları ancak yanlılık, RMSE ve OMH bakımından BSD'nin AOK'tan göreli olarak daha iyi performans sergilediği belirlenmiştir. İncelenen madde seçme yöntemlerinin ise tümünün birbirine benzer çalıştığı; ancak MFB-KY'nin tüm bağımlı değişkenler açısından tüm koşullarda daha iyi performans gösterdiği görülmüştür.
Özet (Çeviri)
Computerized Adaptive Classification Testing (CACT) aims to classify the persons with the highest classification accuracy using the least number of items according to one or more predefined cut-points. The efficiency of these classifications varies by item pools, classification criteria, item selection methods and ability estimation methods. According to this, in the CACT, forming of different patterns and identification of these patterns under Monte Carlo (MC) and Post Hoc (PH) simulations are important for real applications. In this study, different classification criteria, various methods for item selection and ability estimation in the CACT, are compared using classification accuracy, test length and precision of measurement under the simulations of both MC and PH. In our research, as classification criteria, Sequential Probability Ratio Test (SPRT), Generalized Likelihood Ratio (GLR) and Confidence Interval (CI) methods; as ability estimation methods, Expected a Posteriori (EAP) and Weighted Likelihood Estimation (WLE) methods; and as item selection methods, Maximum Fisher Information (MFI) and Kullback-Leibler Information (KLI) methods on the basis of cut-point (CP) and estimated ability (EA) have been examined. For this aim, for the MC simulation, a pool of 500 items, which is based on 3 PLM and informs at the cut-point (theta=1,0) and around, has been generated; for the PH simulation, a real data set including 80 items has been used. In the MC simulation, individual abilities have been generated using normal distribution (N(0,1)) for 3000 individuals. In the PH simulation, the ability level of the 994 individuals in the data set have been estimated by EAP on the basis of 3 PLM. The item response patterns have been generated randomly in R software in the MC simulation, whereas, the real item response pattern has been used without any manipulation in PH simulation. In our study, 96 conditions have been investigated for the MC and the PH simulations. At the end of the CACT simulations, the mean values of Average Test Length (ATL), Average Classification Accuracy (ACA), correlation ix between the real thetas and estimated thetas (r), bias, Root Mean Square Error (RMSE) and Mean Absolute Error (MAE) for 25 replications have been calculated. According to results of the study, it has been observed in both the MC and the PH simulation results that the GLR and the CI classification criteria perform better compared to the SPRT in terms of test efficiency, however the SPRT works better compared to the other two methods in terms of bias, RMSE and MAE. It has also been deduced that the ATL decreases and test efficiency increases as the indifference region of classification criteria expands or the error value decreases. In addition, it has been concluded that all classification criteria have considerably high level of the classification accuracy in all conditions; and both ability estimation methods, the EAP and the WLE, have successful estimation results in terms of the correlation between real and estimated thetas (r); wheras the EAP relatively performs better than the WLE in terms of the bias, RMSE and MAE. It has also been observed that, all of the item selection methods work similarly to each other however the MFI-EA performs better for all conditions in terms of all dependent variables.
Benzer Tezler
- Bireyselleştirilmiş bilgisayarlı sınıflama testlerinde sınıflama doğruluğunun incelenmesi
Investigation of classification accuracy at computerized adaptive classification tests
SEDA DEMİR
Doktora
Türkçe
2019
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. BURCU ATAR
- Bilgisayar temelli bireyselleştirilmiş test yaklaşımlarının Türkiye'deki merkezi dil sınavlarında uygulanabilirliğinin araştırılması
Investigation of applicability of computer-based adaptive testing approaches to central language exams in Turkey
ERCAN ÇOBAN
Doktora
Türkçe
2020
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. CELAL DEHA DOĞAN
- Minnesota çok yönlü kişilik envanteri için makine öğrenmesi temelli bireyselleştirilmiş bilgisayarlı test uygulamasının geliştirilmesi
Development of machine learning based computerized adaptive testing application for Minnesota multiphasic personality inventory
ŞEYMA ERBAY MERMER
Doktora
Türkçe
2022
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
DR. ÖĞR. ÜYESİ ULAŞ VURAL
- İngilizce seviye belirleme sınav sonuçları üzerinde bilgisayarda bireyselleştirilmiş sınıflama testi yaklaşımının uygulanması
Application of computerized adaptive classification test approach on English placement test results
DEMET ALKAN
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Meslek lisesi öğrencilerinin meslekî yazılım kullanım eğilimlerinin ve tercihlerinin incelenmesi
The research of vocational technical high school student?s attitude to use and choose the professional software
TAYYAR MURAT AKICI
Yüksek Lisans
Türkçe
2010
Eğitim ve ÖğretimMarmara ÜniversitesiElektrik Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. ADNAN KAKİLLİ