Bireyselleştirilmiş bilgisayarlı sınıflama testlerinde sınıflama doğruluğunun incelenmesi
Investigation of classification accuracy at computerized adaptive classification tests
- Tez No: 600532
- Danışmanlar: DOÇ. DR. BURCU ATAR
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: bireyselleştirilmiş bilgisayarlı sınıflama testi, içerik dengeleme, madde kullanım sıklığı kontrolü, sınıflama kriterleri, madde seçme yöntemleri, sınıflama kategori sayısı, computerized adaptive classification testing, content balancing, item exposure control, classification criteria, item selection methods, number of classification categories
- Yıl: 2019
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 139
Özet
Bu araştırmada, Bireyselleştirilmiş Bilgisayarlı Sınıflama Testlerinde (BBST) iki kategorili puanlanan maddelerden oluşan tek boyutlu madde havuzu üzerinden sınıflamanın iki, üç veya dört kategoride yapıldığı durumlarda, yetenek kestirim yöntemi Ağırlıklandırılmış Olabilirlik Kestirimi (AOK) olduğunda, ortalama test uzunluğu (OTU), ortalama sınıflama doğruluğu (OSD) ve ölçme kesinliğinin; Ardışık Olasılık Oran Testi (AOOT) ve Güven Aralığı (GA) sınıflama kriterleri ile Kestirilen Yetenek Temelinde Maksimum Fisher Bilgisi (MFB-KY) ve Kesim Noktası Temelinde Maksimum Fisher Bilgisi (MFB-KN) madde seçme yöntemlerine göre içerik dengeleme ve madde kullanım sıklığı kontrolü gibi pratik kısıtlamalar altında nasıl değiştiğinin incelenmesi amaçlanmıştır. Araştırmada içerik dengeleme yöntemlerinden Kısıtlanmış Bireyselleştirilmiş Bilgisayarlı Test (KBBT) ve Modifiye Edilmiş Multinominal Model (MMM), madde kullanım sıklığı kontrol yöntemlerinden ise Sympson-Hetter Yöntemi (SH) ve Madde Uygunluk Yöntemi (MU) incelenmiştir. Araştırma kapsamında, R yazılımı kullanılarak türetilen 500 madde ve 5000 bireyden oluşan veriye dayanan Monte Carlo (MC) simülasyonu için toplam 48 koşul oluşturulmuş ve elde edilen değerler her bir koşul için 30 tekrarın ortalaması alınarak hesaplanmıştır. Çalışma sonucunda, OTU bakımından GA'nın, OSD bakımından ise AOOT'nin daha başarılı performans gösterdiği; MFB-KY madde seçme yönteminin MFB-KN'den daha kullanışlı olduğu; korelasyon, yanlılık, RMSE ve Ortalama Mutlak Hata (OMH) değerleri bakımından AOOT'nin daha etkili olduğu görülmüştür. Bununla birlikte, istenen içerik dengesini sağlamada MMM yöntemi daha başarılıyken, test etkililiği (OTU ve OSD) bakımından KBBT'nin daha avantajlı olduğu; madde kullanım sıklığı kontrolünde ise MU yöntemi daha iyi performans gösterirken, test etkililiğinde SH'nin daha avantajlı olduğu belirlenmiştir. Artan kategori sayısının ise OTU'yu artırırken OSD'yi azalttığı; korelasyon, yanlılık, RMSE ve OMH değerlerinde iyileşme sağladığı görülmüştür.
Özet (Çeviri)
The aim of this study is to compare Sequential Probability Ratio Test (SPRT) and Confidence Interval (CI) classification criteria, Maximum Fisher Information method on the basis of estimated-ability (MFI-EB) and cut-point (MFI-CB) item selection methods while ability estimation method is Weighted Likelihood Estimation (WLE) in Computerized Adaptive Classification Testing (CACT), according to the average test length (ATL), average classification accuracy (ACA), and measurement precision under content balancing (Constrained Computerized Adaptive Testing: CCAT and Modified Multinomial Model: MMM) and item exposure control (Sympson-Hetter Method: SH and Item Eligibility Method: IE) when the classification is done based on two, three, or four categories for unidimensional pool of dichotomous items. 48 conditions are created in Monte Carlo (MC) simulation for the data, generated in R software, including 500 items and 5000 examinees, and the results are calculated over 30 replications. As a result of the study, it was observed that CI performs better in terms of ATL and SPRT performs better in ACA and correlation, bias, Root Mean Square Error (RMSE), and Mean Absolute Error (MAE) values, respectively; MFI-EB is more useful than MFI-KN. It was also seen that MMM is more successful in content balancing whereas CCAT is better in terms of test efficiency (ATL and ACA) and IE is superior in terms of item exposure control though SH is more beneficial in test efficiency. Besides, increasing the number of classification categories increases ATL but decreases ACA and it gives better results in terms of the correlation, bias, RMSE, and MAE values.
Benzer Tezler
- Minnesota çok yönlü kişilik envanteri için makine öğrenmesi temelli bireyselleştirilmiş bilgisayarlı test uygulamasının geliştirilmesi
Development of machine learning based computerized adaptive testing application for Minnesota multiphasic personality inventory
ŞEYMA ERBAY MERMER
Doktora
Türkçe
2022
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
DR. ÖĞR. ÜYESİ ULAŞ VURAL
- Bilgisayar temelli bireyselleştirilmiş test yaklaşımlarının Türkiye'deki merkezi dil sınavlarında uygulanabilirliğinin araştırılması
Investigation of applicability of computer-based adaptive testing approaches to central language exams in Turkey
ERCAN ÇOBAN
Doktora
Türkçe
2020
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. CELAL DEHA DOĞAN
- Bireyselleştirilmiş bilgisayarlı sınıflama testi kriterlerinin sınıflama doğruluğu ve test uzunluğu açısından karşılaştırılması
Comparison of computerized adaptive classification test criteria in terms of classification accuracy and test length
CEYLAN GÜNDEĞER
Doktora
Türkçe
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- İngilizce seviye belirleme sınav sonuçları üzerinde bilgisayarda bireyselleştirilmiş sınıflama testi yaklaşımının uygulanması
Application of computerized adaptive classification test approach on English placement test results
DEMET ALKAN
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Üstün yetenekli öğrencilere yazılım geliştirme süreçlerinin öğretilmesine yönelik bir öğretim programının tasarlanması ve geliştirilmesi
Design and development of an instructional program for teaching programming process to gifted students
HATİCE DURAK
Doktora
Türkçe
2016
Eğitim ve ÖğretimGazi ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
DOÇ. DR. TOLGA GÜYER