Bireyselleştirilmiş bilgisayarlı test uygulamalarında madde kullanım sıklığı kontrol yöntemlerinin incelenmesi
Investigation of item exposure control methods in computerized adaptive testing
- Tez No: 363208
- Danışmanlar: DOÇ. DR. NURİ DOĞAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Bireyselleştirilmiş bilgisayarlı test, madde kullanım sıklığı kontrol yöntemleri, bilgi koşullu tesadüfi yöntem, Sympson-Hetter yöntemi, azalarak kaybolma yöntemi, ölçme kesinliği, test güvenliği, Computerized adaptive testing, item exposure control methods, randomesque method, Sympson-Hetter method, fade away method, precision of measurement, test security
- Yıl: 2014
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 126
Özet
Bireyselleştirilmiş bilgisayarlı test (BBT) uygulamalarının gün geçtikçe daha fazla tercih edilmesiyle birlikte testlerin geçerliğini tehlikeye düşürebilecek bazı sorunların da beraberinde geldiği görülmektedir. Uygulamalarda madde havuzunun çarpık kullanılması, sık kullanılan maddelerin kişiler tarafından hatırlanabilmesi, madde havuzu kullanımı sürekliliğinin sağlanamaması gibi durumların meydana gelmesi BBT sürecine yeni bir bileşenin eklenmesine sebep olmuştur. Bu nedenle test güvenliğini sağlayabilmek ve madde havuzunun kullanımını daha verimli hale getirebilmek için madde kullanım sıklığı kontrol yöntemleri geliştirilmiştir. Bu araştırmada da, çeşitli madde kullanım sıklığı kontrol yöntemlerinin, madde seçme yöntemi ve madde havuzu özelliklerine göre ölçme kesinliğine ve test güvenliğine olan etkisinin incelenmesi amaçlanmaktadır. Araştırmada madde kullanım sıklığı kontrol yöntemleri olarak Bilgi Koşullu Tesadüfi (5 ve 10 madde), Sympson-Hetter ve Azalarak Kaybolma yöntemleri kullanılmıştır. Ayrıca madde kullanım sıklığı kontrolünün yapılmadığı koşul da referans oluşturması için araştırmaya dahil edilmiştir. Madde seçme yöntemlerinden ise Fisher'in En Çok Bilgi, a-Tabakalama ve Aşamalı En Çok Bilgi Oranı yöntemleri kullanılmıştır. Simülasyon çalışması olarak yürütülen bu araştırmada 1000 bireye ait yetenek parametreleri ortalaması 0, standart sapması 1 olan normal dağılımdan elde edilmiştir. Madde havuzları oluşturulurken; her iki madde havuzunda da a parametresi [0.50;2.00], c parametresi [0.05;0.20] aralığında tek biçimli dağılıma sahip olacak şekilde türetilmiştir. b parametresi ise orta güçlükteki madde havuzunda [-3.00;+3.00] aralığında tek biçimli dağılımdan, yüksek güçlükteki madde havuzunda ise ortalaması 2, standart sapması 1.5 olan normal dağılımdan türetilmiştir. İlk madde seçiminde bireylerin yetenek düzeyleri sıfır olarak tanımlanmış, yetenek kestiriminde ise Beklenen Sonsal Dağılım kestirim yöntemi kullanılmıştır. Sonlandırma kuralı olarak sabit test uzunluğu seçilmiş ve bu uzunluk 25 olarak belirlenmiştir. BBT uygulaması bir günde 1000 kişinin uygulamaya katılması şeklinde simüle edilmiştir. Ölçme kesinliği için uyum katsayısı, RMSE, yanlılık ve ortalama mutlak fark değerleri hesaplanırken; test güvenliği için madde kullanım sıklığı oranlarının dağılımı ve oranların ortalaması, standart sapması, en yüksek madde kullanım sıklığı oranı, ölçeklenmiş ki-kare istatistiği, F oranı ve test çakışması hesaplanmıştır. Fisher'in En Çok Bilgi ve Aşamalı En Çok Bilgi Oranı madde seçme yöntemlerinin kullanıldığı koşullarda madde havuzu kullanımı açısından iki yöntem yakın sonuçlar vermiştir. a-Tabakalama yöntemi ise, madde kullanım sıklığının kontrol edilmediği durumda bile madde havuzu kullanımını dengelemiş ve en çok madde kullanım sıklığı oranını, 𝜒2 ve test çakışma oranını azaltmıştır. a-Tabakalama madde seçme yöntemi ve Azalarak Kaybolma madde kullanım sıklığı kontrol yöntemlerinin beraber kullanıldığı durumlarda madde havuzunun kullanımındaki çarpıklık ve test çakışması diğer koşullara göre daha düşük olmuştur. Araştırmanın sonuçlarına göre, madde kullanım sıklığı kontrol yöntemleri kullanıldığında ölçme kesinliğini belirlemede kullanılan göstergelere ait değerlerde büyük farkların bulunmadığı tespit edilmiştir. Test güvenliğine bakıldığında ise genel olarak Azalarak Kaybolma madde kullanım sıklığı kontrol yönteminin, madde havuzunun kullanımındaki çarpıklığın ve test çakışmasının azaltılması açısından diğer yöntemlere göre daha iyi sonuçlar verdiği görülmüştür.
Özet (Çeviri)
It has been seen that some issues that could imperil the validity of the tests are arisen after the Computerized Adaptive Testing (CAT) administrations have been preferred recently. These issues such as skewness of the item pool utilization, the possibility of remembering the over-exposed items by examinees, not being able to progress the sustainability of item pool are caused to add new a component to CAT. Therefore item exposure control methods have been developed in order to ensure test security and to make the use of item pool more efficient. This study aims at investigating the various item exposure control methods in CAT under dichotomously IRT model by using different item pool characteristics and item selection methods in terms of measurement presicion and test security. The exposure control methods used in this study were the randomesque method ( with 5 and 10 items), the Sympson-Hetter method and the Fade Away method. Each of these methods were compared with no-exposure control condition. Maximum Fisher Information, a-Stratification and Gradual Maximum Information Ratio methods were used as item selection methods. This study was a simulation study. 1.000 simulees were generated from a standard normal N(0,1) distribution. a parameters were generated from a uniform distiribution with the range of [0.50;2.00] and c parameters were generated from a uniform distiribution with the range of [0.05;0.20] both medium and hard item pools. b parameters were generated from a uniform distiribution with the range of [-3.00;+3.00] for medium item pool, and from a standard normal N(2,1.5) distiribution for hard item pool. The initial theta estimate was assigned zero for each simulee and Expected A Posteriori was used for ability estimation. The fixed test length rule was adopted to terminate the CAT and the length of the test was fixed at 25 items. The simulation was designed as 1000 simulees attended CAT in one day. Fidelity, RMSE, bias and average absolute difference statistics were calculating for precision of measurement; moreover item exposure rates and these rates' means and standart deviations, maximum exposure rates, scaled chi-square statistic, F ratio and test overlap were also calculated for test security. When Maximum Fisher Information and Gradual Maximum Information Ratio item selection methods were used, the results of these two methods was close with regard to item pool utilization under all conditions. On the other hand, a-stratification method balanced utilization of items and also reduced maximum item exposure rate, 𝜒2 and test overlap statistics in case no item exposure methods were used. In case of using a-stratification as item selection method and fade away method as item exposure method together, this combined method had the lowest skewness of item pools utilization and test overlap compared to all other conditions. According to the results of this study, it has been verified that there was no difference in the value of indicators used to identify the precision of measurement when exposure control methods were utilized. Fade Away method as item exposure control method gave better results in regard to reducing the skewness of the item pool utilization and test overlap compared to others.
Benzer Tezler
- Bilgisayar temelli bireyselleştirilmiş test yaklaşımlarının Türkiye'deki merkezi dil sınavlarında uygulanabilirliğinin araştırılması
Investigation of applicability of computer-based adaptive testing approaches to central language exams in Turkey
ERCAN ÇOBAN
Doktora
Türkçe
2020
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. CELAL DEHA DOĞAN
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında kullanılan madde seçme yöntemlerinin karşılaştırılması
Comparision of item selection methods in computerized adaptive testing
SEMA SULAK
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. HÜLYA KELECİOĞLU
- Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi
Investigation of maximum fisher item selection method on computerized adaptive testing
MEVRA KAÇAR
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimNecmettin Erbakan Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. SEMA SULAK
- Gerçek ve üretilmiş veri setlerinde çok boyutlu bireyselleştirilmiş bilgisayarlı test uygulama sonuçlarının incelenmesi
Examining the results of multidimensional computerized adaptive testing applications in real and generated data sets
MURAT DOĞAN ŞAHİN
Doktora
Türkçe
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması
Comparison of different test termination rules in terms of measurement precision and test length in computerized adaptive testing
MELEK GÜLŞAH EROĞLU
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU