Bireyselleştirilmiş bilgisayarlı test uygulamalarında kullanılan madde seçme yöntemlerinin karşılaştırılması
Comparision of item selection methods in computerized adaptive testing
- Tez No: 344991
- Danışmanlar: DOÇ. DR. HÜLYA KELECİOĞLU
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2013
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 97
Özet
Bireyselleştirilmiş bilgisayarlı test uygulamalarının en önemli avantajı, cevaplayıcıların yetenek düzeyine uygun maddelerle karşılaşmasıdır. Bu avantajın sağlanması için testi alan kişilerin yeteneği hakkında en çok bilgi taşıyan maddelerin seçilmesi oldukça kritik bir öneme sahiptir. Bireyselleştirilmiş bilgisayarlı testte madde seçme yöntemi, testin nasıl başlayacağı, devam edeceği ve sonlanacağına hakim olan merkezi bir bileşendir. Bu araştırmada BBT uygulamalarında kullanılan madde seçme yöntemleri, yetenek kestirim yöntemleri ve test durdurma kurallarına göre karşılaştırmalı olarak incelenmiştir. Bu amaçla 250 maddelik bir madde havuzu, ortalaması 0 ve standart sapması 1 olacak şekilde 2000 kişi simülatif olarak oluşturulmuştur. BBT koşulları, madde seçme yöntemleri (Maksimum Fisher Bilgisi, a-tabakalama, Olabilirlik Ağırlıklı Bilgi Ölçütü, Aşamalı Maksimum Bilgi Oranı, Kullbak-Leibler Bilgisi), yetenek kestirim yöntemleri (En Çok Olabilirlik Tahmini, Beklenen Sonsal Dağılım), test durdurma kuralları (40 madde, SH0.2 ve SH0.4) olmak üzere toplam otuz koşuldan oluşturulmuştur. Elde edilen bulguların analizinde; sabit test uzunluğuna dayalı durdurma kuralında tahminin standart hatası, sabit standart hataya dayalı durdurma kuralında ise ortalama madde sayısı kullanılmıştır. Madde seçme yöntemlerinin madde kullanım sıklıkları da incelenmiştir. Sabit test uzunluğuna dayalı durdurma kuralına (40 madde) göre yapılan karşılaştırmalarda, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında elde edilen SH değerleri, Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında elde edilen SH değerlerinden daha yüksek bulunmuştur. En Çok Olabilirlik Tahmini yetenek kestirimi koşullarında, test uzunluğu n30 iken, a-tabakalama; n30 iken Kullbak-Leibler madde seçme yöntemi en yüksek SH değerini göstermiştir. Beklenen Sonsal Dağılım yetenek kestirimi koşullarında ise bütün test uzunluklarında en yüksek SH değeri a-tabakalama madde seçme yönteminden elde edilmiştir. Madde havuzu kullanımında ise en iyi sonuç a-tabakalama madde seçme yönteminden elde edilmiştir. Durdurma kuralının SH0.2 olduğu koşullarda, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında en düşük ve en yüksek madde sayısı ortalaması sırasıyla Aşamalı Maksimum Bilgi Oranı ve Maksimum Fisher Bilgisi madde seçme yönteminden; Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında ise, Kullbak-Leibler ve Olabilirlik Ağırlıklı Bilgi Ölçütü madde seçme yönteminden elde edilmiştir. Durdurma kuralının SH0.4 olduğu koşullarda, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında en düşük ve en yüksek madde sayısı ortalaması sırasıyla Maksimum Fisher Bilgisi ve Kullbak-Leibler madde seçme yönteminden; Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında ise Maksimum Fisher Bilgisi ve a-tabakalama madde seçme yönteminden elde edilmiştir. Durdurma kuralının SH0.2 ve SH0.4 olduğu koşullarda, bütün madde seçme yöntemlerinde, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında elde edilen ortalama madde sayısı, Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında elde edilen ortalama madde sayısından daha yüksek bulunmuştur. BBT uygulamalarında Beklenen Sonsal Dağılım yetenek kestiriminin test uzunluğunu kısalttığı sonucuna varılmıştır. Araştırmaya alınan bütün madde seçme yöntemlerinin; madde havuzu kullanımına ilişkin iyi bir denge göstermediği, yüksek a-parametresine sahip maddeleri daha çok kullandığı sonucuna varılmıştır.
Özet (Çeviri)
The advantage of computer adaptive tests (CAT) is that the test takers encounter items matched to an examinees? ability level selecting the most informative items based on test takers? abilities is so critical in order to provide this advantage. Item selection can be seen as a core component of CAT, because it dominates how the CAT starts, continues, and stops for an examinee. In this research, item selection methods were investigated in terms of test termination rule and ability estimation. For this aim, 250 items and 2000 people, who has mean of zero and standard deviation of 1, were created simulatively. Simulated CAT conditions were created based on item selection methods (Maksimum Fisher Information, a-stratification, Likelihood Weight Information Criterion, Gradual Maksimum Information Ratio, Kullbak-Leibler), abilitiy estimation methods (Maksimum Likelihood Estimation, Expected a Posteriori) and test termination rule (40 items, SE30, Kullbak-Leibler item selection method had the highest SE value. On the other hand, during Expected a Posteriori ability estimation conditions for all test lengths the highest SE value was obtained by a-tabakalama item selection method. According to the results that compare item pool utilization; the most accurate results were gathered by a-stratification item selection method. It is found that when termination rule was SE< 0.2 and Maksimum Likelihood Estimation was utilized as ability estimation method, the lowest and the highest item averages were for Gradual Maksimum Information Ratio and Maksimum Fisher Information item selection methods; on the other hand, when Expected a Posteriori was utilzied, they were Kullbak-Leibler and Likelihood Weight Information Criterion item selection methods. Under the conditions where termination rule was SE< 0.4 and Maksimum Likelihood Estimation was used as ability estiomation method, Maksimum Fisher Information had the highest and Kullbak-Leibler had the lowest item number mean; when Expected a Posteriori was utilized Maksimum Fisher Information and a-tabakalama methods had the highest and the lowest means. Overall, it was found that when termination rule was SE< 0.2 and SE < 0.4 and by all item selection methods, item number average is higher for Maksimum Likelihood Estimation in comparision to Expected a Posteriori ability estimation. It was found that Expected a Posteriori ability estimation had an impact on shortining the test length. According to the results items that had higher a-parameters were used more during simulation process that means the item selection methods were not balanced for item pool.
Benzer Tezler
- Çok boyutlu test deseninin ve kalibrasyon yöntemlerinin çok boyutlu bireyselleştirilmiş bilgisayar uygulamalarına etkisi
The effect of multidimensional test design structure and calibration strategies in multidimensional computer adaptive testing
EREN HALİL ÖZBERK
Doktora
Türkçe
2016
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında madde kullanım sıklığı kontrol yöntemlerinin incelenmesi
Investigation of item exposure control methods in computerized adaptive testing
NAGİHAN BOZTUNÇ ÖZTÜRK
Doktora
Türkçe
2014
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. NURİ DOĞAN
- Çok kategorili bireyselleştirilmiş bilgisayarlı test uygulamalarının farklı madde seçim yöntemlerinde sonlandırma kuralları açısından incelenmesi
Investigation of different item selection methods in terms of stopping rules in polytomous computerized adaptive testing
SÜLEYMAN DEMİR
Doktora
Türkçe
2018
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DERYA ÇOBANOĞLU AKTAN
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması
Comparison of different test termination rules in terms of measurement precision and test length in computerized adaptive testing
MELEK GÜLŞAH EROĞLU
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU
- Bilgisayar temelli bireyselleştirilmiş test yaklaşımlarının Türkiye'deki merkezi dil sınavlarında uygulanabilirliğinin araştırılması
Investigation of applicability of computer-based adaptive testing approaches to central language exams in Turkey
ERCAN ÇOBAN
Doktora
Türkçe
2020
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. CELAL DEHA DOĞAN