Bilgisayar ortamında bireye uyarlanmış test uygulamalarında madde havuzu genişliğinin yetenek kestirimine etkisi
The effect of item bank size on ability estimation in computerized adaptive testing
- Tez No: 938836
- Danışmanlar: DOÇ. DR. FATİH KEZER
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: bilgisayar ortamında bireye uyarlanmış test (BOBUT), madde havuzu, yetenek kestirimi, Madde Tepki Kuramı (MTK), computerized adaptive tests (CAT), item bank, ability estimation, Item Response Theory (IRT)
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Kocaeli Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 91
Özet
Bu çalışmada, bilgisayar ortamında bireye uyarlanmış test uygulamalarında kestirilen yetenek düzeylerinin farklı madde havuzu genişliklerine göre karşılaştırılması amaçlanmıştır. Araştırma bir simülasyon çalışması olup, verileri SimulCAT programı üzerinden üretilmiştir. Araştırmanın amacı kapsamında 50, 100, 200, 500, 1000, 5000 ve 10000 maddeden oluşan yedi farklı madde havuzu oluşturulmuştur. Madde havuzlarına ait parametreler her havuz için aynı olup; a parametresi 0,5 ile 2,0 aralığında, b parametresi -3,0 ile 3,0 aralığında, c parametresi 0 ile 0,2 aralığında belirlenmiştir. İncelenen tüm durumlar için madde seçim yöntemi olarak Maksimum Fisher Bilgisi (MFI), yetenek kestirim yöntemi olarak da En Çok Olabilirlik (ML) seçilmiştir. Tüm durumlar için test uzunluğu değişken olarak belirlenmiş, sonlandırma kuralı için standart hatanın 0,50'nin altına düşmesi dikkate alınmıştır. Araştırma sonucunda, 50 maddelik havuz haricindeki tüm madde havuzlarının yetenek kestirimi için ihtiyaç duyduğu test uzunluğunun 7-8 madde arasında olduğu, 50 maddelik havuzun ise yalnızca incelenen en düşük yetenek aralığında yetenek kestiriminde zorlandığı ancak geriye kalan tüm yetenek aralıklarında diğer havuzlar gibi ortalama 7-8 maddede yetenek kestirimini sağlayabildiği bulgusuna ulaşılmıştır. Yetenek kestirimine ilişkin BIAS değerleri incelendiğinde tüm madde havuzlarının yanlılık değerlerinin sıfıra yakın olduğu gözlenmiştir. Tüm havuzlara ait RMSE değerleri incelendiğinde, madde havuzu genişledikçe RMSE değerinin küçüldüğü görülmüştür; yalnızca son iki havuz arasında bu bulguya zıt şekilde 5000 maddelik havuzun RMSE değeri 10000 maddelik havuzun RMSE değerinden daha küçük bulunmuştur. Yetenek kestirimlerine ait RMSE değerlerinin madde havuzu genişliğine göre farklılaşması varyans analizi ile incelenmiş ve havuzlar arası gözlenen farkların istatistiksel olarak anlamlı olduğu görülmüştür. Sonuç olarak, madde havuzu oluşturulurken tüm yetenek düzeylerine hitap edecek şekilde bir madde havuzu hazırlanabildiği durumda, küçük madde havuzlarının da büyük madde havuzları ile benzer kesinlikte yetenek kestirimi sağlayabildiği bulgusuna ulaşılmıştır.
Özet (Çeviri)
The purpose of this study is to compare the ability levels estimated in computerized adaptive test applications for different size of item banks. The research is a simulation study and the data was generated using the SimulCAT program. For the purpose of the study, seven different item banks consisting of 50, 100, 200, 500, 1000, 5000, and 10000 items were generated. The parameters of the item banks are the same for each bank; parameter a is between 0,5 and 2,0, parameter b is between -3,0 and 3,0, and parameter c is between 0 and 0,2. For all conditions examined, Maximum Fisher Information (MFI) was chosen as the item selection method and Maximum Likelihood (ML) was chosen as the ability estimation method. Test length was set as variable for all conditions, and standard error below 0,50 was taken into account for the test termination rule. As as result of this study, it was found that the test length remained in the range of 7-8 items in all item banks except the 50-item bank, and the 50-item bank had difficulty in ability estimation only in the lowest ability range examined, but in all other ability ranges, it was able to provide ability estimation in 7-8 items on average like the other banks. When the BIAS values of all item banks were analyzed, it was observed that the bias values of all banks were close to zero. Examining the RMSE values of all item banks, it was observed that the RMSE value decreased as the item bank increased in size; only between the last two banks, in contrast to this finding, the RMSE value of the 5000-item bank was found to be smaller than the RMSE value of the 10000-item bank. The differences in the RMSE values of ability estimations according to the item bank size were analyzed by analysis of variance and the differences observed between the banks were statistically significant. In conclusion, it was found that when an item bank can be prepared to target all ability levels, small item banks can provide ability estimations with similar precision as large item banks.
Benzer Tezler
- Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi
Investigation of maximum fisher item selection method on computerized adaptive testing
MEVRA KAÇAR
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimNecmettin Erbakan Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. SEMA SULAK
- Bireye uyarlanmış testlerde madde kullanım sıklığı kontrol yöntemlerinin farklı koşullarda ölçme duyarlılığına ve test güvenliğine etkisi
The effect of item exposure control methods on measurement precision and test security within different conditions in adaptive testing
RECEP GÜR
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
- Bobut uygulamalarında farklı koşullardan elde edilen ölçme kesinliği kestirim değerlerinin karşılaştırılması
Comparison of measurement precision values obtained from different conditions in computerized adaptive testing
MELİKE ÖZER TAYMUR
Doktora
Türkçe
2023
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. DUYGU ANIL
- Farklı yetenek kestirim yöntemleriyle bilgisayar ortamında bireye uyarlanmış testlerin çeşitli koşullara göre incelenmesi
Examining computerized adaptive testing under various conditions using different ability estimation methods
İBRAHİM HAKKI TEZCİ
Doktora
Türkçe
2025
Eğitim ve ÖğretimAkdeniz ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. BAYRAM BIÇAK
- Bilişsel tanıya dayalı bilgisayar ortamında bireye uyarlanmış testlerde madde seçim yöntemlerinin incelenmesi
Investigating item selection methods in cognitive diagnosis computerized adaptive testing
SEMİH AŞİRET
Doktora
Türkçe
2019
Eğitim ve ÖğretimMersin ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEÇİL ÖMÜR SÜNBÜL