Bireye uyarlanmış testlerde madde kullanım sıklığı kontrol yöntemlerinin farklı koşullarda ölçme duyarlılığına ve test güvenliğine etkisi
The effect of item exposure control methods on measurement precision and test security within different conditions in adaptive testing
- Tez No: 481745
- Danışmanlar: YRD. DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Bilgisayar Ortamında Bireye Uyarlanmış Test, Madde Kullanım Sıklığı Kontrol Yöntemi, Sympson Hetter yöntemi, Aşamalı Düşürme Stratejisi, Computerized Adaptive Test, Item Exposure Control Method, Sympson Hetter Method, Fade Away Method
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 114
Özet
Bu çalışmada, bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulamalarında iki kategorili (1-0) puanlanan maddelerde madde kullanım sıklığı kontrol yöntemlerinin farklı ölçme koşullarında (farklı yetenek dağılımlarında, test uzunluklarında ve örneklem büyüklüklerinde) ölçme duyarlılığına ve test güvenliğine etkisinin incelenmesi amaçlanmıştır. Monte Carlo simülasyon çalışması olan bu araştırma, kuramsal bir araştırma olup çalışma kapsamında kısa test 25 madde, uzun test 50 madde; küçük örneklem 250 birey, geniş örneklem 1000 birey olarak belirlenmiştir. Testi alan bireylerin yetenek parametreleri, her bir örneklem büyüklüğü koşulu için (θ) değeri -3 ve +3 aralığında sırasıyla sağa çarpık, normal, tek biçimli ve sola çarpık dağılım gösterecek şekilde BOBUT örneklemleri oluşturulmuştur. Araştırmada kullanım sıklığının kontrol edilmediği durum referans olarak alınmış ve madde kullanım sıklığı kontrol yöntemlerinden Sympson Hetter stratejisi ve Aşamalı Düşürme yöntemi tercih edilmiştir. Araştırma kapsamında yer alan değişkenler ve koşullar çaprazlandığında 48 simülasyon koşulu belirlenmiş ve her bir koşulda 100 tekrar yapılarak 4800 veri dosyası oluşturulmuştur. Her bir koşul için ölçme duyarlılığı ve test güvenliği indeksleri hesaplanıp birbirleriyle karşılaştırılmıştır. Yapılan analizler sonucunda, farklı madde kullanım sıklığı kontrolü koşullarında ölçme duyarlılıkları arasında genel olarak büyük farklılık bulunmamıştır. İlgili koşullarda madde kullanım sıklığı kontrol yöntemlerinden Aşamalı Düşürme yöntemi seçildiğinde, test güvenliği daha iyi sağlanarak madde kullanım sıklığı dengeli dağılım gösterdiğinden madde havuzu kullanımının daha verimli hale geldiği ve madde havuzu ifşâ olmadan birçok uygulama için süreklilik sağlayabildiği saptanmıştır. Bu doğrultuda, BOBUT uygulamalarında farklı ölçme koşullarında, madde kullanım sıklığı kontrol yöntemlerinden BOBUT uygulamasından önce, tekrarlı simülasyonlarla kullanım sıklığı kontrol parametrelerinin belirlendiği, BOBUT uygulamalarında en yaygın kullanılan Sympson Hetter stratejisi yerine, BOBUT uygulanma sürecinde kullanım sıklığı kontrol parametrelerinin eş zamanlı olarak belirlendiği Aşamalı Düşürme yöntemi seçildiğinde, ölçme duyarlılığını düşürmeden madde havuzunu daha dengeli kullanarak test güvenliğinin daha iyi sağlandığı sonucuna ulaşılmıştır.
Özet (Çeviri)
In this research, it was aimed to investigate the effect of item exposure control methods on measurement precision and test security for dichotomous items within different conditions (different ability distributions, test lengths, sample sizes) in computerized adaptive testing applications. Current research which is designed as a Monte Carlo simulation research is a theoretical research. Within the scope of the research, short test was designed to have 25 items while long test was designed to have 50 items. In addition to this, small sample was simulated to have 250 observations whereas large sample was simulated to have 1000 observations. Regarding the test-takers' ability parameters, computerized adaptive testing samples which have normal, right-skewed, left-skewed and uniform distribution for each sample size condition in which ability parameters were within -3 and +3 range were generated. The condition in which item exposure wasn't controlled for was taken as the reference condition and Sympson Hetter and Fade Away methods were compared with the reference condition. When the variables and conditions within the research were crossed, 48 simulation conditions were established and 4800 data files were generated by doing 100 replications for each condition. Measurement precision and test security indices computed for each condition were compared to one another. The analyses conducted indicate that measurement precision indices corresponding to different item exposure control conditions didn't create substantial differences. It was found out that when Fade Away method was used, item exposure was distributed in a balanced way and higher test security was obtained. As a consequence of this, it was concluded that item pool got more effective and sustainable without revelation (disclosure) of the items. Accordingly, it was discovered that in computerized adaptive testing applications in different conditions, instead of Sympson Hetter method which is frequently used before computerized adaptive testing applications and in which item exposure control parameters are estimated by iterative simulations, the use of Fade Away method which ensures the item exposure control parameters to be estimated simultaneously resulted in higher test security without reducing the measurement precision.
Benzer Tezler
- Açıklayıcı madde tepki modellerinin bilgisayar ortamında bireye uyarlanmış testlerde kullanımı
Use of explanatory item response models in computer adaptive tests
OSMAN TAT
Doktora
Türkçe
2019
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Karar ağacı algoritmasının bilişsel tanı modellerine dayalı bilgisayarda bireyselleştirilmiş testlerde kullanımı
The use of decision tree algorithm in computerized adaptive tests based on cognitive diagnostic models
HÜSEYİN YILDIZ
Doktora
Türkçe
2024
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU
- Bilinçli farkındalık temelli nefes metodunun algılanan stres, tükürük kortizol düzeyi ve alkol aşermesi üzerindeki etkisi
The effect of mindfulness-based breathing method on perceived stress, salivary cortisol levels and alcohol craving
GÜNEŞ SCHARECK
Doktora
Türkçe
2023
Uyuşturucu Alışkanlığı ve AlkolizmEge ÜniversitesiMadde Bağımlılığı Ana Bilim Dalı
PROF. DR. HAKAN COŞKUNOL
- Nöropsikiyatrik ilaç kullanımında yeni nesil dizileme yöntemi ile tanı paneli geliştirilmesi
The development of pharmacogenetics diagnostic panels with next generation sequencing methods in neuropsychatric drug use
NİGAR DUYGU TORLAK
Yüksek Lisans
Türkçe
2018
BiyoteknolojiBezm-i Alem Vakıf ÜniversitesiBiyoteknoloji Ana Bilim Dalı
DOÇ. FAHRİ AKBAŞ
- Distraksiyon osteogenezi yöntemi ile uygulanan hızlı kanin distalizasyonu tekniğinin dentofasiyal yapılar üzerindeki etkilerinin incelenmesi
Effects of rapid canine retraction on dentofacial structures by using distraction osteogenesis
GÖKMEN KURT