Kayıp verinin test eşitlemeye etkisinin incelenmesi
Investigating the effect of missing data on test equating
- Tez No: 470015
- Danışmanlar: PROF. DR. SELAHATTİN GELBAL
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 151
Özet
Bu araştırmada, kayıp verilerin test formları içerisindeki yeri, mekanizması, oranı ve başa çıkma yöntemlerine göre oluşturulan farklı koşullardaki testlerden elde edilen puanların, ortak test deseni kapsamında ve MTK'ya dayalı Stocking-Lord yöntemi kullanılarak eşitlenmesi sonucunda kestirilen madde ve yetenek parametrelerine ilişkin eşitleme hatası (RMSE) ve eşitleme yanlılığı (BIAS) değerlerini karşılaştırmak amaçlanmıştır. Bu amaç doğrultusunda, temelde kayıp veri probleminin test eşitleme üzerindeki etkilerini incelemek için üç aşamadan oluşan bir veri türetme süreci takip edilmiştir. İlk aşamada, eşitlenmesi planlanan her iki test formu için de 3PL modele uygun ikili puanlanan maddelerden oluşan tam veri setleri türetilmiştir. İkinci aşamada, test formları için birinci aşamada türetilen tam veri setleri üzerinde kullanılan veri silme algoritmaları ile üç farklı kayıp veri yeri (eşitlenecek test-ET, her iki test-HİT, ortak test-OT), üç farklı kayıp veri mekanizması (tamamen rastgele kayıp-TRK, rastgele kayıp-RK, rastgele olmayan kayıp-ROK) ve üç farklı kayıp veri oranına (%10, %20, %40) sahip kayıp verili veri setleri yaratılmıştır. Üçüncü ve son aşamada ise, kayıp verili maddelerin bulunduğu veri setleri üzerinde dört farklı başa çıkma yönteminin (uygulanmamış gibi davranma-UGD, yanlış yanıtlanmış gibi davranma-YYGD, lojistik regresyona dayalı çoklu değer atama-LRÇDA, diskriminant fonksiyonuna dayalı çoklu değer atama-DFÇDA) kullanılması ile kayıp veri sorunu çözülmüş veri setlerine ulaşılmıştır. Verilerin türetilmesinin ardından eşitleme sürecine geçilmiştir. Bu kapsamda, tam veri setlerine sahip test formlarının eşitlendiği referans koşul ile tam veri setlerinin manipüle edilmesiyle elde edilen test formlarının eşitlendiği 108 (3x3x3x4) farklı simülasyon koşulu da dahil olmak üzere toplam 109 eşitleme işlemi yürütülmüştür. R paket programı üzerinden gerçekleştirilen tüm analiz işlemleri için 50'şer tekrar yapılmıştır. Analiz sonuçlarının değerlendirilmesi aşamasında ise öncelikle her bir simülasyon koşulu kapsamında yürütülen eşitlemeler ile elde edilen ortalama hata (RMSE) ve ortalama yanlılık (BIAS) değerleri raporlanmış, ardından bu değerlerin referans koşul kapsamında yürütülen eşitlemeler ile elde edilen değerlere olan yakınlığına bakılmıştır. Araştırmadan elde edilen sonuçlar, kayıp veri yeri faktörüne ait koşullar için en az hatalı ve en az yanlı bulguların HİT, en çok hatalı ve en çok yanlı bulguların ET; kayıp veri mekanizması faktörüne ait koşullar için en az hatalı ve en az yanlı bulguların TRK, en çok hatalı ve en çok yanlı bulguların ROK; kayıp veri oranı faktörüne ait koşullar için en az hatalı ve en az yanlı bulguların %10, en çok hatalı ve en çok yanlı bulguların ise %40 koşulları için elde edildiğini göstermiştir. Kayıp veri başa çıkma yöntemlerine ilişkin olarak elde edilen sonuçlar ise referans koşul eşitlemeleri sonunda kestirilen özellikle yetenek parametrelerine ait ortalama RMSE ve BIAS değerlerine en yakın ve en düşük hata değerlerini üreten yöntemin DFÇDA olduğunu ve ikili puanlanan maddelerden oluşan veri setlerindeki kayıp veri probleminin çözülmesi için en sık başvurulan UGD ve YYGD yöntemlerinin, test eşitleme üzerinde hatalı ve yanlı kestirimler ürettiğini kaydetmiştir.
Özet (Çeviri)
The purpose of this study is to compare equating error (RMSE) and equating bias (BIAS) values with regard to estimated item and ability parameters obtained as a result of equating scores of tests in different conditions which created according to missing data location, mechanism and handling methods using IRT-based Stocking-Lord method within anchor test design. In accordance with this purpose, a data generation process which consisted three stage were followed in order to examine the effects of missing data problem on test equating. In the first stage, complete data sets which composed binary items fit to 3PL model were generated to create each test form. In the second stage, missing data sets which have three different missing data location (new test-NT, both test-BT, anchor test-AT), three different missing data mechanism (missing completely at random-MCAR, missing at random-MAR, missing not at random-MNAR) and three different missing data rate (10%, 20%, 40%) were created with using data deletion algorithms on complete data sets which generated in the first stage. In the third and last stage, data sets which handled missing data problem were reached with using four handling methods (treating as not administered-TNA, treating as incorrect-TI, logistic regression-based multiple imputation-LRMI, discriminant function-based multiple imputation-DFMI) on missing data sets. After data generation, equating process were conducted. In this context, equatings were carried out separately on reference condition whose test forms that have complete data sets and 108 (3x3x3x4) different simulation conditions whose test forms that were obtained by manipulating of complete data sets. To sum up, total 109 equating process were performed. 50 replication were done one by one to entire analysis process which conducted through R package. At the stage of evaulating of analysis results, average equating error (RMSE) and average equating bias (BIAS) values which obtained by equatings on every simulation condition were reported. And then these values and the values which obtained by equatings on reference condition were compared and looked how close they were. The results obtained from study showed that BT had the least equating error and the least equating bias values while NT had the most equating error and the most equating bias values in terms of missing data location factor, MCAR had the least equating error and the least equating bias values while MNAR had the most equating error and the most equating bias values in terms of missing data mechanism factor, 10% had the least equating error and the least equating bias values while 40% had the most equating error and the most equating bias values in terms of missing data rate factor. The results about missing data handling methods showed that DFMI had produced the closest and the lowest average RMSE and BIAS values to the average values of reference condition. Results also showed that TNA and TI methods which frequently used to handle missing data problem in binary items produced inaccurate and biased estimations on test equating.
Benzer Tezler
- Kayıp veri problemi ve farklı değer atama yaklaşımlarının whodas-2.0 ölçeğinin psikometrik özellikleri üzerindeki etkisinin incelenmesi
Evaluation of the effects of missing data and different imputation approaches in psychometric properties of whodas 2.0
DUYGU SIDDIKOĞLU
Doktora
Türkçe
2019
BiyoistatistikAnkara ÜniversitesiBiyoistatistik Ana Bilim Dalı
DOÇ. DR. BEYZA DOĞANAY ERDOĞAN
- Tasarımda yetkinleşmeyi anlama: Tasarım yetilerinin dayandığı kavramsal temele yönelik bir çözümleme
Understanding competence acquisition in design: An analysis towards conceptual foundations of design ability
UFUK ULUSAN
Doktora
Türkçe
2016
Endüstri Ürünleri TasarımıMimar Sinan Güzel Sanatlar ÜniversitesiEndüstri Ürünleri Tasarımı Ana Bilim Dalı
DOÇ. DR. AHMET ZEKİ TURAN
- Kayıp veri analiz yöntemlerinin karşılaştırılması
The comparison of missing value analysis methods
YÜCEL MENENGİÇ
Yüksek Lisans
Türkçe
2015
İstatistikOndokuz Mayıs Üniversitesiİstatistik Ana Bilim Dalı
YRD. DOÇ. DR. NACİ MURAT
- Klasik test kuramına göre sayısal ve sözel alanlar için puanlama güvenirliğinin kayıp veri kapsamında incelenmesi
Examining interrater reliability considering missing value for numerical and verbal courses according to classical test theory
SİBEL ADA
Yüksek Lisans
Türkçe
2015
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. İSMAİL KARAKAYA
- Farklı koşullardaki kayıp veri oranının iç tutarlığa etkisi
The effect of missing data rate on internal consistency within different conditions
AYŞE BAYHAN
Yüksek Lisans
Türkçe
2018
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN