Geri Dön

Madde Tepki Kuramı Ağaç yaklaşımıyla kayıp verilerin modellenmesinin farklı simülasyon koşullarında parametre kestirimlerine etkisi

The effect of modelling missing data with the Item Response Theory Tree approach on parameter estimates under different simulation conditions

PDF İndir

  1. Tez No: 858411
  2. Yazar: YEŞİM BERİL SOĞUKSU
  3. Danışmanlar: DOÇ. DR. ERGÜL DEMİR
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: Ankara Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 185

Özet

Bu araştırmanın amacı, ikili puanlanan testlerde, farklı kayıp veri mekanizmaları altındaki kayıp verilerin Madde Tepki Kuramı Ağaç (MTKA) yaklaşımıyla modellenmesinin yetenek kestirimlerine etkisini, farklı simülasyon koşullarında ve bazı başarılı olarak kabul edilen kayıp veri yöntemleriyle karşılaştırarak ortaya koymaktır. Araştırmanın amacı doğrultusunda 3 farklı kayıp veri mekanizması (Tamamen Seçkisiz Kayıp - TSK, Seçkisiz Kayıp - SK ve Seçkisiz Olmayan Kayıp - SOK), kayıp veri yüzdesi (10, 25 ve 40), madde uzunluğu (20, 30 ve 40), örneklem büyüklüğü (400, 750 ve 1500) değişimlenerek, 100 tekrardan oluşan veri üretimleri R programlama dili kullanılarak gerçekleştirilmiş, tüm koşulların çaprazlanmasıyla toplam 3x3x3x3=8100 veri seti elde edilmiştir. Üretilen veri setlerinde simülasyon geçerliğine yönelik kontroller yapıldıktan sonra Madde Tepki Kuramı (MTK), İki Parametreli Lojistik Modele (2PLM) yönelik Beklenen Sonsal Dağılım (EAP) yetenek kestirimleri gerçekleştirilmiş ve bu kestirimler referans parametreleri olarak alınmıştır. TSK, SK ve SOK mekanizmalarına yönelik, belirlenen oranlarda kayıp veriler oluşturulduktan sonra veri setlerinde MTKA yaklaşımı kullanılarak kayıp veriler modellenmiş, aynı zamanda Beklenti-Maksimizasyon Algoritması (BMA) ve Çoklu Atama (ÇA) yöntemleriyle kayıp verilerle baş edilmiştir. Yöntemler kullanıldıktan sonra tüm veri setlerinde 2PLM'ye yönelik EAP yetenek kestirimleri gerçekleştirilmiştir. Kestirilen parametrelerin, referans parametrelere ne ölçüde benzediğinin belirlenebilmesi için yanlılık ve Ortalama Karekök Hatası (RMSE) değerleri hesaplanarak, bu değerlerin ortalamaları alınmıştır. MTKA yaklaşımının, yetenek kestirimlerine yönelik ortalama yanlılık ve RMSE değerleri açısından diğer yöntemlerden manidar olarak farklılaşıp farklılaşmadığının tespit edilebilmesi için Faktöriyel ANOVA analizi gerçekleştirilmiştir. Sonuç olarak, yanlılık ortalamaları açısından, MTKA yaklaşımının araştırmada yer alan tüm koşullarda BMA ve ÇA yöntemlerinden biraz daha yüksek, negatif yönlü ve 0'a oldukça yakın yanlılık ortalamalarına neden olduğu; TSK ve SOK mekanizmalarına yönelik kayıplar içeren, düşük madde sayısına sahip testlerin uygulandığı orta büyüklükteki örneklemlerde, yetenek kestirimlerinin yanlılık ortalamalarının, diğer koşullara göre daha düşük olduğu tespit edilmiştir. RMSE ortalamaları açısından, araştırmada yer alan tüm koşullarda MTKA yaklaşımıyla, BMA ve ÇA yöntemlerinden daha düşük RMSE ortalamaları elde edildiği belirlenmiş, bunun yanı sıra MTKA ile TSK ve SOK mekanizmalarındaki kayıp verilerde, kayıp veri yüzdesinin düşük, madde sayısının yüksek olduğu durumlarda daha düşük RMSE ortalamaları elde edildiği tespit edilmiştir. Simülasyon çalışmasını desteklemek amacıyla gerçekleştirilen gerçek veri çalışmasında, PISA (Uluslararası Öğrenci Değerlendirme Programı) 2012 İtalya Matematik testi verileriyle çalışılmıştır. Gerçek veri setinde yer alan kayıp verilere, PISA 2012'de kayıp verilerle mücadelede kullanılan 'Sıfır Atama' yöntemiyle değer ataması yapılmış, veri setinde 2PLM'ye yönelik EAP yetenek kestirimleri gerçekleştirilerek bu kestirimler referans parametreleri olarak alınmıştır. Gerçek veri setinde, MTKA yaklaşımıyla kayıp veriler modellenmiş, aynı zamanda BMA ve ÇA yöntemleriyle kayıp verilerle baş edilmiştir. Yöntemler kullanıldıktan sonra yetenek kestirimlerine yönelik yanlılık ve RMSE değerleri hesaplanmıştır. Ayrıca yöntemler kullanıldıktan sonra kestirilen yetenek parametrelerinin, manidar olarak farklılaşıp farklılaşmadığının tespit edilebilmesi için Tekrarlı Ölçümler ANOVA analizi gerçekleştirilmiştir. Sonuç olarak MTKA yaklaşımının kullanıldığı durumda yetenek parametrelerinin yanlılık değerinin 0'a oldukça yakın ve BMA ve ÇA yöntemlerine göre biraz daha düşük olduğu, yanlılık değerinin simülasyon sonuçlarına benzer şekilde negatif yönlü olduğu tespit edilmiştir. Elde edilen RMSE değeri, simülasyon çalışmasında olduğu gibi BMA ve ÇA yöntemleriyle elde edilen RMSE değerlerinden daha düşüktür. Yöntemler kullanıldıktan sonra kestirilen yetenek parametrelerinin manidar olarak farklılaşmadığı, dolayısıyla MTKA yaklaşımının, gerçek bir veri setinde, yetenek parametrelerinin doğruluğu açısından BMA ve ÇA yöntemleri kadar etkili olduğu tespit edilmiştir.

Özet (Çeviri)

The aim of this study is to investigate the effect of modeling missing data under different missing data mechanisms with IRTree approach on ability estimations in dichotomous items under different simulation conditions and by comparing with some successful missing data methods. Three missing data mechanisms (Missing Completely at Random - MCAR, Missing at Random - MAR and Missing not at Random -MNAR), missing data percentages (10, 25 and 40), item lengths (20, 30 and 40), sample sizes (400, 750 and 1500) were varied and data generation consisting of 100 repetitions was performed using R programming language, and a total of 3x3x3x3x3=8100 data sets were obtained by crossing all conditions. After the simulation validity studies, Expected a Posteriori (EAP) ability estimations for Item Response Theory (IRT), 2-Parameter Logistic Model (2PLM) were performed and these estimations were taken as reference parameters. After generating missing data for MCAR, MAR and NMAR mechanisms at the determined rates, missing data were modeled using the IRTree approach, and also dealed with the Expectation-Maximization Algorithm (EMA) and Multiple Imputation (MI). EAP ability estimations for 2PLM were performed for all data sets and mean bias and Root Mean Square Error (RMSE) were calculated. Factorial ANOVA analysis was performed to determine whether the IRTree approach differs significantly from the other methods in terms of mean bias and RMSE for ability estimations. As a result, in terms of mean bias, it was found that the IRTree approach caused slightly higher, negatively and very close to zero mean bias than the EMA and MI in all conditions. Additionally, the mean bias of the ability estimates in medium-sized samples, with tests of low item lengths, under MCAR and NMAR mechanisms were lower with the IRTree approach compared to other conditions. In terms of mean RMSE, it was determined that mean RMSEs' obtained with the IRTree approach were lower than EMA and MI in all conditions. Furthermore, lower mean RMSEs' were obtained with IRTree for the MCAR and NMAR mechanisms when the percentage of missing data was low and the number of items was high. For the empirical illustration to support the simulation study, PISA (Programme for International Student Assessment) 2012 Italy Mathematics data set were used. The missing data in the empirical data set were assigned values with the 'Zero Imputation' method used in PISA 2012 to deal with missing data, EAP ability estimations for 2PLM were performed in the data set and these estimations were taken as reference parameters. In the empirical data set, missing data was modeled with the IRTree approach, and at the same time, dealed with EMA and MI methods and bias and RMSE values for the ability estimates were calculated. The Repeated Measures ANOVA analysis was performed to determine whether the estimated ability parameters differed significantly after using the methods. As a result, it was found that the bias value of the ability parameters was very close to 0 and slightly lower than the EMA and MI methods with the IRTree approach, and the bias value was negative, similar to the simulation results. The RMSE value obtained is lower than the RMSE values obtained with EMA and MI methods as in the simulation study. It was found that the estimated ability parameters did not differ significantly after using the methods, therefore, the IRTree approach is as successful as the EMA and MI methods in terms of the accuracy of the ability parameters in an empirical data set.

Benzer Tezler

  1. Tez No

    490569

    İstanbul Rum-Ortodoks kiliselerinde epitafion işlemeleri ve ikonografileri

    Epitaphios embroideries and iconography of the Roman Orthodox churches in İstanbul

    ÖZLEM OSMANOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Sanat TarihiIşık Üniversitesi

    Sanat Kuramı ve Eleştiri Ana Bilim Dalı

    PROF. DR. EVANGELİA ŞARLAK

  2. Tez No

    82191

    The Fit of one, two, and three parameter models of item response theory (IRT) to the Student Selection Test (SST) of the Student Selection and Placement Center (SSPC)

    Madde tepki kuramının (MTK) bir, iki ve üç parametreli modellerinin Öğrenci Seçme ve Yerleştirme Merkezi'nin (ÖSYM) Öğrenci Seçme Sınavına (ÖSS) uygunluğu

    İMRAN KILIÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    1999

    Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. HALİL GİRAY BERBEROĞLU

  3. Tez No

    435210

    Madde takımları içeren testlerde farklı modellerden elde edilen madde ve yetenek parametrelerinin karşılaştırılması

    Comparison of item and ability parameters obtained from different models on tests composed of testlets

    ESİN YILMAZ KOĞAR

    Doktora

    Türkçe

    Türkçe

    2016

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. HÜLYA KELECİOĞLU

  4. Tez No

    751338

    Madde tepki kuramı kapsamında sınıflama doğruluğu indekslerinin karşılaştırılması

    Comparison of classification accuracy indices under the item response theory

    NURŞAH YAKUT

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Eğitim ve ÖğretimGazi Üniversitesi

    Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı

    DOÇ. DR. EMİNE ÖNEN

  5. Tez No

    632683

    The effect of item selection and parameter estimation methods to the accuracy of pretest item parameters on online calibration in CAT

    Madde seçim ve parametre kestirim yöntemlerinin BBT online kalibrasyonda ön test madde parametre kesinliğine etkisi

    LEVENT ERTUNA

    Doktora

    İngilizce

    İngilizce

    2020

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. BURCU ATAR

Geri Dön