Toplam puan ve alt puanların birlikte kestirildiği modellerin kestirim doğruluğu, güvenirlik ve sınıflama doğruluğuna göre karşılaştırılması
Comparison of models estimating overall score and subscore simultaneously in terms of precision, reliability and classification accuracy
- Tez No: 677756
- Danışmanlar: PROF. DR. HAKAN YAVUZ ATAR
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Karşılaştırmalı analiz, Madde Tepki Kuramı, Puanlama, Testler, Yetenek kestirimi, Çok boyutlu madde tepki kuramı, Comparative analysis, Item Response Theory, Scoring, Tests, Ability estimates, Multidimensional item response theory
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu araştırmanın ana amacı, toplam test ve alt testlere ilişkin yetenek kestirim modellerinin karşılaştırmalı incelenmesidir. Çalışma kapsamında ele alınan ÇBMTK, ÜDMTK ve Bifaktör modelleri, kestirim doğruluğu, güvenirlik ve sınıflama doğruluğuna dayalı olarak karşılaştırılmıştır. Çalışmada simülasyon veri ve Türkiye'de bir devlet üniversitesi Yabancı Diller Yüksek Okulu tarafından geliştirilip uygulanan İngilizce yeterlilik sınavına ait gerçek veri kullanılmıştır. Simülasyon çalışmasında örneklem büyüklüğü 5000, madde sayısı 30 ve boyut sayısı dört olarak belirlenmiştir. Manipüle edilen değişkenler toplam testte yer alan çoklu puanlanan madde yüzdesi (%5, %10, %25, %50), test güçlüğü (çok zor, zor, orta, kolay, çok kolay) ve boyutlar arası korelasyondur (0,2; 0,5; 0,8). 60 çapraz koşulun (3 korelasyon x 4 testteki çoklu puanlanan madde yüzdesi x 5 test güçlüğü) her biri için 100 replikasyon yapılmış ve toplamda 6000 veri üretilmiştir. Madde yanıt örüntüleri SimuMIRT programı ile elde edilmiştir. ÇBMTK, ÜDMTK ve Bifaktör modelleri için yetenek kestirimleri BMIRT programı kullanılarak gerçekleştirilmiştir. Kestirim modellerinin ve simülasyon koşullarının, yetenek kestirimlerine göre elde edilen RMSE, güvenirlik ve sınıflama doğruluğu değerlerine olan etkisi faktöriyel karma ANOVA ile test edilmiştir. Son olarak gerçek veri her üç kestirim modeli ile analiz edilmiş, yetenek kestiriminin standart hatası, marjinal güvenirliği ve geçti-kaldı kararına göre sınıflama doğruluğu değerleri viii incelenmiştir. Genel olarak, simülasyon çalışması sonuçları hem toplam puan hem de alt puan açısından ÇBMTK modelinin bütün koşullarda ÜDMTK ve Bifaktör modelden daha iyi performans sergilediğini göstermektedir. Korelasyon yüksek olduğunda modellere göre toplam puan için elde edilen güvenirlikler arasındaki fark düşüktür. Alt puanlarda ÇBMTK ve ÜDMTK birbirine yakın sonuçlara sahiptir. Toplam puanda her üç model için de korelasyon arttıkça model performansı iyileşmiştir. Alt puanlarda ÇBMTK ve ÜDMTK modelleri için korelasyon arttıkça model performansı iyileşirken Bifaktör model performansı kötüleşmiştir. Çoklu puanlanan madde yüzdesi artışının da olumlu bir etkiye sahip olduğu görülmüştür. Test güçlüğü açısından ise test orta güçlükte olduğunda modellerin daha iyi performans gösterdiği, test güçlüğü çok zor olduğunda en yüksek hata, en düşük güvenirlik ve sınıflama doğruluğu değerlerinin elde edildiği sonucuna ulaşılmıştır. En yüksek sınıflama doğruluğu değerleri test kolay ya da çok kolay olduğunda elde edilmiştir. Değişkenlerin düzeylerine göre sonuçlarda bazı farklılıklar görülmüş olup hepsi detaylı olarak raporlanmıştır. Gerçek veri analizi ile elde edilen bulgular da simülasyon çalışmasını destekler niteliktedir.
Özet (Çeviri)
This research aims to evaluate the ability estimation models for the overall score and subscores simultaneously. MIRT, HOIRT, and Bifactor models discussed within the scope of the study were compared based on precision, reliability, and classification accuracy. In the study, both simulation data and real data of an English proficiency exam developed and administered by the School of Foreign Languages of a state university in Turkey were used. In the simulation study, the sample size was determined as 5000, the number of items as 30, and the number of dimensions as four. The manipulated variables are the percentage of polytomously-scored items in the total test (5%, 10%, 25%, 50%), test difficulty (very difficult, difficult, medium, easy, very easy), and correlation between dimensions (0.2, 0.5, 0.8). The number of replication was 100 for each of the 60 cross-conditions (3 correlations x 4 levels of percentage of polytomously-scored items x 5 levels of test difficulties), and 6000 data were generated. Overall scores and subscores for MIRT, HOIRT, and Bifactor models were estimated using the BMIRT program. A factorial mixed ANOVA was performed to test the effects of estimation models and simulation conditions on RMSE, reliability, and classification accuracy values of ability estimations. Lastly, the real data were analyzed with all three estimation models, and the standard error, marginal reliability, and classification accuracy values of the ability estimation were examined. In general, the x simulation study results show that the MIRT model outperforms the HOIRT and Bifactor models in all conditions, both in terms of overall score and subscores. When the correlation is high, the difference between the reliability obtained from the estimation models for the overall score is low. For subscores, MIRT and HOIRT have similar results. For overall scores, as the correlation increased, the model performance improved for all three models. For subscores, as the correlation increased, the model performance improved for the MIRT and HOIRT models, while the Bifactor model performance declined. In terms of test difficulty, it was concluded that the models performed better when the test was of medium difficulty, and the highest error, lowest reliability and classification accuracy values were obtained when the test difficulty was very difficult. The highest classification accuracy values were obtained when the test was easy or very easy. There were some differences in the results depending on the levels of the variables, and all of them were reported in detail. Findings obtained with real data analysis also support the simulation study.
Benzer Tezler
- Alt eksremite fonksiyonel ölçeğinin türkçe geçerlilik ve güvenilirlik çalışması
Başlık çevirisi yok
MUSA ÇANKAYA
Yüksek Lisans
Türkçe
2016
Fizyoterapi ve RehabilitasyonMuğla Sıtkı Koçman ÜniversitesiFizyoterapi ve Rehabilitasyon Ana Bilim Dalı
PROF. DR. İLKİM ÇITAK KARAKAYA
- The impact of rater experience and essay quality on rater behavior and scoring
Puanlayıcı tecrübesi ve komposizyon kalitesinin puanlayıcı davranışı ve komposizyon puanları üzerindeki etkisi
ÖZGÜR ŞAHAN
Doktora
İngilizce
2018
Eğitim ve ÖğretimÇanakkale Onsekiz Mart ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. SALİM RAZI
- Beden eğitimi ve spor öğretmenliği öğrencilerinin akademik içsel motivasyonları ile lisansüstü eğitime yönelik tutumların incelenmesi
Examination of physical education and sports teaching students' academic internal motivations and attitudes towards graduate education
SALİH HOYUR
Yüksek Lisans
Türkçe
2023
SporTrabzon ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
DOÇ. DR. TAMER CİVİL
- Vücut geliştirme sporu yapan erkek sporcuların kaslı olma dürtüsü ve ergojenik destek ürünleri kullanımının incelenmesi
Investigation of the urge to muscular male athletes who engage in bodybuilding sports and the use of ergogenic support products
TUĞÇE ÇIĞ
Yüksek Lisans
Türkçe
2023
Beslenme ve DiyetetikYozgat Bozok ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
DOÇ. DR. HAKAN YARAR
- Psikiyatri hastalarının algıladığı duygu dışavurum düzeyi ve öz yeterliliğin tedavi uyumuna etkisi
Level of expressed emotion and self efficacy of psychiatric patients effect on medication adherence
EBRU ÖZCAN
Yüksek Lisans
Türkçe
2019
Hemşirelikİstanbul Üniversitesi-CerrahpaşaRuh Sağlığı ve Psikiyatri Hemşireliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEVİL YILMAZ