Kümülatif, ideal nokta ve karma modeller altında bayesıan ve nonbayesıan yöntemler ile yetenek kestirimlerinin doğruluğunun ve sınıflama indekslerinin incelenmesi
Investigation of accuracy of ability estimations and classification indices under cumulative, ideal point and mixed model with bayesian and nonbayesian methods
- Tez No: 677928
- Danışmanlar: PROF. DR. MEHTAP ÇAKAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 164
Özet
Bu araştırmanın amacı madde yanıt süreçlerinin modellenmesinin bayesian ve nonbayesian yöntemler çerçevesinde yetenek kestirimlerinin doğruluğuna, bu yetenek kestirimlerine dayalı olarak yetenek ölçeği boyunca farklı kesme puan noktalarında sınıflama doğruluğu ve sınıflama tutarlığına olan etkisini incelemektir. Bu doğrultuda madde yanıt süreçlerinin modellenmesinde kümülatif modellerden ATM (Samejima, 1969), ideal nokta modellerinden GAMOM (Roberts, Donoghue & Laughlin, 2000) ele alınmıştır. Bu modellerin yanı sıra delta parametrelerinin (δ) dağılım ortalamasından sapmasına dayalı olarak kümülatif ve ideal nokta modellerinin birleşimi ile karma model oluşturulmuştur. Bayesian yöntemlerden MAP ve EAP; nonbayesian yöntemlerden WLE ile yetenek kestirimleri elde edilmiştir. Model ve yöntemlere bağlı olarak yetenek kestirimlerinin doğruluğu iki faktörlü tekrarlı ölçümler ANOVA ile incelenmiştir. Yetenek kestirimlerine yönelik incelemelerin ardından elde edilen yetenek kestirimleri üzerinden sınıflama indeksleri yetenek ölçeği üzerinde düşük ve yüksek uçta belirlenmiş kesme puanı noktalarında yöntem ve model türünün üç yönlü etkileşimine dayalı olarak incelenmiştir. Bu doğrultuda c(0,10, 0,90), c(0,15, 0,85) ve c(0,20, 0,80) olmak üzere yetenek ölçeği üzerinde uç kısımlardan ortalara doğru yaklaşan üç kesme puanı çifti üzerinde ayrı ayrı model ve yöntem açısından sınıflama indekslerinin değişimi ele alınmış olup üç faktörlü tekrarlı ölçümler ANOVA ile farklılıklar test edilmiştir. Araştırmadan elde edilen bulgular incelendiğinde yetenek kestirimlerinin doğruluğunun kullanılan model ve yöntem etkileşimine bağlı olarak değiştiği gözlenmiştir. Yetenek kestirimlerinin doğruluğunun en yüksek GAMOM altında elde edildiği bunu ise karma modelin takip ettiği gözlenmiştir. GAMOM ve karma model altında bayesian ve nonbayesian yöntemler açısından en doğru sonucu sağlayan modelin MAP olduğu bunu WLE'nin takip ettiği gözlenmiştir. Monotonik olmayan maddelerin kestiriminin söz konusu olduğu modellerde EAP'ın diğer yöntemlere göre yüksek hata verdiği sonucuna ulaşılmıştır. Ancak kümülatif model olan ATM altında ise yöntem sıralamasının MAP, EAP ve WLE şeklinde olduğu ve her iki bayesian yöntemin de nonbayesian yönteme göre daha yüksek doğrulukla sonuç verdiği gözlenmiştir. Yetenek kestirimlerine ilişkin incelemelerin ardından bu kestirimler üzerinden elde edilen sınıflama indekslerine yönelik incelemeler yapılmıştır. Sınıflama indekslerine yönelik incelemelerden elde edilen sonuçlara göre model ve yöntem etkileşiminin yetenek ölçeği üzerinde düşük ve yüksek uçta belirlenen kesme puan noktasına bağlı olarak farklılaştığı ve uç kısımlardaki etkinin orta kısımlara yaklaştıkça azaldığı gözlenmiştir. Yöntem ve modeller arası etkileşim etkilerinin kesme puan lokasyonunun hangi düzeylerinde gözlendiğini ortaya çıkarmak için incelemeler yapılmıştır. Elde edilen sonuçlara göre model ve yöntemlere ilişkin etkileşim etkisinin yetenek ölçeğinin üst kısımlarında ortaya çıkma eğiliminde olduğu, yetenek ölçeğinin düşük ucunda yer alan kesme puan noktalarında ise genel olarak yöntem ve modellerin daha benzer sonuçlar verdiği gözlenmiştir. Modeller açısından inceleme yapıldığında GAMOM'un üst uçlarda karma model ve ATM'den daha iyi sonuç verdiği; GAMOM'u ise karma modelin takip ettiği görülmektedir. Yöntemler açısından inceleme yapıldığında yöntemlerin etkililiğinin seçilen model türüne bağlı değiştiği gözlenmiştir. ATM altında genel olarak WLE, MAP ve EAP benzer sonuç vermesine karşın, GAMOM ve karma model altında EAP'ın daha düşük sınıflama indeksleri; WLE ve MAP' ın ise benzer ve yüksek sınıflama indeksleri ile sonuçlandığı gözlenmiştir. Son olarak yetenek kestirimlerinin doğruluğunda bayesian yöntemlerden MAP öne çıkarken sınıflama indekslerinde nonbayesian yöntemlerden WLE' nin öne çıktığı gözlenmiştir. Araştırmadan elde edilen bulgular gerçek veride karşılaşılabilecek olası durumlar ile ilişkilendirilerek tartışılmış olup pratikte karşılaşılacak olası ölçme durumları için model ve yöntem kullanımına ilişkin öneriler sunulmuştur.
Özet (Çeviri)
The aim of this study is to examine the effect of modeling item response processes on accuracy of ability estimations in the framework of bayesian and nonbayesian methods, and on classification accuracy and classification consistency at different cut-off points along the ability scale based on these ability estimations. In this direction, GRM (Samejima, 1969), which is one of the cumulative models, and GGUM (Roberts, Donoghue & Laughlin, 2000), one of the ideal point models, were used in modeling the response processes. In addition to these models, a mixed model was created with the combination of cumulative and ideal point models based on the deviation of delta parameters (δ) from the distribution mean. MAP and EAP as bayesian methods with WLE as nonbayesian method were used for the ability estimations. Based on the models and methods, accuracy of ability estimations were investigated through the two-way repeated measures ANOVA. After the investigations of ability estimations, classification indices were investigated at the cut scores located on both lower and higher parts of the theta scales in terms of three way interaction effect of cut score, model and method. Accordingly, variation of the classification indices in terms of model and method separately on three cut-off point pairs c (0,10, 0,90), c (0,15, 0,85) and c (0,20, 0,80) approaching from the extreme to the middle on the ability scale was examined and statistical differences were tested through three-factor repeated measures ANOVAs. When the findings obtained from the research are examined, it is observed that the accuracy of ability estimates differs depending on the interaction of the model and method used. Highest accuracy of ability estimates is obtained under GGUM and it is followed by mixed model. It is observed that under the GGGUM and mixed model, among the bayesian and nonbayesian methods MAP provides the most accurate results and it is followed by WLE. Then, it is concluded that EAP results in higher errors when the focus is estimation of nonmonotonic items. However, under the GRM, a cumulative model, the order of the methods is as MAP, EAP and WLE which points out that bayesian methods provides higher accuracy than nonbayesian method. After examining the ability estimates, classification indices obtained based on these estimates were examined. According to the results obtained from the examinations for the classification indices, it is observed that interaction of model and method at cut scores determined on lower and upper parts of ability scale, and the effect at the extreme locations is decreasing with moving toward the middle part of the ability scale. Investigations are conducted in order to reveal at which level of the cut score location interaction effect of model and method is observed. Depending on the results, it is observed that interaction effects of model and method are likely to occur at the upper part of ability scale, and models and methods provides similar results at the lower part of ability scale.When examining in terms of models, it is observed that GGUM gives better results than mixed model and GRM at the upper end, and GGUM is followed by mixed model. When examined in terms of methods, it is observed that the effectiveness of the methods depends on the type of model selected. Although WLE, MAP and EAP generally provide similar results under GRM, under GGUM and mixed model EAP results in lower classification indices than WLE and MAP, and WLE and MAP were observed to result in similar and higher classification indices. Finally, it is observed that while MAP stands out from bayesian methods in the accuracy of ability estimates, WLE, one of the nonbayesian methods, stands out in classification indices. The findings obtained from the research were discussed in relation to possible situations that may be encountered in real data, and suggestions for the use of models and methods for possible measurement situations to be encountered in practice are presented.
Benzer Tezler
- Alignment of eye tracker and camera data by using different methods in human computer interaction experiments
İnsan bilgisayar etkileşim deneylerinde göz izleme cihazı ve kamera verisinin farklı yöntemler ile hizalanması
LEYLA GARAYLI
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ZEHRA ÇATALTEPE
- Manastırlı İsmâil Hakkı'nın nübüvvet görüşü
The prophethood view of the Manastırlı İsmail Hakkı
FATİH ÇİFCİ
Yüksek Lisans
Türkçe
2020
Dinİstanbul 29 Mayıs ÜniversitesiTemel İslam Bilimleri Ana Bilim Dalı
PROF. DR. MUSTAFA SİNANOĞLU
- Optimal aircraft trajectory planning based on high-resolution actual weather data
Yüksek çözünürlüklü gerçek hava durumu verileri ile optimum uçak rota planlaması
ALI ALIZADEH
Yüksek Lisans
İngilizce
2018
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE KOYUNCU
- Cultural memory, identity and music: Armenians of Turkey
Kültürel bellek, kimlik ve müzik: Türkiye Ermenileri
BURCU YILDIZ
Doktora
İngilizce
2012
Halk Bilimi (Folklor)İstanbul Teknik ÜniversitesiMüzik Ana Bilim Dalı
PROF. Ş. ŞEHVAR BEŞİROĞLU
DOÇ. DR. ROBERT REIGLE