Meta analitik test eşitleme yönteminin çeşitli değişkenler açısından incelenmesi: TIMMS 2015 örneği
Investigation of meta-analytic test equating method in terms of various variables: TIMMS 2015 example
- Tez No: 765807
- Danışmanlar: PROF. DR. ŞEREF TAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 167
Özet
Araştırmanın temel amacı veri oluşturmada kullanılan faktörlerin farklı düzeylerinde eş değer olmayan gruplarda ortak madde deseni altında test eşitleme yöntemleri, hata kestirim yöntemleri, meta analiz modelleri ve MTK eşitlemede kullanılan ölçek dönüştürme yöntemlerinin etkililiklerinin meta analitik yöntem kullanılarak karşılaştırılmasıdır. Bu amaç doğrultusunda TIMMS sınavının 2015 yılı matematik testi 4. sınıf verisinden seçkisiz örneklem grupları oluşturularak incelenmesi amaçlanan koşullar altında hangi yöntemin daha az hatalı sonuçlar verdiği araştırılmıştır. Araştırma sonucunda bootstrap hata kestirim yöntemi kullanıldığında kitapçıklar arası güçlük farkının fazla olduğu durumda genel olarak gözlenen puan eşitlemenin daha düşük hata değerlerine sahip olduğu gözlenmiştir. Delta hata kestirim yöntemi kullanıldığında kitapçıklar arası güçlük farkının hem az hem de fazla olduğu koşulda gerçek puan eşitlemenin daha düşük hata değerleri ürettiği belirlenmiştir. Gerçek puan eşitleme yöntemi kullanıldığında genel olarak delta yönteminin daha düşük hata değerine sahip olduğu gözlemlenmiştir. Gözlenen puan eşitleme ve rastgele etkiler modeli kullanıldığında“Stocking Lord”yöntemi için her koşulda delta yönteminin daha az hata ile analiz yaptığı belirlenmiştir. Gözlenen puan eşitleme ve sabit etki modeli kullanıldığında karakteristik eğri yöntemleri için her koşulda bootstrap hata kestirim yöntemi kullanılan analizin daha düşük hata değerlerine sahip olduğu gözlemlenmiştir. Kitapçıklar arası güçlük farkının fazla olduğu analizde genel olarak en düşük hata ile çalışan ölçek dönüştürme yönteminin“Haebara”ve kitapçıklar arası güçlük farkının az olduğu analizde genel olarak en düşük hata değerine sahip ölçek dönüştürme yönteminin“Stocking Lord”olduğu gözlenmiştir. Gerçek ve gözlenen puan eşitleme ve sabit etki modeli kullanıldığında dört ön eşitleme kullanılarak yapılan analizlerinde daha düşük hata değerlerine sahip oldukları gözlenmiştir. Gözlenen puan eşitleme ve sabit etki modeli kullanıldığında kitapçıklar arasında güçlük farkının fazla olduğu koşul daha az hata değerine sahiptir. Araştırma bulgularından yola çıkarak benzer araştırma koşullarında ve benzer veri setleri için uygulayıcılara kitapçıklar arası güçlük farkının fazla olduğu durumda bootstrap hata kestirim yöntemi kullanıldığında öncelikli olarak gözlenen puan eşitleme yöntemi kullanmaları önerilmektedir. Ayrıca gerçek puan eşitleme yöntemi kullanıldığında öncelikli olarak delta hata kestirim yöntemi ve gözlenen puan eşitleme yöntemi altında karakteristik eğri ölçek dönüştürme yöntemleri kullanıldığında öncelikli olarak bootstrap hata kestirim yöntemi kullanmaları önerilmektedir. Çalışma ile benzer koşullar altında ve benzer veri setiyle eşitlenecek testler arasındaki güçlük farkının fazla olduğu durumda“Haebara”ve testler arasındaki güçlük farkının az olduğu durumda öncelikli olarak“Stocking Lord”yöntemleri kullanmaları önerilmektedir. Meta analitik test eşitleme yöntemin, ön eşitlemeler kullanması ve çalışmalar arasındaki farklılaşmayı da göz önünde bulundurması açısından, farklı sınavlarda sınav merkezleri tarafından yaygın olarak kullanılması önerilmektedir.
Özet (Çeviri)
The main purpose of the study is to compare the effectiveness of test equating methods, error estimation methods, meta-analysis models and scale transformation methods used in IRT equating by using meta-analytical method under the common item pattern in non-equivalent groups at different levels of the factors used in data creation. For this purpose, it was investigated which method gave less erroneous results under the conditions intended to be examined by creating random sample groups from the 2015 mathematics test 4th grade data of the TIMMS exam. As a result of the research, when bootstrap error estimation method is used, and the difficulty difference between the booklets is high, it is seen that the generally observed score equating has lower error values. When delta error estimation method is used, and the difficulty difference between the booklets is both small and large, it has been determined that the true score equating produces lower error values. It has been observed that delta method has a lower error value in general when the true score equalization method is used. When the observed score equating and random effects model is used, it has been observed that the delta method analyzes with less errors for the“Stocking Lord”method under all conditions. It has been observed that the analysis using the bootstrap error estimation method has lower error values for the characteristic curve methods when observed score equating and fixed effect model are used. In the analysis where the difficulty difference between the booklets is high, it is seen that the scale conversion method with the lowest error value is“Haebara”, while in the analysis where the difficulty difference between the booklets is low, the scale conversion method with the lowest error value is“Stocking Lord”. When both true and observed score equating and fixed effect model are used, it is seen that the analyzes using four pre-equatings have lower error values. When observed score equating and fixed effects model is used, the condition where the difference in difficulty between the booklets is high has less error value. Based on the research findings, it is recommended that when the bootstrap error estimation method is used in cases where the difficulty difference between the booklets is high, the practitioners use the observed score equalization method under similar research conditions and for similar data sets. In addition, it is recommended the practitioners to primarily use bootstrap error estimation method, when using the delta error estimation method and when the characteristic curve scale conversion methods are used under the observed score equating method. It is recommended to use the“Haebara”method in cases where the difficulty difference between the tests to be equated is high. Under similar conditions and with a similar data set“Stocking Lord”methods should be used primarily in cases where the difficulty difference between the tests is small. It is recommended that the meta-analytical test equating method can be widely used by exam centers in different exams in terms of using pre-equatings and taking into account the differentiation between related studies.
Benzer Tezler
- Tanı testi doğruluğu için meta-analitik yöntemler: ROC analizi ve bir uygulama
Meta-analytic methods for diagnosti̇c test accuracy: ROC analysis and an application
ENES TOKER
- Birleştirilmiş tanı testlerine meta analitik yaklaşımlar
Meta analytic approaches for incorporated diagnostic tests
MERAL AYDIN
Doktora
Türkçe
2024
BiyoistatistikHacettepe ÜniversitesiBiyoistatistik Ana Bilim Dalı
PROF. DR. PINAR ÖZDEMİR
- Öğretmenlerin kültürel ve psikolojik sermaye düzeylerini etkileyen kişisel faktörler: Meta-analitik bir analiz
Personal factors affecting teachers' cultural and psychological capital levels: A meta-analytical analysis
SUAT SEVGİLİ
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimSiirt ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. NAZIM ÇOĞALTAY
- İlkokulda değerler eğitimi uygulamalarının öğrenme çıktılarına etkililiğinin meta-analitik değerlendirilmesi
Meta-analytic evaluation of the effectiveness of primary school values education practices on learning outcomes
İSMAİL HAKKI BOZKURT
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimAmasya ÜniversitesiTemel Eğitim Ana Bilim Dalı
PROF. DR. ASIM ÇOBAN
- Kavram haritaları öğretim stratejisinin öğrenci başarısına etkisi: Bir meta analiz çalışması
The effect of concept mapping on learner success: A meta-analytic study
FATMA OKURSOY GÜNHAN
Yüksek Lisans
Türkçe
2009
Bilim ve TeknolojiMarmara ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. YAVUZ ERDOĞAN