Açık uçlu ve çoktan seçmeli maddelerden oluşan madde takımlarının güvenirliğe etkisinin genellenebilirlik kuramı ile incelenmesi
Investigation of the effect of testlets consisting of open-ended and multiple choice items on reliability via generalizability theory
- Tez No: 826066
- Danışmanlar: DOÇ. DR. MELEK GÜLŞAH ŞAHİN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 127
Özet
Bu çalışmada, benzer içerikli hazırlanmış açık uçlu ve çoktan seçmeli maddelerden oluşan madde takımlarının güvenirliğe etkisini ortaya çıkarmak amaçlanmıştır. Bu amaçla, biri çoktan seçmeli diğeri açık uçlu maddelerden oluşan madde takımlarının yer aldığı iki farklı Matematik Başarı Testi hazırlanmıştır. Pilot uygulama sonucu elde edilen nihai formlar 2022-2023 Eğitim Öğretim yılında Ankara ilinde yer alan Mili Eğitim Bakanlığına bağlı bir devlet ortaokulunda 8. sınıfta öğrenim gören 128 öğrenciye uygulanmıştır. Açık uçlu maddelerin yer aldığı testte öğrencilerin 3'er maddeden oluşan 4 madde takımına verdikleri yanıtlar 3 puanlayıcı tarafından değerlendirilmiştir. Elde edilen veriler üzerinde güvenirlik kestirimleri Genellenebilirlik Kuramı ile yürütülmüştür. Açık uçlu maddelerden oluşan madde takımlarının yer aldığı başarı testinde, madde takımı etkisinin ele alınmadığı durumda tüm öğrencilerin (b) tüm maddelere (m) verdikleri yanıtların tüm puanlayıcılar (p) tarafından puanlandığı bxmxp tümüyle çaprazlanmış desen kullanılırken; madde takımı etkisinin dahil edildiği durumda maddelerin madde takımlarında (t) yuvalandığı, bireylerin ve puanlayıcıların ise bunlarla çaprazlandığı bx(m:t)xp yuvalanmış deseni kullanılmıştır. Elde edilen sonuçlara göre; madde takımı etkisi dahil edilmediğinde güvenirlik katsayısı 0,81 kestirilirken, madde takımı etkisi ele alındığında güvenirlik katsayısı 0,67 olarak kestirilmiştir. Çoktan seçmeli maddelerden oluşan madde takımlarının yer aldığı başarı testinde de benzer şekilde; madde takımı etkisinin ele alınmadığı durumda tüm öğrencilerin tüm maddelere verdikleri cevaplar bxm çaprazlanmış deseni, madde takımı etkisinin ele alındığı durumda ise tüm öğrencilerin tüm madde takımlarında yer alan tüm maddeleri cevapladığı bx(m:t) yuvalanmış deseni kullanılmıştır. Elde edilen sonuçlara göre; madde takımı etkisi dahil edilmediğinde güvenirlik katsayısı 0,76 olarak hesaplanırken, madde takımı etkisi dahil edildiğinde güvenirlik katsayısı 0,71 olarak kestirilmiştir. Çalışma kapsamında elde edilen verilere göre; açık uçlu maddelerin yer aldığı testte güvenirlik katsayısı daha yüksek kestirilirken, madde takımı etkisi dahil edildiğinde güvenirlik katsayısındaki değişim çoktan seçmeli maddelerin yer aldığı testteki değişime göre daha fazla olmuştur. Genellenebilirlik kuramı kapsamında yürütülen karar çalışmalarında madde ve madde takımı sayısındaki artışların güvenirliğe etkisinin olumlu olduğu gözlenmekle birlikte madde takımındaki artışın güvenirliğe katkısının daha fazla olduğu görülmüştür. Puanlayıcı sayısındaki artışın ise madde ve madde takımlarıyla kıyaslandığında güvenirliğe katkısının daha az olduğu görülmüştür. Sonuç olarak; madde takımlarının yer aldığı testlerin güvenirlik kestirimleri yapılırken daha yansız sonuçlar elde etmek adına madde takımı etkisinin ele alınması gerektiğine, ayrıca madde takımları içindeki madde sayısının artırılmasından ziyade madde takımı sayısının artırılmasının güvenirliğe katkısının daha fazla olduğuna ulaşılmıştır.
Özet (Çeviri)
In this study, it was aimed to reveal the effect of testlets consisting of open-ended and multiple-choice items prepared with similar content on reliability. For this purpose, two different Mathematics Achievement Tests were prepared, one consisting of multiple choice and open-ended items. The final forms obtained as a result of the pilot application were applied to 128 8th grade students in a public secondary school affiliated to the Ministry of National Education in the province of Ankara in the 2022-2023 academic year. In the test with open-ended items, the answers given by the students to the 4 item testlets consisting of 3 items were evaluated by 3 raters. Reliability estimations on the obtained data were carried out with the Generalizability Theory. In the achievement test with open-ended testlets, in the absence of the testlet effect, the pxixr fully crossed design was used, in which all students' answers to (p) all items (i) were scored by all raters (r); In the case of including the testlet effect, the px(i:h)xr nested design was used, in which items were nested in the testlets (h) and individuals and raters were crossed with them. According to the results obtained; The reliability coefficient was estimated as 0.81 when the testlet effect was not included, while the reliability coefficient was estimated as 0.67 when the testlet effect was taken into account. Similarly, in the achievement test, which includes testlets consisting of multiple-choice items; In the case that the testlet effect was not addressed, the pxi crossed design was used for all the all students' answer to all the items, and in the case of the testlet effect, the px(i:h) nested design in which all the students answered all the items in all the testlets used. According to the results obtained; While the reliability coefficient was calculated as 0.76 when the testlet effect was not included, the reliability coefficient was estimated as 0.71 when the testlet effect was included. According to the data obtained within the scope of the study; While the reliability coefficient was estimated higher in the test with open-ended items, the change in the reliability coefficient was higher when the testlet effect was included, compared to the change in the test with multiple-choice items. In the decision studies carried out within the scope of generalizability theory, it was observed that the increase in the number of items and testlets had a positive effect on reliability, but it was observed that the increase in the testlet contributed more to reliability. It was observed that the increase in the number of raters contributed less to the reliability when compared to the items and testlets. In conclusion; While estimating the reliability of the tests including the testlets, it was concluded that the testlet effect should be considered in order to obtain more unbiased results, and that increasing the number of testlets, rather than increasing the number of items in the testlets, contributed more to the reliability.
Benzer Tezler
- Çoktan seçmeli, açık uçlu ve karma testlerin psikometrik özelliklerinin Madde Tepki Kuramı'na dayalı olarak değerlendirilmesi
The evaluation based on Item Response Theory of the psychometric characteristics in multiple choice, constructed response and mixed format tests
SELDA GÜLTEKİN
Doktora
Türkçe
2011
Eğitim ve ÖğretimAnkara ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. R. NÜKHET ÇIKRIKÇI DEMİRTAŞLI
- Düşük okuma başarısını yordayan etkenlerin açıklayıcı madde tepki kuramıyla belirlenmesi
Determination of the factors predicting low reading achievement by explanatory item response theory
NESLİHAN TUĞÇE ÖZYETER
Doktora
Türkçe
2022
Eğitim ve ÖğretimAnkara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER KUTLU
- İlköğretim ikinci kademede dil becerisi olarak dinlemeyi geliştirme çalışmaları
A study on improving listening as a language skill atsecondary school
YUSUF DOĞAN
Doktora
Türkçe
2007
Eğitim ve ÖğretimGazi ÜniversitesiTürkçe Eğitimi Ana Bilim Dalı
PROF. DR. ALEMDAR YALÇIN
- Mixed methods research at the intersection of mathematics teachers' adoption of curriculum change and assessment of students' readiness level through educational neuroscience methods
Matematik öğretmenlerinin öğretim programı değişikliğini benimsemesi ve öğrencilerin hazır bulunuşluk düzeylerinin değerlendirilmesinin kesişiminde eğitimsel nörobilim yöntemleriyle karma yöntem araştırması
BENGİ BİRGİLİ
Doktora
İngilizce
2022
Eğitim ve ÖğretimOrta Doğu Teknik ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HANİFE AKAR
DR. ÖĞR. ÜYESİ TUNA ÇAKAR
- Sınıf öğretmenleri ve sınıf öğretmeni adaylarının dijital okuma ve dijital yazma kültürleri
Digital reading and digital writing cultures of primary school teachers and prospective teachers
HAYRÜNNİSA SAVAŞ
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimNecmettin Erbakan ÜniversitesiTemel Eğitim Ana Bilim Dalı
PROF. DR. RUHAN KARADAĞ YILMAZ