PISA 2009 okuma becerileri açık uçlu sorularının puanlanmasında genellenebilirlik kuramındaki farklı desenlerin karşılaştırılması
Comparison of different designs in scoring of PISA 2009 reading open ended items according to generalizability theory
- Tez No: 321957
- Danışmanlar: DOÇ. DR. NURİ DOĞAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2013
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 151
Özet
Bu araştırmada, PISA 2009 Okuma Becerileri performansını değerlendirmede kullanılan açık uçlu soruların, birden fazla puanlayıcı tarafından birlikte ve dönüşümlü olarak puanlanmasıyla elde edilen farklı desenler Genellenebilirlik Kuramına göre karşılaştırılmıştır.Bu çalışmanın örneklemini, PISA 2009 uygulamasına katılan 4996 öğrenciden, okuma becerileri alanında yer alan soruları yanıtlayan ve yanıtladıkları kitapçıklar birden fazla puanlayıcı tarafından puanlanan 886 öğrenci oluşturmaktadır. Araştırmada, iki farklı senaryo üzerinden genellenebilirlik kuramında kullanılmak üzere iki desen tasarlanmıştır. Bu desenlerden ilki, öğrenci (ö), soru (s) ve puanlayıcı (p) değişkenleri olmak üzere, öğrencilerin aynı beceriler konusunda puanlayıcıların her biri tarafından puanlandığı ö x s x p çapraz desendir. İkinci desen ise, her bir puanlayıcının öğrencilerden sadece bir kısmını puanlamasıyla oluşan, öğrenci ve puanlayıcı değişkenlerinin yuvalanmış olduğu, soruların ise bu değişkenlerle çaprazlanmış olduğu (ö:p) x s desenidir.Analizler EduG 6 Programıyla gerçekleştirilmiştir. EduG 6 Programı, varyans analizine dayalı ve genellenebilirlik kuramı analizleri için geliştirilmiş bir programdır. Program, araştırmacının ölçmeye etki eden en büyük varyans kaynağını belirlemesine olanak sağlar ve Karar çalışmasıyla hata varyansına en çok katkısı olan örneklem deseninde yapılan değişikliğin etkilerini görmesine yardımcı olur.Ö x S x P ve (Ö:P) x S desenleri karşılaştırıldığında, (Ö:P) x S deseni ile kestirilen bağıl ve mutlak hata varyanslarının Ö x S x P desenine göre daha küçük olduğu, dolayısıyla G ve Phi katsayılarının daha büyük değerler aldığı görülmektedir. Bu iki desende yapılan Karar çalışmaları incelendiğinde, her iki desende de puanlayıcı sayısını artırmanın G ve Phi katsayılarında artış sağladığı görülmüştür. 2, 4, 5, 6 ve 7 nolu Kitapçıklarda, puanlayıcı sayısını yarıya indirerek ya da madde sayısını yarıya indirerek, çoğu zaman her ikisinin sayısını da yarıya indirerek kabul edilebilir düzeylerde G katsayısına ulaşmanın mümkün olduğu görülmektedir.2, 4, 5, 6, 7 nolu Kitapçıklarda madde ve puanlayıcı sayısının indirilip, 8 ve 12 nolu Kitapçıklarda madde sayısı sabit tutularak, puanlayıcı sayısının artırılmasının zaman, işgücü ve ekonomi açısından uygun olacağı sonucuna ulaşılmıştır.
Özet (Çeviri)
In this study, different designs which were formed jointly and alternatively assesment of students by more than one rater in scoring of PISA 2009 reading open ended items were compared according to Generalizability Theory.886 students who answered reading items and scored by more than one rater were selected from 4996 students who participated PISA 2009. In the study, two different designs were formed and G and D studies were done according to Generalizability Theory. The first design is a crossed design S x I x R (student x item x rater) which students answersed all of the items and scored by all of the raters and the second design is a partially nested design (S:R) X I which students answered all of the items but they were nested in raters.EduG 6 was used to carry out Generalizability Analysis. EduG is a program based on the Analysis of Variance (ANOVA) and designed to carry out Generalizability analysis. It enables you to identify which sources of variance have the greatest influence on your measurement observations, and, through D study allows you to see the potential effect of changing your sampling design to reduce the greatest contributions to measurement error.When the results of Generalizability analysis according to S x I x R and (S:R) X I designs compared, it was observed that variance rates that were estimated for variables in (S:R) X I design tends to be smaller and so G and Phi coefficients in this design tend to be higher. As a result of D studies, in both designs when the number of raters increases, G and Phi Coefficients increase as well. In Booklets 2, 4, 5, 6 and 7, reducing the number of raters by half or reducing the number of items by half or reducing the number of raters and items by half at the same time, still provide acceptable G and Ghi Coefficifients.In Booklets 2, 4, 5, 6 and 7, reducing the number of items and raters by half; in Booklets 8 and 12, keeping the number of items constant and inceasing the number of raters, will be convenient in terms of time, labor and economy.
Benzer Tezler
- PISA 2009 uygulamasına katılan ülkelerin okuma becerileri alt test sonuçlarının profil analizi ile değerlendirilmesi
The evaluation of the reading skills subtest scores of the countries participated in PISA 2009 with the profile analysis
ÖZKAN SAATÇİOĞLU
Yüksek Lisans
Türkçe
2014
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
YRD. DOÇ. DR. HÜSEYİN HÜSNÜ YILDIRIM
- PISA 2009 okuma becerileri testi maddelerinin yanlılık açısından Türkiye, Amerika Birleşik Devletleri ve Birleşik Krallık uygulamalarında karşılaştırılması
The comparison of PISA 2009 reading test's items with regards to administrations in Turkey, United States of America and the United Kingdom in terms of bias
DENİZ TUĞÇE ÖZMEN
Doktora
Türkçe
2013
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. NİZAMETTİN KOÇ
- Pısa sonuçlarına dayalı olarak Kırgızistan eğitim sisteminin değerlendirilmesi
Pısa'нын натыйжаларына ылайык кыргыз республикасынын билим берүү системасын анализдөө
YASEMİN ERMAN
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimKırgızistan-Türkiye Manas ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. HAKAN DÜNDAR
- PISA 2009 okuma becerileri alanındaki maddelerin tek değişkenli ve çok değişkenli eşleştirme yöntemi ile değişen madde fonksiyonlarının incelenmesi
Investigation of differential item functioning of the items in PISA 2009 reading literacy test through univariate and multivariate matching dif
AHMET YILDIRIM
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. NİZAMETTİN KOÇ
- Okuduğunu anlama başarısıyla ilişkili faktörlerin aşamalı doğrusal modellemeyle belirlenmesi: PISA 2009 Hollanda, Kore ve Türkiye karşılaştırması
Determination of factors relating reading comprehension achievement with hierarchical linear models: PISA 2009 comparison of the Netherlands, Korea and Turkey
ÖZEN YILDIRIM
Doktora
Türkçe
2012
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. ÖMER KUTLU