Geri Dön

PISA 2009 okuma becerileri açık uçlu sorularının puanlanmasında genellenebilirlik kuramındaki farklı desenlerin karşılaştırılması

Comparison of different designs in scoring of PISA 2009 reading open ended items according to generalizability theory

  1. Tez No: 321957
  2. Yazar: MERAL ALKAN
  3. Danışmanlar: DOÇ. DR. NURİ DOĞAN
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2013
  8. Dil: Türkçe
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Sosyal Bilimler Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 151

Özet

Bu araştırmada, PISA 2009 Okuma Becerileri performansını değerlendirmede kullanılan açık uçlu soruların, birden fazla puanlayıcı tarafından birlikte ve dönüşümlü olarak puanlanmasıyla elde edilen farklı desenler Genellenebilirlik Kuramına göre karşılaştırılmıştır.Bu çalışmanın örneklemini, PISA 2009 uygulamasına katılan 4996 öğrenciden, okuma becerileri alanında yer alan soruları yanıtlayan ve yanıtladıkları kitapçıklar birden fazla puanlayıcı tarafından puanlanan 886 öğrenci oluşturmaktadır. Araştırmada, iki farklı senaryo üzerinden genellenebilirlik kuramında kullanılmak üzere iki desen tasarlanmıştır. Bu desenlerden ilki, öğrenci (ö), soru (s) ve puanlayıcı (p) değişkenleri olmak üzere, öğrencilerin aynı beceriler konusunda puanlayıcıların her biri tarafından puanlandığı ö x s x p çapraz desendir. İkinci desen ise, her bir puanlayıcının öğrencilerden sadece bir kısmını puanlamasıyla oluşan, öğrenci ve puanlayıcı değişkenlerinin yuvalanmış olduğu, soruların ise bu değişkenlerle çaprazlanmış olduğu (ö:p) x s desenidir.Analizler EduG 6 Programıyla gerçekleştirilmiştir. EduG 6 Programı, varyans analizine dayalı ve genellenebilirlik kuramı analizleri için geliştirilmiş bir programdır. Program, araştırmacının ölçmeye etki eden en büyük varyans kaynağını belirlemesine olanak sağlar ve Karar çalışmasıyla hata varyansına en çok katkısı olan örneklem deseninde yapılan değişikliğin etkilerini görmesine yardımcı olur.Ö x S x P ve (Ö:P) x S desenleri karşılaştırıldığında, (Ö:P) x S deseni ile kestirilen bağıl ve mutlak hata varyanslarının Ö x S x P desenine göre daha küçük olduğu, dolayısıyla G ve Phi katsayılarının daha büyük değerler aldığı görülmektedir. Bu iki desende yapılan Karar çalışmaları incelendiğinde, her iki desende de puanlayıcı sayısını artırmanın G ve Phi katsayılarında artış sağladığı görülmüştür. 2, 4, 5, 6 ve 7 nolu Kitapçıklarda, puanlayıcı sayısını yarıya indirerek ya da madde sayısını yarıya indirerek, çoğu zaman her ikisinin sayısını da yarıya indirerek kabul edilebilir düzeylerde G katsayısına ulaşmanın mümkün olduğu görülmektedir.2, 4, 5, 6, 7 nolu Kitapçıklarda madde ve puanlayıcı sayısının indirilip, 8 ve 12 nolu Kitapçıklarda madde sayısı sabit tutularak, puanlayıcı sayısının artırılmasının zaman, işgücü ve ekonomi açısından uygun olacağı sonucuna ulaşılmıştır.

Özet (Çeviri)

In this study, different designs which were formed jointly and alternatively assesment of students by more than one rater in scoring of PISA 2009 reading open ended items were compared according to Generalizability Theory.886 students who answered reading items and scored by more than one rater were selected from 4996 students who participated PISA 2009. In the study, two different designs were formed and G and D studies were done according to Generalizability Theory. The first design is a crossed design S x I x R (student x item x rater) which students answersed all of the items and scored by all of the raters and the second design is a partially nested design (S:R) X I which students answered all of the items but they were nested in raters.EduG 6 was used to carry out Generalizability Analysis. EduG is a program based on the Analysis of Variance (ANOVA) and designed to carry out Generalizability analysis. It enables you to identify which sources of variance have the greatest influence on your measurement observations, and, through D study allows you to see the potential effect of changing your sampling design to reduce the greatest contributions to measurement error.When the results of Generalizability analysis according to S x I x R and (S:R) X I designs compared, it was observed that variance rates that were estimated for variables in (S:R) X I design tends to be smaller and so G and Phi coefficients in this design tend to be higher. As a result of D studies, in both designs when the number of raters increases, G and Phi Coefficients increase as well. In Booklets 2, 4, 5, 6 and 7, reducing the number of raters by half or reducing the number of items by half or reducing the number of raters and items by half at the same time, still provide acceptable G and Ghi Coefficifients.In Booklets 2, 4, 5, 6 and 7, reducing the number of items and raters by half; in Booklets 8 and 12, keeping the number of items constant and inceasing the number of raters, will be convenient in terms of time, labor and economy.

Benzer Tezler

  1. PISA 2009 uygulamasına katılan ülkelerin okuma becerileri alt test sonuçlarının profil analizi ile değerlendirilmesi

    The evaluation of the reading skills subtest scores of the countries participated in PISA 2009 with the profile analysis

    ÖZKAN SAATÇİOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    YRD. DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU

    YRD. DOÇ. DR. HÜSEYİN HÜSNÜ YILDIRIM

  2. PISA 2009 okuma becerileri testi maddelerinin yanlılık açısından Türkiye, Amerika Birleşik Devletleri ve Birleşik Krallık uygulamalarında karşılaştırılması

    The comparison of PISA 2009 reading test's items with regards to administrations in Turkey, United States of America and the United Kingdom in terms of bias

    DENİZ TUĞÇE ÖZMEN

    Doktora

    Türkçe

    Türkçe

    2013

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    PROF. DR. NİZAMETTİN KOÇ

  3. Pısa sonuçlarına dayalı olarak Kırgızistan eğitim sisteminin değerlendirilmesi

    Pısa'нын натыйжаларына ылайык кыргыз республикасынын билим берүү системасын анализдөө

    YASEMİN ERMAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimKırgızistan-Türkiye Manas Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. HAKAN DÜNDAR

  4. PISA 2009 okuma becerileri alanındaki maddelerin tek değişkenli ve çok değişkenli eşleştirme yöntemi ile değişen madde fonksiyonlarının incelenmesi

    Investigation of differential item functioning of the items in PISA 2009 reading literacy test through univariate and multivariate matching dif

    AHMET YILDIRIM

    Doktora

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    PROF. DR. NİZAMETTİN KOÇ

  5. Okuduğunu anlama başarısıyla ilişkili faktörlerin aşamalı doğrusal modellemeyle belirlenmesi: PISA 2009 Hollanda, Kore ve Türkiye karşılaştırması

    Determination of factors relating reading comprehension achievement with hierarchical linear models: PISA 2009 comparison of the Netherlands, Korea and Turkey

    ÖZEN YILDIRIM

    Doktora

    Türkçe

    Türkçe

    2012

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    YRD. DOÇ. ÖMER KUTLU