Geri Dön

Ortaöğretim İngilizce yeterliğinin puanlayıcılar arası güvenirliğinin genellenebilirlik kuramı ve Rasch Modeli ile belirlenmesi

Determination of inter-rater reliability of secondary education English proficiency using generalization theory and Rasch Model

PDF İndir

  1. Tez No: 850594
  2. Yazar: AYKUT TÜZAN
  3. Danışmanlar: DOÇ. DR. HAKAN KOĞAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Genellenebilirlik kuramı, Rasch modeli, Puanlayıcılar arası güvenirlik, Bütünsel dereceleme anahtarı, Performansa dayalı durum belirleme, Generalizability theory, Rasch model, Inter-rater reliability, Holistic rubric, Performance-based status determination
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Akdeniz Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 98

Özet

Bu araştırmada; 2022-2023 öğretim yılına ait ortaöğretim 12. sınıf öğrencilerinin İngilizce yeterliğine ait puanların farklı puanlayıcılar tarafından bütünsel puanlama anahtarı ve puanlama anahtarı olmadan puanlanması sonucunda“Genellenebilirlik Kuramı”ve“Çok Değişkenlik Kaynaklı Rasch Modeli”ile güvenirliklerinin ve tutarlılıkların belirlenmesi hedeflenmiştir. Genellenebilirlik Kuramında çapraz desen ele alınarak karar çalışmalarının geçerliği ve karşılaştırılması incelenmiştir. Rasch modeli üzerinden çok değişkenlik modeli ile veriler ele alınmıştır. Bu kuramlar kullanılırken okul, cinsiyet ve ölçekli-ölçeksiz değerlendirme değişkenleri dikkate alınmış olup analizler tamamen gerçek veriler üzerinden uygulanmıştır. Araştırmaya konu olan İngilizce yeterliğinin değerlendirilmesi için 12. sınıf seviyesinde kompozisyon yazma becerisini puanlamak amacıyla 3 farklı uzman tarafından değerlendirmeleri yapılması planlanan 4 farklı özellikteki ortaöğretim okullarında 12. sınıftaki öğrenim gören 124 öğrenciye uygulanmıştır. Bu öğrencilerin verdiği cevaplar 1'i ölçekli diğer ikisi ölçeksiz olacak şekilde 3 farklı puanlayıcı tarafından puanlanması yapılmıştır. Araştırmanın sonraki aşamasında elde edilen puanların güvenirliği“Genellenebilirlik Kuramı”ve“Çok Değişkenlik Rasch Modeli Kuramı”na göre incelenmiştir. Genellenebilirlik Kuramında (b: birey, p: puanlayıcı) çaprazlanmış desen kullanılmış olup güvenirlik katsayıları hesaplanmıştır. Çok Değişkenlik Kaynaklı Rasch Modeliyle ise birey, puanlayıcı, ve okul yüzeylerine ilişkin farklı güvenirlik hesaplamaları yapılmıştır. Hesaplama işlemi“Genellenebilirlik Kuramı”için EduG 6.1 (Swiss Society for Research İN Education Working Group, 2010) bilgisayar programı, ÇDKRM analizleri ise FACETS (Linacre, 2007) programı kullanılmıştır. Bu araştırma sonrası elde edilen sonuçlara göre Genellenebilirlik Kuramına göre İngilizce yeterliliğinin G ve Phi katsayılarının alternatif karar çalışmalarında nispeten de olsa gerçek duruma göre farklı görülmüştür. Puanlayıcılar arası uyumun belirlenmesinde farklı değerler gösteren puanlayıcıların verdikleri puanlar arasında anlamlı bir ilişki olduğu sonucuna varılmıştır. Genellenebilirlik Kuramı doğrultusunda İngilizce yeterliğinin ölçülmesiyle elde edilen puanların birinci puanlayıcının G katsayısı 0.85 iken ikinci ve üçüncü punlayıcının 0.88 düzeyindedir. Birinci puanlayıcının Phi katsayısı 0.79, ikinci puanlayıcının Phi katsayısı 0.72 ve üçüncü puanlayıcının Phi katsayısı 0.82 olarak hesaplanmıştır. Bu sonuçlara göre, 2022 yılında uygulanan İngilizce yeterliliğinin ölçülmesi sonucunda puanlayıcılar arasında farklılık gösterdiği görülmüştür. İngilizce yeterliliğini ölçme adına yapılan çalışmada üç puanlayıcının puanları ortalamaları arasında fark olduğu görülmüş olup birbirleriyle uyumlu puanlama yaptıkları belirlenmiştir. Ayrıca madde sayısını artırmanın puanlayıcı sayısı artırmadan işgücü zaman ve maliyet açısından daha faydalı olacağı sonucuna ulaşılmıştır. Yapılan bu araştırmada İngilizce yeterliğini ölçmede kullanılan kuramların arasında iki kuramında birbirine yakın sonuç verdiği görülmüştür. Bu iki kuramında detaylı inceleme yapılması amacıyla kullanılabilirliğin faydalı olacağı öngörülmektedir. Ayrıca puanlayıcıların ölçekli ve ölçeksiz puanlamaları sonrası ölçek kullanımının ortaya çıkarmış olduğu farkı görmek adına litaratüre katkı sağlayacağı düşünülmüştür.

Özet (Çeviri)

In this study; As a result of scoring the English proficiency scores of 12th grade secondary school students in the 2022-2023 academic year by different raters with and without a holistic scoring key, it was aimed to determine their reliability and consistency with the“Generalizability Theory”and“Multivariability-Based Rasch Model”. In Generalizability Theory, the validity and comparison of decision studies were examined by considering cross-over design. The data was handled with the multivariability model through the Rasch model. While using these theories, school, gender and scaled and non-scaled evaluation variables were taken into account and the analyzes were carried out entirely on real data. In order to evaluate the English proficiency that is the subject of the research, it was applied to 124 students in the 12th grade in 4 different secondary schools, which were planned to be evaluated by 3 different experts in order to score the composition writing skill at the 12th grade level. The answers given by these students were scored by 3 different raters, one with a scale and the other two without a scale. In the next stage of the research, the reliability of the scores obtained was examined according to“Generalizability Theory”and“Multivariability Rasch Model Theory”. In Generalizability Theory, reliability coefficients were calculated using the bxp (b: individual, p: rater) crossed design. Separate reliability calculations were made for individual, rater and school dimensions with the Multivariability Rasch Model. EduG 6.1 (Swiss Society for Research IN Education Working Group, 2010) computer program was used for the calculation process, and FACETS (Linacre, 2007) program was used for the MLRM analysis. According to the results obtained after this research, according to the Generalizability Theory, the G and Phi coefficients of English proficiency were seen to be relatively different compared to the real situation in alternative decision studies. It was concluded that there was a significant relationship between the scores given by the raters, showing varying values in determining inter-rater agreement. According to the Generalizability Theory, the G coefficient of the first rater of the scores obtained by measuring English proficiency is 0.85, while the second and third rater's are 0.88. The Phi coefficient of the first rater was calculated as 0.79, the Phi coefficient of the second rater was calculated as 0.72, and the Phi coefficient of the third rater was calculated as 0.82. According to these results, it was observed that there were differences between raters as a result of measuring English proficiency applied in 2022. In the study conducted to measure English proficiency, it was determined that although there was a difference between the average scores of the three raters, they scored compatible with each other. Additionally, it was concluded that increasing the number of items would be more beneficial in terms of labor time and cost than increasing the number of raters. In this research, it was seen that among the theories used to measure English proficiency, two theories gave similar results. In this research, it was seen that among the theories used to measure English proficiency, two theories gave similar results. In addition, it was thought that it would contribute to the literature in order to see the difference made by the use of the scale after the raters scored with and without a scale.

Benzer Tezler

  1. Tez No

    301707

    The relation of teacher efficacy to students' trigonometry self-efficacy and trigonometry achievement

    Öğretmen öz-yeterliğinin öğrenci trigonometri özyeterliliği ve öğrenci trigonometri başarısı ile ilişkisi

    AYŞE SARAÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Eğitim ve ÖğretimBoğaziçi Üniversitesi

    Ortaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı

    DR. FATMA ASLAN-TUTAK

  2. Tez No

    770605

    Teknolojik liderliğin öğrenen okula etkisinde öğretmenlerin teknolojik entegrasyon öz yeterliğinin aracılık rolü

    The mediating role of teachers' technological integration self-efficiency in the effect of technological leadership on the learning school

    YAKUP ACAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Eğitim ve ÖğretimAtatürk Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. İSA YILDIRIM

  3. Tez No

    311840

    The role of teacher efficacy over English language teaching

    Öğretmen öz yeterliliğinin İngilizce öğretimindeki rolü

    ESEN ASLAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2013

    Eğitim ve ÖğretimÇağ Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. HÜLYA YUMRU

  4. Tez No

    629183

    Denizcilik eğitimi veren ortaöğretim kurumlarında mesleki ingilizce dersinin yeterliliği üzerine inceleme

    Investigation on the qualification of vocational english course in secondary educational institutions giving maritime education

    SERCAN SARAY

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Denizcilikİstanbul Teknik Üniversitesi

    Deniz Ulaştırma Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TANZER SATIR

  5. Tez No

    605239

    An examination of STEAM teacher competencies

    STEAM öğretmen yeterliklerinin incelenmesi

    MÜNİRE BERNA BEŞKESE

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Eğitim ve ÖğretimBoğaziçi Üniversitesi

    Ortaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı

    DOÇ. DR. SERKAN ÖZEL

Geri Dön