Geri Dön

Puanlayıcı deneyimlerine göre puanlayıcılar arası güvenirliklerin farklı yöntemlerle incelenmesi

Analysis of interrater reliability with different methods according to rater experience

  1. Tez No: 694550
  2. Yazar: MEHMET ALİ AYDOĞMUŞ
  3. Danışmanlar: PROF. DR. NURİ DOĞAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: Türkçe
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 133

Özet

Bu araştırmanın amacı, yazma becerilerini ölçen açık uçlu yazma görevlerinin, puanlama sürecine ilişkin deneyimi olan ve deneyimi olmayan öğretmenler tarafından analitik ve bütünsel dereceli puanlama anahtarı yardımıyla puanlanmasından elde edilecek güvenirlik değerlerinin karşılaştırılmasıdır. Farklı tekniklerle belirlenen güvenirlik ve tutarlılık düzeylerinde deneyimli-deneyimsiz gruplar arasında farklılaşma olup olmadığının belirlenmeye çalışıldığı bu araştırma kapsamında MEB Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünce yürütülen“Yazılı Anlatım Becerilerinin Ölçülmesi ve Değerlendirilmesi”çalışması için uygulanan“Yazma Becerileri Testi”verileri kullanılmıştır. Türkçe yazma becerilerini ölçen ve 8 adet açık uçlu sorudan oluşan bu test Adana, Ankara ve İstanbul illerinde bulunan okullar arasından tabakalı örnekleme yöntemine göre seçilen okullarda 2016-2017 Eğitim-Öğretim yılı bahar döneminde uygulanmıştır. Bu amaçla ilkokul 4, ortaokul 7 ve ortaöğretim 9. sınıflarda öğrenim gören toplam 240 öğrenciye uygulanan“Yazma Becerileri Testi”nden elde edilen sonuçlar puanlama deneyimine sahip olan ve puanlama deneyimi olmayan iki ayrı grup olmak üzere 12 sınıf öğretmeni, 12 Türkçe öğretmeni ve 12 Türk dili ve edebiyat öğretmeni tarafından puanlanmıştır. Puanlama sonuçlarının Kappa tekniği, Krippendorf'un Alpha katsayısı ve Genellenebilirlik Kuramı'na dayalı güvenirlik kestirimleri yapılarak puanlayıcılar arası tutarlılık düzeyine bakılmıştır. Araştırma sonucunda tüm gruplarda Kappa ve Krippendorff'un Alpha tekniğinden elde edilen katsayılarda paralellik ve tutarlılık gözlenmiştir. Yapılan Genellenebilirlik kuramı çalışmalarından elde edilen G ve Phi katsayıları incelendiğinde deneyimsiz Türkçe öğretmenleri ile Türk dili edebiyatı öğretmenlerinin her iki grubunda güvenirlik ve genellenebilirlik için beklenen (0,80) değerine ulaşıldığı gözlenmiştir. Bununla birlikte puanlama deneyiminin tek başına güvenirliğe belirgin bir etkisine dair bulguya ulaşılamamıştır.

Özet (Çeviri)

The aim of this study was to compare the reliability values obtained from the scoring of open-ended items measuring writing skills by teachers with and without experience in the scoring process with the use of analytical and holistic rubrics. Within the scope of this research, in which it is tried to determine whether there is a difference between experienced and inexperienced groups in the levels of reliability and consistency determined by different techniques, the“Writing Skills Test”data conducted by the General Directorate of Measurement, Evaluation and Examination Services of the Ministry of National Education were used. For this purpose, the results obtained from the writing test which is applied to a total of 240 students studying in the 4th, 7th and 9th grades were scored by two separate experienced an inexperienced groups. Reliability estimations of the scoring results based on Kappa technique, Krippendorff's Alpha coefficient and Generalizability Theory were made and the level of consistency between raters was investigated. As a result of the research, parallel and consistent values were observed in the coefficients obtained from Kappa and Krippendorff's alpha technique in all groups. When the G and Phi coefficients obtained from the generalizability theory studies were examined, it was observed that the expected (0,80) value for reliability and generalizability was reached in inexperienced Turkish teachers and both groups (experienced and inexperienced) of Turkish language and literature teachers. However, there was no evidence of a significant effect of scoring experience alone on reliability.

Benzer Tezler

  1. An investigation into evaluating translation quality of university students

    Üniversite öğrencilerinin çeviri kalitesinin değerlendirilmesi sürecinin incelenmesi

    NİLÜFER AYBİRDİ

    Doktora

    İngilizce

    İngilizce

    2020

    Eğitim ve ÖğretimAtatürk Üniversitesi

    Yabancı Diller Eğitimi Ana Bilim Dalı

    PROF. DR. MEHMET TAKKAÇ

  2. Üniversite öğrencilerinde psikolojik yardım aramaya ilişkin damgalama düzeylerinin özyeterlik, aile bütünlük duygusu ve sosyal destek ile ilişkisi

    The relationships between stigma toward psychological help seeking, self-efficacy, family sense of coherence and social support in university students

    GÖZDE ÇAMAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimAnkara Üniversitesi

    Eğitimde Psikolojik Hizmetler Ana Bilim Dalı

    DOÇ. DR. İLHAN YALÇIN

  3. Fen bilimleri öğretmenlerinin hücre bölünmeleri konusundaki pedagojik alan bilgilerinin geliştirilen bir ölçek aracılığıyla değerlendirilmesi

    Evaluation of science teachers' pedagogical content knowledge of cell divisions through a developed scale

    MÜCAHİT KÖSE

    Doktora

    Türkçe

    Türkçe

    2014

    Eğitim ve ÖğretimGazi Üniversitesi

    İlköğretim Ana Bilim Dalı

    PROF. DR. MAHMUT SELVİ

  4. Feminist yaklaşıma dayalı ilişki geliştirme programının güç paylaşımı, benlik yönelimleri ve çift uyumuna etkisi

    Effects of the feminist-informed relationship enhancement program on power sharing, self orientations and dyadic adjustment of married couples

    FATMA ARICI ŞAHİN

    Doktora

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. İBRAHİM KEKLİK

  5. Kadınlarda sezgisel yeme ile yeme tutumu ve mental iyi oluş arasındaki ilişkinin incelenmesi

    Investigating the relationship between intuitive eating, disordered eating and mental wellbeing in women

    KARDELEN CANAN ERGİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    PsikolojiÜsküdar Üniversitesi

    Uygulamalı Psikoloji Ana Bilim Dalı

    DOÇ. DR. TAYFUN DOĞAN