Puanlayıcı deneyimlerine göre puanlayıcılar arası güvenirliklerin farklı yöntemlerle incelenmesi
Analysis of interrater reliability with different methods according to rater experience
- Tez No: 694550
- Danışmanlar: PROF. DR. NURİ DOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 133
Özet
Bu araştırmanın amacı, yazma becerilerini ölçen açık uçlu yazma görevlerinin, puanlama sürecine ilişkin deneyimi olan ve deneyimi olmayan öğretmenler tarafından analitik ve bütünsel dereceli puanlama anahtarı yardımıyla puanlanmasından elde edilecek güvenirlik değerlerinin karşılaştırılmasıdır. Farklı tekniklerle belirlenen güvenirlik ve tutarlılık düzeylerinde deneyimli-deneyimsiz gruplar arasında farklılaşma olup olmadığının belirlenmeye çalışıldığı bu araştırma kapsamında MEB Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünce yürütülen“Yazılı Anlatım Becerilerinin Ölçülmesi ve Değerlendirilmesi”çalışması için uygulanan“Yazma Becerileri Testi”verileri kullanılmıştır. Türkçe yazma becerilerini ölçen ve 8 adet açık uçlu sorudan oluşan bu test Adana, Ankara ve İstanbul illerinde bulunan okullar arasından tabakalı örnekleme yöntemine göre seçilen okullarda 2016-2017 Eğitim-Öğretim yılı bahar döneminde uygulanmıştır. Bu amaçla ilkokul 4, ortaokul 7 ve ortaöğretim 9. sınıflarda öğrenim gören toplam 240 öğrenciye uygulanan“Yazma Becerileri Testi”nden elde edilen sonuçlar puanlama deneyimine sahip olan ve puanlama deneyimi olmayan iki ayrı grup olmak üzere 12 sınıf öğretmeni, 12 Türkçe öğretmeni ve 12 Türk dili ve edebiyat öğretmeni tarafından puanlanmıştır. Puanlama sonuçlarının Kappa tekniği, Krippendorf'un Alpha katsayısı ve Genellenebilirlik Kuramı'na dayalı güvenirlik kestirimleri yapılarak puanlayıcılar arası tutarlılık düzeyine bakılmıştır. Araştırma sonucunda tüm gruplarda Kappa ve Krippendorff'un Alpha tekniğinden elde edilen katsayılarda paralellik ve tutarlılık gözlenmiştir. Yapılan Genellenebilirlik kuramı çalışmalarından elde edilen G ve Phi katsayıları incelendiğinde deneyimsiz Türkçe öğretmenleri ile Türk dili edebiyatı öğretmenlerinin her iki grubunda güvenirlik ve genellenebilirlik için beklenen (0,80) değerine ulaşıldığı gözlenmiştir. Bununla birlikte puanlama deneyiminin tek başına güvenirliğe belirgin bir etkisine dair bulguya ulaşılamamıştır.
Özet (Çeviri)
The aim of this study was to compare the reliability values obtained from the scoring of open-ended items measuring writing skills by teachers with and without experience in the scoring process with the use of analytical and holistic rubrics. Within the scope of this research, in which it is tried to determine whether there is a difference between experienced and inexperienced groups in the levels of reliability and consistency determined by different techniques, the“Writing Skills Test”data conducted by the General Directorate of Measurement, Evaluation and Examination Services of the Ministry of National Education were used. For this purpose, the results obtained from the writing test which is applied to a total of 240 students studying in the 4th, 7th and 9th grades were scored by two separate experienced an inexperienced groups. Reliability estimations of the scoring results based on Kappa technique, Krippendorff's Alpha coefficient and Generalizability Theory were made and the level of consistency between raters was investigated. As a result of the research, parallel and consistent values were observed in the coefficients obtained from Kappa and Krippendorff's alpha technique in all groups. When the G and Phi coefficients obtained from the generalizability theory studies were examined, it was observed that the expected (0,80) value for reliability and generalizability was reached in inexperienced Turkish teachers and both groups (experienced and inexperienced) of Turkish language and literature teachers. However, there was no evidence of a significant effect of scoring experience alone on reliability.
Benzer Tezler
- An investigation into evaluating translation quality of university students
Üniversite öğrencilerinin çeviri kalitesinin değerlendirilmesi sürecinin incelenmesi
NİLÜFER AYBİRDİ
Doktora
İngilizce
2020
Eğitim ve ÖğretimAtatürk ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. MEHMET TAKKAÇ
- Üniversite öğrencilerinde psikolojik yardım aramaya ilişkin damgalama düzeylerinin özyeterlik, aile bütünlük duygusu ve sosyal destek ile ilişkisi
The relationships between stigma toward psychological help seeking, self-efficacy, family sense of coherence and social support in university students
GÖZDE ÇAMAŞ
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiEğitimde Psikolojik Hizmetler Ana Bilim Dalı
DOÇ. DR. İLHAN YALÇIN
- Fen bilimleri öğretmenlerinin hücre bölünmeleri konusundaki pedagojik alan bilgilerinin geliştirilen bir ölçek aracılığıyla değerlendirilmesi
Evaluation of science teachers' pedagogical content knowledge of cell divisions through a developed scale
MÜCAHİT KÖSE
- Feminist yaklaşıma dayalı ilişki geliştirme programının güç paylaşımı, benlik yönelimleri ve çift uyumuna etkisi
Effects of the feminist-informed relationship enhancement program on power sharing, self orientations and dyadic adjustment of married couples
FATMA ARICI ŞAHİN
Doktora
Türkçe
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. İBRAHİM KEKLİK
- Kadınlarda sezgisel yeme ile yeme tutumu ve mental iyi oluş arasındaki ilişkinin incelenmesi
Investigating the relationship between intuitive eating, disordered eating and mental wellbeing in women
KARDELEN CANAN ERGİN
Yüksek Lisans
Türkçe
2020
PsikolojiÜsküdar ÜniversitesiUygulamalı Psikoloji Ana Bilim Dalı
DOÇ. DR. TAYFUN DOĞAN