Puanlayıcı deneyimlerine göre puanlayıcılar arası güvenirliklerin farklı yöntemlerle incelenmesi
Analysis of interrater reliability with different methods according to rater experience
- Tez No: 694550
- Danışmanlar: PROF. DR. NURİ DOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Genellenebilirlik, Kappa istatistiği, Puanlama, Puanlayıcılar arası tutarlılık, Yazma becerisi, Ölçme-değerlendirme, Generalizability, Kappa statistic, Scoring, Interrater reliability, Writing skills, Measurement and evaluation
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu araştırmanın amacı, yazma becerilerini ölçen açık uçlu yazma görevlerinin, puanlama sürecine ilişkin deneyimi olan ve deneyimi olmayan öğretmenler tarafından analitik ve bütünsel dereceli puanlama anahtarı yardımıyla puanlanmasından elde edilecek güvenirlik değerlerinin karşılaştırılmasıdır. Farklı tekniklerle belirlenen güvenirlik ve tutarlılık düzeylerinde deneyimli-deneyimsiz gruplar arasında farklılaşma olup olmadığının belirlenmeye çalışıldığı bu araştırma kapsamında MEB Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünce yürütülen“Yazılı Anlatım Becerilerinin Ölçülmesi ve Değerlendirilmesi”çalışması için uygulanan“Yazma Becerileri Testi”verileri kullanılmıştır. Türkçe yazma becerilerini ölçen ve 8 adet açık uçlu sorudan oluşan bu test Adana, Ankara ve İstanbul illerinde bulunan okullar arasından tabakalı örnekleme yöntemine göre seçilen okullarda 2016-2017 Eğitim-Öğretim yılı bahar döneminde uygulanmıştır. Bu amaçla ilkokul 4, ortaokul 7 ve ortaöğretim 9. sınıflarda öğrenim gören toplam 240 öğrenciye uygulanan“Yazma Becerileri Testi”nden elde edilen sonuçlar puanlama deneyimine sahip olan ve puanlama deneyimi olmayan iki ayrı grup olmak üzere 12 sınıf öğretmeni, 12 Türkçe öğretmeni ve 12 Türk dili ve edebiyat öğretmeni tarafından puanlanmıştır. Puanlama sonuçlarının Kappa tekniği, Krippendorf'un Alpha katsayısı ve Genellenebilirlik Kuramı'na dayalı güvenirlik kestirimleri yapılarak puanlayıcılar arası tutarlılık düzeyine bakılmıştır. Araştırma sonucunda tüm gruplarda Kappa ve Krippendorff'un Alpha tekniğinden elde edilen katsayılarda paralellik ve tutarlılık gözlenmiştir. Yapılan Genellenebilirlik kuramı çalışmalarından elde edilen G ve Phi katsayıları incelendiğinde deneyimsiz Türkçe öğretmenleri ile Türk dili edebiyatı öğretmenlerinin her iki grubunda güvenirlik ve genellenebilirlik için beklenen (0,80) değerine ulaşıldığı gözlenmiştir. Bununla birlikte puanlama deneyiminin tek başına güvenirliğe belirgin bir etkisine dair bulguya ulaşılamamıştır.
Özet (Çeviri)
The aim of this study was to compare the reliability values obtained from the scoring of open-ended items measuring writing skills by teachers with and without experience in the scoring process with the use of analytical and holistic rubrics. Within the scope of this research, in which it is tried to determine whether there is a difference between experienced and inexperienced groups in the levels of reliability and consistency determined by different techniques, the“Writing Skills Test”data conducted by the General Directorate of Measurement, Evaluation and Examination Services of the Ministry of National Education were used. For this purpose, the results obtained from the writing test which is applied to a total of 240 students studying in the 4th, 7th and 9th grades were scored by two separate experienced an inexperienced groups. Reliability estimations of the scoring results based on Kappa technique, Krippendorff's Alpha coefficient and Generalizability Theory were made and the level of consistency between raters was investigated. As a result of the research, parallel and consistent values were observed in the coefficients obtained from Kappa and Krippendorff's alpha technique in all groups. When the G and Phi coefficients obtained from the generalizability theory studies were examined, it was observed that the expected (0,80) value for reliability and generalizability was reached in inexperienced Turkish teachers and both groups (experienced and inexperienced) of Turkish language and literature teachers. However, there was no evidence of a significant effect of scoring experience alone on reliability.
Benzer Tezler
- Özel düzenlenmiş plyometrik antrenmanların genç basketbolcuların anaerobik güç performansına etkisi
Effects of regular specific plyometric training on anaerobic power of young basketball players
YÜKSEL SAVUCU
Yüksek Lisans
Türkçe
2001
SporFırat ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
DOÇ.DR. MEHMET KUTLU
- Hacettepe Üniversitesi Çocuk Hastanesi hemşirelerinin enfeksiyon kontrol yöntemleri ve uygulamalarına ilişkin bilgi düzeylerinin saptanması
Başlık çevirisi yok
KADRİYE ÖZDEMİR
Yüksek Lisans
Türkçe
1987
HemşirelikHacettepe ÜniversitesiHemşirelik Hizmetleri Yönetimi Bilim Dalı
DOÇ. DR. GÜLTEN UYER
- Kişilerin kimliğini tespit etmede polise yardımcı olan imza-parmak izinin tetkiki ve parmak izi arşivinin önemi
Başlık çevirisi yok
ARİF ÖKSÜZ
- Fermente tipi bir et ürününde (tavuk sucuğunda) farklı nitrit miktarı ve tavuk eti kullanımının etkilerinin araştırılması
Başlık çevirisi yok
DENİZ GÖNENÇAYOĞLU
Yüksek Lisans
Türkçe
1987
Gıda MühendisliğiEge ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DR. SUMRU TÖMEK
- The Effect of computer assisted instruction on students mathematics achievement, toward computer and mathematics
Başlık çevirisi yok
İ.METİN KÖKSAL
