Dereceli puanlama anahtarlarının güvenirliğinin farklı deneyim yıllarına sahip puanlayıcıların kullanıldığı durumlarda incelenmesi
The examination of realiability of scoring rubrics regarding raters with different experience years
- Tez No: 456680
- Danışmanlar: YRD. DOÇ. DR. C. DEHA DOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Genellenebilirlik Kuramı, İngilizce Yazılı Anlatım Becerisi, Dereceli Puanlama Anahtarı
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 88
Özet
Bu araştırmanın temel amacı; İngilizce yazılı anlatım becerisi puanlamada, dereceli puanlama anahtarı (Rubrik) kullanmaya ilişkin üç grup puanlayıcıdan toplanan verilerin G çalışmaları sonuçlarını karşılaştırmaktır. 2015- 2016 öğretim yılında, Ankara'da bulunan bir vakıf üniversitesinin hazırlık okuluna devam eden ve amaçlı örneklem ile seçilen öğrenciler ve bu öğrencilere eğitim veren okutmanlar araştırmanın çalışma grubunu oluşturmaktadır. Araştırma, dereceli puanlama anahtarı kullanmaya ilişkin deneyimi az, dereceli puanlama anahtarı kullanmaya ilişkin deneyimi çok ve son olarak dereceli puanlama anahtarı kullanmaya ilişkin deneyimi az ve çok olan puanlayıcıların aynı grupta yer alması ile oluşan karışık grup olmak üzere üç ayrı grupta aynı dereceli puanlama anahtarı ile 6 görev doğrultusunda, (b:p)xm deseni ile (b: birey, m: madde,p: puanlayıcı) öğrencileri değerlendirdiği G çalışmaları yapılmıştır. Araştırmada yapılan G çalışmaları sonuçları karşılaştırılmıştır. Elde edilen sonuçlara göre her üç durumda da değişkenler için hesaplanan varyans değerlerinin, G ve Phi katsayılarının, mutlak ve bağıl hata varyanslarının birbirleriyle paralellik gösterdiği görülmüştür. Böylece nitelikli bir derece puanlama anahtarı kullanarak yapılan güvenirliği yüksek değerlendirmelerde, dereceli puanlama anahtarı kullanmaya ilişkin deneyim yılının etkili olmadığı anlaşılmıştır. Verilerin analizinden sonra verilerin toplandığı üniversitede görev yapan 6 okutmanla, dereceli puanlama anahtarı hakkındaki görüşlerini toplamak amacıyla görüşmeler yapılmıştır. Görüşmeler sonucunda elde edilen veriler, içerik analizi ile analiz edilmiştir. Görüşme yapılan okutmanlar, dereceli puanlama anahtarı kullanarak yazılı anlatım becerisi değerlendirmeye karsı olumlu görüş bildirmişlerdir ve puanlayıcı güvenirliğini artırdığını belirtmişlerdir. Buna ek olarak, dereceli puanlama anahtarı kullanma konusunda yasadıkları zorlukların başında yaşanan zaman sıkıntısı ve kalabalık bir grubu puanlama esnasında yaşanan yorgunluk etkisi olarak belirtmişlerdir. Okutmanların dereceli puanlama anahtarı kullanmaya ilişkin görüşlerinin, uygulama aşamasında karşılaşılan güçlüklere çözüm önerileri getirmelerine yardımcı olacağı düşünülmektedir.
Özet (Çeviri)
The main goal of this study is to compare the results of G studies that were obtained by groups formed by three groups of raters in using scoring rubric in the process of written performance assessment. Students that were chosen with purposive sampling from the prep-class of a private university in Ankara in 2015-2016 academic year and instructors that teach the students constitute the study group. In this study, three separate G studies were carried out for (s:r)xi design (s: student, i: item, r:rater) by three groups of raters in one of which there are raters who have much experience in using scoring rubric; in one of which there are raters who have little experience in using scoring rubric and in one of which there is a rater with much experience and one with little experience in evaluating students using scoring rubric in accordance with 6 criteria. Based on the findings, the results of G studies were compared. It is observed that variance rates that were estimated for variables in three groups, G and Phi coefficients, absolute and relative error variances are parallel to each other. Therefore, it is found that there is no difference between raters with different experience years in using scoring rubric in terms of reliability. After the analysis of data, an interview form was applied to 6 instructors who work at the university where data of the G studies were collected to find out their point of views and practice upon rubric use in testing and evaluation of written skills of students. Data derived from the interview was evaluated with content analysis. Interviewees passed positive remarks on scoring rubric using in written skill evaluation and they emphasized high rater reliability. In addition to this, they expressed difficulties they experienced during the use of scoring rubric which are the pressure of time, the crowd of the classrooms to be scored and fatigue impact. Views of instructors on scoring rubric are expected to help propose solutions to the difficulties they experienced during the stage of the application.
Benzer Tezler
- Problem çözme becerisinin değerlendirilmesinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on the classical test theory and generalizability theory in problem solving skills assessment
SERAP BÜYÜKKIDIK
Yüksek Lisans
Türkçe
2012
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. DUYGU ANIL
- Biyoloji öğretmenlerinin uyguladıkları alternatif ölçme ve değerlendirme tekniklerinin değerlendirilmesi ve öğretmen-öğrenci görüşleri
Evaluation of the alternative assessment and evaluation techniques used by biology teachers and teachers'-students' views
ÖZLEM AKSU
Doktora
Türkçe
2013
Eğitim ve ÖğretimGazi ÜniversitesiOrtaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı
PROF. DR. KEMAL SOLAK
DOÇ. DR. LÜTFULLAH TÜRKMEN
- Yenilenmiş bloom taksonomisine göre tasarlanan ortaokul Türkçe dersi öğretim programı (Model önerisi)
Secondary school Turkish lesson curriculum designed according to revised bloom's taxonomy (Model proposal)
HÜLYA SÖNMEZ
Doktora
Türkçe
2017
Eğitim ve ÖğretimMarmara ÜniversitesiTürkçe ve Sosyal Bilimler Eğitimi Ana Bilim Dalı
DOÇ. DR. LATİF BEYRELİ
- Çok Yüzeyli Rasch Modeli puanlama desenlerine göre açık uçlu maddelerin puanlayıcılar arası güvenirliklerinin karşılaştırılması
Comparison of inter-rater reliability of open-ended items according to Many Facet Rasch Model rating designs
ZEYNEP GÖLCÜR
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. İSMAİL KARAKAYA
- Yabancı dil olarak Türkçe öğretiminde c1 düzeyi konuşma becerisi analitik dereceli puanlama anahtarı geliştirilmesi
Development of analytical rubric for c1 level speaking skill in teaching Turkish as a foreign language
TUNCAY AYVERDİ
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimGazi ÜniversitesiTürkçe Eğitimi Ana Bilim Dalı
PROF. DR. İHSAN KALENDEROĞLU