Performans değerlendirmede puanlayıcılar arası uyum ile göz izleme sonuçları arasındaki ilişkinin incelenmesi
Investigation of interrater agreement and eye tracking in performance evaluation
- Tez No: 779232
- Danışmanlar: PROF. DR. NURİ DOĞAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: göz izleme tekniği, puanlayıcılar arası uyum, genellenebilirlik kuramı, çok yüzeyli rasch modeli, puanlayıcılar arası güvenirlik, performans değerlendirme, eye tracking, inter-rater agreement, generalizability theory, many facet rasch model, inter-rater reliability, performance assessment
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 106
Özet
Bu araştırmada performans değerlendirme sürecinde puanlayıcılar arası uyum, uyum katsayıları, genellenebilirlik ve çok yüzeyli Rasch ile araştırılmıştır. Bu amaç doğrultusunda öğrencilerin sunum yapma performansını değerlendirmek üzere aynı puanlayıcıların sınıf içi performans esnasında verdikleri puanlar ve göz izleme tekniği ile ekran üzerinden verdikleri puanlar arasındaki ilişkiler incelenmiştir. Sınıf içi değerlendirme ve göz izleme tekniği ile ekran üzerinden yapılan değerlendirme sonucu elde edilen puanlar, klasik test kuramında yer alan puanlayıcılar arası uyum istatistikleri, genellenebilirlik kuramı ve çok yüzeyli Rasch modeline göre analiz edilmiştir. Araştırma sonucunda, idealizm ve realizm sunumları için puanlayıcılar arası uyumun iyi olduğu bulunmuştur. Genellenebilirlik analizi sonucuna göre en büyük varyans kaynağı sunum olarak belirtilmiştir. Çok yüzeyli Rasch analizi sonucu puanlamaların birbiriyle tutarlı olduğu, puanlamaların sunu ve maddelere göre anlamlı bir farklılık gösterdiği ancak uygulamaya göre anlamlı bir farklılık göstermediği sonucuna ulaşılmıştır. Göz izleme metriklerinden ortalama sabitlenme süreleri çok yüzeyli Rasch analiziyle incelenmiş ve puanlayıcıların ortalama sabitlenme sürelerine göre anlamlı bir farklılık göstermediği bulunmuştur Sonuç olarak, genellenebilirlik ve çok yüzeyli Rasch sonuçlarının birbiriyle uyumlu olduğu gözlemlenmiştir. Bu doğrultuda göz izleme metrislerinin, puanlayıcılar arası uyumu araştırmak için alternatif bir yöntem olarak kullanılabileceği söylenebilir.
Özet (Çeviri)
In this study, the fit between raters, coefficients of fit, generalizability and many facet Rasch were investigated in the performance evaluation process. For this purpose, to evaluate the presentation performance of the students, the relationships between the scores given by the same raters in the classroom during the performance and the scores given on the screen by eye tracking technique were examined. The scores obtained as a result of the in-class evaluation and the evaluation on the screen with the eye tracking technique were analyzed according to the inter-rater fit statistics in the classical test theory, the generalizability theory and the many facet Rasch model. It was found that there was a good agreement between the raters in the presentations of idealism and realism. According to the results of the generalizability analysis, the biggest source of variance was the presentation. As a result of the many facet Rasch model, it was found that the scores were consistent with each other and the scores differed significantly according to the presentation and the items, but did not differ significantly according to the application. The mean fixation times of eye tracking metrics were examined by many facet Rasch model analysis and it was found that the raters did not show a significant difference according to the mean fixation times. As a result, it was found that generalizability and multi-surface Rasch model results were compatible with each other. The study indicated that it could be used as an alternative method to investigate the compatibility between eye tracking metrics and raters.
Benzer Tezler
- Piyano eğitiminde beyin temelli öğrenme yaklaşımı kullanılmasının öğrenci tutumuna ve piyano performansına etkisi
The impact of using a brain-based learning approach in piano education on student attitudes and piano performance
AHMET EMRE ESEN
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimMersin ÜniversitesiGüzel Sanatlar Eğitimi Ana Bilim Dalı
DOÇ. DR. ERSİN TURHAL
- Klasik gitar öğretiminin makamsal içerikli etüt ve eserlerle uygulanabilirliği
Applicability of classical guitar education to studies and works with modal characteristics
CİHAN TABAK
- Eğitim araştırmalarında kayıp veri durumunda farklı kappa katsayılarının incelenmesi
Investigation of different kappa coefficients for missing data stuation in educational research
HALİME TOPBAŞ
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimAkdeniz ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. BİLAL BARIŞ ALKAN
- Özel yetenekli öğrencilerin Fen Bilimleri dersindeki laboratuvar etkinliklerinde puanlayıcı güvenirliğinin Çok Yüzeyli Rasch Modeli ile incelenmesi
Examining the rater reliability of specially gifted students in laboratory activities in Science courses with the Many FACET Rasch Model
BAŞAK AKAR
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. BAYRAM ÇETİN
- Performansa dayalı durum belirlemede puanlayıcılar arası güvenirlik tekniklerinin karşılaştırılması
The comparison of inter rater reliability estimating techniques in performance-based assessment
SİNEM ARSLAN MANCAR
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU