Geri Dön

Performans değerlendirmede puanlayıcılar arası uyum ile göz izleme sonuçları arasındaki ilişkinin incelenmesi

Investigation of interrater agreement and eye tracking in performance evaluation

  1. Tez No: 779232
  2. Yazar: MİNE DEMİRBAŞ
  3. Danışmanlar: PROF. DR. NURİ DOĞAN
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: göz izleme tekniği, puanlayıcılar arası uyum, genellenebilirlik kuramı, çok yüzeyli rasch modeli, puanlayıcılar arası güvenirlik, performans değerlendirme, eye tracking, inter-rater agreement, generalizability theory, many facet rasch model, inter-rater reliability, performance assessment
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 106

Özet

Bu araştırmada performans değerlendirme sürecinde puanlayıcılar arası uyum, uyum katsayıları, genellenebilirlik ve çok yüzeyli Rasch ile araştırılmıştır. Bu amaç doğrultusunda öğrencilerin sunum yapma performansını değerlendirmek üzere aynı puanlayıcıların sınıf içi performans esnasında verdikleri puanlar ve göz izleme tekniği ile ekran üzerinden verdikleri puanlar arasındaki ilişkiler incelenmiştir. Sınıf içi değerlendirme ve göz izleme tekniği ile ekran üzerinden yapılan değerlendirme sonucu elde edilen puanlar, klasik test kuramında yer alan puanlayıcılar arası uyum istatistikleri, genellenebilirlik kuramı ve çok yüzeyli Rasch modeline göre analiz edilmiştir. Araştırma sonucunda, idealizm ve realizm sunumları için puanlayıcılar arası uyumun iyi olduğu bulunmuştur. Genellenebilirlik analizi sonucuna göre en büyük varyans kaynağı sunum olarak belirtilmiştir. Çok yüzeyli Rasch analizi sonucu puanlamaların birbiriyle tutarlı olduğu, puanlamaların sunu ve maddelere göre anlamlı bir farklılık gösterdiği ancak uygulamaya göre anlamlı bir farklılık göstermediği sonucuna ulaşılmıştır. Göz izleme metriklerinden ortalama sabitlenme süreleri çok yüzeyli Rasch analiziyle incelenmiş ve puanlayıcıların ortalama sabitlenme sürelerine göre anlamlı bir farklılık göstermediği bulunmuştur Sonuç olarak, genellenebilirlik ve çok yüzeyli Rasch sonuçlarının birbiriyle uyumlu olduğu gözlemlenmiştir. Bu doğrultuda göz izleme metrislerinin, puanlayıcılar arası uyumu araştırmak için alternatif bir yöntem olarak kullanılabileceği söylenebilir.

Özet (Çeviri)

In this study, the fit between raters, coefficients of fit, generalizability and many facet Rasch were investigated in the performance evaluation process. For this purpose, to evaluate the presentation performance of the students, the relationships between the scores given by the same raters in the classroom during the performance and the scores given on the screen by eye tracking technique were examined. The scores obtained as a result of the in-class evaluation and the evaluation on the screen with the eye tracking technique were analyzed according to the inter-rater fit statistics in the classical test theory, the generalizability theory and the many facet Rasch model. It was found that there was a good agreement between the raters in the presentations of idealism and realism. According to the results of the generalizability analysis, the biggest source of variance was the presentation. As a result of the many facet Rasch model, it was found that the scores were consistent with each other and the scores differed significantly according to the presentation and the items, but did not differ significantly according to the application. The mean fixation times of eye tracking metrics were examined by many facet Rasch model analysis and it was found that the raters did not show a significant difference according to the mean fixation times. As a result, it was found that generalizability and multi-surface Rasch model results were compatible with each other. The study indicated that it could be used as an alternative method to investigate the compatibility between eye tracking metrics and raters.

Benzer Tezler

  1. Piyano eğitiminde beyin temelli öğrenme yaklaşımı kullanılmasının öğrenci tutumuna ve piyano performansına etkisi

    The impact of using a brain-based learning approach in piano education on student attitudes and piano performance

    AHMET EMRE ESEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimMersin Üniversitesi

    Güzel Sanatlar Eğitimi Ana Bilim Dalı

    DOÇ. DR. ERSİN TURHAL

  2. Klasik gitar öğretiminin makamsal içerikli etüt ve eserlerle uygulanabilirliği

    Applicability of classical guitar education to studies and works with modal characteristics

    CİHAN TABAK

    Doktora

    Türkçe

    Türkçe

    2016

    Müzikİnönü Üniversitesi

    Güzel Sanatlar Eğitimi Ana Bilim Dalı

    PROF. CEMAL YURGA

  3. Eğitim araştırmalarında kayıp veri durumunda farklı kappa katsayılarının incelenmesi

    Investigation of different kappa coefficients for missing data stuation in educational research

    HALİME TOPBAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Eğitim ve ÖğretimAkdeniz Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. BİLAL BARIŞ ALKAN

  4. Özel yetenekli öğrencilerin Fen Bilimleri dersindeki laboratuvar etkinliklerinde puanlayıcı güvenirliğinin Çok Yüzeyli Rasch Modeli ile incelenmesi

    Examining the rater reliability of specially gifted students in laboratory activities in Science courses with the Many FACET Rasch Model

    BAŞAK AKAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimGaziantep Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. BAYRAM ÇETİN

  5. Performansa dayalı durum belirlemede puanlayıcılar arası güvenirlik tekniklerinin karşılaştırılması

    The comparison of inter rater reliability estimating techniques in performance-based assessment

    SİNEM ARSLAN MANCAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU