Tıp eğitiminde genellenebilirlik kuramı uygulamaları
Generalizability theory applications in medical education
- Tez No: 799612
- Danışmanlar: DOÇ. DR. SÜLEYMAN AYHAN ÇALIŞKAN
- Tez Türü: Doktora
- Konular: Sağlık Eğitimi, Health Education
- Anahtar Kelimeler: Beceri eğitimi, Genellenebilirlik, Performans değerlendirme, Tıp eğitimi, Ölçme-değerlendirme, Skill training, Generalizability, Performance evaluation, Education-medical, Measurement and evaluation
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Ege Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Tıp Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Giriş: Beceri eğitimleri tıp eğitimi programlarında önemli unsurlar arasındadır. Tıp eğitimi programlarının mezuniyet hedeflerine ulaşma durumunun beceri eğitimleri yönünden kanıtlanabilmesi için kanıta dayalı ölçme uygulamalarının yapılması gerekmektedir. Bu ölçmelerde özellikle sınırlı performans değerlendirmede birçok hata kaynağı bulunmaktadır. Genellenebilirlik kuramı bu hata kaynaklarını tek bir analiz ile değerlendirmeye ve güvenirlik kestirimine olanak sağlayan bir kuramdır. Aynı zamanda K-çalışmaları ile ölçme sonrası kararlar için de geribildirim sunmaktadır. Amaç: Bu çalışma ile tıp eğitiminde sınırlı performans değerlendirmesinde genellenebilirlik kuramı uygulamaları içerisinde iki yüzeyli çaprazlanmış karışık desende yapılan G çalışmalarından elde edilen varyans bileşeni yüzdeleri, G ve K çalışmalarından elde edilen güvenirlik katsayıları ve yüzey analizlerinin hesaplanması amaçlanmaktadır. Yöntem: Bu çalışma nicel araştırma deseninde betimsel araştırma olarak tasarlandı. Sınırlı performans değerlendirme için bir beceri sınavı oluşturuldu. Puanlama için bir dereceleme ölçeği geliştirildi. Bu tasarımda 5 puanlayıcı ve 40 öğrenci ile gerçek zamanlı sınırlı performans puanlama uygulaması gerçekleştirildi. Çalışmada değişken olarak beceri eğitimlerinin puanlama verileri kullanıldı. Çalışmada 5 farklı beceriyi puanlamak için hazırlanmış ve toplam 35 maddeden oluşan bir dereceleme ölçeği ile veri toplandı ve genellenebilirlik kuramı uygulamaları için geliştirilmiş bir yazılım olan EduG ile analiz edildi. Bulgular: Çalışmamıza katılan öğrencilerin 142'si (%60) kadın, 98'i (%40) erkekti ve yaş ortalaması 18,62±1,15 olarak hesaplandı. Puanlayıcıların 6'sı (%60) kadın, 4'ü (%40) erkekti ve yaş ortalaması 28,62±3,34 olarak hesaplandı. Çalışmamızda dereceleme ölçeğinin maddeleri ortalaması 1,56±0,11 olarak hesaplandı. Çaprazlanmış desen beceri seti toplam puan ortalaması 62,11, bireyler için kestirilen varyans bileşeni yüzdesi %33,90 ve G-katsayısı 0,94 olarak hesaplandı. Puanlayıcı sayısı için K-çalışmasında 2 puanlayıcı için 0,86; 3 puanlayıcı için 0,90; 4 puanlayıcı için 0,92; 6 puanlayıcı için 0,95 ve 7 puanlayıcı için 0,96 olarak hesaplandı. Yüzey analizlerinde puanlayıcılar arasında fark olmadığı gösterildi. Tartışma: Çalışmada G-çalışmasında çaprazlanmış karışık desende bireyler için kestirilen varyans bileşeni bağıl olarak büyüktür. Bu varyansın toplam varyans içindeki payının bağıl değerinin büyüklüğü, bireyler arasındaki sistematik farklılıkların ortaya konulabildiğini ve gözlenen puanların evren (gerçek) puanlarını temsil etme gücünün yükseldiğini göstermektedir. K-çalışmasında çaprazlanmış karışık desende alan yazın ile uyumlu olarak G-katsayısında tolere edilebilir bir düşüş ile puanlayıcı sayısının azaltılabileceği geri bildirimi elde edilmiştir. G yüzey analizleri ile de puanlayıcılar için kestirilen varyans bileşeni yüzdesine ilave olarak puanlayıcılar arası fark olmadığı gösterilmiştir. Sonuç: Tıp eğitimi programlarında ölçmede puanlayıcılar arası farkın minimalize edilmesi ve uygulanabilirlik önemli unsurlar arasındadır. Puanlayıcılar arası fark sınırlı performans değerlendirmesinde uygulama deseninden bağımsız olarak potansiyel bir risktir. Bu riskin ihtimalinin azaltılması için puanlayıcı standardizasyonu önerilmektedir. Çalışmamızda çaprazlanmış karışık desenle yapılmış uygulamalarda puanlayıcı standardizasyonu ve K-çalışmaları ile ölçme uygulamaları yapılabilmektedir. Bu analizlerin yaygınlaşması ile tıp eğitiminde ölçme değerlendirme uygulamalarında değerlendirici standardizasyonu ile güçlendirilmiş çaprazlanmış desenler de tercih edilebilecektir. Uygun puanlayıcı standardizasyonu ile çaprazlanmış desenin sınırlı performans değerlendirmesinde tercih edilebileceği ve G kuramı ile analiz edilerek sonraki puanlamalar için geribildirim elde edilebileceği düşünülmektedir.
Özet (Çeviri)
Introduction: Skill trainings are crucial components of medical education programs. Evidence-based measurement practices are necessary to demonstrate the achievement of graduation goals in terms of skill trainings in medical education programs. However, there are many sources of error, particularly in limited performance evaluations. Generalizability theory provides a means to evaluate these sources of error and estimate reliability with a single analysis. It also provides feedback for decision-making after measurement through K studies. Aim: The aim of this study is to calculate the variance component percentages obtained from G studies conducted in a two-faceted crossed mixed design within the framework of generalizability theory applications for limited performance assessment in medical education, as well as reliability coefficients and G facets analyses obtained from G and K studies. Method: This study was designed as a descriptive research. A skill exam was created for limited performance assessment and a rating scale was developed for scoring. Real-time limited performance scoring was conducted with 5 raters and 40 students in this design. The scoring data of skill trainings were used as the variable in the study. Data was collected using a rating scale consisting of 35 items prepared to score 5 different skills, and analyzed with EduG, a software developed for generalizability theory applications. Results: The study participants consisted of 142 (60%) females and 98 (40%) males with a mean age of 18.62±1.15. The 6 raters consisted of 60% females and 40% males, with a mean age of 28.62±3.34. The mean score of the items on the rating scale was 1.56±0.11. The total score mean for the cross-designed set of skills was 62.11, the percentage of individual estimated variance component was 33.90%, and the G-coefficient was calculated as 0.94. For the K-study, the reliability coefficients were calculated as 0.86 for 2 raters, 0.90 for 3 raters, 0.92 for 4 raters, 0.95 for 6 raters, and 0.96 for 7 raters. In G facets analyses, it was shown that there is no difference among the raters. Discussion: The variance component estimated for individuals in the crossed mixed design was relatively large in the G-study. The magnitude of the relative value of this variance component in the total variance indicates that systematic differences between individuals can be revealed and the representativeness of the observed scores for the population (true) scores is increased. In the K-study, feedback was obtained that the number of raters could be reduced with a tolerable decrease in the G-coefficient, consistent with the literature on crossed mixed designs. In addition to the variance components estimated for the raters through G surface analyses, it was also demonstrated that there is no difference among the raters. Conclusion: Minimizing inter-rater variability and ensuring applicability are important factors in assessment in medical education programs. Inter-rater variability is a potential risk in limited performance evaluations, regardless of the application design. To reduce the likelihood of this risk, rater standardization is recommended. In our study, rater standardization and K studies can be performed in applications made with a crossover mixed design. With the widespread use of these analyses, crossover designs strengthened with rater standardization in assessment and evaluation practices in medical education can also be preferred. It is believed that suitable rater standardization can make crossover designs a preferred option in limited performance evaluations, and feedback can be obtained for subsequent ratings by analyzing them using G theory.
Benzer Tezler
- Performans ölçümlerinde genellenebilirlik kuramıyla farklı desenlerin karşılaştırılması
Comparison of different designs in accordance with the generalizability theory in performance measurements
FUNDA NALBANTOĞLU
- Genellenebilirlik kuramında dengelenmiş ve dengelenmemiş desenlerin karşılaştırılması -intramuskuler enjeksiyon yapma istasyonu verileri üzerinde bir uygulama-
Comparison of balanced and unbalanced designs in generalizability theory -an application on the data of intramuscular injection station-
FUNDA NALBANTOĞLU YILMAZ
- Ovulasyon indüksiyonu tedavisinde folliküler gelişimin ultrasonografik takibi
Başlık çevirisi yok
MERİH BAYRAM
- Atherosklerotik kalp hastalıklarında risk faktörleri
Risk factors in the coronary artery disease
MURAT SUHER
