Objektif yapılandırılmış sınav aracının klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramı ile değerlendirilmesi
Evaluation of objective structured examination tool with classical testing, generalizability teory and item response theory
- Tez No: 789669
- Danışmanlar: PROF. DR. AHMET ÖZTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Biyoistatistik, Biostatistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Erciyes Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyoistatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 74
Özet
Bu çalışmanın amacı Tıp fakültesin de Objektif Yapılandırılmış Klinik Sınavda (OYKS) kullanılan 24 maddeli bir değerlendirme rehberinin verilerini kullanarak geçerlik ve güvenirlik analizlerinden klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramının karşılaştırmasını yapmaktır. Tez çalışmasında birinci dönemde dokuz değerlendiricinin 340 öğrenciyi ikinci dönemde 11 değerlendiricinin 328 öğrenciyi toplamda 668 öğrenciyi 24 maddeli değerlendirme rehberini her maddeyi yaptı/yapmadı şeklinde doldurarak puanladıkları iki sınav verisi kullanılmıştır. Değerlendirme rehberinin geçerlik ve güvenirliğini incelemek amacı ile yapılan klasik test kuramı analizlerinde rehber geçerli ve güvenilir bulunmuştur ( Cronbach alfa=0,885). Açıklayıcı faktör analizi sonuçlarına göre üç faktörlü yapı ile varyans kaynaklarının yüzde 50'si açıklanmaktadır. İkinci dönem verileriyle Doğrulayıcı faktör analizi ile bu üç faktör yapının model uyum iyilikleri kabul edilebilir aralıklarda bulunmuştur (X2/sd=2.006; RMSEA =0,055;CFI =0.942). Genellenebilirlik analizleri ile yapı değerlendirildiğinde madde sayısının toplam varyansın yüzde 7.1'ini, birey değişkeninin ise yüzde 22.4'ünü açıkladığı bulunmuştur. Modelin G katsayısı 0,88 Phi katsayısı 0,87 olarak kestirilmiştir. Bu sonuçtan yola çıkılarak kurulan karar kuramında 32 maddelik rehber yapısının daha yüksek genellenebilirliği sahip olduğu bulunmuştur (G=0,91, Phi= 0,90). Madde tepki kuramında rehberin tek boyutluluk varsayımını sağlamadığı üç boyutlu bir yapıda olduğu bulunmuştur. Bu üç boyutun her bir boyutunun maddeleri Rasch modeli ve 2PL model ile incelenmiştir. Birinci ve üçüncü faktörlerin maddeleri MTK analizlerine uyum göstermemiştir. İkinci faktörün 10 maddeli modeli 2PL modele uyum göstermiştir.Modellerin görgül güvenirlik katsayıları ve uyum katsayıları klasik test kuramının katsayılarına göre daha düşüktür. Klasik test kuramı modellerinde maddelerin toplam korelasyonları ile değerlendirme yapılıyor olmasından dolayı geçerli ve güvenilir bulunan değerlendirme rehberi, genellenebilirlik ile incelendiğinde öğrenci puanlarının madde ve öğrenci yeteneği dışındaki faktörlerden etkilendiğini tespit edilmiştir. Madde tepki kuramı modelleri ile bakıldığında iki faktörün uyum göstermemesi bir faktörün ise sadece 2PL modele uyum göstermesi bize değerlendirme rehberinin geçerlik ve güvenilirliğinin iyileştirilmesi gerektiği sonucuna götürmektedir.
Özet (Çeviri)
The aim of this study is to compare the validity and reliability analyzes of classical test theory, generalizability theory and item response theory by using the data of a 24-item assessment guide used in the osce exams at the Faculty of Medicine, and to discuss their advantages and disadvantages. In the thesis study, an exam data in the first term which nine evaluators scored 340 students, and ,n the second term 11 evaluators bought 328 students in total by filling in the 24-item assessment guide as they did/did not complete each item was used. According to the results of the explanatory factor analysis, 50 percent of the variance sources are explained with the 3-factor structure. With the confirmatory factor analysis, the model fit goodness of these three factor structures were found to be in acceptable ranges (X2/sd=2.006; RMSEA =0,055;CFI =0.942). When the structure was evaluated with generalizability analysis, it was found that the number of items explained 7.1 percent of the total variance and 22.4 percent of the individual variable. The G coefficient of the model was estimated as 0.88 and the Phi coefficient as 0.87. In the decision theory based on this result, the best result was the 32-item model. (G=0.91, Phi= 0.90) In item response theory, it was found that the guide was in a 3-dimensional structure, which did not provide the unidimensionality assumption. The items of each dimension of these three dimensions were examined with the Rasch model and the 2PL model. The items of the first and third factors did not fit the IRT analysis. The 10-item model of the second factor conformed to the 2PL model. The empirical reliability coefficients and fit coefficients of the models are lower than the coefficients of the classical test theory. When the evaluation guide, which was found to be valid and reliable, was examined with generalizability, since the evaluation is made with the total correlations of the items in the classical test theory models, it has been determined that the student scores are affected by factors other than the item and student ability. When we look at the item response theory models, the incompatibility of two factors and the fact that one factor only complies with the 2PL model leads us to the conclusion that the validity and reliability of the assessment guide should be improved.
Benzer Tezler
- İlk ve acil yardım bölümü ikinci sınıf öğrencilerinin inme hastalarını tanıma bilgilerinin ve muhtemel inme hastalarını olay yerinde değerlendirme becerilerinin ölçülmesi
Measuring second year emergency and first aid students' knowledge in recognizing stroke patients and their skills in assessing potential stroke patients at the scene
BÜŞRA NUR BİRYEŞİL
Tıpta Uzmanlık
Türkçe
2024
Acil TıpKaradeniz Teknik ÜniversitesiAcil Tıp Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MELİH İMAMOĞLU
- Tıp fakültesi son sınıf öğrencilerinin akut koroner sendrom ve kritik hasta değerlendirme ve yönetme becerilerinin simülasyon tabanlı çalışma ile değerlendirilmesi
Assessment of final year medical students' skills in acute coronary syndrome and critical patient management through simulation-based study
ESRA ÜÇÜNCÜ
Tıpta Uzmanlık
Türkçe
2024
Acil TıpKaradeniz Teknik ÜniversitesiAcil Tıp Ana Bilim Dalı
DR. ÖĞR. ÜYESİ VİLDAN ÖZER
- Hemşirelik öğrencilerinin klinik karar verme becerileri üzerine simülasyona dayalı onkoloji eğitiminin etkisi
The efficacy of simulation based oncology education on nursingstudent's clinical decision making
BERKAY ALİKAN
Yüksek Lisans
Türkçe
2021
Hemşirelikİstanbul Üniversitesi-Cerrahpaşaİç Hastalıkları Hemşireliği Ana Bilim Dalı
PROF. DR. GÜLBEYAZ CAN
- Oyunlaştırma tabanlı değerlendirme uygulamasının hemşirelik öğrencilerinin dren bakımını öğrenmelerine etkisi
The effect of gamification-based evaluation application on drain care learning of nursing students
DEMET BAL
Doktora
Türkçe
2024
HemşirelikKaradeniz Teknik ÜniversitesiHemşirelik Ana Bilim Dalı
PROF. DR. DİLEK ÇİLİNGİR
- Hemşirelik Öğrencilerinin Subkutan Enjeksiyon Uygulama Alan Komplikasyonlarını Tanılamasına İlişkin Bilgi ve Becerilerinde İki Farklı Simülasyon Kullanımının Etkisinin İncelenmesi
Investigation of the Effect of Using Two Different Simulations on the Knowledge and Skills of Nursing Students in Diagnosing Subcutaneous Injection Application Area Complications
BUSE MEMİŞ
Yüksek Lisans
Türkçe
2024
HemşirelikDokuz Eylül ÜniversitesiHemşirelik Ana Bilim Dalı
DOÇ. DR. GÜLŞAH GÜROL ARSLAN