Objektif yapılandırılmış sınav aracının klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramı ile değerlendirilmesi
Evaluation of objective structured examination tool with classical testing, generalizability teory and item response theory
- Tez No: 789669
- Danışmanlar: PROF. DR. AHMET ÖZTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Biyoistatistik, Biostatistics
- Anahtar Kelimeler: Başarı, Başarı değerleme, Değerlendirme, Ölçme-değerlendirme, Ölçme-değerlendirme araçları, İstatistiksel yöntemler, Success, Success evaluation, Evaluation, Measurement and evaluation, Measurement-evaluation tools, Statistical methods
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Erciyes Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyoistatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmanın amacı Tıp fakültesin de Objektif Yapılandırılmış Klinik Sınavda (OYKS) kullanılan 24 maddeli bir değerlendirme rehberinin verilerini kullanarak geçerlik ve güvenirlik analizlerinden klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramının karşılaştırmasını yapmaktır. Tez çalışmasında birinci dönemde dokuz değerlendiricinin 340 öğrenciyi ikinci dönemde 11 değerlendiricinin 328 öğrenciyi toplamda 668 öğrenciyi 24 maddeli değerlendirme rehberini her maddeyi yaptı/yapmadı şeklinde doldurarak puanladıkları iki sınav verisi kullanılmıştır. Değerlendirme rehberinin geçerlik ve güvenirliğini incelemek amacı ile yapılan klasik test kuramı analizlerinde rehber geçerli ve güvenilir bulunmuştur ( Cronbach alfa=0,885). Açıklayıcı faktör analizi sonuçlarına göre üç faktörlü yapı ile varyans kaynaklarının yüzde 50'si açıklanmaktadır. İkinci dönem verileriyle Doğrulayıcı faktör analizi ile bu üç faktör yapının model uyum iyilikleri kabul edilebilir aralıklarda bulunmuştur (X2/sd=2.006; RMSEA =0,055;CFI =0.942). Genellenebilirlik analizleri ile yapı değerlendirildiğinde madde sayısının toplam varyansın yüzde 7.1'ini, birey değişkeninin ise yüzde 22.4'ünü açıkladığı bulunmuştur. Modelin G katsayısı 0,88 Phi katsayısı 0,87 olarak kestirilmiştir. Bu sonuçtan yola çıkılarak kurulan karar kuramında 32 maddelik rehber yapısının daha yüksek genellenebilirliği sahip olduğu bulunmuştur (G=0,91, Phi= 0,90). Madde tepki kuramında rehberin tek boyutluluk varsayımını sağlamadığı üç boyutlu bir yapıda olduğu bulunmuştur. Bu üç boyutun her bir boyutunun maddeleri Rasch modeli ve 2PL model ile incelenmiştir. Birinci ve üçüncü faktörlerin maddeleri MTK analizlerine uyum göstermemiştir. İkinci faktörün 10 maddeli modeli 2PL modele uyum göstermiştir.Modellerin görgül güvenirlik katsayıları ve uyum katsayıları klasik test kuramının katsayılarına göre daha düşüktür. Klasik test kuramı modellerinde maddelerin toplam korelasyonları ile değerlendirme yapılıyor olmasından dolayı geçerli ve güvenilir bulunan değerlendirme rehberi, genellenebilirlik ile incelendiğinde öğrenci puanlarının madde ve öğrenci yeteneği dışındaki faktörlerden etkilendiğini tespit edilmiştir. Madde tepki kuramı modelleri ile bakıldığında iki faktörün uyum göstermemesi bir faktörün ise sadece 2PL modele uyum göstermesi bize değerlendirme rehberinin geçerlik ve güvenilirliğinin iyileştirilmesi gerektiği sonucuna götürmektedir.
Özet (Çeviri)
The aim of this study is to compare the validity and reliability analyzes of classical test theory, generalizability theory and item response theory by using the data of a 24-item assessment guide used in the osce exams at the Faculty of Medicine, and to discuss their advantages and disadvantages. In the thesis study, an exam data in the first term which nine evaluators scored 340 students, and ,n the second term 11 evaluators bought 328 students in total by filling in the 24-item assessment guide as they did/did not complete each item was used. According to the results of the explanatory factor analysis, 50 percent of the variance sources are explained with the 3-factor structure. With the confirmatory factor analysis, the model fit goodness of these three factor structures were found to be in acceptable ranges (X2/sd=2.006; RMSEA =0,055;CFI =0.942). When the structure was evaluated with generalizability analysis, it was found that the number of items explained 7.1 percent of the total variance and 22.4 percent of the individual variable. The G coefficient of the model was estimated as 0.88 and the Phi coefficient as 0.87. In the decision theory based on this result, the best result was the 32-item model. (G=0.91, Phi= 0.90) In item response theory, it was found that the guide was in a 3-dimensional structure, which did not provide the unidimensionality assumption. The items of each dimension of these three dimensions were examined with the Rasch model and the 2PL model. The items of the first and third factors did not fit the IRT analysis. The 10-item model of the second factor conformed to the 2PL model. The empirical reliability coefficients and fit coefficients of the models are lower than the coefficients of the classical test theory. When the evaluation guide, which was found to be valid and reliable, was examined with generalizability, since the evaluation is made with the total correlations of the items in the classical test theory models, it has been determined that the student scores are affected by factors other than the item and student ability. When we look at the item response theory models, the incompatibility of two factors and the fact that one factor only complies with the 2PL model leads us to the conclusion that the validity and reliability of the assessment guide should be improved.
Benzer Tezler
- Manisa yöresinde domateste anlaşmalı tarım ve karşılaşılan sorunlar
Başlık çevirisi yok
OSMAN MURAT KOÇTÜRK
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiTarım Ekonomisi Ana Bilim Dalı
PROF. DR. METİN TALİM
- Kalkınmada öncelikli yörelerde görev yapan vali-kaymakam il ve ilçe Milli Eğitim Gençlik ve Spor Müdürlerinin ilköğretim yönetiminde karşılaştıkları güçlükler
Başlık çevirisi yok
MUSTAFA YALÇINKAYA
Yüksek Lisans
Türkçe
1987
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Yönetimi Ana Bilim Dalı
DOÇ. DR. AYŞEGÜL ATAMAN
- Mimarlıkta rasyonel ve irrasyonel biçimlendirmenin ekonomik göstergelere bağlı olarak değişimi ve bu değişimin 11. yüzyıldan 19. yüzyıla kadar Türk ve Avrupa uygarlıklarında örneklenmesi
The Change of rational and irrational styles in architecture duetotho economicaldata and the illustration of this change on the Turkish and European Civilizations between 11th and 19th centuries
AYŞE ZEYNEP ONUR
- Türkiye'de dış borçlanmayı etkileyen faktörler ve dış borçlanmanın ekonomik katkıları
Başlık çevirisi yok
MEHMET AKÇAY
- Orisini özellikleri, oranları farklı L. bulgaricus ve s.thermophilus bakterileri içeren sıvı, dondurulmuş ve liyotilize kültürler ile yapılan yoğurtların nitelikleri üzerinde araştırmalar
Başlık çevirisi yok
SEVDA KILIÇ
Doktora
Türkçe
1986
Gıda MühendisliğiEge ÜniversitesiSüt Teknolojisi Ana Bilim Dalı
PROF. DR. HASAN YAYGIN