Kısa yanıtlı maddelerde farklı ağırlıklı puanlanma yöntemlerinin testin psikometrik özellikleri açısından incelenmesi
Investigation of different weighted scoring methods in short-answered items in terms of psychometric properties of the test
- Tez No: 869531
- Danışmanlar: PROF. DR. KAAN ZÜLFİKAR DENİZ
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 152
Özet
Ölçme ve değerlendirme uygulamalarındaki temel çalışma alanlarından test geliştirme ve puanlama çalışmaları, cevaplayıcılara ilişkin toplanan bilginin düzeyini ve özellikle elde edilen puanlar yoluyla verilen kararları etkileyebilmektedir. Bu araştırmada geliştirilen kısa yanıtlı bir testin yanıtlarının; önce geleneksel puanlama (GP) sonra madde güçlük indekslerine dayalı ağırlıklı puanlama (MGİAP), olası cevapların ağırlıklandırılmasına dayalı puanlama (OCAP) ve çoklu ağırlıklandırmaya dayalı puanlama (ÇAP) yöntemleriyle puanlanması durumunda testin psikometrik özelliklerinin incelenmesi amaçlanmıştır. Araştırma verisi, ortaokul yedinci sınıf matematik dersine ilişkin 16 maddelik testin 2022-2023 öğretim yılında Ankara ilinde öğrenim gören 636 öğrenciye uygulanmasıyla elde edilmiştir. Testin puanlanmasında önce GP, ardından araştırmada incelenen OCAP yönteminin kullanılması durumunda klasik test ve madde tepki kuramlarına göre öncelikle test puanlarının geçerliğinin daha sonra test puanlarına ilişkin güvenirlik kestirimlerinin nasıl değişmekte olduğu araştırılmıştır. Ayrıca araştırma verisinden rastgele alt örnekleme yoluyla bu iki puanlama yöntemine ilişkin çok sayıda farklı veri seti oluşturularak elde edilen sonuçların genellenebilirliği incelenmiştir. Araştırmanın klasik test kuramına dayalı bulgularına göre, OCAP yönteminin kullanılmasının yapı geçerliği, uygunluk geçerliği ve güvenirlik bakımından genel olarak avantaj sağlayabileceği görülmüştür. Madde tepki kuramında OCAP yönteminin kullanıldığı durumda, cevaplayıcılar için daha fazla bilgi elde edildiği sonucuna ulaşılmıştır. Araştırma kapsamında üretilen veriyle yapılan geçerlik ve güvenirlik çalışmaları, madde faktör yükleri dışındaki tüm sonuçların orijinal verinin kullanıldığı durumdaki sonuçlarla uyumlu olduğunu göstermiştir. Son olarak OCAP yönteminin yanında diğer iki ağırlıklı puanlama yönteminin kullanılması durumunda testin güvenirliğinin ve geçerliğinin nasıl etkilendiği araştırılmıştır. Genel olarak OCAP yönteminin geçerlik ve güvenirlik bakımından diğer ağırlıklı puanlama yöntemlerine kıyasla daha büyük bir avantaj sağlayabileceği belirlenmiştir.
Özet (Çeviri)
Test development and scoring studies, which are among the main areas of work in measurement and evaluation practices, can affect the level of information collected about the respondents and especially the decisions made through the scores obtained. In this research, the answers to a short-answer test developed within the scope of the research; It is aimed to examine the psychometric properties of the test if it is scored first with number-correct scoring (NCS) and then with weighted scoring based on item difficulty indices (IDIS), scoring based on weighting of possible answers (PAS) and scoring based on polyweighting (PS). The research data was obtained by administering the 16-item test for the seventh grade mathematics course in secondary school to 636 students studying in Ankara in the 2022-2023 academic year. If NCS was used in scoring the test and then the PAS examined in the study was used, it was first investigated how the validity of the test scores and then the reliability estimates of the test scores changed according to classical test and item response theories. In addition, the generalizability of the results obtained by generating many different data sets for these two scoring methods through random subsampling from the research data was examined. According to the findings of the study based on classical test theory, it was observed that the use of the PAS could provide general advantages in terms of construct validity, concurrent validity and reliability. It was concluded that when the PAS was used in item response theory, more information was obtained for the respondents. Validity and reliability studies conducted with the data generated within the scope of the research showed that all results except factor loadings were compatible with the results obtained when original data was used. Finally, it was investigated how the reliability and validity of the test were affected when two other weighted scoring methods were used in addition to the PAS. In general, it has been determined that the PAS can provide a greater advantage in terms of validity and reliability compared to other weighted scoring methods.
Benzer Tezler
- Eğirdir gölü balıklarında hipofiz bezinin anatomik ve histolojik yapısı üzerinde bir araştırma
Başlık çevirisi yok
M. RÜŞTÜ ÖZEN
- Kısa jinekolojik girişimlerde subanestetik dozda ketamin hidroklorür uygulanımı ve istenmeyen yan etkilerin fizostigmin ile önlenmesi
Başlık çevirisi yok
C. ALİ EGEMENLİK
Tıpta Uzmanlık
Türkçe
1989
Anestezi ve ReanimasyonAkdeniz ÜniversitesiAnesteziyoloji ve Reanimasyon Ana Bilim Dalı
- Orta çağda Herât bölgesi Gaznelilerin kuruluşundan Timurluların yıkılışına kadar) (961-1507)
Herat area in the middle ages from foundation of Ghaznevids till the fall of Timurids
MUSTAFA ŞAHİN
- Osmanlı İmparatorluğu'nda devlet, iktidar ve meşruiyet
State, power and legitimacy in the Ottoman Empire
ATİLLA ALTUN
Yüksek Lisans
Türkçe
2014
SosyolojiKırıkkale ÜniversitesiSosyoloji Ana Bilim Dalı
DOÇ. DR. İBRAHİM MAZMAN
- The calculation debate in socialist economies
Sosyalist ekonomilerde hesaplama tartışması
SERCAN KARADOĞAN
Yüksek Lisans
İngilizce
2014
Ekonomiİstanbul Bilgi ÜniversitesiUluslararası Ekonomi Politikası Ana Bilim Dalı
PROF. DR. ERTUĞRUL TONAK