Test geliştirme sürecinde madde seçimi için hiyerarşik puanlayıcı model: Sinyal algılama puanlayıcı modelinin uyarlaması
The hierarchical rater model in item selection of test development process: Adaption of si̇gnal detection rater model
- Tez No: 470492
- Danışmanlar: DOÇ. DR. TAHSİN OĞUZ BAŞOKÇU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Ege Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 88
Özet
Bu araştırma kısa cevaplı, açık uçlu ve boşluk doldurma gibi hakem puanlamalarına dayanan soruların hakem yanlılığından arındırılarak puanlanmasına yönelik geliştirilmiş olan HPM-SAK modelinin, test geliştirme sürecinin madde seçimin aşamasında soru kalitesinin belirlenmesi amacıyla kullanılmasına dayanmaktadır. Üç düzey olarak tasarlanan bu hiyerarşik modelde hakem niteliği ve hakem katılığı iki ayrı faktör olarak ele alınmaktadır. Bu iki faktör belirlenirken ilk aşamada Madde Tepki Kuramı ve ikinci aşamada Sinyal Algılama Teorisi parametreleri kullanılmaktadır. Model bütün olarak gözlenen hakem puanlarından yola çıkarak bir sorunun öğrenci yeteneğini kestirmedeki düzeyini hakem niteliği ve hakem katılığı etkilerini kontrol ederek tekrar hesaplamaktadır. Araştırmada bu yaklaşım test geliştirme aşamasında hakem kararlarına dayalı olarak soru niteliğini belirleme sürecinde hakem etkisinin kontrol edilebilmesi amacıyla kullanılmıştır. Araştırma 115K531 No'lu TÜBİTAK projesinin akademik çıktılarının bir boyutunu oluşturmaktadır. Proje kapsamında geliştirilen 280 soru 28 hakem tarafından 15 maddeden oluşan puanlama ölçeği ile değerlendirilmiştir. Bu süreçte geliştirilen her soru üç hakem tarafından incelenmiştir. Araştırmada hakem incelemeleri sonucunda sorular için verilen puanlar HPM-SAK model ile analiz edilmiştir. HPM-SAK model üç düzeyli hiyerarşik bir yapı taşımaktadır. Bu nedenle bu düzeylere göre önerilen üç model ayrı ayrı analiz edilmiş ve hangi modelin data ile daha uyumlu olduğu belirlenmeye çalışılmıştır. Analiz sonuçlarına göre HPM-SAK için ikinci modelin diğer modellere göre daha iyi uyum gösterdiği görülmüştür. En düşük uyum düzeyi birinci düzey modelde gözlenmiştir. Puanlama güvenirlikleri incelendiğinde ikinci model indeksinin diğer modellerinden daha yüksek olduğu belirlenmiştir. Bu durum HPM-SAK modelin soru niteliğini belirleme sürecinde alternatif bir güvenirlik yaklaşımı olarak kullanılabileceğinin bir göstergesidir.
Özet (Çeviri)
This research is based on the use of the HRM-SDT model developed for the scoring of questions based on referee scoring, such as short answer, open ended and gap filling, in order to determine the quality of the item during the item selection phase. In this hierarchical model, which is designed as three levels, the referee is modeled as two factors of quality and referee participation. When these two factors are determined, the first stage uses the Matter Response Theory and the second uses the Signal Detection Theory parameters. The model recalculates the level of a student's ability to judge the student's ability by controlling the referee's qualifications and referee involvement effects, based on the overall referee points. This approach has been used in the research in order to control the referee effect in the process of determining the substance quality based on the referee's decisions during the test development stage. This research constitutes a dimension of the academic outputs of 115K531 TUBITAK project. 280 questions developed within the scope of the project were evaluated by 28 referees with a scoring scale consisting of 15 items. Each question developed in this process was examined by three referees. As a result of the referee examinations in the research, the scores given for the questions were analyzed with the HRM-SDT model. The HRM-SDT model has a three-level hierarchical structure. For this reason, the three models proposed according to these levels were analyzed separately and it was tried to determine which model is more compatible with the data. According to the analysis results, the second model for HRM-SDT is seen to be better than the other models. The lowest level of compliance was observed in the first level model. When the reliability of rating was examined, it was determined that the second model index was higher than the others. This is an indication that the HRM-SDT model can be used as an alternative reliability approach in the process of determining the substance quality.
Benzer Tezler
- Test geliştirme sürecinde madde seçimi için hiyerarşik puanlayıcı model uzantılarının incelenmesi
Studies of hierarchical rater model extensions for rater effects in item selecetion of test development
YASİN DİRİN
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimEge ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. TAHSİN OĞUZ BAŞOKÇU
- Türkiye otomotiv sanayinde endüstriyel tasarım faaliyetlerinin yeni ticari taşıt geliştirme sürecine etkisi
Industrial design activities affecting the new commercial vehicle development process in Turkish automotive industry
FUAT ALİ PAKER
Doktora
Türkçe
2019
Endüstri Ürünleri Tasarımıİstanbul Teknik ÜniversitesiEndüstri Ürünleri Tasarımı Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EKREM CEM ALPPAY
- Psikolojik danışmanların ve danışanların bireyle psikolojik danışma sürecindeki deneyimlerine ilişkin algıları
The perceptions of counselors and clients on their experiences in the individual counseling process
ZEYNEP BÜŞRA ŞAHİN
Doktora
Türkçe
2024
PsikolojiEge ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. MİNE ALADAĞ
DOÇ. DR. GÜLŞAH KEMER
- Finans sektöründe çevik proje yönetimini iyileştirmede kullanılan araç seçim kararına yönelik bir uygulama
An application to decision of tool selection to improve agile project management in the finance industry
KENAN CAN HARPUTLU
Yüksek Lisans
Türkçe
2023
Mühendislik Bilimleriİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET ATIL AŞICI
- İstanbul'da eğitim donatımlarının planlanmasına ve uygulanmasına yönelik model araştırması
Model research on planning and application of education infrastructures in Istanbul
SUAT ÇABUK
Doktora
Türkçe
2003
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
PROF. DR. YÜCEL ÜNAL