Geri Dön

Test geliştirme sürecinde madde seçimi için hiyerarşik puanlayıcı model: Sinyal algılama puanlayıcı modelinin uyarlaması

The hierarchical rater model in item selection of test development process: Adaption of si̇gnal detection rater model

  1. Tez No: 470492
  2. Yazar: ELÇİN MANAP
  3. Danışmanlar: DOÇ. DR. TAHSİN OĞUZ BAŞOKÇU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2017
  8. Dil: Türkçe
  9. Üniversite: Ege Üniversitesi
  10. Enstitü: Sosyal Bilimler Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 88

Özet

Bu araştırma kısa cevaplı, açık uçlu ve boşluk doldurma gibi hakem puanlamalarına dayanan soruların hakem yanlılığından arındırılarak puanlanmasına yönelik geliştirilmiş olan HPM-SAK modelinin, test geliştirme sürecinin madde seçimin aşamasında soru kalitesinin belirlenmesi amacıyla kullanılmasına dayanmaktadır. Üç düzey olarak tasarlanan bu hiyerarşik modelde hakem niteliği ve hakem katılığı iki ayrı faktör olarak ele alınmaktadır. Bu iki faktör belirlenirken ilk aşamada Madde Tepki Kuramı ve ikinci aşamada Sinyal Algılama Teorisi parametreleri kullanılmaktadır. Model bütün olarak gözlenen hakem puanlarından yola çıkarak bir sorunun öğrenci yeteneğini kestirmedeki düzeyini hakem niteliği ve hakem katılığı etkilerini kontrol ederek tekrar hesaplamaktadır. Araştırmada bu yaklaşım test geliştirme aşamasında hakem kararlarına dayalı olarak soru niteliğini belirleme sürecinde hakem etkisinin kontrol edilebilmesi amacıyla kullanılmıştır. Araştırma 115K531 No'lu TÜBİTAK projesinin akademik çıktılarının bir boyutunu oluşturmaktadır. Proje kapsamında geliştirilen 280 soru 28 hakem tarafından 15 maddeden oluşan puanlama ölçeği ile değerlendirilmiştir. Bu süreçte geliştirilen her soru üç hakem tarafından incelenmiştir. Araştırmada hakem incelemeleri sonucunda sorular için verilen puanlar HPM-SAK model ile analiz edilmiştir. HPM-SAK model üç düzeyli hiyerarşik bir yapı taşımaktadır. Bu nedenle bu düzeylere göre önerilen üç model ayrı ayrı analiz edilmiş ve hangi modelin data ile daha uyumlu olduğu belirlenmeye çalışılmıştır. Analiz sonuçlarına göre HPM-SAK için ikinci modelin diğer modellere göre daha iyi uyum gösterdiği görülmüştür. En düşük uyum düzeyi birinci düzey modelde gözlenmiştir. Puanlama güvenirlikleri incelendiğinde ikinci model indeksinin diğer modellerinden daha yüksek olduğu belirlenmiştir. Bu durum HPM-SAK modelin soru niteliğini belirleme sürecinde alternatif bir güvenirlik yaklaşımı olarak kullanılabileceğinin bir göstergesidir.

Özet (Çeviri)

This research is based on the use of the HRM-SDT model developed for the scoring of questions based on referee scoring, such as short answer, open ended and gap filling, in order to determine the quality of the item during the item selection phase. In this hierarchical model, which is designed as three levels, the referee is modeled as two factors of quality and referee participation. When these two factors are determined, the first stage uses the Matter Response Theory and the second uses the Signal Detection Theory parameters. The model recalculates the level of a student's ability to judge the student's ability by controlling the referee's qualifications and referee involvement effects, based on the overall referee points. This approach has been used in the research in order to control the referee effect in the process of determining the substance quality based on the referee's decisions during the test development stage. This research constitutes a dimension of the academic outputs of 115K531 TUBITAK project. 280 questions developed within the scope of the project were evaluated by 28 referees with a scoring scale consisting of 15 items. Each question developed in this process was examined by three referees. As a result of the referee examinations in the research, the scores given for the questions were analyzed with the HRM-SDT model. The HRM-SDT model has a three-level hierarchical structure. For this reason, the three models proposed according to these levels were analyzed separately and it was tried to determine which model is more compatible with the data. According to the analysis results, the second model for HRM-SDT is seen to be better than the other models. The lowest level of compliance was observed in the first level model. When the reliability of rating was examined, it was determined that the second model index was higher than the others. This is an indication that the HRM-SDT model can be used as an alternative reliability approach in the process of determining the substance quality.

Benzer Tezler

  1. Test geliştirme sürecinde madde seçimi için hiyerarşik puanlayıcı model uzantılarının incelenmesi

    Studies of hierarchical rater model extensions for rater effects in item selecetion of test development

    YASİN DİRİN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimEge Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. TAHSİN OĞUZ BAŞOKÇU

  2. Türkiye otomotiv sanayinde endüstriyel tasarım faaliyetlerinin yeni ticari taşıt geliştirme sürecine etkisi

    Industrial design activities affecting the new commercial vehicle development process in Turkish automotive industry

    FUAT ALİ PAKER

    Doktora

    Türkçe

    Türkçe

    2019

    Endüstri Ürünleri Tasarımıİstanbul Teknik Üniversitesi

    Endüstri Ürünleri Tasarımı Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EKREM CEM ALPPAY

  3. Psikolojik danışmanların ve danışanların bireyle psikolojik danışma sürecindeki deneyimlerine ilişkin algıları

    The perceptions of counselors and clients on their experiences in the individual counseling process

    ZEYNEP BÜŞRA ŞAHİN

    Doktora

    Türkçe

    Türkçe

    2024

    PsikolojiEge Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. MİNE ALADAĞ

    DOÇ. DR. GÜLŞAH KEMER

  4. Finans sektöründe çevik proje yönetimini iyileştirmede kullanılan araç seçim kararına yönelik bir uygulama

    An application to decision of tool selection to improve agile project management in the finance industry

    KENAN CAN HARPUTLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. AHMET ATIL AŞICI

  5. İstanbul'da eğitim donatımlarının planlanmasına ve uygulanmasına yönelik model araştırması

    Model research on planning and application of education infrastructures in Istanbul

    SUAT ÇABUK

    Doktora

    Türkçe

    Türkçe

    2003

    Şehircilik ve Bölge Planlamaİstanbul Teknik Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    PROF. DR. YÜCEL ÜNAL