Geri Dön

İşaretleme ve Angoff Standart Belirleme Yöntemlerinin karşılaştırılması

Comparison of bookmark and Angoff Standard Setting Methods

PDF İndir

  1. Tez No: 308506
  2. Yazar: SEVDA ÇETİN
  3. Danışmanlar: PROF. DR. SELAHATTİN GELBAL
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Madde Tepki Kuramı, Angoff Yöntemi, İşaretleme Yöntemi, Cevaplama Olasılığı, Item Response Theory, Standard Setting, Cut Score, Angoff Method, Bookmark Method, Response Probability
  7. Yıl: 2011
  8. Dil: Türkçe
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Sosyal Bilimler Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 112

Özet

Bu araştırmada, önceden belirlenmiş bir yeterlik puanı bulunan, bir vakıf üniversitenin hazırlık sınıfı öğrencileri için hazırlanan 120 soruluk başlangıç düzeyi sınavının 55 soruluk dilbilgisi ve sözcük bilgisi bölümü kullanılmıştır. Çalışmada standart belirleme yöntemlerinden işaretleme yöntemi ve Angoff yöntemi ile bu sınavın kesme puanı tekrar hesaplanmış ve bulunan kesme puanları mevcut yeterlik puanı ile karşılaştırılmıştır.Angoff Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Uzmanlardan her bir test maddesi için A2 düzeyi sınırındaki öğrencileri göz önüne alarak, bu öğrencilerden yüzde kaçının bu test maddesini doğru cevaplayabileceklerine ilişkin tahminleri sorulmuştur. Angoff Yöntemi uygulanarak 17 uzman ile belirlenen nihai kesme puanı 27,83 olarak belirlenmiştir. Üniversitenin belirlemiş olduğu mevcut kesme puanı olan 35 puan ile Angoff yöntemi kullanılarak belirlenmiş olan kesme puanı arasında yaklaşık 8 puanlık bir fark olduğu görülmüştür.İşaretleme Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Yapılan hesaplamalar sonucunda 1PLM ve RP50 değeri için kesme puanı 19,242 olarak bulunurken, 1 PLM ve RP67 değeri için ise kesme puanı 25,247 puan; 2PLM ve RP50 değeri için kesme puanı 18,897 puan, 2 PLM ve RP67 değeri için kesme puanı ise 25,102 olarak bulunmuştur.Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile gerçek veriden hesaplanan cevaplama olasılıkları arasındaki ilişki düzeyini görmek için uzmanların madde cevaplama olasılıkları ile gerçek madde güçlükleri arasındaki korelasyon katsayıları incelenmiş, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki korelasyon katsayısı 0,60 olarak bulunmuştur.Üniversitenin belirlediği kesme puanı olan 35 üzerinde puan alan öğrenci yüzdesi ise işaretleme yöntemine göre belirlenen iki kesme puanından RP50'ye göre 19 puan, RP67'ye göre 25 puan ve Angoff yöntemine göre 27 puan üzerinde puan alan öğrenci yüzdeleri arasında 0,01 düzeyinde fark olduğu, ancak cevaplama olasılıkları RP50 ve RP67'ye göre ve işaretleme yöntemi ile Angoff yöntemine göre belirlenen kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında ise önemli bir fark olmadığı saptanmıştır.Farklı MTK modelleri ve Cevaplama Olasılığı (RP Response Probability) değerlerinin maddelerin sıralı madde kılavuzundaki yerlerini değiştirip değiştirmediği sıralı madde kılavuzları karşılaştırılarak incelenmiştir. 1PLM'de madde sıralamalarında herhangi bir değişiklik olmadığı, 2PLM'de ise RP değerlerine göre yapılan iki farklı sıralamada sadece 12 maddenin aynı sırada kaldığı, 33 maddenin ise sıralamasının değiştiği görülmüştür. 2PLM'e göre ise RP50 ve RP67 dikkate alınarak yapılmış sıralamaların 1PLM'e göre ve kendi aralarında oldukça düşük korelasyon katsayıları verdiği, yani sıralamalarının 1PLM'e göre ve kendi aralarında büyük ölçüde farklılaştığı görülmüştür.Standart belirleme sürecinin çalışılan uzmanlarca yapılacak değerlendirmesi için geliştirilen standart belirleme sürecini değerlendirme anketi süreç boyunca çalışılan uzmanlara uygulanmış, sorulara verilen cevaplar genel olarak incelendiğinde uzmanların yöntemleri anlaşır ve kullanılabilir bulduğu görülmüştür.

Özet (Çeviri)

In this study an entry level examination of a foundation university, includes 55 questions of grammar and vocabulary section, for english preparatory class students is used which has a predetermined qualifying score. Bookmark and Angoff standard setting methods are used to re-calculation of the cut score of this examination and the cut scores compared to current qualifying score.Cut score of English Preparatory Program using Angoff Method is determined by the help of 17 English language experts. The language experts are asked to estimate percent of the A2 border level students giving correct answer to each test item. The final cut score is determined as 27,83 using Angoff method with 17 experts. A difference of 8 points is determined between the cut score of university and this study.As a secondary method, cut score of English Preparatory Program using Bookmark Method is also determined by the help of 17 English Language Experts. As a result of calculations; 19.242 is determined as a cut score for 1PLM and RP50 values, 25.247 is determined for 1PLM and RP67, 18.897 for 2PLM and RP50, 25.102 for 2PLM and RP67.Correlation co-efficents are examined between probabilities of expert answers and real item difficulties to see relationship level between experts? determining probability of right answers and the real difficulty of the items. The correlation co-efficent between experts? determining probability of right answers and the real difficulty of the items is determined as 0.60.In this study it is find that there is a significant difference between the percent of students whose score is more than qualifing score determined by the foundation university which is 35 point and the percent of students whose score is more than cut scores determined by Bookmark Method for RP50 that is 19, and for RP67 that is 25 and Angoff Method that is 27 points; but it is also find out that there is no significant difference between the percent of students whose score is more than cut scores determined by the Bookmark Method with RP50 and RP67; and Angoff Method and Bookmark Method.In this study it is also analysed if the choice of different RP and IRT model result in different orderings of the items in the ordered item booklets. For 1PLM it is seen that item orderings does not change but for 2 PLM choice of two different RP change orderings of the items. Orderings of 33 items in 2PLM change according to choice of response probabilities. Correlations calculated between the ranks of 2PLM and 1PLM is is tended to be very weak.To evaluate the standard setting process an evaluation form is answered by the experts who involved in standard setting process. Answers to the questions in the form shows that most of the experts finds standard setting methods understandable and usefull.

Benzer Tezler

  1. Tez No

    745281

    İşaretleme ve angoff standart belirleme yöntemlerininkarşılaştırılması

    Comparison of bookmark and angoff standard setting methods

    SEVDA ÇETİN

    Doktora

    Türkçe

    Türkçe

    2011

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. SELAHATTİN GELBAL

  2. Tez No

    459036

    Exploratory wrangling and annotation of tweets

    Tweetler üzerinde işaretleme ve keşif amaçlı kümeleme

    BERKAY DİNÇER

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    PROF. DR. YÜCEL SAYGIN

  3. Tez No

    142623

    GSM'de işaretleme ve şebeke fonksiyonları simülasyonu

    Signalling in GSM and simulation of network functions

    BARIŞ YURTSEVER

    Yüksek Lisans

    Türkçe

    Türkçe

    2003

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. GÜNSEL DURUSOY

  4. Tez No

    486972

    Memedeki lezyonlarda klasik telle işaretleme yöntemi ile ileri meme biyopsi sistemlerinden biri olan BLES (Breast lesion excision system) eksizyon yönteminin karşılaştırılması

    Comparison of classic wire marking method and excision method of BLES (Breast lesion excision system), one of the advanced breast biopsy systems, in the lesions of the breast

    ELİF BİNBOĞA

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2017

    Genel CerrahiSağlık Bilimleri Üniversitesi

    Genel Cerrahi Ana Bilim Dalı

    DOÇ. DR. ATİLLA ÇELİK

    UZMAN SERHAT MERİÇ

  5. Tez No

    688439

    Signaling and information games with subjective costs or priors and privacy constraints

    Öznel maliyetler veya olasılık modelleri ve gizlilik kısıtları kapsamında işaretleme ve bilgi oyunları

    ERTAN KAZIKLI

    Doktora

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. SİNAN GEZİCİ

    PROF. DR. SERDAR YÜKSEL

Geri Dön