Nedelsky ve Angoff standart belirleme yöntemlerinin genellenebilirlik kuramı ile karşılaştırılmasına ilişkin bir araştırma
A comparison of Angoff and Nedelsky cutting score procedures using generalizability theory
- Tez No: 257534
- Danışmanlar: DOÇ. DR. HÜLYA KELECİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2009
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Bölümü
- Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Sayfa Sayısı: 64
Özet
Bu araştırmada Nedelsky ve Angoff standart belirleme yöntemleri ile elde edilen kesme puanları Genellenebilirlik Kuramı kullanılarak karşılaştırılmıştır.Araştırmada kullanılan veriler 2008 yılı ilköğretim 6.sınıf SBS (Seviye Belirleme Sınavı)'de yer alan ve 16 maddeden oluşan fen ve teknoloji sorularının Ankara ilinde görev yapan 40 fen ve teknoloji uzmanı tarafından adı geçen standart belirleme yöntemlerine uygun şekilde puanlanması sonucu elde edilmiştir.Araştırmanın birinci aşamasında her bir yöntem için farklı hesaplanan ve farklı uzman görüşlerine dayanan kesme puanları kullanılarak yöntemler karşılaştırılmıştır. Araştırmanın ikinci aşamasında ise aynı veriler ile genellenebilirlik çalışması yürütülmüş ve genellenebilirlik katsayıları ve varyans bileşenleri elde edilmiştir. Ayrıca bu yöntemlerin uygulanması için gereken en uygun puanlayıcı sayısı da belirlenmeye çalışılmıştır.Verilerin analizinde Nedelsky ve Angoff standart belirleme yöntemlerine göre geçme puanları hesaplanmıştır. Elde edilen geçme puanlarının dağılımına bakılmış ve puanlar arasındaki farklılıkları ortaya koymak amacıyla bağımlı iki oran arasındaki farkın testi yapılmış ve anlamlılığı z testi ile sınanmıştır. Yöntemlerin karşılaştırılmaları sonucu 0,05 düzeyinde farklılaşma görülmüştür.Ayrıca Ankara ilinde okuyan ve 2008 SBS'ye girmiş 415 ilköğretim 6.sınıf öğrencisinin uzmanlar tarafından iki farklı standart belirleme yöntemine göre belirledikleri geçme puanlarına göre geçme/kalma yüzdeleri belirlenmiştir. Bu noktada ise Nedelsky yöntemine göre geçen öğrenci yüzdesinin Angoff yöntemine göre geçen öğrenci yüzdesine oranla daha büyük olduğu sonucuna ulaşılmıştır.Her iki standart belirleme yönteminin birlikte ele alındığı ve tümüyle çaprazlanmış mxpxy modeli uygulanarak yapılan G çalışmasında her iki yöntemde de, maddeler arası farklılıkların ortaya çıkarılabildiği ve puanlayıcılar arasında bir tutarlılığın olduğu görülmüştür. Standart belirleme yöntemlerinin ayrı ayrı ele alındığı ve mxp modeli uygulanarak yapılan G çalışmasında ise; Nedelsky yöntemi ile yapılan puanlamada maddeler arası farklılığın ortaya çıkarılabildiği, ancak puanlayıcılar arasında kesme puanı belirlemede uyum olmadığı görülmüştür. Angoff yöntemi ile yapılan puanlamada maddeler arası farklılığın ortaya çıkarılabildiği ve puanlayıcılar arasında bir tutarlılığın olduğu görülmüştür.Çalışmadan elde edilen G ve ? katsayılarına bakıldığında ise Angoff ve Nedelsky yöntemleri ile standart belirleme çalışılırken 10 puanlayıcının yeterli olacağı sonucuna varılmıştır.Anahtar SözcüklerStandart Belirleme Yöntemleri, Kesme Puanı, Nedelsky Yöntemi, Angoff Yöntemi, Genellenebilirlik Kuramı, Puanlayıcı Sayısı
Özet (Çeviri)
In this thesis, the cutting scores which are acquired from Nedelsky and Angoff cutting score procedures are compared.The data of this research are collected by using the 16 science and technology questions which are asked on elementary 6th grades ?Seviye Belirleme Sınavı (SBS)?. Those questions were graded by 40 science and technology experts (raters) working in Ankara according to these two cutting score procedures.In the first phase of this research; procedures are compared by using the cutting scores, which are based on different expert opinions and calculated according to each standard setting procedure. In the second phase of the research; with the same data the generalizability study is applied and generalizability coefficients and variance components are calculated. Moreover, the most appropriate number of experts necessary for applying the cutting score procedures are tried to be determined.While analyzing the data, the cutting scores are calculated by using Nedelsky and Angoff standard setting methods. Then the distribution of the cutting scores is looked and to exhibit the differences between them, the scores are tested by using dependent ratio test, also significance level is tested by z-test. As a result, a significant difference is seen about a level of 0.05 by the comparison between procedures.Furthermore, passing/failing proportions of 415 students, who took the 6th grade SBS in 2008 in Ankara, is determined according to the cutting scores getting by two different standard setting methods by raters. At this point, it is concluded that the ratio of students who pass the exam is more in Nedelsky than in Angoff.In generalizability theory, by using mxpxy (all facets cross with each other) design, when two standard setting methods are covered together in each method, the differences between items are found out and there is a consistency between raters. When the methods are thought separately using mxp model; the differences between items are found out by Nedelsky procedure; however there is no consistency between raters while determining cutting scores by using Nedelsky. By Angoff procedure, the differences between items are found out and also there is a consistency between raters.By looking at the G and ? coefficients derived from research, it is found that while applying Angoff and Nedelsky Standard setting methods only 10 raters are enough.KeywordsStandards Setting Methodologies, Cut Point, Nedelsky Methods, Angoff Methods, Generalizability Theory, Rater Number
Benzer Tezler
- Standart belirleme yöntemlerinin geçme puanları üzerine etkisi
Impacts of standard setting methods over passing scores
SEVDA TANRIVERDİ
Yüksek Lisans
Türkçe
2006
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ.DR. SELAHATTİN GELBAL
- İngilizce hazırlık atlama sınavı için kesme puanı belirlenmesinde standart belirleme yöntemlerinin karşılaştırılması
Comparing standard setting methods while determining cut point for English proficiency exam
NİHAN YILDIRIM KAN
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU
- Angoff, nedelsky ve ebel standart belirleme yöntemleri ile belirlenen kesme puanlarının karşılaştırılması
A comparison of cutting points determined by angoff, nedelsky and ebel standard setting methods
OKAN DEMİR
Yüksek Lisans
Türkçe
2014
Eğitim ve ÖğretimAbant İzzet Baysal ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. İBRAHİM ALPER KÖSE
- Norm ve ölçüt dayanaklı değerlendirmelerin karşılaştırılmasına ilişkin bir çalışma
A study upon comparison of norm and criterion referenced assessment
İSMAİL ÇUKADAR
Yüksek Lisans
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- İngilizce B1 seviye atlama sınavının kesme puanının farklı standart belirleme yöntemlerine göre incelenmesi
Examination of the cutting score of the English B1 leveling exam according to different standard determination methods
RÜMEYSA KAYA
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimGaziantep ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. BAYRAM ÇETİN