Geri Dön

Standart belirleme yöntemlerinden ROC, Doğrudan Uzlaşma ve Angoff tekniklerinin karşılaştırılması

Comparison of ROC, Direct Consensus and Angoff methods from standard setting methods

PDF İndir

  1. Tez No: 792432
  2. Yazar: MERVE KILIÇ
  3. Danışmanlar: PROF. DR. HAKAN ATILGAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: Ege Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 123

Özet

Araştırmada üniversite öğrencilerinin üniversiteye yönelik memnuniyet düzeyini belirleyen ölçek için standart belirleme çalışması yapılmıştır. ROC, Doğrudan Uzlaşma ve Angoff yöntemleri ile kesme puanı belirlenmiştir. Araştırmada yöntemlerle elde edilen kesme puanlarının karşılaştırılması amaçlanmıştır. Araştırmada iki gruptan veriler elde edilmiştir. İzmir ilinde bulunan ilk grubu oluşturan Ege Üniversitesi öğrencilerine uygulanmış olan ve öğrencilerin memnuniyet düzeylerini ölçmek için oluşturulan 3'ü kontrol maddesi olan 20 maddeden oluşan dereceleme ölçeği formatında oluşturulmuş olan 4 faktörlü memnuniyet ölçeği 23655 örneklem genişliğine sahip 2021 yılında aktif kayıtlı olan Ege Üniversitesi öğrencilerine uygulanmıştır. Uygulama çevrimiçi olarak yapılmıştır. Uygulama sonuçları kullanılarak ölçeğin güvenilirliği incelenmiştir. Ölçeğin geçerlilik çalışması için Doğrulayıcı Faktör Analizi, İkinci Sıralı Doğrulayıcı Faktör Analizi yapılmıştır. Yapılan analizler sonucunda ölçek güvenilir ve geçerli bulunmuştur. Araştırmanın devamında standart belirleme çalışması yapılmıştır. Standart belirleme çalışması için ikinci bir grup oluşturulmuştur. İkinci grup ise Ege Üniversitesi Psikoloji bölümünde görev yapmakta olan 10 uzmandan oluşturulmuştur. Uzmanlar, Angoff ve Doğrudan Uzlaşma yöntemleri için uzman görüşü bildirmişlerdir. Bu görüşler doğrultusunda Angoff ve Doğrudan Uzlaşma yöntemleri için kesme puanı belirlenmiştir. Sonrasında Angoff yöntemi sonuçları referans alınarak ROC yöntemiyle kesme puanı belirlenmiştir. Araştırma bulgularından ulaşılan kesme puanı Angoff yöntemi için 51,60; Doğrudan Uzlaşma yöntemi için 49,50 ve ROC yöntemi için 50 olarak bulunmuştur. En yüksek kesme puanı Angoff yöntemiyle bulunurken, en düşük kesme puanı Doğrudan Uzlaşma yöntemiyle bulunmuştur. Yöntemler kesme puanı ve öğrencileri memnun/ memnun değil olarak sınıflandırılma yüzdelerine göre ikili karşılaştırılmıştır ve bu karşılaştırma Cohen Kappa katsayısı ile yapılmıştır. Yapılan karşılaştırmalar sonucunda üç yöntem için de öğrencileri memnun/ memnun değil olarak sınıflandırılma yüzdeleri farklı bulunmuştur. Yöntemlerden ROC yöntemi en iyi ayırt eden doğru sınıflandırmayı yapmıştır. Cohen Kappa katsayısına göre ise üç yöntem için yapılan ikili karşılaştırmaların tümü anlamlı bulunmuştur. Son olarak Angoff ve Doğrudan Uzlaşma yöntemlerinde uzman görüşlerinin puanlayıcılar arası uyumu ölçmek için Kendall W istatistiği incelenmiştir. Yapılan inceleme sonucunda Angoff yöntemi için uzmanlar arası istatistiksel olarak anlamlı uyum bulunmazken Doğrudan Uzlaşma yöntemi için uzmanlar arasında istatistiksel olarak anlamlı bir uyum bulunmuştur. Araştırma sonucunda yöntemlerin kendilerine özgü avantaj ve dezavantajlarının olduğu bulunmuştur. Bu yüzden ölçek, amacı, uygulanacağı örneklem, uygulamada var olan imkanlar ve sonuçların nasıl değerlendirileceği göz önünde bulundurularak yapılacak araştırmaya en uygun olan yöntemin seçilmesi gerektiği bulunmuştur.

Özet (Çeviri)

In the research, a standard setting study was conducted for the questionnaire that determines the satisfaction level of university students towards the university. Cutoff score was determined by ROC, Direct Compromise and Angoff methods. There is two group in this research. First group is Ege University students. 23655 university students participated the 20 item satisfaction scale with 4 subtest about university in 2021. The reliability of the scale was examined by using the scale application results. Confirmatory Factor Analysis and Second Order Confirmatory Factor Analysis were did for the validity study of the scale. The scale was found to have reliability and validity. In the continuation of the research, a standard-setting study was did. A second group was created for the standard-setting study. Second group is 10 judges. The judges groups is working in the psychology department of the university. The opinions of the judges about the satisfaction questionnaire were taken for the Angoff Method and Direct Consensus Method. They determined a cut-off score for these two methods. Then The ROC method used to determined cut-off score. Three cut-off points were determined in the research findings. It was found 51,60 in Angoff method. The cut-off score in the direct consensus method, which is one of the other methods, was found to be 49.50. The last method ROC, was found to be 50. The highest cut-off score was found by the Angoff method, the lowest cut-off score was found by the Direct Compromise method. The methods were compared in pairs according to the cut-off score and the percentages of students being classified as satisfied / dissatisfied. This comparison was made with the Cohen Kappa coefficient. As a result of the comparisons, the percentages of classification of students as satisfied/not satisfied were found to be different for three methods. Among the methods, the ROC method made the correct classification that best seperate it. According to the Cohen Kappa coefficient, all pairwise comparisons for the three methods were found to be significant. Finally, Kendall W statistics was examined to measure the agreement between judges of their opinions in Angoff and Direct Compromise methods. As a result of the examination, there was no statistically significant agreement between judges for the Angoff method, while a statistically significant agreement was found between the judges for the Direct Compromise method. As a result of the research, it was found that the methods have their own advantages and disadvantages. Therefore, it has been found that the most appropriate method should be selected for the research to be conducted, taking into account the scale, its purpose, the sample to be applied, the possibilities available in practice and how the results will be evaluated.

Benzer Tezler

  1. Tez No

    847190

    Prediction of COVID 19 disease using chest X-ray images based on deep learning

    Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini

    ISMAEL ABDULLAH MOHAMMED AL-RAWE

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ADEM TEKEREK

  2. Tez No

    827867

    Classification of abnormal respiratory sounds using deep learning techniques

    Solunum seslerinin derin öğrenme yöntemleri ile sınıflandırılması

    AHAMADI ABDALLAH IDRISSE

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    DOÇ. DR. OKTAY YILDIZ

  3. Tez No

    454763

    Yükseköğretime geçiş sınavının sınıflama tutarlılığının farklı yöntemlerle elde edilen kesme puanlarına göre incelenmesi

    The study of classification consistency of transition to higher education examination according to the cut-off scores obtained from different methods

    ERDEM BODUROĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimMersin Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. DEVRİM ALICI

  4. Tez No

    336390

    Kesme puanının belirlenmesinde lojistik regresyon analizi, diskriminant analizi ve ROC eğrisi yöntemlerinin karşılaştırılması

    Comparing methods of logistic regression analysis, discriminant analysis and ROC curve method while determining cut point

    ÇİĞDEM REYHANLIOĞLU KEÇEOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2012

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. SELAHATTİN GELBAL

  5. Tez No

    690856

    Aynı özelliği ölçen iki testin farklı yöntemlerle elde edilen sınıflama doğruluklarının karşılaştırılması

    The comparison of classification accuracy of two tests measuring the same feature obtained by different methods

    NESİR DENİZ TEMEKOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Eğitim ve ÖğretimHasan Kalyoncu Üniversitesi

    Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı

    DOÇ. DR. UFUK AKBAŞ

Geri Dön