Standart belirleme yöntemlerinden ROC, Doğrudan Uzlaşma ve Angoff tekniklerinin karşılaştırılması
Comparison of ROC, Direct Consensus and Angoff methods from standard setting methods
- Tez No: 792432
- Danışmanlar: PROF. DR. HAKAN ATILGAN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Angoff Standart Belirleme Yöntemi, Doğrudan uzlaşma, Kesme puanlar, ROC analizi, Standartlar, Öğrenci memnuniyeti, Üniversite öğrencileri, Angoff Standard Setting Method, Direct consensus, Cut points, ROC analysis, Standards, Student satisfaction, University students
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Ege Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Araştırmada üniversite öğrencilerinin üniversiteye yönelik memnuniyet düzeyini belirleyen ölçek için standart belirleme çalışması yapılmıştır. ROC, Doğrudan Uzlaşma ve Angoff yöntemleri ile kesme puanı belirlenmiştir. Araştırmada yöntemlerle elde edilen kesme puanlarının karşılaştırılması amaçlanmıştır. Araştırmada iki gruptan veriler elde edilmiştir. İzmir ilinde bulunan ilk grubu oluşturan Ege Üniversitesi öğrencilerine uygulanmış olan ve öğrencilerin memnuniyet düzeylerini ölçmek için oluşturulan 3'ü kontrol maddesi olan 20 maddeden oluşan dereceleme ölçeği formatında oluşturulmuş olan 4 faktörlü memnuniyet ölçeği 23655 örneklem genişliğine sahip 2021 yılında aktif kayıtlı olan Ege Üniversitesi öğrencilerine uygulanmıştır. Uygulama çevrimiçi olarak yapılmıştır. Uygulama sonuçları kullanılarak ölçeğin güvenilirliği incelenmiştir. Ölçeğin geçerlilik çalışması için Doğrulayıcı Faktör Analizi, İkinci Sıralı Doğrulayıcı Faktör Analizi yapılmıştır. Yapılan analizler sonucunda ölçek güvenilir ve geçerli bulunmuştur. Araştırmanın devamında standart belirleme çalışması yapılmıştır. Standart belirleme çalışması için ikinci bir grup oluşturulmuştur. İkinci grup ise Ege Üniversitesi Psikoloji bölümünde görev yapmakta olan 10 uzmandan oluşturulmuştur. Uzmanlar, Angoff ve Doğrudan Uzlaşma yöntemleri için uzman görüşü bildirmişlerdir. Bu görüşler doğrultusunda Angoff ve Doğrudan Uzlaşma yöntemleri için kesme puanı belirlenmiştir. Sonrasında Angoff yöntemi sonuçları referans alınarak ROC yöntemiyle kesme puanı belirlenmiştir. Araştırma bulgularından ulaşılan kesme puanı Angoff yöntemi için 51,60; Doğrudan Uzlaşma yöntemi için 49,50 ve ROC yöntemi için 50 olarak bulunmuştur. En yüksek kesme puanı Angoff yöntemiyle bulunurken, en düşük kesme puanı Doğrudan Uzlaşma yöntemiyle bulunmuştur. Yöntemler kesme puanı ve öğrencileri memnun/ memnun değil olarak sınıflandırılma yüzdelerine göre ikili karşılaştırılmıştır ve bu karşılaştırma Cohen Kappa katsayısı ile yapılmıştır. Yapılan karşılaştırmalar sonucunda üç yöntem için de öğrencileri memnun/ memnun değil olarak sınıflandırılma yüzdeleri farklı bulunmuştur. Yöntemlerden ROC yöntemi en iyi ayırt eden doğru sınıflandırmayı yapmıştır. Cohen Kappa katsayısına göre ise üç yöntem için yapılan ikili karşılaştırmaların tümü anlamlı bulunmuştur. Son olarak Angoff ve Doğrudan Uzlaşma yöntemlerinde uzman görüşlerinin puanlayıcılar arası uyumu ölçmek için Kendall W istatistiği incelenmiştir. Yapılan inceleme sonucunda Angoff yöntemi için uzmanlar arası istatistiksel olarak anlamlı uyum bulunmazken Doğrudan Uzlaşma yöntemi için uzmanlar arasında istatistiksel olarak anlamlı bir uyum bulunmuştur. Araştırma sonucunda yöntemlerin kendilerine özgü avantaj ve dezavantajlarının olduğu bulunmuştur. Bu yüzden ölçek, amacı, uygulanacağı örneklem, uygulamada var olan imkanlar ve sonuçların nasıl değerlendirileceği göz önünde bulundurularak yapılacak araştırmaya en uygun olan yöntemin seçilmesi gerektiği bulunmuştur.
Özet (Çeviri)
In the research, a standard setting study was conducted for the questionnaire that determines the satisfaction level of university students towards the university. Cutoff score was determined by ROC, Direct Compromise and Angoff methods. There is two group in this research. First group is Ege University students. 23655 university students participated the 20 item satisfaction scale with 4 subtest about university in 2021. The reliability of the scale was examined by using the scale application results. Confirmatory Factor Analysis and Second Order Confirmatory Factor Analysis were did for the validity study of the scale. The scale was found to have reliability and validity. In the continuation of the research, a standard-setting study was did. A second group was created for the standard-setting study. Second group is 10 judges. The judges groups is working in the psychology department of the university. The opinions of the judges about the satisfaction questionnaire were taken for the Angoff Method and Direct Consensus Method. They determined a cut-off score for these two methods. Then The ROC method used to determined cut-off score. Three cut-off points were determined in the research findings. It was found 51,60 in Angoff method. The cut-off score in the direct consensus method, which is one of the other methods, was found to be 49.50. The last method ROC, was found to be 50. The highest cut-off score was found by the Angoff method, the lowest cut-off score was found by the Direct Compromise method. The methods were compared in pairs according to the cut-off score and the percentages of students being classified as satisfied / dissatisfied. This comparison was made with the Cohen Kappa coefficient. As a result of the comparisons, the percentages of classification of students as satisfied/not satisfied were found to be different for three methods. Among the methods, the ROC method made the correct classification that best seperate it. According to the Cohen Kappa coefficient, all pairwise comparisons for the three methods were found to be significant. Finally, Kendall W statistics was examined to measure the agreement between judges of their opinions in Angoff and Direct Compromise methods. As a result of the examination, there was no statistically significant agreement between judges for the Angoff method, while a statistically significant agreement was found between the judges for the Direct Compromise method. As a result of the research, it was found that the methods have their own advantages and disadvantages. Therefore, it has been found that the most appropriate method should be selected for the research to be conducted, taking into account the scale, its purpose, the sample to be applied, the possibilities available in practice and how the results will be evaluated.
Benzer Tezler
- Yeni Cami'nin akustik açıdan performans değerlendirmesi
Evaluation of the acoustical performance of the New Mosque
EVREN YILDIRIM
Yüksek Lisans
Türkçe
2003
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. SEVTAP YILMAZ DEMİRKALE
- Prediction of COVID 19 disease using chest X-ray images based on deep learning
Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini
ISMAEL ABDULLAH MOHAMMED AL-RAWE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADEM TEKEREK
- Classification of abnormal respiratory sounds using deep learning techniques
Solunum seslerinin derin öğrenme yöntemleri ile sınıflandırılması
AHAMADI ABDALLAH IDRISSE
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. OKTAY YILDIZ
- Akciğer kanserinde PD-L1 ekspresyon düzeyinin F18 FDG PET/BT parametreleri ile korelasyonu
Correlation of PD-L1 expression levels with F18 FDG PET/CT parameters in lung cancer
SELİN YAŞAR BELEK
Tıpta Uzmanlık
Türkçe
2026
Radyoloji ve Nükleer Tıpİstanbul Medeniyet ÜniversitesiNükleer Tıp Ana Bilim Dalı
DOÇ. DR. SERKAN GÜNGÖR
- İdiyopatik pulmoner fibrozis olgularında sarkopeninin prognostik belirteçlerle ilişkisi
Başlık çevirisi yok
ÜLKÜ DURAK
Tıpta Uzmanlık
Türkçe
2024
Göğüs Hastalıklarıİstanbul ÜniversitesiGöğüs Hastalıkları Ana Bilim Dalı
PROF. DR. ZÜLEYHA BİNGÖL