Problem çözme becerisinin değerlendirilmesinde puanlayıcılar arası güvenirliğin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of interrater reliability based on the classical test theory and generalizability theory in problem solving skills assessment
- Tez No: 314947
- Danışmanlar: DOÇ. DR. DUYGU ANIL
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 169
Özet
Bu araştırmada, sıradışı (rutin olmayan) matematik problemi çözme becerilerinin değerlendirilmesine yönelik hazırlanan iki adet performans görevinin, analitik ve bütünsel dereceli puanlama anahtarıyla, dört puanlayıcı tarafından puanlanmasından elde edilen puanlara Klasik Test Kuramı ve Genellenebilirlik Kuramı ile puanlayıcılar arası güvenirlik sınanması yapılmıştır. İki kuramın uygulanması sonucunda elde edilen katsayılar arası farklılaşma olup olmadığı ve hangi kuramın hangi yönlerden daha avantajlı olduğu incelenmeye çalışılmıştır.Araştırmanın ilk aşamasında 2011-2012 Bahar Eğitim-Öğretim döneminde Kütahya İlinde bir merkez ilköğretim okulunda öğrenim gören 181 ilköğretim 6, 7 ve 8. sınıf öğrencisine ilk iki hafta tanıtım ve deneme haftası olmak üzere, dört hafta boyunca üç performans görevi uygulanmıştır. Belirtilen öğrencilerden seçilen 132'sinin iki görevde gösterdikleri performanslar dört puanlayıcıya analitik ve bütünsel dereceli puanlama anahtarıyla on gün arayla puanlatılmıştır. Araştırmanın ikinci aşamasında elde edilen puanların güvenirliği farklı kuramlara göre incelenmiştir. Klasik Test Kuramında puanlayıcılar arası güvenirlik analizi sınıf içi ilişki katsayısı ve puanlayıcılar arası ilişki katsayısı ile hesaplanmıştır. Aynı performanslara, aynı puanlayıcıların analitik ve bütünsel puanlama anahtarı kullanarak verdikleri puanların ortalamaları arasında fark olup olmadığı bağımlı gruplar t testi ile araştırılmıştır. Genellenebilirlik Kuramında ise her iki puanlama anahtarı için b x g x p ve anahtar çeşidinin değişkenlik kaynağı olarak alındığı b x g x p x a tümüyle çaprazlanmış desenleri kullanılarak güvenirlik analizi yapılmıştır.Araştırma sonucunda Genellenebilirlik Kuramından elde edilen katsayıların Klasik Test Kuramından elde edilen katsayılara göre göreceli olarak daha yüksek olduğu, Genellenebilirlik Kuramının uygulamasının Klasik Test Kuramına göre daha detaylı bilgi sağladığı ve her iki kuramdan da elde edilen bulguların verilerin güvenirliğinin yüksek olduğunu desteklediği görülmüştür. Genellenebilirlik Kuramında kullanılan desenlerin güvenirliği etkilediği, değişkenlik kaynağı sayısı arttıkça ölçmenin amacı bireyin toplam varyansı açıklama yüzdesinin azaldığı görülmüştür.Dereceli puanlama anahtarı türünün de ölçümlerin güvenirliğini etkileyebileceği, bu araştırmada analitik ve bütünsel dereceli puanlama anahtarlarından elde edilen puanların benzer güvenirlik katsayıları verdiği; ancak analitik dereceli puanlama anahtarından elde edilen puanların göreceli olarak daha yüksek güvenirliğe sahip olduğu söylenebilir.Puanlamanın amacına göre puanlama anahtarı ve kuram seçimi yapılması en nihai sonuç olmuştur.
Özet (Çeviri)
In this research, Classical Test Theory, Generalizability Theory and interrater reliability evaluation have been made to the scores of two performance tasks which are based on the evaluation of non-rutin mathematical problem solving abilities obtained from the grading of analytical and holistic rubrics and four raters.On the first stage of research , three performance tasks have been applied for four weeks two of which are presentation and trial periods to the 181 second tier students at a primary school in Kütahya in 2011-2012 spring term. 132 students have been chosen and their performances at two tasks have been scored by four raters with analytical and holistic rubrics following ten days. Reliability of the scores obtained on the second stage of research have been analyzed by different theories. It has been examined whether there is a difference between the scores? means of the same raters to the same performances with dependent sample t test by using interrater reliability analysis, intra-class correlation coefficient, interrater correlation coefficient , analytical and holistic rubrics in Classical Test Theory. In Generalizability theory, reliability analysis have been made for both rubrics by using fully crossed design b x g x p and kind of rubrics used as a facet b x g x px a design.Consequently, coefficients obtained from Generalizability Theory are relatively higher than the ones obtained from Classical Test Theory. The application of Generalizability Theory provides more detailed information than Classical Test Theory and findings of both theories support that reliability of data is high. Patterns used in Generalizability Theory affect reliability of scores. As the number of the source of variability increases, percentage of the description of total variance of the individual decreases.It can also be said that the sort of the rubric affects reliability of scores, analytical and holistic rubrics give similar reliability coefficients , but analytical rubric has relatively higher reliability of scores.Choosing the right rubric and the theory as to the purpose of scoring is the last finding.
Benzer Tezler
- Matematik dersinde problem çözme becerilerinin dereceli puanlama anahtarı kullanılarak değerlendirilmesi
The evaluation of problem solving skills in mathematics by usig rubric
DERYA GÜNDÜZ SEFER
Yüksek Lisans
Türkçe
2006
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
Y.DOÇ.DR. HÜLYA KELECİOĞLU
- Blok tabanlı programlama platformlarında soyutlama becerisinin karakterizasyonu
Characterization of abstraction skills in block-based programming platforms
İSAK ÇEVİK
Doktora
Türkçe
2024
Eğitim ve ÖğretimTrabzon ÜniversitesiBilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
PROF. DR. ÜNAL ÇAKIROĞLU
- Üniversite öğrencilerinin problem çözme becerileri ile akademik öz yeterlikleri arasındaki ilişki
Relationship between problem solving skills with academic self-efficacy of university students
ERHAN ŞEKER
Yüksek Lisans
Türkçe
2019
HemşirelikErzincan Binali Yıldırım ÜniversitesiHemşirelik Ana Bilim Dalı
PROF. DR. PAPATYA KARAKURT
- Yoğun bakım ünitelerinde çalışan hemşirelerin problem çözme becerisinin tıbbi hata eğilimine etkisi
The effect of problem solving skills of nurses working in intensive care units on medical error tendency
FATMA TÜRE
Yüksek Lisans
Türkçe
2019
Hemşirelikİstanbul Medipol ÜniversitesiHemşirelik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ESRA KÖROĞLU ÇAMDEVİREN
- Engelli bireye sahip olan ailelerin problem çözme becerisinin,yaşam kalitesine etkisi
The effect of the problem solving skills of families with a di̇sabled person on the quali̇ty of life
BEHİYE ŞAHİN
Yüksek Lisans
Türkçe
2024
HemşirelikAtatürk ÜniversitesiPsikiyatri Hemşireliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MİNE EKİNCİ
DR. ÖĞR. ÜYESİ MUSTAFA DURMUŞ