Otomatik madde üretiminin aile hekimliği alanına uygulanması ve üretilen maddelerin niteliğinin incelenmesi
Applying automatic item generation in family medicine field and evaluating generated test items
- Tez No: 894802
- Danışmanlar: DOÇ. DR. GÜLŞEN TAŞDELEN TEKER
- Tez Türü: Yüksek Lisans
- Konular: Sağlık Eğitimi, Health Education
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Tıp Eğitimi ve Bilişim Ana Bilim Dalı
- Bilim Dalı: Tıp Eğitimi Bilim Dalı
- Sayfa Sayısı: 112
Özet
Çoktan seçmeli maddeler, tıp eğitiminde kullanılan birçok değerlendirmenin temelini oluşturmaktadır. Geleneksel yaklaşımlarla madde yazımı ise oldukça zaman alıcı ve zor bir süreçtir. Bu nedenle, çalışmanın temel amacı, yapay zekâ modellerinden ChatGPT-4 ile koruyucu hekimlik uygulamaları kapsamında olgu temelli çoktan seçmeli maddeler üretmek ve üretilen maddelerin psikometrik özelliklerini incelemektir. ChatGPT-4 ile üretilen 25 madde, alan uzmanları tarafından incelenmiş ve nitelikli bir çoktan seçmeli maddenin sahip olması gereken özellikleri taşımayan 20 madde çalışmadan çıkarılmıştır. Kalan beş madde, 110 aile hekimliği uzmanlık öğrencisine uygulanmış ve klasik test kuramı kapsamında madde istatistikleri elde edilmiştir. Alan uzmanlarının yaptığı değerlendirmeler, üretilen maddelerin kök ve seçeneklerinin nitelikli madde yazım kurallarına uygun olduğunu, ancak çeldiricilerin güçlendirilmesi gerektiğini ortaya koymuştur. Uzmanlık öğrencilerinin verdiği cevaplar doğrultusunda hesaplanan madde istatistikleri ise bir maddenin kolay ve ayırt edici olmadığını, diğer dört maddeden birinin kolay, diğer üçünün ise ortalama güçlükte olduğunu ve bu maddelerin ayırt edici olduğunu göstermiştir. Çeldirici analizleri, öğrencilerinin %97,3'ünün doğru cevapladığı madde için çeldiricilerin çalışmadığı, diğer dört maddede ise çeldiricilerin bir ya da ikisinin öğrencilerin %5'inden daha azı tarafından işaretlendiği bulunmuştur. Sonuç olarak, tıp eğitiminde olgu temelli çoktan seçmeli madde yazma konusunda ChatGPT'nin alan uzmanlarına yardımcı olabileceği, ancak üretilen maddelerin uzmanlar tarafından gözden geçirildikten sonra kullanılması gerektiği söylenebilir.
Özet (Çeviri)
Multiple-choice items form the basis of many assessments used in medical education. Writing questions using traditional approaches is, however, a time-consuming and challenging process. Therefore, the primary aim of this study is to generate case-based multiple-choice items related to preventive medicine using the artificial intelligence model ChatGPT-4 and to examine the psychometric properties of the generated items. Of the 25 items produced by ChatGPT-4, 20 were removed from the study after being reviewed by field experts, as they did not meet the required characteristics of a high-quality multiple-choice item. The remaining five questions were administered to 110 family medicine residency students, and item statistics were obtained based on classical test theory. Evaluations by field experts revealed that while the stems and options of the generated items adhered to high-quality item writing standards, the distractors needed improvement. Item statistics based on student responses indicated that the first item was too easy and not discriminatory, while one of the remaining four items was easy and the other three had moderate difficulty and were discriminatory. Distractor analyses showed that for the item answered correctly by 97.3% of students, none of the distractors were effective, whereas for the other four items, one or two distractors were marked by less than 5% of the students. In conclusion, ChatGPT can assist field experts in creating case-based multiple-choice items for medical education; however, it is essential that the generated items are reviewed by experts before use.
Benzer Tezler
- The role of oxidative stress factors in the pathophysiology of Ocular Rosacea, analysis of tears and other materials
Oküler Rosacea patofizyolojisinde oksidatif stres faktörlerinin rolü, gözyaşı ve diğer materyallerin analizi
NİLÜFER YEŞİLIRMAK
Doktora
İngilizce
2023
BiyokimyaGazi ÜniversitesiTıbbi Biyokimya Ana Bilim Dalı
PROF. DR. NESLİHAN BUKAN
PROF. DR. JEAN-LOUIS BOURGES
- Architecture of constraints: A mass customization oriented approach for housing design
Kısıtlarla tanımlanan mimarlık: Kitlesel özelleştirme odaklı konut tasarımı
BENGİSU İLKSOY
Yüksek Lisans
İngilizce
2015
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. MİNE ÖZKAR KABAKÇIOĞLU
- Effect of salt concentration on the characteristics of biomass and organic removal in an anaerobic membrane bioreactor
Anaerobik membran biyoreaktörlerde tuz konsantrasyonunun çamur özellikleri ve organik kirletici giderimi üzerine etkisi
BAŞAK DÖNMEZ
Yüksek Lisans
İngilizce
2016
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. FATMA FATOŞ BABUNA
- Profil boru üretiminin yaşam döngüsü değerlendirmesi
Life cycle assessment of profile pipe production
İREM ŞANAL
Yüksek Lisans
Türkçe
2020
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Bilimleri Ana Bilim Dalı
PROF. DR. FATOŞ GERMİRLİ BABUNA
- Selüloz enzimi üretimi
Başlık çevirisi yok
GÖNÜL NİLÜFER
Yüksek Lisans
Türkçe
1994
Gıda MühendisliğiEge ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
PROF. DR. SUHA SUKAN