Klinik akıl yürütmeyi sanal hasta vakaları ile ölçme ve değerlendirme
Assessment and evaluation of clinical reasoning with virtual patient cases
- Tez No: 1008110
- Danışmanlar: PROF. DR. ESRA AKDENİZ
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Sağlık Eğitimi, Education and Training, Health Education
- Anahtar Kelimeler: Klinik akıl yürütme, sanal hasta, ölçme ve değerlendirme, çoktan seçmeli soru, yapay zekâ, Clinical reasoning, virtual patient, assessment and evaluation, multiple-choice question, artificial intelligence
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Marmara Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Tıp Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Amaç: Bu çalışmada, klinik akıl yürütmeyi sanal hasta vakalarıyla ölçme ve değerlendirme (ÖD) süreçlerinde, üretken yapay zekâ (YZ)'ların çoktan seçmeli soru (ÇSS) üretme ve üretilen soruları değerlendirme performansının ortaya çıkarılması amaçlanmıştır. Gereç ve Yöntem: Çalışmada standardize ve yinelemeli istemleme yöntemleriyle üretken YZ araçları (Gemini ve Copilot) kullanılarak üretilen sorular arasından; üretken YZ'ler tarafından“en iyi”olarak seçilen 56 ÇSS, alan uzmanı tıp eğiticileri ve aynı üretken YZ araçlarının güncel sürümleri tarafından değerlendirilmiştir. Değerlendirme ölçütleri Bloom'un revize taksonomisi (BRT) ve Miller'ın yeterlik piramidi (MYP) seviyeleri, -kabul edilebilir performans indeksi modifikasyonuyla- tahmini zorluk seviyesi, öğrenme hedefleriyle uyum, soru kökü uygunluğu, cevap anahtarı doğruluğu ve teknik kusurlardır. Referans standart olarak, uzmanların ve üretken YZ araçlarının değerlendirme uzlaşısını temsil eden özneler arası model geliştirilmiştir. Üretken YZ araçlarının“üretme performansı”, özneler arası uzlaşıyla uyumu incelenerek;“değerlendirme performansı”ise özneler arası uzlaşıya etkisi incelenerek analiz edilmiştir. Analizlerde güvenirlik için sınıf içi korelasyon katsayısı (ICC 2, k); kategorik uyum için Cohen's Kappa (κ), ağırlıklı lineer κ, Fleiss' κ, Po %; sistematik yanlılığı ve yönsel kaymaları tespit etmek için Exact McNemar ve Wilcoxon Signed-Rank çıkarımsal testleri kullanılmıştır. Bulgular: Üretken YZ araçları bilişsel seviyeleri atamada birbirine zıt performans göstermiştir (ICC [Gemini - MYP] = 0,82; ICC [Copilot - BRT] = 0,97). Her ikisi de anahtar belirleme ve öğrenme hedefleri uyumunda yüksek performans göstermiş ancak; soru kökü yapısında belirgin şekilde ayrışmıştır. Uzmanlar, ÇSS'leri daha kolay bulurken, üretken YZ'ler daha da kolay bulmuştur. Üretken YZ araçları değerlendirme uzlaşılarında, farklı bağlamlarda, anlamlı düzeyde“sistematik zorlaştırma yanlılığı (p<0,001)”veya“merkezi eğilim yanlılığı (p=0,107; p=0,594)”göstermişlerdir. Üretken YZ'ler biçimsel hataları tespit etmede başarılıyken, uzmanlar mantıksal ifade hatalarına daha duyarlıdır. Sonuç: Bu çalışma, sanal hasta vakalarıyla klinik akıl yürütmeyi ÖD süreçlerinde üretken YZ araçları kullanarak ÇSS'lerden oluşan ÖD araçlarının geliştirilmesine ve değerlendirilmesine yönelik önemli kanıtlar sunmaktadır. Üretken YZ'lerin modeli ve etkileşimi bağlamında, ÖD süreçlerinde bir“kontrol mekanizması”veya“uç kararları düzeltici”rolü üstlenebileceği gösterilmektedir. Sonuçlar, tıp eğitiminde uzman denetimindeki hibrit ÖD sistemlerinde, üretken YZ araçlarının verimi arttırabileceğini göstermekte ve kontrollü entegrasyonu için umut verici kanıtlar sunmaktadır.
Özet (Çeviri)
Objective: This study aimed to reveal the performance of generative artificial intelligences (AIs) in generating and assessing multiple-choice questions (MCQs) in the processes of assessing and evaluating (AE) clinical reasoning with virtual patient cases. Materials and Methods: In the study, 56 MCQs selected as“best”by generative AI tools (Gemini ve Copilot) from among questions generated by generative AI tools using standardized and iterative prompting methods, were assesses by field expert medical educators and the current versions of the same generative AI tools. Assessment metrics were Bloom's revised taxonomy (BRT) and Miller's competency pyramid levels, estimated difficulty level (with acceptable performance level modification), alignment with learning objectives, question stem appropriateness, answer key accuracy, and technical flaws. As the reference standard, an intersubjective model representing the assessment consensus of experts and generative AI tools was developed. The“generation performance”of generative AI tools was analyzed by examining their alignment with intersubjective consensus, and their“assessment performance”was analyzed by examining their effect on intersubjective consensus. Data were analyzed using the intraclass correlation coefficient (ICC 2,k) for reliability; Cohen's Kappa (κ), weighted linear κ, Fleiss' κ, Po % for categorical fit; and Exact McNemar and Wilcoxon Signed-Rank inferential tests to detect systematic bias and directional shifts. Results: Generative AI tools showed contrasting performance in assigning cognitive levels (ICC [Gemini - MCP] = 0.82; ICC [Copilot - BRT] = 0.97). Both showed high performance in key determination and learning objective alignment, but differed significantly in question stem structure. Experts found multiple-choice questions easy and AIs found easier. In assessment consensus, generative AI tools showed significant levels of“systematic difficulty bias (p<0.001)”or“central tendency bias (p=0.107; p=0.594)”in different contexts. While generative AIs are successful in detecting formal flaws, experts are more sensitive to logical statement errors. Conclusion: This study provides significant evidence for the development and evaluation of multiple-choice AE tools using generative AI tools in clinical reasoning AE processes with virtual patient cases. In the context of the model and interaction of generative AIs, it is shown that they can assume the role of a“control mechanism”or“outlier decision corrector”in AE processes. The results demonstrate that generative AI tools can increase efficiency in expert-supervised hybrid AE systems in medical education and offer promising evidence for their controlled integration.
Benzer Tezler
- Tıp Fakültesi öğrencilerinin klinik akıl yürütme süreçlerinin öğrenme analitikleri entegre edilmiş bir sanal hasta uygulaması ile incelenmesi
Investigation of clinical reasoning processes of medical students viA learning analytics integrated virtual patient application
ALPER BAYAZIT
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimAnkara ÜniversitesiTıp Eğitimi ve Bilişim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İPEK GÖNÜLLÜ
- Hemşirelikte hasta bakımı ve klinik karar vermeye ilişkin sanal servis/hasta platformunun geliştirilmesi: Tasarım tabanlı araştırma
Development of a virtual service/patient platform for patient care and clinical decision making in nursing: Design-based research
TANER ONAY
Doktora
Türkçe
2024
HemşirelikMarmara ÜniversitesiTıp Eğitimi Ana Bilim Dalı
PROF. DR. MEHMET ALİ GÜLPINAR
- İlkokul 4. sınıf öğrencilerinin orantısal akıl yürütme becerilerinin manipülatifler kullanılarak problem çözme sürecinde incelenmesi
Examination of proportional reasoning skills of primary school 4th grade students in the process of problem solving using manipulatives
BÜŞRA YAZICI
Yüksek Lisans
Türkçe
2023
Eğitim ve ÖğretimKahramanmaraş Sütçü İmam ÜniversitesiTemel Eğitim Ana Bilim Dalı
DOÇ. DR. ADEM DOĞAN
- Üstün yetenekli tanısı konulan öğrenciler ile tanı konulmamış öğrencilerin üçlü zekâ kuramına göre matematiksel yeteneklerinin incelenmesi
Investigation of mathematical abilities of students diagnosed as gifted and undiagnosed according to the triarchic intelligence theory
YASİN KURAK
- A large language model based penetration test system implementation
Büyük dil modeli tabanlı sızma testi sistemi uygulaması
TUBA KINIK
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı (disiplinlerarası)
DR. ÖĞR. ÜYESİ SÜHA TUNA