Geri Dön

Acil serviste büyük dil modelleriyle klinik karar desteği: Farklı risk toleransına sahip yapay zekâ hekim personalarının tanısal performansı

Clinical decision support with large language models in the emergency department: diagnostic performance of artificial physician personas with different risk tolerance

  1. Tez No: 1018000
  2. Yazar: BARIŞ KORKMAZ
  3. Danışmanlar: DOÇ. DR. BURAK ÇELİK, DR. SELMAN FARUK AKYILDIZ
  4. Tez Türü: Tıpta Uzmanlık
  5. Konular: Acil Tıp, Emergency Medicine
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: Sağlık Bilimleri Üniversitesi
  10. Enstitü: İstanbul Fatih Sultan Mehmet Eğitim Araştırma Hastanesi
  11. Ana Bilim Dalı: Acil Tıp Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Amaç: Acil servis sarı alanında değerlendirilen hastalarda, risk toleransı boyutunda farklılaşan üç yapay zekâ hekim personasının (Titiz, Dengeli, Pratik) Top-5 tanı doğruluğunu, kritik tanı atlanma oranlarını ve davranışsal profillerini eşleştirilmiş tasarımda karşılaştırmaktır. Gereç ve Yöntem: Prospektif, tek merkezli, eşleştirilmiş tanısal doğruluk çalışmasına acil servis sarı alanında değerlendirilen 564 hasta dahil edildi. Hastaların erken başvuru notları (şikâyet, kısa öykü, vital bulgular, fizik muayene; tetkik olmaksızın) standart şablona aktarılarak üç GPT-5.2 tabanlı personaya eş zamanlı sunuldu; her personadan beş ön tanılık sıralı liste istendi. Personaların Beş Faktör profilleri IPIP-NEO-120 envanteriyle operasyonel düzeyde değerlendirildi. Nihai tanı, iki bağımsız acil tıp uzmanı tarafından (uyuşmazlıkta üçüncü hakem uzlaşısıyla) kapsamlı dosya incelemesi sonucunda kör olarak belirlendi. Analizlerde Cochran Q, McNemar (Bonferroni × 3), Friedman, Cohen kappa ve Wilson skor güven aralıkları kullanıldı. Bulgular: Hastaların yaş ortalaması 54,8 ± 18,4 yıl, %53,7'si erkekti. Top-5 tanı doğrulukları Titiz %81,6, Dengeli %81,6 ve Pratik %83,3 olarak hesaplandı; üç persona arasında istatistiksel olarak anlamlı fark saptanmadı (Cochran Q p = 0,205). Top-5 listesinde yer verilen kritik ayırıcı tanı sayısı Titiz'de 1,60 ± 1,08, Dengeli'de 1,38 ± 1,06 ve Pratik'te 1,20 ± 0,97 olarak saptandı (Friedman p < 0,001). Cohen kappa değerleri 0,73–0,79 aralığında“iyi düzeyde uyum”gösterdi. Kritik tanı alt grubunda (n = 62) Top-1, Top-3 ve Top-5 yakalama oranlarında personalar arasında anlamlı fark gözlenmedi (sırasıyla p = 0,695; 0,062; 0,513). Sonuç: Aynı taban model üzerinde yalnızca sistem yönergesi değiştirilerek tasarlanan üç yapay zekâ hekim personası, Top-5 tanı doğruluğu açısından benzer performans sergilemiş; ancak kritik ayırıcı tanı listeleme davranışında anlamlı biçimde farklılaşmıştır. Bu bulgu, sistem yönergesi temelli persona tasarımının tanısal doğruluktan bağımsız olarak klinik karar destek davranışını etkileyebileceğini düşündürmektedir. Sonuçlar tek merkezli ve tek model tabanlı bir çalışma bağlamında yorumlanmalı; farklı modellerde ve klinik ortamlarda yapılan ileri çalışmalarla doğrulanmalıdır.

Özet (Çeviri)

Aim: To compare the Top-5 diagnostic accuracy, critical-diagnosis miss rates, and behavioral profiles of three artificial intelligence physician personas (Titiz, Dengeli, Pratik) differing in risk tolerance, in yellow-zone emergency department patients. Materials and Methods: This prospective, single-center, paired diagnostic accuracy study included 564 yellow-zone patients. Standardized early triage notes (chief complaint, brief history, vital signs, physical examination; without laboratory or imaging) were presented simultaneously to three GPT-5.2 based personas; each persona produced a ranked list of five preliminary diagnoses. Big Five profiles of the personas were assessed at the operational level using the IPIP-NEO-120 inventory. The reference diagnosis was determined blindly by two emergency medicine specialists (with a third adjudicator in case of disagreement) after comprehensive record review. Analyses used Cochran Q, continuity-corrected McNemar (Bonferroni × 3), Friedman, Cohen kappa, and Wilson score confidence intervals. Results: Mean age was 54.8 ± 18.4 years; 53.7% were male. Top-5 diagnostic accuracy was 81.6% for Titiz, 81.6% for Dengeli, and 83.3% for Pratik; no significant difference was found among the three personas (Cochran Q p = 0.205). The number of critical-list diagnoses included in the Top-5 list per case was 1.60 ± 1.08 for Titiz, 1.38 ± 1.06 for Dengeli, and 1.20 ± 0.97 for Pratik (Friedman p < 0.001). Cohen kappa values ranged from 0.73 to 0.79, indicating“good agreement.”In the critical-diagnosis subgroup (n = 62), no significant differences were observed among personas at Top-1, Top-3, or Top-5 capture rates (p = 0.695; 0.062; 0.513, respectively). Conclusion: Three AI physician personas, designed by modifying only the system prompt on the same base model, showed comparable Top-5 diagnostic accuracy but differed significantly in their tendency to list critical differentials. These findings suggest that system-prompt-based persona design can influence clinical decision support behavior independently of diagnostic accuracy. Results should be interpreted within the context of a single-center, single-model study and require further validation across different models and clinical settings.

Benzer Tezler

  1. Tez No

    1018121

    Acil serviste geleneksel triyaj ve yapay zeka destekli triyaj sistemlerinin etkinliğinin karşılaştırılması: Karar uyumunun analizi

    Comparison of the effectiveness of conventional triageand artificial intelligence-assisted triage systems in the emergency department: Analysis of decision agreement

    CANER AKUFUK

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2026

    Acil TıpKahramanmaraş Sütçü İmam Üniversitesi

    Acil Tıp Ana Bilim Dalı

    PROF. DR. HAKAN HAKKOYMAZ

  2. Tez No

    1004450

    Acil tıp ve göğüs hastalıkları hekimleri ile yapay zekânın acil serviste pulmoner emboli tanısının koyulmasındaki başarı oranının karşılaştırılması

    Comparison of the success rates of artificial intelligence and emergency medicine and pulmonology physicians in the diagnosis of pulmonary embolism in the emergency department

    ABBAS TAHA SORKULU

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2026

    Acil TıpSivas Cumhuriyet Üniversitesi

    Acil Tıp Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SEFA YURTBAY

  3. Tez No

    934676

    Yapay zeka programlarının (ChatGPT ve Gemini) Aciliyet Şiddeti İndeksi (AŞİ) ve renk kodlu kombine triyaj uygulamasındaki etkinlikleri

    Effectiveness of artificial intelligence programs (ChatGPT and Gemini) in the Emergency Severity Index (ESI) and color-coded combined triage application

    OĞUZHAN YILMAZ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2025

    Acil TıpSağlık Bilimleri Üniversitesi

    Acil Tıp Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖZGEN GÖNENÇ ÇEKİÇ

  4. Tez No

    971805

    Kritik hasta tanısında yapay zeka performansı: ChatGPT, Gemini, Claude ve acil servis hekimlerinin karşılaştırılması

    Performance of artificial intelligence in critical patient diagnosis: Comparison of ChatGPT, Gemini, Claude and emergency physicians

    İBRAHİM GÜNAYDIN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2025

    Acil TıpKaradeniz Teknik Üniversitesi

    Acil Tıp Ana Bilim Dalı

    DOÇ. DR. SİNAN PASLI

  5. Tez No

    163573

    Acil serviste kritik hasta yakınlarının gereksinimlerini saptama ölçeği: Geçerlilik güvenirlilik çalışması

    Critically ill patient family needs inventory in the emergency deparment: Validity and reliability

    GÜLTEN SUCU

    Yüksek Lisans

    Türkçe

    Türkçe

    2005

    HemşirelikDokuz Eylül Üniversitesi

    Hemşirelik Ana Bilim Dalı

    YRD. DOÇ. DR. AKLİME DİCLE

Geri Dön