Geri Dön

Odontojenik ve non-odontojenik lezyonlarda büyük dil modellerinin tanısal performansına prompt tasarımı ve radyografik bilginin etkisinin değerlendirilmesi

Evaluation of the effects of prompt design and radiographic information on the diagnostic performance of large language models in odontogenic and non-odontogenic lesions

  1. Tez No: 1025203
  2. Yazar: AYÇA BAŞDURAN
  3. Danışmanlar: PROF. DR. BANU ÖZVERİ KOYUNCU
  4. Tez Türü: Doktora
  5. Konular: Diş Hekimliği, Dentistry
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: Ege Üniversitesi
  10. Enstitü: Sağlık Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Ağız, Diş ve Çene Cerrahisi Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Amaç: Bu çalışmanın amacı, odontojenik ve non-odontojenik çene lezyonlarının ayırıcı tanısında büyük dil modellerinin tanısal performansını değerlendirmek ve farklı prompt tasarımları ile radyografik bilgi eklenmesinin model yanıtları üzerindeki etkisini incelemektir. Ayrıca lezyon tipi ve olgu zorluk düzeyinin tanısal doğruluk üzerine etkisi araştırılmıştır. Yöntem: Bu retrospektif, niceliksel ve tanımlayıcı arşiv taraması çalışmasına 2023-2025 yılları arasında Ege Üniversitesi Diş Hekimliği Fakültesi Ağız, Diş ve Çene Cerrahisi Anabilim Dalı'na başvuran, odontojenik veya non-odontojenik lezyon ön tanısı/tanısı bulunan ve histopatolojik tanısı arşiv kayıtlarında mevcut olan 55 hasta dahil edilmiştir. Olgular klinik önem, ayırıcı tanı güçlüğü ve panoramik radyografik morfolojik çeşitlilik göz önünde bulundurularak seçilmiş; zorluk düzeylerine göre zor (n=19), orta (n=17) ve kolay (n=19) olarak sınıflandırılmıştır. Örneklem büyüklüğü G*Power 3.1.9.7 programında, etki büyüklüğü 0,35, α=0,05 ve güç=0,80 alınarak değerlendirilmiştir. Her olgu için üç farklı prompt tasarımı oluşturulmuştur. Prompt A'da kısa serbest metin şeklinde temel klinik ve radyografik bilgiler, Prompt B'de yapılandırılmış başlıklar altında klinik, radyografik ve sistemik bulgular, Prompt C'de ise Prompt B'ye ek olarak panoramik radyografik görüntü kullanılmıştır. ChatGPT ve Gemini modellerinden her olgu için en olası beş tanıyı sıralamaları istenmiştir. Model yanıtları, doğru tanının birinci sırada yer alması, ilk üç tanı içinde bulunması ve ilk beş tanı içinde bulunması açısından değerlendirilmiştir. İstatistiksel analizlerde tanımlayıcı istatistikler, Cohen's kappa uyum analizi ve Mann-Whitney U kullanılmıştır. Bulgular: Genel olarak her iki modelde de doğru tanıya ulaşma oranının olgu zorluk düzeyi arttıkça azaldığı gözlenmiştir. Kolay olgularda modellerin tanısal performansı daha yüksek iken, zor olgularda doğru tanının özellikle ilk sırada verilme oranı belirgin şekilde düşmüştür. Yapılandırılmış prompt kullanımının serbest metin promptuna göre yanıtların düzenliliğini ve tanısal odaklanmayı artırdığı görülmüştür. Radyografik görüntünün eklendiği prompt tasarımında ise olguya bağlı değişkenlik göstermekle birlikte bazı lezyonlarda ayırıcı tanı performansına katkı sağlanmıştır. ChatGPT ve Gemini modellerinin yanıtları arasında belirli düzeyde uyum saptanmış; ancak modellerin özellikle kompleks, radyografik olarak benzer özellikler gösteren ve ayırıcı tanısı güç olan lezyonlarda hatalı veya düşük sıralı tanılar verebildiği belirlenmiştir. Sonuçlar: Bu çalışma, büyük dil modellerinin odontojenik ve non-odontojenik çene lezyonlarının ayırıcı tanısında yardımcı bir araç olarak kullanılma potansiyeline sahip olduğunu göstermektedir. Bununla birlikte modellerin tanısal performansı prompt tasarımı, radyografik bilginin sunumu ve olgu zorluk düzeyinden etkilenmektedir. Yapılandırılmış promptlar model yanıtlarının klinik olarak daha sistematik ve değerlendirilebilir hale gelmesine katkı sağlamaktadır. Ancak mevcut performans düzeyi, büyük dil modellerinin tek başına tanı koyucu sistemler olarak kullanılabilmesi için yeterli değildir. Bu modellerin klinik karar destek aracı olarak değerlendirilebilmesi için daha geniş örneklemli, farklı görüntüleme yöntemlerini içeren ve uzman değerlendirmeleriyle karşılaştırmalı ileri çalışmalara ihtiyaç vardır.

Özet (Çeviri)

Objective: This study aimed to evaluate the diagnostic performance of large language models in the differential diagnosis of odontogenic and non-odontogenic jaw lesions and to investigate the effects of different prompt designs and the addition of radiographic information on model responses. The effects of lesion type and case difficulty level on diagnostic accuracy were also examined. Methods: This retrospective, quantitative, descriptive archive review included 55 patients who presented to the Department of Oral and Maxillofacial Surgery, Faculty of Dentistry, Ege University, between 2023 and 2025, had a preliminary or definitive diagnosis of an odontogenic or non-odontogenic lesion, and had a histopathological diagnosis available in the archive records. Cases were selected considering clinical significance, difficulty of differential diagnosis, and morphological diversity on panoramic radiographs, and were classified by difficulty level as difficult (n=19), moderate (n=17), or easy (n=19). Sample size was evaluated using G*Power 3.1.9.7 with an effect size of 0.35, α=0.05, and power=0.80. Three different prompt designs were created for each case. Prompt A contained basic clinical and radiographic information in a brief free-text format; Prompt B presented clinical, radiographic, and systemic findings under structured headings; and Prompt C included the panoramic radiographic image in addition to the information provided in Prompt B. ChatGPT and Gemini were asked to rank the five most likely diagnoses for each case. Model responses were evaluated according to whether the correct diagnosis was ranked first, appeared among the top three diagnoses, or appeared among the top five diagnoses. Descriptive statistics, Cohen's kappa agreement analysis, and the Mann-Whitney U test were used for statistical analyses. Results: Overall, the rate of reaching the correct diagnosis decreased in both models as case difficulty increased. Diagnostic performance was higher in easy cases, whereas the rate at which the correct diagnosis was ranked first decreased markedly in difficult cases. The use of structured prompts improved the consistency and diagnostic focus of responses compared with free-text prompts. In the prompt design that included the radiographic image, contribution to differential diagnostic performance was observed for some lesions, although the effect varied by case. A certain level of agreement was found between the responses of ChatGPT and Gemini; however, both models were found to produce incorrect or lower-ranked diagnoses, particularly for complex lesions with similar radiographic features and challenging differential diagnoses. Conclusions: This study demonstrates that large language models have the potential to serve as supportive tools in the differential diagnosis of odontogenic and non-odontogenic jaw lesions. However, their diagnostic performance is influenced by prompt design, the presentation of radiographic information, and case difficulty level. Structured prompts contribute to making model responses more systematic and clinically assessable. Nevertheless, the current level of performance is insufficient for large language models to be used as standalone diagnostic systems. Further studies with larger samples, different imaging modalities, and comparisons with expert assessments are needed before these models can be considered clinical decision-support tools.

Benzer Tezler

  1. Tez No

    70899

    Radiküler kist ve granülomların dijital histogram analizi ile ayırdedilmesi

    Differention of radicular cyst and granulomas with digital histogram analysis

    ÜLKEM AYDIN

    Doktora

    Türkçe

    Türkçe

    1998

    Diş HekimliğiGazi Üniversitesi

    Diş Hastalıkları ve Tedavisi Ana Bilim Dalı

    PROF. DR. TAYFUN ALAÇAM

  2. Tez No

    653352

    Odontojen kistik lezyon ile ilişkili gömülü mandibular 3.molar dişlerin travma sonrası angulus bölgesinin frajilitesine etkisi

    The effect of odontogenic cystic lesion associated mandibular 3.molar on the fragilityof the angle of mandible after trauma

    SELMAN ARSLAN

    Doktora

    Türkçe

    Türkçe

    2020

    Diş HekimliğiEge Üniversitesi

    Ağız, Diş ve Çene Cerrahisi Ana Bilim Dalı

    PROF. DR. SEVTAP GÜNBAY

  3. Tez No

    708831

    Rinosinüzit ile çeşitli odontojenik ve NON-odontojenik parametreler arasındaki ilişkinin konik ışınlı bilgisayarlı tomografi ile değerlendirilmesi

    Evaluation of the relationship between rhinosinusitis and various odontogenic and non-odontogenic parameters by cone BEAM computed tomography

    HAZAL DUYAN

    Diş Hekimliği Uzmanlık

    Türkçe

    Türkçe

    2021

    Diş HekimliğiÇukurova Üniversitesi

    Ağız, Diş ve Çene Radyolojisi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BURCU EVLİCE

  4. Tez No

    617460

    Sigara içen ve içmeyen bireylerde gömülü alt yirmi yaş dişi folikülünde ve oral mukozada Ki-67 ve CD44 araştırılması

    Investigation of Ki-67 and CD44 in dental follicles of impacted lower third molar teeth and oral mucosa among smoker and non-smoker individuals

    TUĞÇE BİÇER AYTUĞAR

    Diş Hekimliği Uzmanlık

    Türkçe

    Türkçe

    2018

    Diş Hekimliğiİzmir Katip Çelebi Üniversitesi

    Ağız, Diş ve Çene Cerrahisi Ana Bilim Dalı

    PROF. DR. NERGİZ YILMAZ

  5. Tez No

    1012597

    Çenelerde görülen kemik içi kistik ve tümöral lezyonların spektroskopik analizi

    Spectroscopic analysis of intraosseous cystic and tumoral lesions of the jaws

    NİDA KUZEY

    Diş Hekimliği Uzmanlık

    Türkçe

    Türkçe

    2026

    Diş HekimliğiAtatürk Üniversitesi

    Ağız, Diş ve Çene Radyolojisi Ana Bilim Dalı

    PROF. DR. FATMA ÇAĞLAYAN

Geri Dön