Geri Dön

Ruhsal bozuklukların tanısında erişim destekli üretim tabanlı büyük dil modelleri kullanılarak bir klinik karar destek sistemi geliştirilmesi

Development of a clinical decision support system using retrieval augmented generation based large language models in the diagnosis of mental disorders

PDF İndir

  1. Tez No: 1024962
  2. Yazar: EGEHAN ÇETİN
  3. Danışmanlar: PROF. DR. SÜLEYMAN BİLGİN
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Doğal dil işleme, Natural language processing
  7. Yıl: 2026
  8. Dil: Türkçe
  9. Üniversite: Akdeniz Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Ruhsal bozukluklar, bireyin yaşam kalitesini derinden etkileyen ve toplum üzerinde ağır bir sosyal, tıbbi ve ekonomik yük bırakan yaygın bir sağlık sorunudur. Yapay zekadaki gelişmeler ve sağlık alanında biriken veri, bu bozuklukların tanı ve yönetiminde hekime destek olabilecek araçların geliştirilmesini bugün mümkün kılmaktadır. Ancak ruhsal bozukluğun tanısı, doğası gereği belirsizliği yüksek bir akıl yürütme sürecidir. Serbest metinle yazılmış bir klinik öyküyü, standart bir sınıflandırmanın tanımlı kategorilerine eşlemeyi gerektirir. Büyük dil modelleri (BDM) bu görevde uzman düzeyine yaklaşan bir başarı gösterse de tek başlarına güvenilir değildir. Halüsinasyon, eğitim verisinden gelen yanlılık ve tanısal eşikleri uygulayamamaktan kaynaklanan aşırı tanı eğilimi gibi faktörler etkendir. Yapılan çalışmada, bu sınırlamaları Erişim Destekli Üretim (Retrieval-Augmented Generation, RAG) yaklaşımıyla ele almaktadır. Bilgi tabanı olarak, Dünya Sağlık Örgütü'nün (WHO) açık kaynaklı ICD-11 sınıflandırması ile ICD-11-CDDR el kitabından doğal dil işleme yöntemleriyle derlenip temizlenen 720 ruhsal bozukluk girdisi kullanılmıştır. Test kümesi ise DSM-5-TR Clinical Cases kitabından alınan 104 klinik vakadan oluşmaktadır. Tasarımın hangi bileşeninin tanısal başarıya ne ölçüde katkı verdiğini ayrıştırmak amacıyla tez kapsamında dokuz farklı konfigürasyon (K1–K9) kurulmuş ve her vakanın birincil tanısı hem tanı adı hem de kod (tanı grubu, kategori ve alt kategori) düzeylerinde değerlendirilmiştir. En yüksek başarımı veren K4 konfigürasyonu dört erişim bileşenini bir araya getirmektedir. Klinik öyküden varsayımsal belge gömmeleri (Hypothetical Document Embeddings, HyDE) ile üretilen klinik özet, BM25 ile sözcüksel eşleşme, 1024 boyutlu yoğun gömmeler arasındaki kosinüs benzerliği ve bu sinyalleri birleştiren karşılıklı sıralama birleştirmesidir (Reciprocal Rank Fusion, RRF). Önerilen sistemde getirilen adaylar, klinik tanı kriterleriyle birlikte Gemma 4 12B modeline sunulmuş ve model kriter temelli bir tanı seçimi yapmıştır. Önerilen sistem 0.615 (N=104) tanı adı düzeyi doğruluğa ulaşarak, literatürdeki en yüksek açık kaynak skoru olan 0.524 (LLMind) değerini hem nokta tahmininde geçmiş hem de sabit referansa karşı tek yönlü binom testinde anlamlılığa ulaşan sistem olmuştur (p=0.038). Yaklaşık üçte bir etkin parametreyle çalışan karışık uzman mimarili Gemma 4 26B-A4B modeli 0.606 ile hesaplama açısından daha verimli bir alternatif sağlamıştır. Dokuz konfigürasyonlu kontrollü ablasyon, HyDE'yi erişimdeki en belirleyici bileşen olarak öne çıkarmış ve RAG'ın taban modele katkısı eşleştirilmiş McNemar testinde anlamlı bulunmuştur (p<0.001). RAG'ın tanısal katkısı kullanılan ölçüte bağlı olduğu gözlemlenmiştir. Bu katkı, kod düzeyinde (tanı grubu, kategori ve alt kategori) tutarlı biçimde büyük, tanı adı düzeyinde ise modelin parametrik bilgisiyle değişkendir. Bu durum, yalnızca tanı adı düzeyinde raporlayan LLMind'ın RAG'ın kod düzeyindeki katkısını gizlediğini ve çok granülerli değerlendirmenin gerekliliğini göstermektedir.

Özet (Çeviri)

Mental disorders are a widespread health problem that profoundly affects an individual's quality of life and places a heavy social, medical, and economic burden on society. Advances in artificial intelligence and the growing volume of data in healthcare now make it possible to develop tools that can support physicians in the diagnosis and management of these disorders. However, the diagnosis of a mental disorder is inherently a reasoning process with a high degree of uncertainty. It requires mapping a free-text clinical history onto the defined categories of a standard classification. Although large language models (LLMs) approach expert-level performance in this task, they are not reliable on their own. Contributing factors include hallucination, bias originating from training data, and a tendency toward overdiagnosis stemming from the inability to apply diagnostic thresholds. This study addresses these limitations through a Retrieval-Augmented Generation (RAG) approach. As the knowledge base, 720 mental disorder entries were used, compiled and cleaned by natural language processing methods from the World Health Organization's (WHO) openly available ICD-11 classification and the ICD-11-CDDR manual. The test set consists of 104 clinical cases taken from the DSM-5-TR Clinical Cases book. To disentangle how much each design component contributes to diagnostic performance, nine configurations (K1–K9) were constructed within the scope of this thesis, and the primary diagnosis of each case was evaluated at both the diagnosis-name level and the code levels (diagnostic group, category, and subcategory). The best-performing configuration, K4, combines four retrieval components: a clinical summary generated from the clinical history via Hypothetical Document Embeddings (HyDE), lexical matching with BM25, cosine similarity between 1024-dimensional dense embeddings, and Reciprocal Rank Fusion (RRF), which merges these signals. In the proposed system, the retrieved candidates were presented to the Gemma 4 12B model together with the clinical diagnostic criteria, and the model performed a criterion-based diagnosis selection. The proposed system reached a diagnosis-name-level accuracy of 0.615 (N=104), surpassing the highest open-source score in the literature, 0.524 (LLMind), in point estimate and achieving significance in a one-sided binomial test against the fixed reference (p=0.038). The mixture-of-experts Gemma 4 26B-A4B model, operating with roughly one-third of the active parameters, provided a computationally more efficient alternative at 0.606. The controlled nine-configuration ablation identified HyDE as the most decisive retrieval component, and the contribution of RAG over the base model was found significant in a paired McNemar test (p<0.001). The diagnostic contribution of RAG was observed to depend on the metric used: it is consistently large at the code levels (diagnostic group, category, and subcategory), whereas at the diagnosis-name level it varies with the model's parametric knowledge. This finding shows that LLMind, which reports only at the diagnosis-name level, obscures RAG's contribution at the code level and demonstrates the necessity of multi-granular evaluation.

Benzer Tezler

  1. Tez No

    750706

    Bipolar duygudurum bozukluğu manik epizod hastalarının akut alevlenme ve remisyon dönemlerinde serum N-Metil-D-Aspartat reseptör ve alt birimleri düzeylerinin değerlendirilmesi

    Evaluation of serum N-Methyl-D-Aspartat receptor and sub-units levels in acute flave and remition periods of patients with bipolar mood disorder manic episod

    YASEMİN ÖKTEM

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2022

    PsikiyatriSağlık Bilimleri Üniversitesi

    Ruh ve Sinir Hastalıkları Ana Bilim Dalı

    PROF. DR. İHSAN TUNCER OKAY

  2. Tez No

    272901

    Konversiyon bozukluğu olan hastalarda proinflamatuvar sitokin düzeylerinin değerlendirilmesi

    Proinflammatory cytokine levels in patients with conversion disorder

    UTKAN TİYEKLİ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2010

    PsikiyatriTrakya Üniversitesi

    Ruh Sağlığı ve Hastalıkları Ana Bilim Dalı

    DOÇ. DR. OKAN ÇALIYURT

  3. Tez No

    582879

    Psikiyatrik komorbiditenin sol ventrikül destek cihazı takılan hastalarda morbidite ve mortalite üzerine etkisi

    The effect of psychiatric comorbidities on morbidity and mortality in patients with left ventricular assist device

    RUSLAN ALIYEV

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2018

    PsikiyatriEge Üniversitesi

    Psikiyatri Ana Bilim Dalı

    PROF. DR. MUKADDES AYŞİN NOYAN

  4. Tez No

    493311

    Cinsiyet gelişim bozuklukları ile ilişkili genlerin yeni nesil dizileme tekniği ile araştırılması

    Evaluation of disorders of sexual development associated genes by next generation sequencing technology

    AGHARZA AGHAYEV

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Genetikİstanbul Üniversitesi

    Genetik Ana Bilim Dalı

    PROF. DR. ZEHRA OYA UYGUNER

    DR. GÜVEN TOKSOY

  5. Tez No

    493367

    Servikal distoni tanısı ile takip edilen ve botulinum toksini tedavisi uygulanan hastalarda ve yakınlarında motor olmayan bulgular arasında anksiyete ve depresyonun, kognitif fonksiyonların ve yaşam kalitelerinin değerlendirilmesi

    Assessment of cognitive functions, depression-anxiety scales and quality of life in patients and their relatives with cervical dystonia and botulinum toxin treatment

    DURSUN CEYLAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2018

    NörolojiUludağ Üniversitesi

    Nöroloji Ana Bilim Dalı

    DOÇ. DR. ÇİĞDEM SEVDA ERER ÖZBEK

Geri Dön