Tıbbi görevler için çok modlu büyük dil modellerinin performansının iyileştirilmesi
Enhancing the performance of multimodal large language models for medical tasks
- Tez No: 995997
- Danışmanlar: PROF. DR. GÖKHAN BİLGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışması, sağlık alanında görsel-dil modellerinin klinik görsel soru-cevaplama görevlerindeki performansını artırmayı amaçlamaktadır. Klinik tıp, hekimlerin büyük miktarda veriyi yorumlamasını gerektiren bir alan olup, tıbbi görüntülerin doğru analiz edilmesi tanı ve tedavi süreçlerinde kritik öneme sahiptir. Son yıllarda yapay zekâ, makine öğrenmesi ve derin öğrenme alanındaki gelişmeler; tıbbi görüntü analizi ve klinik karar destek sistemlerinde daha hızlı, tutarlı ve ölçeklenebilir çözümler üretmeyi mümkün kılmıştır. Bununla birlikte, klinik verilerin hassasiyeti ve tıbbi bilginin karmaşıklığı nedeniyle multimodal modellerin güvenilirlik ve genellenebilirlik açısından güçlendirilmesi hâlâ önemli bir ihtiyaçtır. Bu doğrultuda, 8 milyar parametreye sahip ClinicalQwen3-VL adlı yeni bir model önerilmiş ve geliştirilmiştir. Model, klinik figürleri analiz ederek alan-özel sorulara doğru, tutarlı ve güvenilir yanıtlar üretecek şekilde optimize edilmiştir. Geliştirilen model, VQA-RAD ve SLAKE veri setleri üzerinde değerlendirilmiş ve literatürdeki mevcut yöntemlerle karşılaştırılmıştır. Ayrıca, klinik Görsel Soru Cevaplama alanında yanıt değerlendirme ve sıralama süreçlerini sistematik biçimde incelemek amacıyla Clinical-VQA-JudgeBench adlı yeni bir değerlendirme veri seti hazırlanmıştır. Buna ek olarak, farklı görsel-dil modellerinden elde edilen yanıtları birleştirmeye yönelik VLM-BLENDER adlı iki aşamalı yeni bir çok modlu topluluk öğrenmesi yöntemi önerilmiştir. Bu yöntemde, ilk aşamada yanıtlar görsel içerik ve bağlamsal uyum açısından değerlendirilmekte; ikinci aşamada ise seçilen yanıtlar, metin birleştirme görevine özel olarak ince ayar yapılmış bir dil modeli kullanılarak tek ve tutarlı bir nihai çıktıya dönüştürülmektedir. Bu çalışma, klinik görsel soru-cevaplama alanına yönelik yeni bir model ve etkili bir yanıt birleştirme yöntemi sunarak, sağlık alanında çok modlu yapay zekâ sistemlerinin uygulanabilirliğine katkı sağlamaktadır.
Özet (Çeviri)
This thesis aims to improve the performance of vision–language models in clinical visual question answering tasks in the healthcare domain. Clinical medicine requires physicians to interpret large volumes of data, and accurate analysis of medical images is critical for diagnosis and treatment processes. In recent years, advances in artificial intelligence, machine learning, and deep learning have enabled faster, more consistent, and scalable solutions for medical image analysis and clinical decision support systems. Nevertheless, due to the sensitivity of clinical data and the complexity of medical knowledge, there remains a significant need to enhance the reliability and generalizability of multimodal models. To this end, a new model named ClinicalQwen3-VL, with 8 billion parameters, is proposed and developed. The model is optimized to analyze clinical figures and generate accurate, consistent, and reliable answers to domain-specific questions. The proposed model is evaluated on the VQA-RAD and SLAKE datasets and compared with existing methods in the literature. In addition, a new evaluation dataset called Clinical-VQA-JudgeBench is constructed to systematically investigate answer evaluation and ranking processes in clinical visual question answering. Furthermore, a novel two-stage multimodal ensemble learning method, named VLM-BLENDER, is introduced to combine answers obtained from multiple vision–language models. In the first stage, candidate answers are assessed in terms of visual content and contextual alignment; in the second stage, the selected answers are consolidated into a single coherent final output using a language model fine-tuned specifically for text merging. Overall, this study contributes to the clinical visual question answering field by presenting a new model and an effective answer fusion approach, thereby supporting the practical applicability of multimodal AI systems in healthcare.
Benzer Tezler
- Machine-learning approaches for neurological disorder diagnosis from genomic and neuroimaging data
Genomik ve nörogörüntüleme verilerinden nörolojik bozukluk teşhisi için makine öğrenmesi yaklaşımları
İSMAİL BİLGEN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Çocuk akciğer x-ışını görüntülerinin derin öğrenme yöntemleri ile analizi
Analysis of child lung x-ray images with deep learningmethods
ÇAĞDAŞ ŞİMŞEK
Doktora
Türkçe
2025
Fizik ve Fizik Mühendisliğiİstanbul ÜniversitesiFizik Ana Bilim Dalı
PROF. DR. SUAT ÖZKORUCUKLU
- A conceptual approach for design and development of serious games in maritime domain
Denizcilik alanında eğitici oyun dizaynı ve geliştirilmesi için konseptsel bir yaklaşım
SÜLEYMAN CİHAN GÜRBÜZ
Doktora
İngilizce
2024
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma İşletme Mühendisliği Ana Bilim Dalı
PROF. METİN ÇELİK
- Sağlık çalışanlarının çalışma koşullarının çalışma verimliliği ile ilişkisi ve tıbbi sekreterler üzerine kalitatif bir çalışma
The correlation between the working conditions of health employee and their performance a qualitative study on medical secretarial
YEŞİM GÜNEY
Yüksek Lisans
Türkçe
2019
Sağlık Kurumları YönetimiAcıbadem Mehmet Ali Aydınlar ÜniversitesiSağlık Yönetimi Ana Bilim Dalı
PROF. DR. EMRAH CENGİZ
- Çocuklar üzerindeki tıbbi araştırmaların etik açısından değerlendirilmesi
Evaluation of medical researchs on children in respect of ethics
HAFİZE ÖZTÜRK
Doktora
Türkçe
2000
Deontoloji ve Tıp TarihiAnkara ÜniversitesiDeontoloji ve Tıp Tarihi Ana Bilim Dalı
PROF. DR. BERNA ARDA