Çekişmeli üretici ağlar ile gerçekçi histopatolojik görüntü üretimi ve evre tespiti
Realistic histopathology image generation and stage detection with generative adversarial networks
- Tez No: 940407
- Danışmanlar: PROF. DR. GÖKHAN BİLGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 89
Özet
Bu tez çalışması, meme kanseri evreleme süreçlerini iyileştirmek ve yeni kanser evrelerini keşfetmek amacıyla, derin öğrenme tabanlı özgün bir mimari önermektedir. Önerilen model, üretici çekişmeli ağlar (GAN'lar) ve Swin Transformer modellerinin sinerjik entegrasyonuna dayanmaktadır. Bu yaklaşım, görsel verilerin yanı sıra biyolojik ve klinik bilgileri bir araya getirerek hem yüksek kaliteli hem de hastaya özgü sentetik görüntülerin üretilmesini mümkün kılmaktadır. Model mimarisi, iki temel aşamadan oluşmaktadır. İlk aşamada, Swin Transformer kullanılarak histopatolojik görüntülerden bağlamsal olarak zengin ve çoklu ölçeklerde ayırt edici özellikler çıkarılmaktadır. Swin Transformer'ın hiyerarşik yapısı, çıkarılan bu özelliklerin hem detaylı hem de genelleştirilebilir olmasını sağlamaktadır. Elde edilen bu özellikler, GAN'ın ayırıcı bileşenine referans olarak sunulmaktadır. İkinci aşamada ise StyleGAN3, rastgele bir gürültü vektörü ile hastaya özgü bilgileri içeren birleştirilmiş bir tensörden koşullu olarak sentetik görüntüler üretmektedir. Kombine tensör, demografik bilgiler, klinik bulgular ve genetik veriler gibi çeşitli unsurları barındırmakta olup, üretilen görüntülerin hastaya özgü karakteristiklere uyum göstermesini garanti etmektedir. Çekişmeli eğitim süreci boyunca StyleGAN3'ün üretici ve ayırıcı bileşenleri rekabetçi bir şekilde eğitilmiştir. Bu süreçte Discriminator, gerçek ve sentetik görüntüleri Swin Transformer tarafından çıkarılan özelliklerle birlikte değerlendirerek, görsellerin görsel gerçekçiliğini ve hasta bilgileriyle tutarlılığını denetlemiştir. Birleştirilmiş tensör, her iki bileşene de koşullandırma bilgisi sağlayarak kişiselleştirilmiş görüntü üretimini desteklemiştir. Modelin başarımı, Frechet Inception Distance (FID) metriği ile değerlendirilmiş ve 35 gibi üstün bir skor elde edilmiştir. Ayrıca, Swin Transformer tabanlı sınıflandırma sistemi, %95.03 doğruluk, %95.00 kesinlik ve %95.00 F1 skoru ile yüksek performans göstermiştir. Yeni kanser evrelerini keşfetmek amacıyla uygulanan softmax tabanlı eşik analizi, düşük güven değerlerine sahip sınıflandırma sonuçlarını yeni evrelerin adayları olarak belirlemiştir. Bu çalışma, mevcut sınıflandırma sistemlerini geliştirmek ve kanser araştırmalarına yeni bir boyut kazandırmak amacıyla, sentetik veri üretimi ve biyolojik veri entegrasyonunu bir arada kullanmıştır. Araştırma bulguları, teşhis ve tedavi planlaması gibi uygulama alanlarında önemli katkılar sunmaktadır. Gelecek çalışmalarda, multimodal büyük dil modellerinin entegrasyonu ile daha kapsamlı analizlerin yapılması ve kişiselleştirilmiş tedavi stratejilerinin geliştirilmesi hedeflenmektedir.
Özet (Çeviri)
This thesis proposes an innovative deep learning-based architecture to enhance breast cancer staging processes and discover new cancer stages. The proposed model is based on the synergistic integration of generative adversarial networks (GANs) and Swin Transformer models. This approach enables the generation of high-quality and patient-specific synthetic images by combining visual data with biological and clinical information. The model architecture consists of two main stages. In the first stage, Swin Transformer is employed to extract contextual and multi-scale distinctive features from histopathological images. The hierarchical structure of the Swin Transformer ensures that the extracted features are both detailed and generalizable. These features are then used as a reference in the Discriminator component of the GAN. In the second stage, StyleGAN3 generates synthetic images conditionally using a random noise vector and a combined tensor containing patient-specific information. The combined tensor incorporates various elements such as demographic information, clinical findings, and genetic data, ensuring that the generated images align with the patient-specific characteristics. During the adversarial training process, the Generator and Discriminator components of StyleGAN3 were trained competitively. In this process, the Discriminator evaluated the visual realism and consistency with patient information by analyzing real and synthetic images along with features extracted by Swin Transformer. The combined tensor provided conditioning information to both components, supporting personalized image synthesis. The model's performance was evaluated using the Frechet Inception Distance (FID) metric, achieving an excellent score of 35. Additionally, the Swin Transformer-based classification system demonstrated high performance, achieving 95.03% accuracy, 95.00% precision, and 95.00% F1 score. To discover new cancer stages, softmax-based threshold analysis was applied, identifying classification results with low confidence values as potential candidates for new stages. This study utilizes synthetic data generation and biological data integration to advance existing classification systems and introduce a new dimension to cancer research. The findings of the research provide significant contributions to application areas such as diagnosis and treatment planning. Future studies aim to conduct more comprehensive analyses and develop personalized treatment strategies by integrating multimodal large language models.
Benzer Tezler
- Çekişmeli üretici ağlar ile gerçekçi saç sentezi
Realistic hair synthesis with generative adversarial networks
MUHAMMED PEKTAŞ
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYBARS UĞUR
- Üretici yapay nöron ağlarının mimari tasarım için kullanılması
Architectural design with generative adversarial networks
MUKADDES UÇAR
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MİNE ELİF KARSLIGİL YAVUZ
- Generative adversarial networks based level generation for angry birds
Çekişmeli üretici ağlar ile angry birds bölümlerinin üretilmesi
BURKAN YILMAZ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. SANEM SARIEL UZER
- 3 boyutlu çekişmeli üretici ağlar ile imalata hazır parça üretimi
Manufacturing-ready part generation with 3D generative adversarial networks
MUHAMMED MUSTAFA ÖZCAN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HÜSEYİN POLAT
- Dönüştürücü tabanlı çekişmeli üretici ağlar ile yüz ifadelerindeki değişimin analizi
Analysis of change in facial expressions with transformer-based generative adversarial networks
NARMIN YAGUBBAYLI
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MERT BAL