Geri Dön

Empr-based latent space decomposition for one-shot unsupervised domain adaptation}{in semantic segmentation

Çyçg tabanlı saklı uzay ayrıştırılması ile anlamsal bölütlemede tek atışlı}{denetimsiz alan uyarlaması

PDF İndir

  1. Tez No: 1024484
  2. Yazar: BERK MÜNCİ İNANÇ
  3. Danışmanlar: PROF. DR. BEHÇET UĞUR TÖREYİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Bilimleri Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Modern cevher işleme süreçlerinde otomatik mineral karakterizasyonu, yansımalı ışık mikroskobu görüntülerinin anlamsal bölütlenmesi ile gerçekleştirilmektedir. Derin öğrenme tabanlı modeller bu görev için güçlü bir çözüm sunmaktadır. Ancak bu yaklaşımın iki temel kısıtı bulunmaktadır. Bunlardan ilki, piksel düzeyinde etiketlenmiş verinin elde edilmesinin maliyetli ve zahmetli olmasıdır. İkincisi ise alan kayması problemidir. Bir mineral veri kümesi üzerinde eğitilen bölütleme modelleri, farklı bir mineral veri kümesi üzerinde değerlendirildiğinde ciddi performans düşüşleri yaşamaktadır. Bu düşüşün nedenleri arasında cevher mineralojisi, görüntü alma koşulları ve numune hazırlama süreçlerindeki farklılıklar yer almaktadır. Denetimsiz Alan Uyarlaması (UDA), etiketli bir kaynak alandan öğrenilen bilgiyi etiketsiz bir hedef alana aktararak bu soruna çözüm sunmaktadır. Ayrıca bu yaklaşım, her yeni veri kümesinin yeniden etiketlenmesi ihtiyacını ortadan kaldırmaktadır. Bir UDA stratejisi olan Görüntüden Görüntüye Çeviri (I2IT) yöntemleri, kaynak alan görüntülerini hedef alanın görsel görünümüne benzeyecek biçimde yeniden stillendirmektedir. Bölütleme modeli daha sonra bu stillendirilmiş görüntüler üzerinde eğitilmektedir. Klasik I2IT yaklaşımları, eğitim için çok sayıda hedef alan görüntüsüne ihtiyaç duymaktadır. Literatürdeki güncel bir tek atışlı I2IT yaklaşımı ise yalnızca tek bir hedef alan görüntüsü ile eğitilebilmektedir. Bu yöntemde içerik ve stil ayrımı, paylaşımlı kodlayıcının 64 kanallı saklı uzayında sabit bir kanal bölmesi ile yapılmaktadır. İlk 32 kanal anlamsal içerik olarak, son 32 kanal ise alana özgü stil olarak yorumlanmaktadır. Bu tasarım etkili bir yaklaşım olmakla birlikte, daha yapılandırılmış ve matematiksel temellere sahip alternatifler bulunabilir. Bu tez bu noktadan hareket etmektedir. Bu tez, sabit kanal bölme yönteminin Çokdeğişkenliliği Yükseltilmiş Çarpımlar Gösterilimi (ÇYÇG / EMPR) ile değiştirilmesini önermektedir. EMPR, bir tensör ayrıştırma yöntemidir ve Yüksek Boyutlu Model Gösterilimi (HDMR) çerçevesinin bir uzantısı olarak geliştirilmiştir. Bu yöntem, çok boyutlu bir yapıyı destek vektörleri yardımıyla artan etkileşim derecesindeki sonlu sayıda bileşene kesin biçimde ayrıştırmaktadır. Üç boyutlu bir tensör için bu açılım toplam sekiz bileşenden oluşmaktadır. Bu bileşenler sıfırıncı dereceden bir skaler, üç adet birinci dereceden vektör, üç adet ikinci dereceden matris ve bir adet üç yönlü artık bileşendir. Destek vektörleri, bu çalışmada tekdüze ağırlıklarla Ortalamalı Yönlü Destekler (ADS) stratejisi kullanılarak hesaplanmaktadır. Bileşenlerin sağladığı yok olma koşulları karşılıklı dikliği ve tekliği garanti etmektedir. Böylece her bileşen, daha düşük dereceli terimlerce açıklanamayan varyansı yakalamaktadır. Önerilen yaklaşımda, paylaşımlı kodlayıcının ürettiği üç boyutlu saklı özellik tensörü EMPR ile ayrıştırılmaktadır. Bu tensörün boyutları kanal, yükseklik ve genişlik eksenlerine karşılık gelmektedir. Skaler ortalama ve eksen hizalı birinci dereceden vektörler baskın yapısal bilgiyi taşımaktadır. Bu nedenle düşük dereceli bileşenler içerik olarak ele alınmaktadır. İkinci dereceden bileşenler ise eksenler arasındaki ikili çapraz boyutlu etkileşimleri kodlamaktadır. Bu bileşenler stil gösterimi olarak atanmaktadır. Bu atama, stil transferi literatüründe yaygın olarak kullanılan Gram matrisi istatistikleriyle kavramsal olarak benzeşmektedir. Ancak burada stil, sabit bir öznitelik bölüntülemesi yerine hiyerarşik ve kesin bir tensör ayrıştırmasından elde edilmektedir. Stil transferi, saklı uzayda diferansiyel bir düzeltme olarak uygulanmaktadır. Bu doğrultuda, hedef ve kaynak görüntülerin ikinci dereceden EMPR bileşenleri arasındaki fark, tam kaynak saklı gösterimine eklenmektedir. Bu işlem, kaynak saklı gösterimin diğer tüm bileşenlerini eksiksiz korumaktadır. Hedef alandan ise yalnızca fark niteliğindeki stil sinyali aktarılmaktadır. Böylece kod çözücü, her zaman eğitim sırasındaki ile aynı aralık ve yapıda bir saklı tensör almaktadır. Bu durum kararlı bir eniyileme sürecini desteklemektedir. Tek atışlı rejimde hedef stil kestirimi tek bir görüntüden hesaplandığı için gürültülü olabilmektedir. Toplamsal form, kaynak saklı gösterimin bu kestirimle sınırlı ölçüde değişmesini sağlayarak yöntemin kararlılığına katkı sunmaktadır. Çeviri ağı, yeniden oluşturma, çekişmeli, algısal içerik, algısal stil ve özdeşlik olmak üzere beş kayıp teriminin ağırlıklı toplamıyla eğitilmektedir. EMPR'nin PARAFAC ve Tucker gibi diğer yaygın alternatifler yerine tercih edilmesi, bu araştırma grubunun yayımlanmış önceki bir karşılaştırmalı çalışmasıyla gerekçelendirilmektedir. Söz konusu çalışmada EMPR, mineral mikroskobu görüntülerinde SAM2 ile sıfır atışlı bölütleme öncesinde ön işleme adımı olarak kullanılmıştır. EMPR, tüm örnek kategorilerinde diğer ayrıştırma yöntemlerine kıyasla tutarlı biçimde en yüksek bölütleme performansını sağlamıştır. Önceki çalışmada EMPR, piksel uzayında bir ön işleme adımı olarak kullanılmıştır. Bu tez ise EMPR'yi ilk kez kodlayıcının öğrenilmiş saklı özellik tensörleri üzerinde bir stil ayrıştırma mekanizması olarak konumlandırmaktadır. Böylece yöntemin kapsamı genişletilmektedir. I2ITwEMPR olarak adlandırılan önerilen yöntem, çapraz alanlı bir mineral mikroskobu karşılaştırmalı değerlendirmesi üzerinde test edilmektedir. Bakır cevheri (Cu) veri kümesi kaynak alan, itabiritik demir mineral konsantresi (FeM) veri kümesi ise hedef alan olarak atanmaktadır. Her iki veri kümesinde referans maskeler, korelatif mikroskopi yoluyla taramalı elektron mikroskobu (SEM) görüntülerinden elde edilmiştir. Bu senaryo çok boyutlu ve zorlu bir alan kaymasını temsil etmektedir. Kaynak ve hedef alanlar arasında cevher mineralojisi, mikroskop büyütmesi (20 kat ve 10 kat) ve uzamsal çözünürlük bakımından belirgin farklar bulunmaktadır. Görüntülerden %50 örtüşmeli kayan pencere ile 256x256 boyutunda yamalar çıkarılmaktadır. Veri kümesi görüntü düzeyinde 70/15/15 oranıyla eğitim, doğrulama ve test kümelerine ayrılmaktadır. Deney hattı, farklı tek atışlı hedef örnekleriyle üç kez bağımsız olarak çalıştırılmakta ve raporlanan tüm sonuçlar bu üç koşunun ortalaması olarak verilmektedir. Bu yaklaşım, örnek seçim yanlılığını azaltmakta ve tekrarlanabilirliği güvence altına almaktadır. Deneysel değerlendirme kontrollü bir tasarımla yürütülmektedir. Üç senaryo özdeş koşullar altında karşılaştırılmakta ve senaryolar yalnızca içerik-stil ayrım mekanizması bakımından farklılaşmaktadır. Bu senaryolar alan uyarlamasız temel senaryo, sabit kanal bölmeli I2IT ve önerilen I2ITwEMPR yöntemidir. Her üç senaryoda da bölütleme, ImageNet üzerinde ön eğitilmiş ResNet-101 omurgalı bir U-Net modeli ile yapılmaktadır. Performans mIoU, F1 skoru ve Genel Piksel Doğruluğu (OPA) metrikleri ile ölçülmektedir. Temel senaryoda model FeM test yamalarında %76,56 mIoU, %86,64 F1 ve %87,31 OPA değerlerine ulaşmaktadır. Sabit kanal bölmeli I2IT yöntemi bu değerleri sırasıyla %84,09, %91,32 ve %91,76'ya yükseltmektedir. Önerilen I2ITwEMPR yöntemi ise %84,64 mIoU, %91,64 F1 ve %92,12 OPA değerlerine ulaşmaktadır. Böylece temel senaryoya göre sırasıyla 8,08, 5,00 ve 4,81 puanlık kazanım elde edilmektedir. Sabit bölmeli I2IT yöntemine göre kazanımlar ise sırasıyla 0,55, 0,33 ve 0,36 puandır. İyileşme miktarı görece küçük olsa da üç metrikte de aynı yönde ve tutarlıdır. Bu örüntü, tezin hipotezinin öngördüğü sonuçla örtüşmektedir. Çalışmanın kısıtları arasında değerlendirmenin tek bir uyarlama yönü ile sınırlı olması, tekrar sayısının üç koşu ile sınırlı olması, EMPR'nin ek hesaplama maliyeti ve veri kümelerinin görece küçük olması yer almaktadır. Gelecek çalışmalar olarak ters yönlü senaryonun eklenmesi ve koşu sayısının artırılması, çok sınıflı mineral bölütleme problemlerine genişletme, daha büyük kodlayıcı mimarilerinde ölçeklenebilirlik incelemesi ve difüzyon modellerinin saklı uzaylarıyla bütünleştirme önerilmektedir. Sonuç olarak bu tez, tek atışlı I2IT çerçevesindeki sabit kanal bölmesinin, matematiksel temelli ve hiyerarşik bir tensör ayrıştırması olan EMPR ile değiştirilmesinin, mineral mikroskobu görüntülerinin çapraz alanlı anlamsal bölütlenmesinde ölçülebilir performans kazanımları sağladığını göstermektedir. Bu bulgu, EMPR'nin mineral görüntü analizindeki etkinliğini önce piksel uzayında, şimdi ise öğrenilmiş saklı özellik uzayında ortaya koyan birikimli bir araştırma programının parçasını oluşturmaktadır.

Özet (Çeviri)

This thesis addresses the problem of one-shot unsupervised domain adaptation for semantic segmentation of reflected light mineral microscopy images. Deep learning models for mineral characterization suffer severe performance degradation when evaluated on domains different from their training data due to domain shift. While Image-to-Image Translation (I2IT) methods have emerged as effective tools for domain adaptation, the state-of-the-art one-shot I2IT approach of Ismael et al. performs content-style separation in the encoder's latent space using a fixed channel split. Even though, this design is an effective approach, there can be found more structured and mathematically grounded alternatives. This thesis proposes replacing the fixed channel split method with Enhanced Multivariance Products Representation (EMPR), which is a tensor decomposition method. The EMPR-based approach provides a hierarchical, mathematically grounded decomposition of the latent feature tensor into components of increasing interaction order. The output of the encoder is decomposed into zeroth-order, first-order, second-order, and residual components with the use of EMPR. The second-order components, which are designated as styling features, encode pairwise cross-dimensional correlations analogous to Gram matrix style statistics. Style transfer is performed as a differential latent correction. Thus, the difference between the target and source second-order EMPR components is added to the full source latent representation. This operation keeps the content of the source image, and at the same time, the style of the target is transferred. The proposed method, which is named I2ITwEMPR, is evaluated on cross-domain mineral microscopy benchmark. Depending on the case, copper ore (Cu) is assigned as the source while iron mineral concentrate (FeM) is assigned as the target. The case represents three challenging points, which are shift in ore mineralogy between source and target, microscope magnification (20x vs. 10x) and spatial resolution. Results are reported by comparing three scenarios, which are no adaptation, I2IT with fixed channel split, and I2ITwEMPR by calculating mIoU, F1-score, and Overall Pixel Accuracy. The decision to implement EMPR as decomposition method instead of other common alternatives, which are PARAFAC and Tucker, is motivated by a prior published benchmark from this research group. According to that study, using EMPR as a preprocessing step for SAM2 zero-shot segmentation on mineral domain consistently yielded the highest segmentation performance compared to other decomposition methods.

Benzer Tezler

  1. Tez No

    371573

    Çokyönlü dizilerin yüksek boyutlu model gösterilim ve/veya ağırlıklı indirgeyimcil ayrıştırım tabanlı anlatımları ve uygulamaları

    Weighted reductive and hdmr based decompositions of multiway arrays and it?s application

    LETİSYA DİVANYAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2012

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    Hesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. METİN DEMRİALP

  2. Tez No

    983075

    Prediction of stress intensity factorusing vision transformers via tensor decomposition

    Tensor ayrıştırmasıyla görsel dönüştürücülerkullanarak gerilme şiddeti faktörünün tahmini

    BUĞRA EYİDOĞAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilimsel Hesaplama Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SÜHA TUNA

    PROF. DR. MESUT KIRCA

  3. Tez No

    1008584

    EDTA ve kitosan ile son irrigasyondan sonra kullanılan farklı apikal tamir materyallerinin apikal mikrosızıntıya etkisinin lazer taramalı konfokal mikroskopla incelenmesi

    Investigation of the effects of different apical repair materials used after final irrigation with EDTA and chitosan on apical microleakage using laser scanning confocal microscopy

    ZEYNEP ÜNAL

    Diş Hekimliği Uzmanlık

    Türkçe

    Türkçe

    2026

    Diş HekimliğiOrdu Üniversitesi

    Endodonti Ana Bilim Dalı

    DOÇ. DR. FUNDA FUNDAOĞLU KÜÇÜKEKENCİ

  4. Tez No

    304622

    Çok değişkenliliği yükseltilmiş çarpımsal gösterilim yönteminde ağırlık optimizasyonu

    Weight optimization in enhanced multivariance product representation

    AYLA OKAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2011

    MatematikMarmara Üniversitesi

    Matematik Ana Bilim Dalı

    DOÇ. DR. N. ABDÜLBAKİ BAYKARA

    PROF. DR. METİN DEMİRALP

  5. Tez No

    392924

    Sayılabilir sonsuz sıralı dizeylerde çokdeğişkenliliği yükseltilmiş çarpımlar okuçlulandırımlı dizey gösterilimleri (ÇYÇODG)

    Arrowheaded enhanced multivariance products representations for matrices in denumerably infinite matrices

    GİZEM ÖZDEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    Matematikİstanbul Teknik Üniversitesi

    Hesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. METİN DEMİRALP

Geri Dön