Fusion of image segmentation with domain specific information under an unsupervised Markov random fields model
Markov rasgele alanları aracılığı ile anlam bilgisi ve ̇imge bölütlemenin birleştirilmesi
- Tez No: 371737
- Danışmanlar: PROF. DR. FATOŞ TUNAY YARMAN VURAL
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2014
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 153
Özet
Bilgisayarlı görmenin ilk yıllarından bugüne kadar imge bölütlemenin formüle ediliş büyük gelişim göstermiştir. İlk çalışmalar eğitimsiz yaklaşımlar önermiş, yakın zamanda yapılan çalışmaların büyük çoğunluğu ise eğitimli yaklaşımlara yönelmiştir. Bu durum bilişsel bilimlerdeki ilerlemeden ve bilişsel bilimlerin bilgisayarlı görme üzerindeki etkisinin artmasından kaynaklanmaktadır. Aynı zamanda, bilgisayar gücünün artması, araştırmacıların daha karmaşık yöntemler geliştirmelerine imkan sağlamıştır. İmge bölütlemedeki büyük çabaya rağmen, mevcut bölütleme yöntemleri, bilgisayarlı görmenin daha sonraki basamakları için gerekli çıktıları vermekte yeterli olamamıştır. Bu çalışmada nesne sınıflandırma, tanıma ve bulma yöntemlerinde kullanılabilecek“tam bir”bölütleme çıktısı elde etmek amaçlanmaktadır. Bu amaçla, çeşitli bölütleme çıktıları birleştirilerek bir maliyet fonksiyonuna göre“en iyi”bölütleme elde etmek hedeflenmektedir. Önerilen yöntem, Attırımlı-MRA, bölütleme birleştirme problemini bir Markov Rasgele Alanı (MRA) problemi olarak eğitimsiz yaklaşımla formüle eder. Bu amaçla, imge öncelikle fazlaca bölütlenir, elde edilen alanlar düğümleri, komşuluk ilişkileri kenarları oluşturacak şekilde Bölge Bitişiklik Grafiği (BBG) oluşturulur. Başlangıçta tüm kenar ağırlıkları bir birim olarak belirlenir. Aynı zamanda basit bir bölütleme yönteminin parametreleri değiştirilerek çok sayıda bölütleme sonucu elde edilir. Bu sonuçlar arasında bir fikir birliği oluşturacak şekilde MRA enerjisi formüle edilir. Son olarak, MRA enerjisi minimize edilerek bölütleme sonucu elde edilir. Arttırımlı-MRA yönteminin performansını bir adım daha ileri götürmek amacı ile alan bilgisi bölütleme birleştirme sürecine entegre edilir. Bu yeni yöntem, Alana Yönelik MRA, alan uzmanından alınan veriyi MRA enerjisini güncellemekte kullanır. Alan bilgisi, mantıksal yüklemler aracılığı ile Alana Yönelik Haritalar (AYH) elde etmek için kullanılır. Böylelikle, Alana Yönelik MRA yöntemi, bir grup basit bölütleme sonucu ile bir grup AYH'yı kullanarak yeni bir MRA enerjisi tanımlar. Bu enerjinin minimize edimesi ile alan bilgisi ile uyumlu“en iyi”bölütleme sonucu elde edilir. Deneyler sonucunda önerilen bölüt birleştirme yöntemlerinin, birleştirilen bölütlerden her birinden daha yüksek performans elde ettiği görülmüştür. Arttırımlı-MRA yöntemi, literatürde sıklıkla kullanılan En İyi K (E ̇IK) yöntemi ile de karşılaştırılmış ̧ ve Arttırımlı-MRA'nın daha iyi performans elde ettiği gözlenmiştir. Alana Yönelik MRA yöntemi bitki örtüsü içeren dış mekan imgeleri üzerinde, bitki örtüsü alan bilgisi kullanılarak uygulanmıştır. Bu deneyde bir miktar performans artışı sağlanmıştır. Bu yöntem aynı zamanda uzaktan algılama veri kümesinde bina imgeleri üzerinde uygulanmıştır. Bina tanıma probleminde, gelişmis ̧ alan bilgisi mevcut bulunmaktadır. Elde edilen sonuçların performansı, bina tanıma problemi için tanımlanmış bir bölütleme performans ölçütü ile değerlendirilmiştir. Bu iki deney, güvenilir alan bilgisinin mevcut olması durumunda bölütleme performansının büyük ölçüde arttığını göstermiştir.
Özet (Çeviri)
The formulation of image segmentation problem is evolved considerably, from the early years of computer vision in 1970s to these years, in 2010s. While the initial studies offer mostly unsupervised approaches, a great deal of recent studies shift towards the supervised solutions. This is due to the advancements in the cognitive science and its influence on the computer vision research. Also, accelerated availability of computational power enables the researchers to develop complex algorithms. Despite the great effort on the image segmentation research, the state of the art techniques still fall short to satisfy the need of the further processing steps of computer vision. This study is another attempt to generate a“substantially complete”segmentation output for the consumption of object classification, recognition and detection steps. Our approach is to fuse the multiple segmentation outputs in order to achieve the“best”result with respect to a cost function. The proposed approach, called Boosted-MRF, elegantly formulates the segmentation fusion problem as a Markov Random Fields (MRF) model in an unsupervised framework. For this purpose, a set of initial segmentation outputs is obtained and the consensus among the segmentation partitions are formulated in the energy function of the Markov Random Fields model. Finally, minimization of the energy function yields the“best”consensus among the segmentation ensemble. We proceed one step further to improve the performance of the Boosted-MRF by introducing some auxiliary domain information into the segmentation fusion process. This enhanced segmentation fusion method, called the Domain Specific MRF, updates the energy function of the MRF model by the available information which is received from a domain expert. For this purpose, a top-down segmentation method is employed to obtain a set of Domain Specific Segmentation Maps which are incomplete segmentations of a given image. Therefore, in this second segmentation fusion method, in addition to the set of bottom-up segmentation ensemble, we generate ensemble of top-down Domain Specific Segmentation Maps. Based on the bottom–up and top down segmentation ensembles a new MRF energy function is defined. Minimization of this energy function yields the“best”consensus which is consistent with the domain specific information. The experiments performed on various datasets show that the proposed segmentation fusion methods improve the performances of the segmentation outputs in the ensemble measured with various indexes, such as Probabilistic Rand Index, Mutual Information. The Boosted-MRF method is also compared to a popular segmentation fusion method, namely, Best of K. The Boosted-MRF is slightly better than the Best of K method. The suggested Domain Specific-MRF method is applied on a set of outdoor images with vegetation where vegetation information is utilized as domain specific information. A slight improvement in the performance is recorded in this experiment. The method is also applied on remotely sensed dataset of building images, where more advanced domain specific information is available. The segmentation performance is evaluated with a performance measure which is specifically defined to estimate the segmentation performance for building images. In these two experiments with the Domain Specific-MRF method, it is observed that, as long as reliable domain specific information is available, the segmentation performance improves significantly.
Benzer Tezler
- Derin obje sezicilerle tümleştirilmiş bayesçi filtreleme ile videoda obje izleme
Integration of bayesian filtering and deep object detection for video object tracking
FİLİZ GÜRKAN GÖLCÜK
Doktora
Türkçe
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Color image segmentation: Multithresholding and constraint satisfaction methods
Renkli imge bölütleme: Çoklueşikleme ve kısıt sağlama metodları
FATİH KURUGÖLLÜ
Doktora
İngilizce
2000
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. A. EMRE HARMANCI
- Land cover and land use classification of multi-modal high-resolution satellite images using multi-task deep learning approach
Çok görevli derin öğrenme tekniği ile çok kipli yüksek çözünürlüklü uydu görüntülerinin arazi örtüsü ve arazi kullanımı sınıflandırılması
BURAK EKİM
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Domain generalized object detection and instance segmentation for remote sensing images
Uzaktan algılama görüntüleri için alan genelleştirilmiş nesne tanıma ve örnek bölütleme
EFKAN DURAKLI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAKUP GENÇ
DOÇ. DR. ERCHAN APTOULA
- Detection and classification of multiple shallow-buried targets by a ground penetrating radar
Yüzeye yakın gömülmüş çoklu hedeflerin yer altı radarı ile tespiti ve sınıflandırılması
FURKAN ŞIK
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÖNÜL SAYAN