HAİSTA-NET: Human assisted instance segmentation through attention
HAİSTA-NET: Dikkat yoluyla insan destekli obje segmentasyonu
- Tez No: 836739
- Danışmanlar: PROF. DR. TEVFİK METİN SEZGİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Bilim Dalı
- Sayfa Sayısı: 61
Özet
Obje segmentasyon, tıbbi görüntü analizi ve görüntü/video düzenleme gibi çeşitli alanlardaki uygulamalarında yüksek doğruluk gerektirir; bu mevcut popüler tam otomatik obje segmentasyon modellerinin performansını da dikkate almamızı gerektirir. özellikle küçük ve karmaşık şekillere sahip nesneler için yeni modeller geliştirilmesi ya da mevcut modellerin iyileştirmesi gereksinimi son yıllarda hızla artmaktadır. Bu nedenle, bu alanlardaki uygulayıcılar zahmetli bir iş olan tamamen manuel etiketleme metoduna başvurmaktadır. Bu sorunların üstesinden gelmek amacıyla, daha kesin tahminler yapmak ve yüksek eğrilikli, karmaşık ve küçük ölçekli nesneler için daha kaliteli segmentasyon maskeleri oluşturmak amacıyla yeni bir yaklaşım öneriyoruz. İnsan destekli segmentasyon modelimiz HAISTA-NET, Strong Mask R-CNN ağını insan tarafından belirlenen kısmi sınırları dikkate alacak şekilde genişletir. Ayrıca İnsan Dikkat Haritaları (HAM) olarak adlandırdığımız elle çizilmiş kısmi nesne sınırları veri setini de sunmaktayız. PSOB (Kısmi çizim Nesne Sınırları) veri seti, bir nesnenin temel gerçek maskesinin sınırlarını birkaç pikselle temsil eden, elle çizilmiş kısmi vuruşları içerir. Kapsamlı değerlendirmeler sonucunda, PSOB veri seti ile eğittiğimiz HAISTA-NET'in, sırasıyla Mask R-CNN, Strong Mask R-CNN ve Mask2Former modellere kıyasla AP-Mask metriğinde +36,7, +29,6 ve +26,5 puanlık artış elde ederek bu gelişmiş yöntemlerden daha iyi performans gösterdiğini deneylerimizle sunuyoruz. Yaklaşımımızın, Tam Otomatik ve Etkileşimli Obje Segmentasyon mimarilerini birleştirerek gelecekteki insan destekli derin öğrenme modelleri için bir temel oluşturacağını umuyoruz. Kod ve PSOB veri seti herkese açık olarak paylaşılacaktır.
Özet (Çeviri)
Instance segmentation is a fundamental computer vision task with a wide range of applications. Some instance segmentation tasks such as medical image analysis, and image/video editing require high levels of precision. However, this precision is often beyond the reach of what even state-of-the-art, fully automated instance segmentation algorithms can deliver. The performance gap becomes particularly prohibitive for small and complex objects. Practitioners typically resort to fully manual annotation, which can be a laborious process. In order to overcome this problem, we propose a novel approach to enable more precise predictions and generate higher-quality segmentation masks for high-curvature, complex and small-scale objects. Our human-assisted segmentation model, HAISTA-NET, augments the existing Strong Mask R-CNN network to incorporate human-specified partial boundaries. We also present a dataset of hand-drawn partial object boundaries, which we refer to as“human attention maps.”In addition, the Partial Sketch Object Boundaries (PSOB) dataset contains hand-drawn partial object boundaries which represent curvatures of an object's ground truth mask with several pixels. Through extensive evaluations, we show that HAISTA-NET outperforms state-of-the art methods such as Mask R-CNN, Strong Mask R-CNN, and Mask2Former, achieving respective increases of +36.7, +29.6, and +26.5 points in AP-Mask metrics for these three models. Our novel approach sets a baseline for future human-aided deep learning models by combining fully automated and interactive instance segmentation architectures.
Benzer Tezler
- U-net architecture optimization for optic disc segmentation in retinal images
Retina görüntülerinde optik disk bölütleme için U-net mimarisi optimizasyonu
ZAFER ERDOĞAN
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- HER 2 pozitif erken evre meme kanserli hastaların adjuvan tedavisinde 9 ve 52 haftalık trastuzumab uygulamasının etkinliğinin ve toksisitesinin karşılaştırılması
Comparision of activity and toxicity of 9- and 52- week trastuzumab treatment in patients with HER2 positive early stage breast cancer
ÖNDER TONYALI
Tıpta Uzmanlık
Türkçe
2011
OnkolojiGazi Üniversitesiİç Hastalıkları Ana Bilim Dalı
PROF. DR. UĞUR COŞKUN
- Psöriazisin patogenezinde Granülizin'in rolü
The role of the Granulysin in the pathogenesis of psoriasis
ESRA ERMİŞ
Yüksek Lisans
Türkçe
2017
GenetikBülent Ecevit ÜniversitesiMoleküler Biyoloji Ana Bilim Dalı
DOÇ. DR. SEVİM KARAKAŞ ÇELİK
- Liyofilize edilmiş sığır kıkırdak xenogrefti ile sıçan sırtında insan burnu deneysel modeli oluşturulması
Creation of experimental human nose model with lyophilized and decellularized bovine cartilage xenograft
CAN İLKER DEMİR
Tıpta Uzmanlık
Türkçe
2017
Plastik ve Rekonstrüktif CerrahiKocaeli ÜniversitesiPlastik Rekonstrüktif ve Estetik Cerrahi Ana Bilim Dalı
PROF. DR. MURAT ŞAHİN ALAGÖZ
- Sodyum bütiratın endometriozis sinyal iletim yollarına etkisinin analizi
Effect of sodium butyrate at endometriosis signal transduction pathways
PELİN BALÇIK ERÇİN
Yüksek Lisans
Türkçe
2008
BiyolojiGebze Yüksek Teknoloji EnstitüsüBiyoloji Ana Bilim Dalı
YRD. DOÇ. ASUMAN ZERGEROĞLU