Analysis of dataset, object tag, and object attribute components in novel object captioning
Özgün nesne altyazılama'da veri kümesi, nesne etiketi ve nesne sıfatı bileşenlerinin analizi
- Tez No: 745352
- Danışmanlar: PROF. DR. GÖZDE AKAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Altyazılama, Etiket, Veri setleri, Subtitle, Label, Data sets
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
İmge altyazılama Bilgisayarlı Görü ve Doğal Dil İşleme alanlarının kesişiminde yer alan hem popüler hem de zorlayıcı bir iştir. İmge altyazılamanın özel bir alt kolu olan Özgün Nesne Altyazılama son yıllarda ilgi görmektedir. Özgün Nesne Altyazılama eğitim sırasında görülmemiş özgün nesneler içeren imgeler için altyazı üretmeye odaklanmaktadır. Son yıllarda hem genel imge altyazılama hem de Özgün Nesne Altyazılama için üretilen altyazıların kalitesini arttırmak amacıyla çok sayıda yaklaşım önerilmiştir. Bu yaklaşımlar Özgün Nesne Altyazılama için büyük çaplı nesne tespiti veri kümelerinden faydalanmaktadır. Ayrıca, bu yöntemler imgedeki nesne etiketlerini (sınıf isimleri) kullanmaktadırlar. Bu yaklaşımlar birçok açıdan oldukça başarılı olsa da birkaç büyük veri kümesinde, haftalarca Grafik İşleme Birimi (GPU) üzerinde eğitilmektedir. Üstelik bu yöntemler tarafından üretilen altyazılar görsel temellendirme açısından zayıf kalabilmekte ve imgedeki detayları gözden kaçırabilmektedir. Bu nedenle, bu tezde, Özgün Nesne Altyazılama için veri kümesi, nesne etiketi ve nesne sıfatı bileşenlerinin analizi gerçekleştirilmiştir. Veri kümesi boyutunun imge altyazılama performansı üzerindeki etkisinin analizi için küçük çaplı [2] ve büyük çaplı [3] veri kümelerinde Görsel Kelime Hazinesi Ön Eğitimleri (Visual Vocabulary Pretraining) [1] yapılarak en gelişmiş imge altyazılama yönteminin [4] imge altyazılama performansı karşılaştırılmıştır. Nesne etiketinin kalitesinin Özgün Nesne Altyazılama performansına etkisinin analizi için iki farklı nesne etiketi kümesi kullanılarak eğitilmiş yöntemler karşılaştırılmıştır: özgün nesne içermeyen büyük nesne etiketi kümesi, özgün nesne içeren küçük nesne etiketi kümesi. Son olarak, daha zengin altyazılama elde etmek ve imgedeki gözden kaçan detayları azaltmak amacıyla nesne sıfatlarından faydalanan özgün bir yaklaşım önerilmiştir. Deneysel sonuçlar hem Özgün Nesne Altyazılama hem de genel imge altyazılama görevlerinde gösterilmiştir. Deneysel sonuçlar özgün nesne etiketlerinin Özgün Nesne Altyazılama'da kritik bir rol oynadığını ve önerilen yaklaşımın baz alınan yaklaşıma göre daha zengin ve detaylı altyazılar ürettiğini ortaya koymuştur.
Özet (Çeviri)
Image captioning is a popular yet challenging task which lies at the intersection of Computer Vision and Natural Language Processing. A specific branch of image captioning called Novel Object Captioning draw attention in recent years. Different from general image captioning, Novel Object Captioning focuses on describing images with novel objects which are not seen during training. Recently, numerous image captioning approaches are proposed in order to increase quality of the generated captions for both general image captioning and Novel Object Captioning. These methods benefit from large object detection datasets for Novel Object Captioning. They also utilize specific set of object tags (class names) in the image. Even though these approaches are very successful in many aspects, they require GPU-weeks of training on several large datasets. Furthermore, captions generated by these methods may lack visual grounding and overlook details in the image. Thus, in this thesis, we analyze the dataset, object tag, and object attribute components for Novel Object Captioning. We perform Visual Vocabulary Pretraining (VIVO) [1] on small-scale [2] and large-scale [3] datasets and compare the captioning performances of a state-of-the-art method [4] in order to analyze the effect of dataset size. To analyze the effect of tag quality on Novel Object Captioning performance, we compare the performance of captioning methods [4] trained with two different set of object tags: a large set of tags but lacking novel objects, a small set of tags with novel objects. Finally, to obtain richer captions and alleviate overlooked details in the image, we propose a novel approach in which object attributes in the image are exploited. Experimental results are demonstrated on both Novel Object Captioning and general image captioning tasks. The results show that novel object tags play a vital role for Novel Object Captioning and proposed method generates richer and more detailed captions compared to the baseline.
Benzer Tezler
- Öbek analizi algoritmaları
Başlık çevirisi yok
MUHAMMET ALTUN
Yüksek Lisans
Türkçe
1998
Mühendislik Bilimleriİstanbul Teknik ÜniversitesiMühendislik Bilimleri Ana Bilim Dalı
YRD. DOÇ. DR. ALİ ERCENGİZ
- Türkçe hedef tabanlı duygu analizi için alt görevlerin incelenmesi–hedef terim, hedef kategori ve duygu sınıfı belirleme
Inspecting sub tasks of aspect based sentiment analysis in Turkish language–opinion target expression, aspect category and sentiment polarity detection
FATİH SAMET ÇETİN
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. GÜLŞEN ERYİĞİT
- Çok amaçlı karar vermede yeni bir yöntem ve uygulaması
Application working on trade banking of a new multiple objective decision making method
A.COŞKUN DÜNDAR
Doktora
Türkçe
1995
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. RAMAZAN EVREN
- S-Transformasyonu ve yatay kontrol ağlarında deformasyon analizi
S-Transformation and deformation in horizontal control networks
BEDRETTİN BAŞKAYA
- Gelişmiş yaya tespit sistemi için nesne algılama algoritmalarının karşılaştırmalı analizi
Comparative analysis of object detection algorithms for advanced pedestrian detection systems
REHNÜMA TURUNÇ
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAfyon Kocatepe ÜniversitesiBilgisayar Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. AHMET HAŞİM YURTTAKAL