Cross-domain one-shot object detection by online fine-tuning
Çevrimiçi ince-ayar ile tek-örnekli çapraz-alan nesne tespiti
- Tez No: 878611
- Danışmanlar: PROF. DR. BİLGE GÜNSEL
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 95
Özet
Nesne tespiti, bir görüntü veya video karesi içindeki nesneleri sınıflamayı ve yerlerini belirlemeyi amaçlar. Son zamanlarda, büyük veri miktarlarını işleyebilme ve bu verilerden öğrenebilme kapasiteleri sayesinde derin öğrenme tabanlı nesne tespit algoritmaları literatüre önemli katkılarda bulunmuştur. Ancak, bu algoritmaların tespit performansları, genellikle görülmemiş (yeni) veya nadir sınıflar arasında etkili bir şekilde genelleme yapabilmeleri için büyük boyutlu ve etiketli veri kümelerine büyük ölçüde bağımlıdır. Bu kısıtlama, az sayıda veya tek bir örnek kullanarak yeni sınıfları tespit etmeyi amaçlayan az-örnekli nesne tespiti (FSOD) ve tek-örnekli nesne tespiti (OSOD) tekniklerinin son gelişmeleri ile ele alınmaktadır. Bu paradigmalarda modellerin küçük örnek boyutlarından yeni sınıflara adapte olabilmesi, meta-öğrenme ve aktarım öğrenimi tabanlı yöntemler olmak üzere iki ana hat üzerinde durulmuştur. Meta-öğrenme yaklaşımları, episodik eğitim uygulayarak veri-bolluğu olan baz sınıflar üzerinde genellenebilir bir parametre seti öğrenmeyi amaçlar. Bu yaklaşım, çıkarım aşamasında veri-yoksunu yeni sınıflara baz sınıf bilgisinin aktarılmasını sağlamak için tasarlanmıştır. Aktarım öğrenimi tabanlı diğer yöntemler ise, geniş veri setleri üzerinde eğitilmiş modele, yeni örneklerin sınırlı sayıda olması gibi durumlarla başa çıkmak için, belirli katmanların dondurulması veya uyarlamalı öğrenme hızı programlaması gibi çeşitli yöntemler uygulayarak ince ayar yapmaya odaklanır. FSOD ve OSOD tekniklerinde, model öncelikle veri-bolluğu olan baz sınıflar üzerinde eğitilir ve sonra modele hem baz hem de yeni sınıflar üzerinde veya sadece yeni sınıflar üzerinde ince ayar yapılır. Bu metodoloji, özellikle sınırlı veriye dayalı nesne tanıma görevleri için uygun yaklaşımlar sunar. FSOD ve OSOD yöntemleri yeni nesnelere hızlı uyum sağlamayı mümkün kılmasına rağmen, performansları büyük ölçüde genellikle durağan görüntülerden oluşan eğitim alanına bağlıdır. Alan değişimi nedeniyle, geleneksel kurulum, çapraz alan değerlendirmelerinde tek örnekli veya az örnekli nesne algılamada önemli performans düşüşlerine yol açar. Ayrıca, son çalışmaların çoğu, durağan görüntü alanları arasındaki performans farklarına odaklanmakla sınırlı kalmakta ve görüntü ile video alanları arasındaki farklara yeterince dikkat etmemektedir. Mevcut çalışmalardan farklı olarak, bu tez özellikle literatürde büyük ölçüde göz ardı edilen, durağan görüntü alanından video alanına geçişte gözlemlenen önemli performans farkına odaklanmaktadır. Video alanındaki değerlendirmelerde, algılama modelinin ana amacı, video dizisinin başında tanıtılan hedef nesneyi sonraki karelerde başarılı bir şekilde tespit etmektir. Bu tezin kapsamında, video dizilerinde nesne algılama esas olarak modelin yalnızca tek bir örnek kullanarak hedef nesneye uyum sağlama yeteneğine bağlı olduğundan, FSOD modelleri yerine OSOD modelleri ile çalışmayı tercih ediyoruz. Bu nedenle, yalnızca bir örnek kullanarak hedef nesneye uyum sağlamayı amaçlayan OSOD modelleri, hedef nesneye uyum sağlamak için birkaç örneğe ihtiyaç duyan FSOD modellerine kıyasla daha uygundur. OSOD modelleri, bir sorgu çekimi olarak bilinen belirli bir temsili kullanarak bir görüntüdeki hedef nesneyi sınıflandırmayı ve yerelleştirmeyi amaçlar. Bu, tek bir sorgu çekiminden sınıfın tüm örneklerini hedef görüntüde tespit eden bir şablon eşleme algoritması aracılığıyla gerçekleştirilir. Bu paradigma, modelin tek bir örnekten hedef nesnenin belirli görünümüne uyum sağlamasını mümkün kılar; oysa FSOD'de model, yeni sınıflara küçük bir örnek sayısı kullanarak uyum sağlamak üzere tasarlanmıştır. Hedef nesnenin video kareleri boyunca tespit edilmesi amacıyla örneklerin azlığına ek olarak, zamansal zorluklar ve hareket değişiklikleri de OSOD yöntemleri için önemli bir zorluk teşkil etmektedir. OSOD modellerinin afin hareket değişiklikleriyle başa çıkma ve zamansal tutarlılığı koruma yetenekleri, video dizilerinde yeterli performans için hayati öneme sahiptir. Ayrıca, OSOD'nin beraberinde getirdiği zorluk, modelin yalnızca tek bir örneğe dayanarak yeni sınıflara uyum sağlaması gerektiği gerçeğinden kaynaklanmaktadır. Bu durum, daha yüksek düzeyde genelleme ve uyum sağlama yeteneği gerektirir. OSOD modellerinin çoğu, veri dağılımlarının ve sınıf özelliklerinin eğitim ve değerlendirme setleri arasında oldukça benzer olduğu aynı alanda eğitilmekte ve değerlendirilmektedir. Son çalışmalar, OSOD modellerinin çapraz alan değerlendirmesini incelemiş olmasına rağmen, genellikle farklı durağan görüntü alanları içindeki değerlendirmelere odaklanmıştır, durağan görüntü ve video alanları arasındaki değerlendirmelere değil. Modeller, durağan görüntü ve video alanları arasındaki alan değişimi nedeniyle ciddi veri dağılımı değişimlerine karşı savunmasızdır. Bu tezde, OSOD modellerinin çapraz alan senaryolarında karşılaştıkları performans farkının nedenlerini göstermek ve analiz etmek amaçlanmaktadır. Bunu yapmak için, durağan görüntü alanından MS COCO veri seti üzerinde eğitilmiş olan son teknoloji bir OSOD modeli olan BHRL'yi, video alanının zorlu bağlamını sunan VOT-LT 2019 veri seti kullanarak değerlendiriyoruz. Adil bir değerlendirme için, yalnızca hedef nesnenin bulunduğu video karelerini dahil ediyoruz. Performans düşüşünü hafifletmek amacıyla, BHRL'yi temel OSOD modeli olarak alıp, BHRL'nin çok düzeyli özellik öğrenimini kullanan son teknoloji OSOD modelinin çıkarım mimarisine çevrimiçi ince ayar şeması ve sorgu çekimi güncelleme mekanizmasını entegre ederek üç farklı yeni OSOD çerçevesi öneriyoruz. Önerilen çerçevelerin değerlendirilmesi sırasında mAP0.5 metriği kullanılmış ve sınıf bazlı raporlama yapılmıştır. Eğitim aşamasında dahil edilen sınıflar temel sınıflar olarak sınıflandırılırken, dahil edilmeyenler yeni sınıflar olarak kategorize edilmiştir. Aşağıda, önerilen OSOD çerçeveleri özetlenmiştir. OSCDA w/o CDQSS: Hedef nesnenin ilk görünümü sorgu çekimi olarak alınır ve model, çıkarım aşamasının başında yalnızca bu sorgu çekimi üzerinde çevrimiçi olarak ince ayar yapılır. Daha sonra model, ilgili sınıfın tüm örneklerini video kareleri içinde tespit etmeye çalışır. İnce ayar yapmak transfer öğrenmede geleneksel bir yaklaşım olsa da, BHRL'nin çok düzeyli özellik öğrenimi ile entegrasyon, tüm sınıflarda tespit mAP.50 performansını 14% artırmaktadır. OSCDA w/ CDQSS: OSCDA w/o CDQSS'nin video nesne tespitindeki önemli bir sınırlaması, hedef nesnenin başlangıç görünümünü temsil eden sorgu çekimine aşırı uyum sağlama riskinden kaynaklanan hızlı görünüm değişikliklerine karşı savunmasız olmasıdır. Bu dezavantajı aşmak için, ince ayar yapmanın yanı sıra, uyarlanabilir bir sorgu çekimi seçme modülü olan CDQSS, temel mimariye entegre edilmiştir. Bu yaklaşım, video kareleri boyunca afin hareket nedeniyle meydana gelen hedef nesnenin hızlı görünüm değişiklikleriyle başa çıkmak için denetimsiz çevrimiçi ince ayar yapılmasını sağlar. CDQSS ile sorgu çekimi, nesnelilik skorları ve kareler arasındaki yerelleştirme tutarlılığına dayalı olarak modelin tespitleriyle güncellenir. Model, çıkarım aşamasında CDQSS tarafından seçilen sorgu çekimleriyle sürekli olarak ince ayar yapılır. İnce ayar süreci, zemin gerçeği yerine yalnızca modelin tespitlerine dayandığı için denetimsiz ince ayar olarak adlandırılır. CDQSS, tüm sınıflarda mAP.50'de ek olarak 6%'lık bir iyileşme sağlamıştır. SACDA: Ek çekimlerden yararlanarak tek çekim algılama yaklaşımını terk etmemek için, BHRL'ye çevrimiçi ince ayar yapmayı ve başlangıç sorgu çekimi ile sentetik olarak oluşturulmuş varyasyonları (çoğaltılmış çekimler olarak adlandırılır) kullanmayı öneriyoruz. Özellikle, OSCDA w/o CDQSS'ye benzer şekilde, SACDA çıkarımın başında yalnızca bir kez ince ayar yapar ve ardından model, sonraki kareler boyunca ilgili sınıfın tüm örneklerini tespit etmeye çalışır. SACDA, hedef nesnenin görünümündeki hızlı değişimlere, örneğin ters veya döndürülmüş versiyonlara, ikinci çerçevede (OSCDA w/ CDQSS) önerilen sürekli ince ayar sürecine güvenmeden uyum sağlamayı amaçlar. SACDA, BHRL'nin mAP.50 skorunu 14% oranında artırarak, OSCDA (w/o CDQSS) ile görülen iyileşmeyle eşleşir. Ancak SACDA, bale, grup2 ve longboard gibi belirli dizilerde sırasıyla 14%, 28% ve 46% oranında önemli ölçüde daha iyi performans gösterir. Bu diziler, hedef nesnelerin aşırı aydınlatma, ölçek ve dönme değişiklikleri ile hızlı aydınlatma değişiklikleri gibi zorlukları paylaşır. SACDA'nın, hedef ve sahne görünümlerindeki değişikliklere karşı OSOD modelinin dayanıklılığını artırma tasarım hedefi göz önüne alındığında, bu önemli kazanımlar SACDA'nın potansiyel etkinliğini göstermektedir. Önerilen çerçeveleri değerlendirmeden önce, baz alınan BHRL modeli kullanılarak OSOD modellerinin çapraz alan performans değerlendirmeleri sırasında deneyimlediği performans düşüşü gösterilmiştir. Bunun için hem MS COCO hem de Pascal VOC datasetleri ile eğitilmiş BHRL modeli kullanılmış, ve her iki model de hem kendi eğitim verisetinde hem de çapraz alandan alınan video verisetinde (VOT-LT 2019) değerlendirilmiştir. Sonuçlar göstermektedir ki, Pascal VOC veri seti ile eğitilen BHRL modelinin mAP0.5 performansı, kendi eğitim setinde yapılan değerlendirmelerle karşılaştırıldığında, video verisetinde tüm sınıflar, baz sınıflar ve yeni sınıflar için sırasıyla 34%, 30% ve 51% düşüş göstermektedir. Bu son derece dramatik düşüş, bu tezin ana motivasyonu olan OSOD modellerinin çapraz alan değerlendirmelerine karşı dayanıklı hale getirilmesi amacının dayanak noktası olarak düşünülmelidir. Çapraz alan değerlendirmeleri sırasında OSOD modeli BHRL'nin performans düşüşü gösterildikten sonra önerilen çerçeveler çapraz video alanından alınan VOT-LT 2019 verisetinde değerlendirilmiştir. Önerilen çerçeveler, BHRL'nin tüm sınıflar arasındaki mAP.05 performansını sırasıyla 14%, 20% ve 14% oranında artırır. Sadece baz sınıflar üzerinde yapılan değerlendirmede ise, önerilen çerçeveler BHRL'nin mAP0.5 performansını sırasıyla 13%, 17% ve 13% oranında artırır. Bunun yanısıra, sadece yeni sınıflar üzerinde yapılan değerlendirmede ise BHRL'nin mAP0.5 artışı sırasıyla 17%, 28% ve 14% olarak gözlemlenmiştir. Belirtilmelidir ki, çapraz alan değerlendirmeleri için kullanılan video veriseti VOT-LT 2019, hedef objenin sahnede bulunmadığı kareler içermektedir. Bu kareler, literatürdeki tek atışlı nesne tespiti algoritmalarının değerlendirme yöntemleri göz önüne alınarak, adil bir karşılaştırma amacı ile göz ardı edilmiştir. Sonuçlar ortaya koymaktadır ki, çapraz alan değerlendirmelerinde en yüksek mAP0.5 skorlarına ulaşan OSCDA (w/ CDQSS) çerçevesi olmuştur. Sınıflar bazında değerlendirmeler göz önüne alındığında, en fazla artış (28%) yeni sınıflar üzerinde yapılan değerlendirmeler sonucunda gözlemlenmiştir. Tek atışlı nesne algılama (OSOD) algoritmalarının ana motivasyonunun eğitim setinde görülmemiş veri sınıflarına tek bir örnek yardımıyla adaptasyon sağlanması olduğunu düşündüğümüzde bu sonuçlar umut vadetmektedir. Öte yandan, spesifik video dizilerinde önerilen üçüncü çerçevenin (SACDA) en yüksek mAP0.5 skoruna ulaştığı gözlemlenmektedir. Bu videolar incelendiğinde, video kareleri boyunca gerçeklerşen ve nesne tespit performansını düşüren birtakım zorlukların ortak olarak görüldüğü gözlemlenmiştir. Bu zorluklara örnek olarak, ani hedef görünüm değişiklikler, hızlı arka plan ve aydınlatma değişiklikleri ve ani kamera hareketleri verilebilir. Bu göstermektedir ki çeşitli veri arttırma yöntemleri ile sorgu atışının türevlerini üretmek ve model bu türevleri kullanarak ince ayar yapmak, spesifik videolarda başarılı sonuç vermiştir. Gözlemlenen performans iyileştirmeleri, önerilen yöntemlerin çapraz alan değerlendirmelerinde performans düşüşüne neden olan alan değişikliği zorluklarıyla başa çıkma konusuundaki performansını göstermektedir.
Özet (Çeviri)
Object detection aims to identify and locate objects within an image or video frame. Recently, deep learning-based object detectors have made significant contributions to the community, thanks to their capability of processing and learning from large volumes of data. However, their detection performance heavily depends on large labeled datasets, which are essential for them to generalize effectively across previously unseen (novel) or rare classes. This restriction is addressed by the recent development of few-shot object detection (FSOD) and one-shot object detection (OSOD) techniques, which aim to detect novel classes using a few or a single sample of a previously unseen class, enabling rapid adaptation to novel classes without extensive labeled data. The FSOD and OSOD paradigms which allow models to adapt to novel classes from a small sample size have two main lines: methods based on meta-learning and those based on transfer learning. Meta-learning approaches aim to learn a generalizable set of parameters on data-abundant base classes by applying an episodic training approach. This approach is designed to transfer the base knowledge gained on data-abundant base classes to data-scarce novel classes during the inference phase. The other methods based on transfer learning focus on fine-tuning the model, which has trained on extensive datasets, on the limited number of new examples by applying several methods such as freezing only the specific layers or adaptive learning rate scheduling during the fine-tuning. In FSOD and OSOD techniques, the model is trained on data-abundant base classes and then fine-tuned on both the base and novel classes or on only the novel classes. This methodology makes them well-suited approaches for use with still images where the task is to recognize objects based on limited data. Although FSOD and OSOD methods enable quick adaptation to novel objects, their performance highly depends on the training domain, typically composed of still images. Due to the domain shift, the conventional setup yields significant performance degradation in one-shot or few-shot object detection in cross-domain evaluations. Moreover, most of the recent studies remain limited to focusing on performance gaps between different image domains, rather than those between image and video domains. Differing from the existing work, this thesis particularly focuses on the significant performance gap observed in cross-domain evaluations, from the still image domain to the video domain, which has been largely overlooked in the literature. In video domain evaluations, the main purpose of the detection model is to detect the target object, which is introduced at the beginning of the video sequence, within subsequent frames successfully. In the scope of this thesis, we choose to work with the OSOD models rather than the FSOD models because object detection in video sequences primarily hinges on the model's ability to adapt to the target object using only a single example. Therefore, OSOD models, designed to adapt to the target object using only one example, are more suitable than FSOD models, which necessitate few examples to adapt to the target object. In particular, OSOD models aim to classify and localize a target object in an image using its particular representation known as a query shot. This is achieved through a template-matching algorithm that detects all the instances from the class of this single query shot within the target image. The paradigm enables the model to adapt to the specific appearance of the target object from a single sample, in contrast to FSOD where the model is designed to adapt to novel classes using a small number of samples. In addition to the scarcity of examples of the target object aimed to be detected throughout the video frames, temporal challenges, and motion changes also present a substantial challenge for OSOD methods. OSOD models' ability to handle affine motion changes and maintain temporal consistency is crucial for sufficient performance in video sequences. Moreover, the challenge OSOD brings along arises from the requirement that the model must adapt to novel classes based solely on a single sample, which demands a higher level of generalization and adaptability. The majority of the OSOD models are trained and evaluated on the same domain in which the data distributions and class characteristics are quite similar between the training and evaluation sets. Although recent studies have examined the cross-domain evaluation of OSOD models, they have primarily focused on evaluations within different still-image domains, rather than between still-image and video domains. The models are vulnerable to severe shifts in data distribution due to the domain shift between still-image and video domains. In this thesis, we aim to demonstrate and analyze the reasons behind the performance gap that OSOD models experience in cross-domain scenarios. To do this, we evaluate a state-of-the-art (SOTA) OSOD model, BHRL, which has been trained on the MS COCO dataset from the still-image domain, using the VOT-LT 2019 dataset, which presents the challenging context of the video domain. For a fair evaluation, we include only the video frames where the target object is present. To alleviate the performance degradation, we take BHRL as the baseline OSOD model and propose three different novel OSOD frameworks, based on integrating an online fine-tuning scheme and a query shot update mechanism into the inference architecture of BHRL, the SOTA OSOD model utilizing multi-level feature learning. During the evaluation of the proposed frameworks, the mAP0.5 metric is used and class-based reporting is performed. Classes included in the training phase were classified as base classes, while those that were not included were categorized as novel classes. In the following, the proposed OSOD frameworks are summarised. OSCDA w/o CDQSS: The initial appearance of the target object is taken as the query shot and the model is online fine-tuned only on this query shot once at the beginning of the inference phase. Subsequently, the model tries to detect all instances of the relevant class within the video frames. Although fine-tuning is a conventional approach in transfer learning, integration with the multi-level feature learning of BHRL improves the detection mAP.50 performance by 14% on all classes. OSCDA w/ CDQSS: A major limitation of OSCDA w/o CDQSS in video object detection is its vulnerability to rapid appearance changes of the target object, resulting from the risk of overfitting on the query shot that represents the target's initial appearance. To overcome this drawback, in addition to fine-tuning, CDQSS, which is an adaptive query shot selection module, is integrated into the baseline architecture. This approach enables unsupervised online fine-tuning to deal with the rapid appearance changes of the target object caused by the affine motion throughout the video frames. By CDQSS, the query shot is updated with the model's detections based on their objectness scores and localization consistency across frames. The model is continuously fine-tuned with the query shots chosen by the CDQSS during the inference phase. The fine-tuning process is called unsupervised fine-tuning since it is based solely on the model's detections rather than the ground truth. CDQSS provided an additional 6% improvement in mAP.50 on all classes. SACDA: In order to take advantage of extra shots without leaving the one-shot detection approach, we propose incorporating online fine-tuning into the BHRL using the initial query shot and its synthetically generated variations referred to as augmented shots. In particular, similar to OSCDA w/o CDQSS, SACDA conducts fine-tuning only once at the beginning of the inference, and then the model tries to detect all instances of the relevant class throughout the subsequent frames. SACDA aims to adapt to quick changes in the target object's appearance, such as flipped or rotated versions, without relying on the continuous fine-tuning process suggested in the second framework (OSCDA w/ CDQSS). SACDA improves BHRL's mAP.50 score by 14%, matching the improvement seen with OSCDA (w/o CDQSS). However, SACDA significantly outperforms the previous frameworks in specific sequences such as ballet, group2, and longboard by 14%, 28%, and 46% respectively. These sequences share challenges such as extreme changes in lighting, scale, and rotation of target objects, as well as rapid illumination changes. Given SACDA's design goal to enhance the OSOD model's robustness to variations in target and scene appearances, these significant gains indicate SACDA's potential effectiveness. The achieved performance improvements demonstrate the proposed methods' effectiveness in tackling domain shift challenges faced during the cross-domain evaluations for video object detection.
Benzer Tezler
- Çapraz e-ticaret pazarlarında hibrit öneri sistemi
Hybrid recommendation system at cross e-commerce markets
EMRE KÖSE
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Sismik migrasyon yöntemlerinin marmara denizi yansıma sismiği verilerine uygulanması ve aktif tektonik yorumu
Application of seismic migration methods to marmara sea reflection data and interpretation of active tectonics
MEHMET ALİ ÜGE
Doktora
Türkçe
2021
Jeofizik Mühendisliğiİstanbul Üniversitesi-CerrahpaşaJeofizik Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ İSMET KANLI
- Bababurnu sismik kesitlerinin derinlik migrasyonu ve yapısal açıdan Çanakkale-Ayvacık depremleri ile birlikte yorumlanması
Interpretation of the Bababurnu seismic depth migrated sections with recent earthquakes occured in Canakkale-Ayvacik
MEHMET ALİ ÜGE
Yüksek Lisans
Türkçe
2017
Jeofizik Mühendisliğiİstanbul Teknik ÜniversitesiJeofizik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA EMİN DEMİRBAĞ
- Zemin karakterizasyonu amaçlı rayleigh dalgası faz hızı dispersiyon analizinde aktif ve pasif kaynaklı sismik dizilim yöntemlerinin karşılaştırmalı değerlendirmesi
Comparative evaluation of active and passive seismic array methods in rayleigh wave phase velocity dispersion analysis for site characterization
AYLİN KARAASLAN
Doktora
Türkçe
2024
Jeofizik Mühendisliğiİstanbul Teknik ÜniversitesiJeofizik Mühendisliği Ana Bilim Dalı
PROF. DR. HÜSEYİN ARGUN KOCAOĞLU
- Tekirdağ havzası yüksek çözünürlüklü sismik yansıma verilerinin işlenmesi ve yorumlanması
Processing and interpreting high resolutioned seismic reflection datas of the Tekirdag basin
EMRE PERİNÇEK
Yüksek Lisans
Türkçe
2011
Jeofizik Mühendisliğiİstanbul Teknik ÜniversitesiJeofizik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HÜLYA KURT