Self-supervised learning for unsupervised image classification and supervised localization tasks
Denetimsiz görüntü sınıflandırma ve denetimli yer saptama görevleri için öz-denetimli öğrenme
- Tez No: 890850
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 106
Özet
Son yıllarda, örnek ayrıştırma görevinin evrişimli sinir ağları (CNNler) için temel bir ön eğitim görevi olduğu öz-denetimli öğrenme yöntemleri, öğrenme aktarmasında büyük başarı elde etti. Örnek ayrıştırma görevi, görüntü düzeyinde öğrenme nedeniyle sınıflandırma için etkili olsa da, yoğun öznitelik öğreniminden yoksundur ve bu durum, nesne tespiti gibi yerelleştirme görevleri için tam uygun olmamasına yol açar. Bu tezin ilk bölümünde, örnek ayrıştırma görevinin bu eksikliğini gidermek amacıyla, onu görüntü düzeyindeki özniteliklerin yanında aynı zamanda yoğun öznitelikler öğrenmeye de teşvik etmeyi hedefliyoruz. Görüntü düzeyinde öğrenmeye paralel olarak sınıf bağımsız maskeler tahmin eden bir bölütleme dalı ekleyerek, özniteliklerin lokasyon farkındalığını artırıyoruz. Yaklaşımımız, PASCAL VOC'de %1.7 AP, COCO nesne tespitinde %0.8 AP, COCO örnek bölütlemede %0.8 AP ve PASCAL VOC anlamsal segmentasyonda %3.6 mIoU'ya kadar performans iyileşmeleri sağlıyor. Son yıllarda, Vision Transformerlar (ViTs), geleneksel bilgisayarlı görü görevlerinde derin öğrenme modellerini önemli ölçüde ilerleterek, öz denetimli öğrenmede de büyük ilerlemelere yol açtı. Bu tezin ikinci bölümünde, iyileştirilmiş özellik temsili ve öz-denetimli ViT'lerin üstün en yakın komşu performansından yararlanan bir denetimsiz görüntü sınıflandırma yöntemi olan UCLS'yi öneriyoruz. Denetimsiz görüntü sınıflandırma için temel yöntemleri kademeli olarak geliştiriyor ve çok başlı sınıflandırıcıların kullanımını optimize etmek amacıyla bir kümeleme toplama metodolojisinden yararlanmayı ve bir kendi kendine eğitim adımı kullanmayı öneriyoruz. Yoğun deneyler ile, UCLS'nin tamamen denetimsiz ayarlarda, CIFAR10'da %99.3, CIFAR100'de %89 ve ImageNet'te %70'in üzerinde denetimsiz performansa ulaştığını gösteriyor ve bu bağlamda en son teknolojiye uygun performans sağladığını belirtiyoruz.
Özet (Çeviri)
Recent self-supervised learning methods, where instance discrimination is a fundamental pretraining task for convolutional neural networks (CNNs), excel in transfer learning. While instance discrimination is effective for classification due to its image-level learning, it lacks dense representation learning, making it sub-optimal for localization tasks like object detection. In the first part of this thesis, we aim to mitigate this shortcoming of instance discrimination task by extending it to learn dense representations alongside image-level representations. By adding a segmentation branch parallel to image-level learning to predict class-agnostic masks, we enhance the location-awareness of the representations. Our approach improves performance in localization tasks, achieving up to 1.7% AP improvement on PASCAL VOC, 0.8% AP on COCO object detection, 0.8% AP on COCO instance segmentation, and 3.6% mIoU on PASCAL VOC semantic segmentation. In recent years, Vision Transformers (ViTs) have significantly advanced deep learning models, boosting performance in traditional computer vision tasks and driving substantial progress in self-supervised learning. In the second part of this thesis, we also proposes UCLS, an unsupervised image classification framework leveraging the improved feature representation and superior nearest neighbor performance of self-supervised ViTs. We incrementally enhance baseline methods for unsupervised image classification and further propose the use of a cluster ensembling methodology and a self-training step to optimize the utilization of multi-head classifiers. Extensive experimentation demonstrates that UCLS achieves state-of-the-art performance on ten image classification benchmarks in fully unsupervised settings, with 99.3% clustering accuracy on CIFAR10, 89% on CIFAR100, and surpassing 70% on ImageNet in an unsupervised context.
Benzer Tezler
- Data-driven design and analysis of next generation mobile networks for anomaly detection and signal classification with fast, robust and light machine learning
Hızlı, Sağlam ve Hafif Makine Öğrenmesi ile Anormallik Algılaması ve Sinyal Sınıflandırması için Yeni Nesil Mobil Ağların Veriye Dayalı Tasarımı ve Analizi
MUHAMMED FURKAN KUCUK
Doktora
İngilizce
2022
Elektrik ve Elektronik MühendisliğiUniversity of South FloridaHaberleşme Ana Bilim Dalı
DOÇ. DR. İSMAİL UYSAL
- Hiperspektral görüntülerde yarı güdümlü öğrenme teknikleri
Semi supervised learning techniques on hyperspectral images
MUHAMMET SAİD AYDEMİR
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN BİLGİN
- An Intelligent karyotyping architecture based on artifical neural networks and features obtained by automated image analysis
Otomatik görüntü analizi ve yapay sinir ağı tabanlı akıllı bir kromozom sınıflandırma mimarisi
SELİM ESKİİZMİRLİLER
Yüksek Lisans
İngilizce
1993
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. M. AYDAN ERKMEN
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL