Geri Dön

Semantik derin öğrenme kullanılarak nesnelerin kategorize edilmesi ve sınıflandırılması

Categorization and classification of objects using semantic deep learning

  1. Tez No: 893058
  2. Yazar: EMRE AKDEMİR
  3. Danışmanlar: PROF. DR. NECAATTİN BARIŞÇI
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: Gazi Üniversitesi
  10. Enstitü: Bilişim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 139

Özet

Bu çalışmada eğitim veri setinde örnek görüntüleri bulunmayan nesneleri tanımak için kullanılan Genelleştirilmiş Sıfır-Atış Öğrenme (GSAÖ) (Generalized zero-shot learning -GZSL) yöntemi incelenmiştir. GSAÖ yöntemlerinde, daha önceden görmediği nesneleri tanımak için ek açıklama kullanılmıştır. Bu ek açıklamalar mevcut görüntüler ile birlikte semantik uzayda temsil edilmiştir. Böylece görüntü örneği olmayan nesneler, semantik uzaydaki yerlerine göre sınıflandırılmıştır. GSAÖ görevlerinde, bazı nesnelerin görüntü örneği bulunmadığından ve sadece semantik niteliklerden oluşan ek açıklamalar kullanıldığından dolayı öğrenme problemi görülmüştür. Bu problem ele alınarak, ilk önce eğitim veri setinin eksik verilerini tamamlamak için derin üretici ağlar ile sentetik görüntü örnekleri üretilen modeller araştırılmıştır. Derin üretici ağ modeli olarak Değişimsel Otokodlayıcılar (DOK) ve Üretici Çekişmeli Ağların (ÜÇA) birlikte kullanıldığı bir model seçilmiştir. Daha sonra semantik niteliklerden oluşan ek açıklamalara, metinsel açıklamalardan oluşan semantik tanımlama ve ontoloji dahil edilerek zengin bir semantik gösterim elde edilmiştir. Semantik gösterimlerin tek başlarına ve birlikte kullanımları incelenmiştir. Son olarak DOK-ÜÇA ile üretilen sentetik örnekler, k-ortalamalar ve DBSCAN kümeleme yöntemleriyle en iyi sentetik örnekler seçildikten sonra model sınıflandırılmıştır. Önerilen modelin sınıflandırma performansını değerlendirmek için GSAÖ görevlerinde sıklıkla kullanılan CUB, FLO ve AWA2 kıyaslama veri setleri üzerinde deneyler yapılmıştır. Elde edilen deney sonuçları, GSAÖ son teknoloji yöntemleri ile karşılaştırılmış ve oldukça memnun edici performans göstermiştir. Ayrıca k-ortalamalar ve DBSCAN kümeleme algoritmaları kullanımı, tüm deneylerdeki performansı iyileştirmiştir. GSAÖ son teknoloji yöntemlerine göre önerilen model CUB veri setinde %2,13 ve FLO veri setinde %3,76'lik bir performans artışı göstererek en iyi sonuçları elde etmiştir.

Özet (Çeviri)

In this study, the Generalized Zero-Shot Learning (GZSL) method, which is used to recognize objects without sample images in the training dataset, is reviewed. GZSL methods have used auxiliary annotations to recognize previously unseen objects. These annotations are represented in a semantic space along with existing images. As a result, objects without image samples are classified based on their positions in the semantic space. Due to the lack of image samples for some objects and the use of only semantic attributes for annotations in GZSL tasks, a learning problem has emerged. Addressing this issue, models that generate synthetic image samples using deep generative networks to complete the missing data in the training dataset were explored. A model combining Variational Autoencoders (VAE) and Generative Adversarial Networks (GAN) was selected as the deep generative network model. Subsequently, a rich semantic representation was obtained by including semantic descriptions, and ontologies in the auxiliary annotations consisting of semantic attributes. The individual and combined use of semantic representations were examined. Finally, after selecting the best synthetic samples using the k-means and DBSCAN clustering methods on synthetic samples generated by VAE-GAN, the model was classified. Experiments were conducted on the CUB, FLO, and AWA2 benchmark datasets, which are frequently used in GZSL tasks, to evaluate the classification performance of the proposed model. The experimental results obtained were compared with state-of-the-art GZSL methods and showed quite satisfactory performance. Additionally, the use of k-means and DBSCAN clustering algorithms improved performance in all experiments. Compared to state-of-the-art GZSL methods, the proposed model achieved the best results with a performance increase of 2.13% on the CUB dataset and 3.76% on the FLO dataset.

Benzer Tezler

  1. Uzaktan algılama ve derin öğrenme yöntemleri ile İstanbul'un yerel iklim alanları ve yer yüzeyi sıcaklığı değişimleri arasındaki ilişkinin incelenmesi

    Investigation of the relationship between local climate zones and land surface temperature changes in İstanbul using remote sensing and deep learning methods

    MELİKE NİCANCI SİNANOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. ŞİNASİ KAYA

  2. Manipulation of visually recognized objects using deep learning

    Görsel tanınan nesnelerin derin öğrenme kullanarak hareket ettirilmesi

    ERTUĞRUL BAYRAKTAR

    Doktora

    İngilizce

    İngilizce

    2018

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. PINAR BOYRAZ

  3. Otonom mobil robotlarda görsel SLAM uygulamaları

    Visual SLAM applications in autonomous mobile robots

    MEHMET FATİH KOÇ

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Mekatronik MühendisliğiNecmettin Erbakan Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BARIŞ GÖKÇE

  4. Deep learning-based techniques for 3D point cloud analysis

    3B nokta bulutu analizi için derin öğrenme temelli teknikler

    YUSUF HÜSEYİN ŞAHİN

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. GÖZDE ÜNAL

  5. Semantic land cover and land use classification using deep convolutional neural networks

    Derin evrişimsel sinir ağları ile arazi kullanımı ve arazi örtüsünün anlamsal sınıflandırılması

    BERK GÜNEY

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. ELİF SERTEL