Semantik derin öğrenme kullanılarak nesnelerin kategorize edilmesi ve sınıflandırılması
Categorization and classification of objects using semantic deep learning
- Tez No: 893058
- Danışmanlar: PROF. DR. NECAATTİN BARIŞÇI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Bilişim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 139
Özet
Bu çalışmada eğitim veri setinde örnek görüntüleri bulunmayan nesneleri tanımak için kullanılan Genelleştirilmiş Sıfır-Atış Öğrenme (GSAÖ) (Generalized zero-shot learning -GZSL) yöntemi incelenmiştir. GSAÖ yöntemlerinde, daha önceden görmediği nesneleri tanımak için ek açıklama kullanılmıştır. Bu ek açıklamalar mevcut görüntüler ile birlikte semantik uzayda temsil edilmiştir. Böylece görüntü örneği olmayan nesneler, semantik uzaydaki yerlerine göre sınıflandırılmıştır. GSAÖ görevlerinde, bazı nesnelerin görüntü örneği bulunmadığından ve sadece semantik niteliklerden oluşan ek açıklamalar kullanıldığından dolayı öğrenme problemi görülmüştür. Bu problem ele alınarak, ilk önce eğitim veri setinin eksik verilerini tamamlamak için derin üretici ağlar ile sentetik görüntü örnekleri üretilen modeller araştırılmıştır. Derin üretici ağ modeli olarak Değişimsel Otokodlayıcılar (DOK) ve Üretici Çekişmeli Ağların (ÜÇA) birlikte kullanıldığı bir model seçilmiştir. Daha sonra semantik niteliklerden oluşan ek açıklamalara, metinsel açıklamalardan oluşan semantik tanımlama ve ontoloji dahil edilerek zengin bir semantik gösterim elde edilmiştir. Semantik gösterimlerin tek başlarına ve birlikte kullanımları incelenmiştir. Son olarak DOK-ÜÇA ile üretilen sentetik örnekler, k-ortalamalar ve DBSCAN kümeleme yöntemleriyle en iyi sentetik örnekler seçildikten sonra model sınıflandırılmıştır. Önerilen modelin sınıflandırma performansını değerlendirmek için GSAÖ görevlerinde sıklıkla kullanılan CUB, FLO ve AWA2 kıyaslama veri setleri üzerinde deneyler yapılmıştır. Elde edilen deney sonuçları, GSAÖ son teknoloji yöntemleri ile karşılaştırılmış ve oldukça memnun edici performans göstermiştir. Ayrıca k-ortalamalar ve DBSCAN kümeleme algoritmaları kullanımı, tüm deneylerdeki performansı iyileştirmiştir. GSAÖ son teknoloji yöntemlerine göre önerilen model CUB veri setinde %2,13 ve FLO veri setinde %3,76'lik bir performans artışı göstererek en iyi sonuçları elde etmiştir.
Özet (Çeviri)
In this study, the Generalized Zero-Shot Learning (GZSL) method, which is used to recognize objects without sample images in the training dataset, is reviewed. GZSL methods have used auxiliary annotations to recognize previously unseen objects. These annotations are represented in a semantic space along with existing images. As a result, objects without image samples are classified based on their positions in the semantic space. Due to the lack of image samples for some objects and the use of only semantic attributes for annotations in GZSL tasks, a learning problem has emerged. Addressing this issue, models that generate synthetic image samples using deep generative networks to complete the missing data in the training dataset were explored. A model combining Variational Autoencoders (VAE) and Generative Adversarial Networks (GAN) was selected as the deep generative network model. Subsequently, a rich semantic representation was obtained by including semantic descriptions, and ontologies in the auxiliary annotations consisting of semantic attributes. The individual and combined use of semantic representations were examined. Finally, after selecting the best synthetic samples using the k-means and DBSCAN clustering methods on synthetic samples generated by VAE-GAN, the model was classified. Experiments were conducted on the CUB, FLO, and AWA2 benchmark datasets, which are frequently used in GZSL tasks, to evaluate the classification performance of the proposed model. The experimental results obtained were compared with state-of-the-art GZSL methods and showed quite satisfactory performance. Additionally, the use of k-means and DBSCAN clustering algorithms improved performance in all experiments. Compared to state-of-the-art GZSL methods, the proposed model achieved the best results with a performance increase of 2.13% on the CUB dataset and 3.76% on the FLO dataset.
Benzer Tezler
- Uzaktan algılama ve derin öğrenme yöntemleri ile İstanbul'un yerel iklim alanları ve yer yüzeyi sıcaklığı değişimleri arasındaki ilişkinin incelenmesi
Investigation of the relationship between local climate zones and land surface temperature changes in İstanbul using remote sensing and deep learning methods
MELİKE NİCANCI SİNANOĞLU
Yüksek Lisans
Türkçe
2024
Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ŞİNASİ KAYA
- Manipulation of visually recognized objects using deep learning
Görsel tanınan nesnelerin derin öğrenme kullanarak hareket ettirilmesi
ERTUĞRUL BAYRAKTAR
Doktora
İngilizce
2018
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR BOYRAZ
- Otonom mobil robotlarda görsel SLAM uygulamaları
Visual SLAM applications in autonomous mobile robots
MEHMET FATİH KOÇ
Yüksek Lisans
Türkçe
2024
Mekatronik MühendisliğiNecmettin Erbakan ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. BARIŞ GÖKÇE
- Deep learning-based techniques for 3D point cloud analysis
3B nokta bulutu analizi için derin öğrenme temelli teknikler
YUSUF HÜSEYİN ŞAHİN
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Semantic land cover and land use classification using deep convolutional neural networks
Derin evrişimsel sinir ağları ile arazi kullanımı ve arazi örtüsünün anlamsal sınıflandırılması
BERK GÜNEY
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL