Learning filter scale and orientation in convolutional neural networks

Evrı̇şı̇msel sı̇nı̇r ağlarında fı̇ltre ölçeğı̇ ve oryantasyonunun öğrenı̇lmesı̇

PDF İndir

Tez No: 537803
Yazar: İLKER ÇAM
Danışmanlar: DR. ÖĞR. ÜYESİ FAİK BORAY TEK
Tez Türü: Yüksek Lisans
Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
Anahtar Kelimeler: Belirtilmemiş.
Yıl: 2019
Dil: İngilizce
Üniversite: Işık Üniversitesi
Enstitü: Fen Bilimleri Enstitüsü
Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
Bilim Dalı: Belirtilmemiş.
Sayfa Sayısı: 53

Özet

Evrişimsel sinir ağlarında filtre boyutu, sayısı ve ortaklama boyutu elle seçilmek- tedir. Derin katmanlı sinir ağları hiyerarşik çok ölçekli temsiller öğrenebilme- sine rağmen, sabit filtre boyutları farklı ölçekteki öğrenilebilecek filtre sayısını sınırlamaktadır. Aynı katmanda farklı ölçeklerde filtreleri eğitim aşamasında öğrenebilen bir mimari olabilir mi? Önerilen filtre modelimizde filtre ölçek ve oryantasyonları geriye yayılım ile öğre- nilebilir. Bu şekilde, aynı evrişimsel katmanda farklı ölçek ve oryantasonlarla büyük ve küçük objeleri tanımlayabiliriz. Önerilen model, nispeten büyük filtre (ızgara) boyutlarına sahiptir. Türevi olan bir çevreleyici fonksiyon ile filtrelerin efektif ölçeklerini ve oryantasyonlarını, evrişim işlemine girmeden, katsayı ma- trislerini maskeleyebiliriz. Bu sayede, sadece çevreleyici fonksiyon içerisindeki katsayılar eğitilecektir. Bu çalışmamızda, çok değişkenli (2 Boyutlu) Gaussian fonksiyonunu çevreleyici fonksiyon olarak kullandık. Kovaryans matrisinin geriye yayılım yöntemiyle eği- tilmesiyle, çevreyeliyici fonksiyonun büyüyüp, küçüldüğünü ve dönebildiğini gös- terdik. Çevreliyici fonksiyonun eğitilebildiğini ve katsayılarla işbirliğini, modelin en basit haliyle deneyimledik. Derin katmanlardaki performansını, derin ve geniş mimariler üzerinde çalıştırdık ve performansını izledik. Önerilen modeli, MNIST, MNIST-cluttered ve CIFAR-10 veri kümelerinde çaıştırdık ve geleneksel evrişim- sel sinir ağ mimarilerindeki çalışma performanslarıyla karşılaştırdık. Sonuçlar, önerdiğimiz modelin, farklı ölçek ve oryanyasyonlarda, aynı katmanda, filtreler öğrenebildiğini gösterdi. Ayrıca, deneylerimiz, adaptif evrişimsel katmanının aynı, özellikle veri kümesinde farklı ölçeklerde obje ve gürültülü arkaplan içeren veri kümelerinde daha iyi çalıştığını gösterdik

Özet (Çeviri)

Convolutional neural networks have many hyper-parameters such as filter size, number of filters, and pooling size, which require manual tuning. Though deep stacked structures are able to create multi-scale and hierarchical representations, manually fixed filter sizes limit the scale of representations that can be learned in a single convolutional layer. Can we adaptively learn to scale the filters on training time? Proposed adaptive filter model can learn the scale and orientation parameters of filters can be learned using back propagation. Therefore, in a single convolution layer, we can create filters of different scale and orientation that can adapt to small or large features and objects. The proposed model uses a relatively large base size (grid) for filters. In the grid, a differentiable function acts as an envelope for the filters. The envelope function guides effective filter scale and shape/orientation by masking the filter weights before the convolution. Therefore, only the weights in the envelope are updated during training. In this work, we employed a multivariate (2D) Gaussian as the envelope function and showed that it can grow, shrink, or rotate by updating its covariance matrix during back propagation training . We tested the model with its basic settings to show the collaboration of weight matrix and envelope function is possible. We used a deeper architecture to show the performance on deeper and wider networks. We tested the new filter model on MNIST, MNIST-cluttered, and CIFAR-10 and compared the results with the networks that used conventional convolution layers. The results demonstrate that the new model can effectively learn and produce filters of different scales and orientations in a single layer. Moreover, the experiments show that the adaptive convolution layers perform equally; or better, especially when data includes objects of varying scale and noisy backgrounds

Benzer Tezler

Tez No
397969
Face track retrieval and recognition across age
Yaşlar arası yüz iz çıkarımı ve tanıması
ESAM GHALEB
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol İstanbul Teknik Üniversitesi
Bilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAZIM KEMAL EKENEL
Tez No
412164
The effect of drama activities on affective filter in teaching English as a foreign language to young adult learners
Genç yetişkinlere İngilizce öğretiminde dramanın duyuşsal filtre üzerindeki etkisi
MÜGE KALIPCI
Yüksek Lisans
İngilizce
2015
Eğitim ve Öğretim Erciyes Üniversitesi
İngiliz Dili ve Edebiyatı Ana Bilim Dalı
YRD. DOÇ. DR. İ. BANU AKÇEŞME
Tez No
680376
Developing learning algorithms for enhancing industrial machine vision systems and improving task accuracy of robotic manipulators
Endüstriyel yapay görme sistemlerini iyileştirmek ve robotik manipülatörlerin görev doğruluğunu artırmak için öğrenme algoritmalarının geliştirilmesi
DIYAR KHALIS BILAL
Doktora
İngilizce
2021
Mekatronik Mühendisliği Sabancı Üniversitesi
Mekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ÜNEL
Tez No
39617
Uyarlamalı süzgeçler
Adaptive filters
RIDVAN AYSEL
Yüksek Lisans
Türkçe
1994
Elektrik ve Elektronik Mühendisliği İstanbul Teknik Üniversitesi
PROF.DR. AHMET H. KAYRAN
Tez No
691735
Derin obje sezicilerle tümleştirilmiş bayesçi filtreleme ile videoda obje izleme
Integration of bayesian filtering and deep object detection for video object tracking
FİLİZ GÜRKAN GÖLCÜK
Doktora
Türkçe
2021
Elektrik ve Elektronik Mühendisliği İstanbul Teknik Üniversitesi
Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU

Geri Dön