Geri Dön

A novel approach to pyramid training and feature size reduction

Piramit eğitim ve özellik azaltımı için yenilikçi bir yöntem

PDF İndir

  1. Tez No: 902831
  2. Yazar: ŞAHIM GİRAY KIVANÇ
  3. Danışmanlar: PROF. DR. BAHA ŞEN
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 96

Özet

Bu çalışmada, en güncel stereo görüntü eşleme modellerinde yüksek GPU bellek gereksinimleri sorununu ele alınmıştır. Sınırlı hesaplama kaynakları göz önüne alındığında, makine öğrenimi modellerinin boyut gereksinimlerini azaltmak için Piramit Eğitim Yaklaşımı ve Benzerlik Karşılaştırması adı verilen yeni bir teknik önerilmiştir. Yöntemimiz, küçük sinir ağlarının bağımsız olarak eğitilmesini ve daha büyük ağlar oluşturmak üzere birleştirilmesini içerirmektedir. Bir bireysel ağın eğitimi tamamlandıktan sonra, yeni, daha büyük bir ağ oluşturmak için başka bir ağ ile birleştirilir ve bu yeni ağ daha sonra yeniden eğitilmektedir. Bu yinelemeli süreç, giderek daha büyük ağlar oluşturarak devam eder ve bu süreç sırasında, başlangıçtaki ağların ağırlıkları yeterli eğitim olgunluğuna ulaştığında dondurularak bellek tasarrufu sağlanır. Ayrıca, farklı ağların birleştirilmesi sırasında çıktı özellik haritalarındaki özellikler arasında benzerlik karşılaştırması yaparak, benzerlik matrisi kullanarak gereksiz özellikleri tanımlanır ve birleştirilmektedir. Bu yaklaşım, özellik haritalarının boyutunu etkili bir şekilde azaltarak genel bellek kullanımını düşürmektedir. Deneysel sonuçlarımız, bu yöntemin GPU bellek gereksinimlerini önemli ölçüde azaltırken farklı alanlarda rekabetçi performansı koruduğunu göstermektedir. Bu teknik, sınırlı donanım kaynakları üzerinde büyük ölçekli modellerin dağıtılması için uygun bir çözüm sunarak daha geniş erişilebilirlik ve uygulama kolaylığı sağlamaktadır.

Özet (Çeviri)

In this study, we address the challenge of high GPU memory requirements in state-of-the-art stereo image matching models. Given limited computational resources, we propose a novel technique called Pyramid Training Approach with Similarity Comparison to reduce the size requirements of machine learning models. Our method involves training small neural networks independently and subsequently combining them into larger networks. Once the training of an individual network is completed, it is combined with another network to form a new, larger network, which is then further trained. This iterative process continues, progressively building larger networks. During this process, the weights of the initial networks can be frozen once they reach sufficient training maturity, thereby conserving memory. Additionally, we employ a similarity comparison between features in the output feature maps during the combination of different networks to identify and merge redundant features using a similarity matrix. This approach effectively reduces the size of the feature maps, thus lowering the overall memory footprint. Our experimental results demonstrate that this method significantly reduces the GPU memory requirements while maintaining competitive performance in different domains. This technique offers a viable solution for deploying large-scale models on limited hardware resources, facilitating broader accessibility and application.

Benzer Tezler

  1. Tez No

    851216

    İnsansız Hava Araçlarının Otokodlayıcı Derin Sinir Ağı Kullanılarak Arazi Temelli Navigasyon ile Konum Tespiti

    Location Detection of Unmanned Aerial Vehicles with Terrain-Based Navigation Using Autoencoder Deep Neural Network

    AHMET ERTUĞRUL ARIK

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇukurova Üniversitesi

    Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Ana Bilim Dalı

    DOÇ. DR. NURİ EMRAHOĞLU

  2. Tez No

    783439

    Pansharpening using generative adversarial networks with dual discriminators

    Çift ayrıştırıcılı çekişmeli üretken ağlar kullanarak pankeskinleştirme

    NAHİDE NESLİ CESUR

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. IŞIN ERER

  3. Tez No

    828939

    Breast sentinel lymph node cancer detection from mammography images based on quantum wavelet transform and atrous pyramid convolutional neural network

    Başlık çevirisi yok

    MOHAMMED NAYYEF QASIM

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. OĞUZ BAYAT

  4. Tez No

    384976

    Occlusion aware stereo matching with O(1) complexity

    Örtmeleri gözeterek O(1) karmaşıklıkta stereo eşleme

    YETİ ZİYA GÜRBÜZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ABDULLAH AYDIN ALATAN

  5. Tez No

    463635

    Surface preparation passivation and patterning techniques used in silicon based heterojunction solar cells

    Silisyum tabanlı hetero-eklem güneş gözelerinde kullanılan yüzey hazırlama, pasivasyon ve patern oluşturma teknikleri

    ERGİ DÖNERÇARK

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Fizik ve Fizik MühendisliğiOrta Doğu Teknik Üniversitesi

    Fizik Ana Bilim Dalı

    PROF. DR. RAŞİT TURAN

Geri Dön