Geri Dön

CNN mimarilerini kullanarak kendi kendine öğrenen sözde etiketleme algoritması için yeni bir kolektif yaklaşım

A new ensemble approach for self-learning pseudo-labelingalgorithm with using CNN architectures

PDF İndir

  1. Tez No: 973168
  2. Yazar: MEHMET AKDİŞ
  3. Danışmanlar: PROF. DR. BANU DİRİ, DR. ÖĞR. ÜYESİ AHMET ELBİR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Engineering Sciences
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Yıldız Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Yarı gözetimli öğrenme, hem etiketli hem de etiketsiz örneklemleri bir arada kullanarak gözetimli ve gözetimsiz öğrenme yöntemlerini birleştiren bir yaklaşımdır. Bu yaklaşımın temel amacı, etiketsiz örneklemlerden bilgi çıkartarak makine öğrenmesi yönteminin (modelin) tahmin performansını arttırmaktır. Bu kapsamda geliştirilen algoritmalar arasında, yaygın olarak kullanılan yöntemlerden biri de kendi kendine öğrenme (self-learning) algoritmasıdır. Kendi kendine öğrenme algoritması, modelin etiketli örneklemler ile eğitilmesiyle başlar. Eğitim süreci tamamlanan modelin, etiketsiz örneklemler üzerindeki tahmin olasılıkları hesaplanır. Elde edilen bu olasılıklar önceden tanımlanmış olan bir eşik değeri ile kıyaslanır. Eşik değerinden daha yüksek olasılığa sahip örneklemlerin sözde etiketleri (pseudo-labels) üretilir. Sözde etiketleri üretilen bu örneklemler, etiketsiz örneklemler arasından çıkartılarak etiketli örneklemler arasına eklenir. Bir sonraki iterasyonda model, güncellenmiş etiketli örneklemlerle en baştan eğitilir. Bu süreç, etiketsiz örneklem kalmayana kadar iteratif bir şekilde tekrarlanır. Önerilen yöntemde ise kendi kendine öğrenme algoritmasına kolektiflik kazandırılmıştır. Bu kapsamda, sözde etiket üretiminde sadece anlık modelin tahminlerini kullanmak yerine geçmiş iterasyonlardaki modellerin oluşturduğu kolektif tahminde kullanılmıştır. Bu kolektif yaklaşım, Momentumlu Stokastik Gradyan İnişi (SGDM) algoritmasındaki geçmiş gradyanların oluşturduğu hız (velocity) vektöründen esinlenerek kurulmuştur. Her iterasyon sonunda eğitilen modelin etiketsiz veri üzerindeki olasılık tahminleri depolanır. Belli bir iterasyon anı için hem anlık iterasyondaki modelin olasılık tahminleri hem de depolanmış olasılık tahminlerinin birlikte oluşturduğu kolektif sonuç birleştirilir. Depolanmış olasılıkların kolektif sonucu bulunurken her bir modelin tahmin olasılıkları, doğrulama örneklemleri üzerindeki doğruluk değeri ile ağırlıklandırılmıştır. Böylece daha başarılı tahminlerin etkisi arttırılmışken, başarısız olan tahminlerin etkisi azaltılmıştır. Birleştirme aşamasında ise anlık modelin olasılık tahminleri (1-0,1), (1-0,2), ..., (1-0,9) ile geçmiş modellerin oluşturduğu kolektif sonuç 0,1, 0,2, ..., 0,9 tam sayıları ile ağırlıklandırılmıştır. Ayrıca adaptif bir şekilde de ağırlıklandırma da yapılmıştır. Birleştirme sonrası elde edilen nihai olasılıklar ise sözde etiket üretiminde kullanılmıştır. Böylelikle sözde etiketlerin üretiminde hem anlık model hem de geçmiş iterasyonlardaki modeller kullanılmış olur. Önerilen bu algoritma, iki aşamadan meydana gelen kolektif yaklaşımıyla, kendi kendine öğrenen algoritmasına yenilik katmıştır. Önerilen bu yaklaşım, EfficientNetB0, DenseNet121 ve ResNet34 mimarileri ile CIFAR-10, Intel Image Classification ve Gtzan veri kümelerinde test edilmiştir. En başarılı sonuçlar, adaptif ağırlıklandırma ile alınmıştır. Etiketsiz örneklemlerin tamamının etiketlendiği deneysel bulgulara göre önerilen yöntem, aynı süre içinde, kullanılan mimari ve veri setine bağlı olarak ortalama %5,35-%14,82 daha yüksek doğruluğa sahip olmuştur. Bütün süreç içerisindeki en iyi iterasyon anındaki doğruluk değerlerinde ise önerilen yöntem, kullanılan mimari ve veri setine bağlı olarak ortalama %3,58-%8,81 daha yüksek doğruluk vermiştir.

Özet (Çeviri)

Semi-supervised learning is an approach that combines supervised and unsupervised learning methods by utilizing both labeled and unlabeled samples together. The primary objective of this approach is to enhance the predictive performance of the machine learning method (model) by extracting information from unlabeled samples. Among the widely used algorithms developed within semi-supervised learning framework, one of the most common is the self-learning algorithm. The self-learning algorithm begins by training the model with labeled samples. Once the training process is completed, the model calculates probability estimates for the unlabeled samples. These estimated probabilities are then compared to a predefined threshold value. Samples with probability values exceeding the threshold are assigned pseudo-labels. The samples, which were labeled, are removed from the set of unlabeled samples and added to the labeled samples. In the next iteration, the model is retrained from scratch using the updated set of labeled samples. This iterative process continues until no unlabeled samples remain. In the proposed method, the self-learning algorithm has been enhanced by incorporating a ensemble learning approach. Instead of relying solely on the current model's predictions for pseudo-label generation, the method also integrates ensemble predictions from models trained in previous iterations. This ensemble approach was inspired by the velocity vector formed by past gradients in the Stochastic Gradient Descent with Momentum (SGDM) algorithm. At the end of each iteration, the probability predictions of the trained model on the unlabeled data are stored. For a particular iteration moment, the final result is obtained by combining both the probability estimates from the current model and the ensemble result, which were obtained by using stored probability estimates from previous iterations. When computing the ensemble result from stored probabilities, each model's predictions are weighted according to their accuracy value in the validation dataset. Consequently, the influence of more accurate predictions is increased, while that of less accurate predictions is reduced. During the combing phase, the probability estimates of the current model are weighted using values (1-0.1), (1-0.2), ..., (1-0.9), whereas the ensemble result from past models are weighted using values 0.1, 0.2, ..., 0.9. Additionally, an adaptive weighting strategy has been applied. The final probabilities obtained after the combining process are then used for pseudo-label generation. As a result, both the current model and past iterations' models contribute to the pseudo-labeling process. This proposed method introduces an innovation to the self-learning algorithm through a two-stage collective learning approach. The method has been tested with the EfficientNetB0, DenseNet121, and ResNet34 architectures on the CIFAR-10, Intel Image Classification, and GTZAN datasets. The best results were obtained using adaptive weighting. According to experimental findings where all unlabeled samples were labeled, the proposed method achieved an average accuracy improvement of 5.35%–14.82% within the same time frame, depending on the architecture and dataset used. Regarding the highest accuracy observed at the best iteration throughout the process, the proposed method demonstrated an average accuracy improvement of 3.58%–8.81%, depending on the architecture and dataset.

Benzer Tezler

  1. Tez No

    940583

    Improving lane detection and steering control in self-driving vehicles through machine learning

    Makine öğrenimi aracılığıyla kendi kendine sürüşlü araçlarda şerit tespiti ve direksiyon kontrolünün geliştirilmesi

    NAMARIQ MOHAMMED SWADI ALJAAFARI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AYCA KURNAZ TURKBEN

  2. Tez No

    558788

    Car damage analysis for insurance market using convolutional neural networks

    Sigorta sektörü için evrişimsel sinir ağları kullanarak araç hasarı analizi

    CİHAT TOLGA ARTAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TOLGA KAYA

  3. Tez No

    753785

    Monocular depth estimation and object detection using depth-wise convolution

    Derinlik bilgesel dönüşüm kullanarak monoküler derinlik tahmini ve nesne tespiti

    MASUM SHAH JUNAYED

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MD BAHARUL ISLAM

  4. Tez No

    559964

    Sample-efficient deep learning methods for autonomous systems

    Otonom sistemler için verimli örneklemeli derin öğrenme yöntemleri

    YUNUS BİÇER

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Havacılık ve Uzay Mühendisliğiİstanbul Teknik Üniversitesi

    Uçak ve Uzay Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE

  5. Tez No

    998192

    A new monocular depth estimation model using hybrid architecture

    Hibrit mimari kullanarak yeni bir monoküler derinlik tahmini modeli

    HAMİDULLAH TÜRKMEN

    Doktora

    İngilizce

    İngilizce

    2026

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. DEVRİM AKGÜN

Geri Dön