Localized multiple kernel algorithms for machine learning
Yapay öğrenme için yerel çoklu çekirdek algoritmaları
- Tez No: 270509
- Danışmanlar: PROF. DR. ETHEM ALPAYDIN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2010
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 183
Özet
Son yıllarda yapay öğrenme için çeşitli çoklu çekirdek yöntemleri önerilmiştir. Değişik çekirdekler değişik benzerlik ölçütleri tanımlamaktadır, ve çoklu çekirdek öğrenimi farklı benzerlik ölçütlerini birleştirmek için kullanılabildiği gibi farklı veri gösterimleri üzerinde hesaplanan çekirdek fonksiyonlarını kullanarak farklı kaynaklardan gelen veya farklı özelliklerdeki verileri birleştirmek için de kullanılabilir. Bu tez, çoklu çekirdek öğrenimi için yeni yöntemler önermekte ve bu yöntemlerin kullanılabilirliğini standart karşılaştırma veri kümelerinin yanısıra görüntü tanıma ve biyoinformatik veri kümeleri üzerinde alınan deneysel sonuçlarla desteklemektedir.Bu tez, çoklu çekirdek öğreniminde düzenli sonuçlar elde etmek için, tepki yüzeyi yöntemini kullanarak, geçerleme verisi üzerinde en iyi düzen parametrelerinin seçimi için yeni bir çoklu çekirdek öğrenim yöntemi önermektedir. Düzen parametrelerinin eniyilenmesi elimizdeki sınıflandırma problemi için daha iyi karar fonksiyonları elde etmemizi sağlamaktadır. Sınıflandırma başarısına katkıda bulunmayan çekirdekler düzen parametrelerinin bu doğrultuda seçilmesiyle elenmekte ve daha iyi ayırtaçlar elde edilmektedir. Bazı çekirdelerin kullanılmaması veya daha az destek vektörü saklanması ile yeni örnekler için deneme zamanı azalmaktadır.Bu tez, aynı zamanda, çekirdek hesaplama ve veri toplama/işleme maliyetlerini dikkate alan maliyet-bilinçli bir çoklu çekirdek öğrenimi yöntemi önermektedir. Sonuçlar maliyet etkeninin modele eklenmesinin deneme aşamasında yalnız gerekli çekirdeklerin kullanılabilmesini ve bazı veri gösterimleri için maliyetli çekirdek hesaplamalarından ve veri üretim aşamasından kaçınılabilmesini sağladığını göstermektedir.Bu tezin ana katkısı, çekirdek-tabanlı bir öğrenme algoritması ve çekirdek fonksiyonlarına veriye bağlı ağırlıklar atayan bir geçit modelinden oluşan yerel çoklu çekirdek öğrenim yöntemi önermesidir. Öğrenme algoritmasını üç değişik geçit modeli için geliştirdik ve yerel çoklu çekirdek öğrenimini iki sınıflı sınıflandırma, regresyon, çok sınıflı sınıflandırma ve tek sınıflı sınıflandırma problemlerine uyguladık. Önerilen yöntem, değişik veri gösterimleri üzerinde tanımlanan sınıflandırma problemlerinde, bu veri gösterimleri üzerinde hesaplanan çekirdekleri yerel olarak birleştirerek daha iyi sınıflandırıcılar üretmektedir. Bilinen çoklu çekirdek öğrenim yöntemiyle karşılaştırıldığında, önerdiğimiz yöntem daha yüksek ortalama sınıflandırma başarısı elde etmekte ve daha az destek vektörü saklamaktadır. Beklendiği gibi, farklı veri gösterimlerinin birleştirilmesinin aynı veri gösteriminin birçok kopyasının birleştirilmesine göre daha üstün olduğunu gördük. Önerilen yöntem, görüntü tanıma problemlerinde geçit modeli ile görüntü parçaları üzerinde hesaplanan çekirdekler içinden seçim yaparak her bir örnek görüntünün belirgin parçalarını bulabilmektedir. Ayrıca, genel çekirdek ağırlıkları kullanan yöntemlerden farklı olarak aynı çekirdeğin birçok kopyasını birleştirebilmektedir. Gerekenden fazla çekirdek verildiği durumda bile, modelin gerektiği kadar destek vektörü kullandığını ve aşırı öğrenmediğini gösterdik.Yerel izdüşüm çekirdekleri öğrenen ve çekirdek-tabanlı öğrenme algoritmaları ile birleşik, gözetimli ve yerel bir boyut azaltma yöntemi önerdik. Bu yöntem, görselleştirme görevlerinde bir sınıfın çoklu biçimli yapısını, bu sınıfın örneklerini ayırtacın aynı tarafına koyarak ve aralarındaki ayrımı koruyarak sürdürebilmektedir. Sınıflandırma görevlerinde ayırtaç parametlerinin ve boyut azaltmada kullanılan yerel izdüşüm matrislerinin birlikte eniyilenmesiyle, diğer yöntemlere göre daha yüksek sınıflandırma başarısı elde edilmekte ve daha az destek vektörü saklanmaktadır.
Özet (Çeviri)
In recent years, several multiple kernel learning methods have been proposed in the machine learning literature. Different kernels correspond to different notions of similarity and multiple kernel learning can be used to combine them. It can also be used to integrate different inputs coming from different representations, possibly from different sources or modalities, by combining kernels calculated on these representations. This thesis contains a number of extensions to the original multiple kernel learning framework, together with experimental results that support their utility on benchmark data sets from the UCI Machine Learning Repository as well as several image image recognition and bioinformatics data sets.This thesis introduces a regularized multiple kernel learning framework and proposes to use the response surface methodology to search for the best regularization parameter set using validation data. Optimizing such regularization parameters allows us to obtain more robust decision functions for the classification task at hand. Kernels that do not help increase the classification accuracy are pruned by selecting their regularization parameters accordingly, obtaining smoother discriminants. Eliminating some of the kernels directly or decreasing the number of stored support vectors reduces the testing time for new instances.This thesis also proposes a cost-conscious strategy to include the cost of kernel computations and data acquisition/generation into the multiple kernel learning framework. The results show that incorporating a cost factor into the model enables us to use only the necessary kernels, avoiding costly kernel computations and input generation for some data representations in the testing phase, when possible.The main contribution of this thesis is formulation of a localized multiple kernel learning framework that is composed of a kernel-based learning algorithm and a gating model to assign data-dependent weights to kernel functions. We derive the learning algorithm for three different gating models and apply localized multiple kernel learning to binary classification, regression, multiclass classification, and one-class classification problems. For classification problems that use different feature representations, our proposed method is able to construct better classifiers by combining the kernels on these representations locally. This localized formulation achieves higher average test accuracies and stores fewer support vectors compared to the canonical multiple kernel combination with global weights. We also see that, as expected, combining heterogeneous feature representations is more advantageous than combining multiple copies of the same representation. For image recognition problems, our proposed method identifies the relevant parts of each input image separately by using the gating model as a saliency detector on the kernels calculated on the image patches. Different from the multiple kernel learning methods proper, our proposed method can combine multiple copies of the same kernel. We show that even if we provide more kernels than needed, our proposed approach uses only as many support vectors as required and does not overfit.We also introduce a supervised and localized dimensionality reduction method that trains local projection kernels coupled with a kernel-based learning algorithm. On visualization tasks, our proposed method is able to maintain the multimodality of a class by placing clusters of the same class on the same side of the hyperplane while preserving a separation between them. On classification tasks, it achieves better results than other methods by attaining both higher test accuracy and storing fewer support vectors due to the coupled optimization of the discriminant and the local projection matrices used in dimensionality reduction.
Benzer Tezler
- Efficient optimization algorithms for computational biology
Hesaplamalı biyolojide etkin eniyileme algoritmaları
OĞUZ CAN BİNATLI
Doktora
İngilizce
2024
Endüstri ve Endüstri MühendisliğiKoç ÜniversitesiEndüstri Mühendisliği ve Operasyon Yönetimi
PROF. DR. MEHMET GÖNEN
- Düşük çözünürlüklü yüz görüntülerinin yerel zernike momentleri yöntemi ile sınıflandırılması
Classification of the low resolution face images by local zernike moments method
TOLGA ALASAĞ
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUHİTTİN GÖKMEN
DOÇ. DR. MUSTAFA ERSEL KAMAŞAK
YRD. DOÇ. DR. SERAP KIRBIZ
- New clutter removal methods for through obstacle target detection
Engel arkası hedef tespitinde yeni kargaşa giderme yöntemleri
DENİZ KUMLU
Doktora
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. IŞIN ERER
- Estimation of partially observed multiple graph signals by learning spectrally concentrated graph kernels
Kısmen gözlenen çoklu graf sinyallerinin dar bantlı graf kernelleri öğrenilerek kestirimi
GÜLCE TURHAN
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ELİF VURAL
- Diş eti çekilmelerinin tedavisinde konsantre büyüme faktörü membranı ile subepitelyal bağ dokusu greftinin karşılaştırılması
Comparing with the use of concentrated growth factor membrane and subepithelial connective tissue grafts in treatment of gingival recession
SERAP KARAKIŞ
Doktora
Türkçe
2014
Diş HekimliğiGazi ÜniversitesiPeriodontoloji Ana Bilim Dalı
PROF. DR. FATMA BERRİN ÜNSAL