Geri Dön

Matrix factorization with stochastic gradient descent for recommender systems

Öneri sistemleri için olasılıksal eğim iniş ile matris çarpanlarına ayırma

  1. Tez No: 540065
  2. Yazar: ÖMER FARUK AKTULUM
  3. Danışmanlar: PROF. DR. CEVDET AYKANAT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 85

Özet

Matris çarpanlarına ayırma gerçek dünya verilerinin gizli özelliklerini ortaya çıkarmak için kullanılan verimli bir tekniktir. Bu teknik, metin madenciliği, görüntü analizi, sosyal ağlar ve son zamanlarda yaygın olarak öneri sistemleri gibi alanlarda uygulanmaktadır. Birbirini izleyen en küçük karaler (ALS), olasılıksal egim iniş (SGD) ve koordinat iniş (CD) genis matrisleri çarpanlarına ayırırken kullanılan yöntemler arasındadır. Bu üç yöntem arasında, SGD'ye dayalı çarpanlarına ayırma yöntemi, Netflix ve KDDCup yarısmalarından sonra en basarılı yöntem olarak ispatlanmıştır. Sonrasında, SGD'nin paralelleştirilmesi yaygınlasmış ve literatürde geniş bir biçimde çalışılmıştır. Biz paylaşımlı ve dağıtık bellek sistemleri için geliştirilmiş paralel SGD algoritmalarına odaklanıyoruz. Paylaşımlı bellek paralelleştirmeleri HogWild, FPSGD ve MLGF-MF gibi çalışmalar içerirken dağıtık bellek paralelleştirmeleri DSGD, GASGD ve NOMAD gibi çalısmalar içermektedir. Biz bu çalışmaların detaylı analizini içeren bir araştırma metni oluşturuyoruz, sonrasında ayrıntılı olarak DSGD'ye odaklanıp bu algoritmayı mesaj aktarma yaklaşımı ile uyguluyoruz ve performansını yakınsama ve hızlanma yönünden test ediyoruz. Mevcut çalışmaların aksine deneylerde kendi ürettiğimiz çok sayıda gerçek dünya veri kümeleri kullanıyoruz. DSGD'nin geniş ölçekli veri kümeleri için dirençli bir algoritma olduğunu ve hızlı yakınsama değerleri ile birlikte doğrusala yakın hızlanmayı başardığını gösteriyoruz.

Özet (Çeviri)

Matrix factorization is an efficient technique used for disclosing latent features of real-world data. It finds its application in areas such as text mining, image analysis, social network and more recently and popularly in recommendation systems. Alternating least squares (ALS), stochastic gradient descent (SGD) and coordinate descent (CD) are among the methods used commonly while factorizing large matrices. SGD-based factorization has proven to be the most successful among these methods after Netflix and KDDCup competitions where the winners' algorithms relied on methods based on SGD. Parallelization of SGD then became a hot topic and studied extensively in the literature in recent years. We focus on parallel SGD algorithms developed for shared memory and distributed memory systems. Shared memory parallelizations include works such as HogWild, FPSGD and MLGF-MF, and distributed memory parallelizations include works such as DSGD, GASGD and NOMAD. We design a survey that contains exhaustive analysis of these studies, and then particularly focus on DSGD by implementing it through message-passing paradigm and testing its performance in terms of convergence and speedup. In contrast to the existing works, many real-wold datasets are used in the experiments that we produce using published raw data. We show that DSGD is a robust algorithm for large-scale datasets and achieves near-linear speedup with fast convergence rates.

Benzer Tezler

  1. İşbirlikçi filtreleme yöntemlerinin geliştirilen bir uygulama ile karşılaştırılması

    Comparison of collaborative filtering methods with an application developed

    GİZEM ZEYNEP PARİM

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. NEVCİHAN DURU

  2. Fast high-dimensional temporal point processes with applications

    Hızlı yüksek boyutlu zamansal nokta süreçleri ve uygulamaları

    ALİ CANER TÜRKMEN

    Doktora

    İngilizce

    İngilizce

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ TAYLAN CEMGİL

  3. Naive Bayes prediction model on location-based recommendation by integrating multi-dimensional contextual information

    Başlık çevirisi yok

    GÜNAY GÜLTEKİN

    Doktora

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. OĞUZ BAYAT

  4. Urban transportation network design problem with sustainability considerations

    Başlık çevirisi yok

    NARGES SHAHRAKİ

    Doktora

    İngilizce

    İngilizce

    2015

    Endüstri ve Endüstri MühendisliğiKoç Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. METİN TÜRKAY

  5. Toplamsal gauss gürültülü görüntülerin kalman süzgeci ile onarımı

    Restoration of images degraded by additive gaussion noise by means of kalman filtering

    YAŞAR BECERİKLİ

    Yüksek Lisans

    Türkçe

    Türkçe

    1994

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Y.DOÇ.DR. M. ERTUĞRUL ÇELEBİ