Building a hybrid recommender system using Apache Spark
Apache Spark kullanarak hibrit bir öneri sistemi oluşturulması
- Tez No: 591151
- Danışmanlar: DR. ÖĞR. ÜYESİ SERKAN AYVAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Özellikle milenyumdan sonra dijital ticaretin hızla yaygınlaşması, insanların kullanımı için sağlanan ürünlerin çeşitliliğini ve miktarını katlanarak arttırmıştır. Kişiselleştirilmiş öneri listeleri; insanlara ilgi alanlarına göre sunulacak seçenekleri en uygun şekilde daraltarak sunmaya yardımcı oldukları için, insanların son kararı vermedeki işlerini kolaylaştırmaktadır. Bu projede hibrit yöntem kullanılarak bir öneri sistemi oluşturulmaya çalışılmıştır. Hibritleştirmek için kullanılan iki temel yöntem Değişken En Küçük Kareler yöntemi ile Negatif Benzerlikli İşbirlikçi Filtreleme yöntemidir. Değişken En Küçük Kareler algoritması, paralel bir şekilde çalışan bir matris çarpanlara ayırma algoritmasıdır ve büyük ölçekli veri kümelerini işlemede iyi performans göstermektedir. Negatif Benzerlikli İşbirlikçi Filtreleme tekniği, zıt kutuplar olarak tabir edilen insanların zevklerindeki farklılıkları kullanmaya çalışmaktadır. Bu teknikteki temel mantık, zıt kutuplardaki iki insandan birisinin sevmediği bir şeyi diğerinin seveceği düşüncesidir. Projede hibritleme yöntemi olarak kademeli hibritleme yöntemi kullanılmıştır. Bu tez çalışmasında; öneri sistemleri çalışmalarında oldukça bilinen ve yaygın bir şekilde kullanılan MovieLens veri seti kullanılmıştır. Kademeli hibritleme yönteminde kullanılan algoritmaların birincisinin sonuçları, ikinci algoritmada da faydalanılarak en uygun sonuç elde edilmeye çalışılmıştır. Bu projede; yaygın ve popüler bir şekilde büyük veri işleme sistemi olarak kullanılmakta olan Apache Spark altyapısı kullanılmıştır. Apache Spark, yinelemeli algoritmaların verimli bir şekilde işlemden geçmesini sağlar ve Map-Reduce tekniğine kıyasla en az işlem süresi gerektirmektedir. Apache Spark kullanımının, yineleyen algoritmaların işlenmesinde hızlı bir şekilde çalıştığı gözlemlenmiştir.
Özet (Çeviri)
The rapid advance of digital business after the millennium has exponentially boosted the options of available items to the users. Customized lists of recommendations assist people by limiting the number of options to a very few items that are related to the specific user and thus supporting them to have the final decision with ease. The project intends to create a recommender system using a hybrid method. The two main algorithms used in the hybrid method are Alternating Least Squares and Negative Similarity Collaborative Filtering. Alternating Least Squares is a type of algorithm for matrix factorization, which can be parallelized during runtime. It performs relatively well when processing large scale datasets. Negative Similarity Collaborative Filtering, NSCF, technique tries to exploit the tastes of people at the opposite poles. The basic logic in this technique is the idea that one of the two people on opposite poles will love something that the other does not. The cascade hybridization method was used in the project to hybridize the algorithms and to create a better recommendation. In the study, experiments were performed in a cascading way on the algorithms that are using MovieLens dataset, a well-known and widely used dataset in recommender system researches. One of the well-known big data processing framework, Apache Spark, was used in the study. It provides the benefit of processing iterative algorithms in an efficient way and requires minimal processing time in comparison to map-reduce technique. It was observed that the usage of Apache Spark provided a faster way to perform iterative algorithms.
Benzer Tezler
- Forecasting solar irradiance using deep learning and big data analytics techniques in Sakarya and Damascus
Sakarya ve Şam'da derin öğrenme ve büyük veri analitiği teknikleri kullanılarak güneş ışınımının tahmini
MARYA ALHAJMOHAMMADOTHMAN
Yüksek Lisans
İngilizce
2026
Sakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Uydu bazlı jeodezik ve jeodinamik veri analiz ve yönetim sistemi tasarımı ve uygulaması
Design and implementation of a satellite-based geodetic and geodynamic data analysis and management system
DENİZ BAŞAR
- İmalat stratejileri ve imalat teknolojisi seçiminde uzman sistem yaklaşımı
Manufacturing strategies and an expert system approach to selecting manufacturing technology
İBRAHİM ÇİL
- Eğitim yapılarında iç mekân hava kalitesinin değerlendirilmesi: GTÜ mimarlık bölümü n blok binası
Assessment of indoor air quality in educational buildings: GTU department of architecture, n-block building
RANA KİBAROĞLU KANTARCI
- Bir otomotiv fabrikasında baca gazı arıtım ekipmanının crıtıc ve multımoora metodları ile belirlenmesi
Selection of flue gas treatment equipment in an automotive factory using the critic and multimoora methods
SERKAN ERDOĞAN
