Hierarchical deep bidirectional self-attention model for recommendation
Hiyerarşik çift yönlü öz dikkat tabanlı derin öğrenme tavsiye modeli
- Tez No: 837076
- Danışmanlar: PROF. DR. ŞULE GÜNDÜZ ÖĞÜDÜCÜ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 100
Özet
Tavsiye Sistemleri, kullanıcıların büyük olasılıkla ilgilenecekleri öğeleri bulmak için geçmiş davranışlarından yararlanır. Literatürde Tavsiye Sistemleri hakkında birçok çalışma yer almaktadır. Başarılı Tavsiye Sistemleri şirket kazançlarını önemli ölçüde artırdığı için bu konu akademide oldukça popülerdir. Ayrıca doğru öneriler, web sitelerinin olmazsa olmazı olan kullanıcı memnuniyeti ve etkileşimini sağlar. Google, Google Play'deki uygulama yüklemelerinin %40'ının ve YouTube'daki izlenme süresinin %60'ının tavsiye sistemlerinden geldiğini belirtmektedir [23]. Tavsiye sistemlerinin bir diğer faydası, kullanıcıların zaman kaybetmeden yeni içerikleri keşfetmelerini sağlamalarıdır. Örneğin, Spotify, kullanıcılara müzik tercihlerine göre düzenli olarak yeni şarkılar önerir. Derin öğrenme çağından önce tavsiye sistemleri üzerine yapılan çalışmalar üç ana gruba ayrılmaktaydı: İşbirlikçi Filtreleme, İçerik Tabanlı ve Hibrit Öneri Sistemleri [1]. İşbirlikçi Filtreleme, ürün içeriğini dikkate almadan yeni öğeler önermek için kullanıcı-ürün etkileşim geçmişini kullanmaktadır. İçerik Tabanlı Modellerde öğeler, özellikleri ile temsil edilir ve amaç, kullanıcının özellik tercihlerine göre kullanıcıya bir öğe önermektir. Bununla birlikte, İşbirlikçi Filtreleme ve İçerik Tabanlı modellerin belli kısıtları bulunmaktadır, bu nedenle Hibrit modeller, daha sağlam ve etkili tavsiye sistemleri oluşturmak için bu yaklaşımları birleştirmektedir. Derin Öğrenme çağı ile birlikte tavsiye problemleri için derin öğrenme modellerini kullanan birçok çalışma önerilmiştir. Öneri sistemlerinde derin öğrenme yöntemlerini kullanmanın temel motivasyonu, geleneksel öneri modellerinin sınırlamalarına çözüm bulmaktır. Örneğin, Geniş ve Derin Ağlar (Wide&Deep Networks) derin öğrenme temelli doğru bir modeli temsil etmektedir [2]. Bu yaklaşım iki farklı modeli birleştirir: gömülü ürün özelliklerini genelleme için kullanan derin sinir ağı ve bellek için ürün özelliklerinin çarpımına dayanan lineer model. Sıralı kullanıcı davranışlarını modellemek için, araştırmacılar Tekrarlayan Sinir Ağı (Recurrent Neural Network) temelli tavsiye sistemleri önermiştir [3]–[6]. Bazı çalışmalar, derin öğrenme tabanlı modellerin doğruluğunu artırmak için öğenin fotoğrafları [7]–[9] veya kullanıcı yorumları gibi ek bilgileri kullanmaktadır [10]–[13]. Derin İşbirliği Filtresi (Deep Collaborative Filtering) [14]–[17] ve Otomatik Kodlayıcılar (Autoencoders) [18]–[22] tavsiye başarısını artıran diğer popüler derin öğrenme temelli yaklaşımlardır. Öneri sistemleri konusunda yapılan geniş kapsamlı araştırmalara rağmen, halen çözülmeyi bekleyen bazı zorluklar mevcuttur. Bu tez, daha doğru, daha bağlamsal farkındalığa sahip, gerçek dünya koşullarına uygun ve kullanıcıların soğuk başlangıç problemine karşı daha sağlam bir hiyerarşik öneri sistemi önererek bu zorlukları çözmeyi hedeflemektedir. Bu tezde, özellikle e-ticaret endüstrisi için özelleştirilmiş bir hiyerarşik öneri sistemi önerilmektedir. Çift yönlü kodlayıcı temsillerini kullanarak, öneri sisteminin ilk katmanında uygulanan yaklaşım, kullanıcının alışveriş geçmişindeki ürünleri etkili bir şekilde kodlamakta ve bu kodlama ürünlerin içerikleri hakkında bilgi içermektedir. Ek olarak, yaklaşımın ikinci katmanındaki kullanıcı alışveriş geçmişi zenginleştirme modeli, sadece birkaç ürün satın alanlar gibi sınırlı etkileşimleri olan tüm kullanıcılar da dahil olmak üzere daha dog ̆ru ürün önerileri yapılmasını sağlamaktadır. Ürünlerin içerik bilgilerini de içeren bağlam duyarlı öneriler sağlamak için, ürünleri birer ayırt edici numara yerine ürün gömme vektörlerini kullanarak temsil eden bir öneri sistemi geliştirilmiştir. Öneri sistemimizin ilk seviyesinde, her ürünün başlığından, açıklamasından ve yorumlarından vektörler oluşturmak için son teknoloji dog ̆al dil işleme (NLP) tekniklerinden faydalanılmıştır. Bu yaklaşım, ürünün özelliklerini ve önceki satın alanların yorumlarını da içeren metinsel bilgiden faydalanmamızı sağlamıştır. Bu metinsel bilgiyi öneri sistemimize dahil ederek, sistemin doğruluğu artırılmakta ve kullanıcının ihtiyaç ve tercihlerine daha uygun öneriler sunulabilmektedir. Bu yaklaşım, ürünün sadece bir ayırt edici numara ile ifade edildiği diğer öneri sistemlerinden farklılaşmakta ve bağlamsal bilgiyi de içermektedir. Öneri sistemleri genellikle soğuk başlatma problemiyle karşılaşmaktadır. Soğuk başlatma probleminin ürün soğuk başlatma problemi veya kullanıcı soğuk başlatma problemi olmak üzere iki ayrı çeşidi bulunmaktadır. Ürün soğuk başlatma problemi, yeni bir ürünün sisteme dahil olması ve önerilecek yeterli kullanıcı etkileşimine sahip olmaması durumunda ortaya çıkar. Kullanıcı soğuk başlatma problemi, yeni bir kullanıcının sisteme dahil olması ve öneri sisteminin kullanıcının tercihleri hakkında hiçbir bilgiye sahip olmamasıyla ortaya çıkar. Her bir problemi ele almak için yeni yaklaşımlar geliştirilmelidir. Bu çalışma, kullanıcı soğuk başlatma problemini çözebilmek için çift yönlü bir öneri modeli önermektedir. Kullanıcı ürün etkileşimleri yetersiz olduğunda, ortadaki bir ürünü tahmin ederek ve bu yolla kullanıcının alışveriş geçmişini zenginleştirerek yeterli etkileşim sayısına ulaşılabilmektedir. Bu işlemi tekrarlayarak, sınırlı veri ile bile doğru ürün önerileri yapabilmek için yeterli uzunlukta bir alışveriş geçmişi elde edilebilmektedir. Örneğin, bir kullanıcı bir e-ticaret sitesinden birkaç ürün satın almış ancak başka bir e-ticaret sitesinden de başka ürünler satın almış olabilir, bu da kullanıcının gerçekteki alışveriş geçmişinin yalnızca bir kısmını bilebildiğimiz anlamına gelmektedir. Önerilen çift yönlü öneri modeli, kullanıcının elimizdeki alışveriş geçmişindeki çeşitli aralıkları doldurarak, sınırlı veri ile bile doğru ürün önerileri yapılmasını mümkün kılmaktadır. Bu tezde, bugünün e-ticaret kullanıcılarının çevrimiçi satın alma deneyimini taklit eden bir öneri sistemi geliştirmek amaçlanmıştır. Önerilen yaklaşımda, gerçek dünyadaki e-ticaret platformlarına kolayca uygulanabilen bir sistem oluşturmak hedeflenmiştir. Bunu yaparken, bu tür platformlarda bulunan çok sayıda kullanıcı ve ürünleri kolaylıkla işleyebilen ve yüksek performans sağlayabilen bir yaklaşım geliştirmeye odaklanılmıştır. Böylelikle, gerçek dünya senaryolarına etkili bir şekilde uygulanabilecek bir öneri sistemi oluşturulmuştur. Gelecekteki çalışmalarda, bu tezde önerilen yaklaşımların her iki katmanında da farklı kombinasyonlarının kullanılarak denenmesi faydalı olacaktır. Ayrıca, ilk katman için önerilen yaklaşımların veya kullanıcının alışveriş geçmişini zenginleştirme yaklaşımının farklı öneri sistemleri üzerindeki etkisinin incelenmesi yararlı olacaktır. Son olarak, önerilen hiyerarşik öneri sisteminin farklı alan veya kategorilerde yapılacak önerilerde kullanılabilirliğinin üzerine çalışılmasının önemli bir gelişme sağlayacağı düşünülmektedir. Derin Öğrenme çağı ile birlikte tavsiye problemleri için derin öğrenme modellerini kullanan birçok çalışma önerilmiştir. Öneri modellerinde derin öğrenme yöntemlerinin kullanılmasının nedeni, geleneksel öneri modellerinin ortaya çıkardığı sorunların üstesinden gelmektir. Örneğin, Geniş ve Derin Ağlar, derin öğrenmeye dayalı bir tür modeldir[2]. Bu çalışma, genelleme için gömülü öğe özellikleri üzerindeki derin sinir ağı ve ezberleme için öğe özelliklerinin çapraz çarpımı üzerindeki doğrusal model olmak üzere iki farklı modeli birleştirir. Sıralı kullanıcı davranışını modellemek için, Tekrarlayan Sinir Ağı tabanlı öneri sistemleri [3]–[6] önerilmiştir. Bazı araştırmalar, önerilerin doğruluğunu artırmak için derin öğrenmeye dayalı modellerde [7]–[9] öğesinin resmi veya [10]–[13] kullanıcılarının yorumları gibi yardımcı bilgiler kullanır. Derin İşbirliğine Dayalı Filtreleme [14]–[17], Otomatik Kodlayıcılar [18]–[22], öneri başarısını artıran diğer popüler derin öğrenmeye dayalı yaklaşımlardır. Öneri problemi uzun yıllardır çalışılmasına rağmen hala çözülmesi gereken bazı problemler bulunmaktadır. Bu tezde, öneri sistemlerinin bilinen şu sorunlarını çözmeyi amaçlayan hiyerarşik bir öneri sistemi önerilmektedir: yanıt verebilirlik, yeni kullanıcılar için soğuk başlangıç ve açıklanabilirlik. Çoğu geleneksel öneri sisteminin, kullanıcıların gelişen davranışlarına daha fazla dikkat etmesi gerekmektedir. İdeal bir öneri sistemi, kullanıcıların ilgi alanlarını değiştirmesini de dikkate almalı ve uzun zaman önce yapılan tercihlere dayalı bir öğe önermek yerine, son tercihlere daha fazla önem vermelidir. Bu nedenle, öneri sistemleri hakkında olası bir araştırma yönü, kullanıcıların geçmiş davranışlarına ardışık bir süreç olarak yaklaşmak ve değişen ilgi alanlarına ayak uyduran bir öneri modeli önermek olabilir. Bu tezde, kullanıcıların sıralı davranışlarını modellemek için hiyerarşik derin çift yönlü öz-dikkat ağlarını kullanan bir öneri sistemi önerilmektedir. Bu sıralı modelleme yaklaşımı, kullanıcıların değişen davranışlarına duyarlı önerilerde bulunmayı mümkün kılmaktadır. Tavsiye sistemlerinin bir başka sorunu da soğuk başlangıçtır. Öğe soğuk başlatma sorunu ve kullanıcı soğuk başlatma sorunu olmak üzere iki farklı tipte soğuk başlatma sorunu vardır. Öğe soğuk başlatma sorunu, sisteme yakın zamanda yeni bir öğe eklendiğinde ortaya çıkmaktadır. Bu yeni öğeyi içeren daha fazla geçmiş kullanıcı-öğe etkileşimi olması gerekir ve bu durumun bir sonucu olarak, bu öğe kullanıcılara bir süreliğine önerilemez. Sisteme yeni bir kullanıcı katıldığında ise kullanıcı soğuk başlatma sorunu ortaya çıkar. Yeni kullanıcının tercihleri bilinmediği için öneri sistemi kullanıcının önceki davranışına göre herhangi bir öğe öneremez. Benzersiz çözümler makul bir şekilde geliştirilmeli ve bu sorunu çözmek için öneri modeline uyarlanmalıdır. Bu tezde, kullanıcının soğuk başlatma problemini yeni bir çift yönlü öneri modeli ile çözmeyi amaçlıyoruz. Sisteme yeni bir kullanıcı katıldığında ve yalnızca iki kullanıcı-öğe etkileşimi olduğunda, ortadaki öğeyi tahmin edebilir ve bu kullanıcının kullanıcı-öğesi etkileşim kümesini zenginleştirebilir. Bu işlem yinelemeli olarak tekrarlandığında ise, kullanıcı için gerekli sayıda etkileşime sahip olmak mümkündür. Önerilen model sayesinde, yalnızca iki etkileşime dayalı olarak bu kullanıcı için öğeleri doğru bir şekilde önermek mümkündür. Bu duruma gerçek dünyadan bir örnek olarak, bir kullanıcının bir e-ticaret sitesinden iki ürün satın alması, ancak bu iki ürün arasında başka web sitelerinden başka ürünler alması verilebilir. Çoğu kullanıcı web'de bir ürün arar ve fiyatı daha düşük olan web sitesini seçer. Bu durum bir e-ticaret sitesinin kullanıcı hakkında sadece kısmi bilgiye sahip olmasına neden olmakta ve önerilen çift yönlü öneri modeli sayesinde kullanıcının etkileşim geçmişi arasındaki boşluklar doldurulabilmektedir. Açıklanabilirlik, öneri sistemlerinin popüler sorunlarından bir diğeridir. Bir modelin iyi sonuç vermesi kadar, açıklanabilir olması da beklenmektedir. Özellikle bazı durumlarda, en iyi kara kutu modeline sahip olmaktansa açıklanabilir bir modele sahip olmak tercih edilebilir. Açıklanabilir modeller sayesinde, kullanıcılar bu ürünün neden önerildiği konusunda bilgilendirilebilir. Bir öğenin kullanıcıya neden önerildiğini açıklamak, sisteme olan güven düzeyini artırır. Bu çalışmada, önerileri açıklamak için hiyerarşik kişisel dikkat ağı ağırlıklarını kullanan bir yöntem önerilmektedir. Özetle, bu tezde iki seviyeli hiyerarşik iki yönlü öz-dikkat modelinde oluşan bir öneri sistemi önerilmektedir. Modelin ilk katmanı, öğenin açıklamasını kullanarak bir öğeyi temsil etmek için sabit uzunlukta bir gömme oluşturur. Öğeleri açıklamalarla temsil etmek, öğe özellikleri ile kullanıcı davranışı arasındaki ilişkiyi modellemeyi amaçlar. İkinci katmanda ise kullanıcıya, öğe etkileşim geçmişine dayalı olarak bir öğe önerilmektedir.
Özet (Çeviri)
Using users' past behavior through Recommendation Systems leads to the discovery of new items they are likely to purchase. Furthermore, providing accurate recommendations increases user satisfaction and engagement. Such systems have a significant impact on a company's profits. According to Google, 40% of Google Play app installations and 60% of watch time on YouTube are a direct result of the recommendation systems in place [1]. Another benefit of recommendation systems is that recommendation systems offer a valuable opportunity for users to explore new content without wasting time. One example is Spotify, which regularly suggests new songs to users based on their music preferences. Before the advent of deep learning, research on recommendation systems was categorized into three main groups: Collaborative Filtering, Content-Based, and Hybrid Recommendation Systems [1]. Collaborative Filtering utilizes user-item interaction history to suggest new items without considering the content of the item. In Content-Based Models, items are represented by their features, and the goal is to recommend an item to the user based on their feature preferences. However, Collaborative Filtering and Content-Based models have certain limitations, which is why Hybrid models combine these approaches to create more robust and effective recommendation systems. The Deep Learning era has seen an influx of research proposing deep learning models for recommendation problems. The primary motivation for using deep learning methods in recommendation systems is to address the limitations of traditional recommendation models. For example, Wide& Deep Networks represent one accurate model based on deep learning [2]. This approach combines two distinct models: a deep neural network that utilizes embedded item features for generalization and a linear model that relies on the cross-product of item features for memorization. To model sequential user behavior, researchers have proposed Recurrent Neural Network based recommendation systems [3]–[6]. Other studies leverage auxiliary information, such as the image of the item [7]–[9] or user reviews [10]–[13], to enhance the accuracy of deep learning-based models. Deep Collaborative Filtering [14]–[17] and Autoencoders [18]–[22] are other popular deep learning-based approaches that improve recommendation success. Despite the extensive research into recommendation systems, several challenges still need to be solved. This thesis seeks to address these challenges by proposing a hierarchical recommendation system that is not only more accurate but also more context-aware, real-world suitable, and robust to the cold start problem for users. This thesis has effectively executed a hierarchical recommendation system, specifically tailored for the e-commerce industry. By utilizing a bidirectional encoder representations from transformers, the algorithm implemented in the first layer of the recommendation system effectively encodes items in the user's shopping history, providing information about their content. Additionally, the user shopping history enrichment model in the second layer of the approach facilitates more accurate item recommendations for all users, even those with limited interactions, such as those who have only purchased a few items. To enable context-aware recommendations that incorporate items' content information, we proposed a recommendation system that represents items using item embedding vectors instead of item IDs. In the first level of our recommendation system, we leveraged state-of-the-art Natural Language Processing (NLP) techniques to generate vectors from each item's title, description, and reviews. This approach allowed us to retain textual information, including the item's features and reviews from previous purchasers. By incorporating this textual information into our recommendation system, we enhanced its accuracy and provided recommendations more tailored to the user's needs and preferences. This approach is distinct from other recommendation systems, relying solely on item IDs and not incorporating contextual information. Recommendation systems often face the challenge of cold start, manifesting as either the item cold start problem or the user cold start problem. The former occurs when a new item is introduced to the system and has insufficient user interactions to be recommended. The latter arises when a new user joins the system, and the recommendation engine has no information about their preferences. Unique solutions must be developed to address each problem. This study proposes a bidirectional recommendation model to tackle the user cold start problem. We can predict the middle item when a user has only a few user-item interactions and enrich their interaction set accordingly. By recursively repeating this process, we can obtain enough interactions to make accurate item recommendations to the user. For instance, a user may buy a few items from an e-commerce site but also purchase other items from elsewhere, leading to incomplete information about their preferences. The proposed bidirectional recommendation model can fill the user's interaction history gaps, enabling accurate item recommendations even with limited data. In this thesis, we aimed to develop a recommendation system that imitates the behavior of today's e-commerce users' online purchasing experience. Our approach emphasized practicality, as we aimed to create a system that could be implemented easily in real-world e-commerce platforms. In doing so, we focused on developing an approach that could handle a large number of users and items found on such platforms while still maintaining high performance. By prioritizing these factors, we aimed to create a recommendation system that could be effectively applied in real-world scenarios. For future work, exploring combinations of the suggested algorithms for both layers would be worthwhile. Furthermore, examining the impact of algorithms proposed for the first layer or the user's shopping history enrichment algorithm on different recommendation systems would be beneficial. Ultimately, the most significant improvement is the application of proposed hierarchical recommendation network to cross-domain recommendation problems.
Benzer Tezler
- A novel learning-based image matching approach based on mutual nearest neighbor search with ratio test
Oran testi ile karşılıklı en yakın komşu aramasına dayanan öğrenmeye dayalı yeni bir görüntü eşleştirme yaklaşımı
UFUK EFE
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULLAH AYDIN ALATAN
- 19. yüzyıl İstanbul dizi konutlarının morfolojik andizine dayalı bilgi tabanlı tasarım modeli
Başlık çevirisi yok
ÇİLER KIRŞAN
- Graph-based hierarchical tracklet merge for multiple object tracking
Çoklu hedef takibi için çizge tabanlı hiyerarşik iz birleştirme
HALİL ÇAĞRI BİLGİ
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ABDULLAH AYDIN ALATAN
- Özellik tabanlı görüş madenciliğinde yapay zeka teknikleri kullanarak görüş hedefi çıkarımı ve kategori tespiti
Opinion target extraction and category detection using artificial intelligence techniques in aspect-based opinion mining
KÜRŞAT MUSTAFA KARAOĞLAN
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZ FINDIK
- Derin üretici modeller ile polifonik müzikal içerik üretimi
Generating polyphonic musical content with deep generative models
AHMET KAŞİF
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Üniversitesi-CerrahpaşaBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELÇUK SEVGEN