Geri Dön

Mh-nais: a multi-head attention extension of the neural attentive item similarity model

Mh-nais: Neural Attentive Item Similarity Model'inin çoklu başlıklı dikkat mekanizmasıyla geliştirilmesi

PDF İndir

  1. Tez No: 961739
  2. Yazar: ESRA KAYAALP
  3. Danışmanlar: PROF. DR. MEHMET KESKİNÖZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Veri Mühendisliği ve İş Analitiği Ana Bilim Dalı
  12. Bilim Dalı: Büyük Veri ve İş Analitiği Bilim Dalı
  13. Sayfa Sayısı: 63

Özet

Bu tez çalışmasında, öneri sistemleri alanında son yıllarda dikkat çeken Neural Attentive Item Similarity (NAIS) modeline önemli bir katkı sağlanarak çok başlı dikkat (multi-head attention) mekanizmasıyla zenginleştirilmiş MH-NAIS modeli önerilmiştir. Öneri sistemleri, kullanıcıların geçmişteki davranışlarına ve tercihlerine göre kişiselleştirilmiş içerikler sunarak kullanıcı deneyimini önemli ölçüde iyileştiren sistemlerdir. E-ticaret, dijital medya, sosyal ağlar ve çevrimiçi yayın platformları gibi birçok alanda etkin şekilde kullanılan bu sistemler, özellikle büyük veri çağında kullanıcı etkileşimlerinden anlamlı bilgi çıkarmayı hedeflemektedir. Öneri sistemlerinin başarısı doğrudan doğruya kullanıcı-ürün ilişkilerini ne kadar doğru modellediğine bağlıdır. İşbirlikçi filtreleme (collaborative filtering) yöntemleri, öneri sistemlerinin temel tekniklerinden biridir. Ancak geleneksel yöntemler, kullanıcı ve ürün temsillerini oluşturma konusunda sınırlı kalabilir ve karmaşık kullanıcı tercihlerini yeterince iyi öğrenemez. NAIS modeli, FISM (Factored Item Similarity Model) modelinin tüm geçmiş öğelere eşit katkı varsayımını geliştirerek öneri sürecine dikkat (attention) mekanizması eklemiştir. Bu dikkat mekanizması, kullanıcı geçmişindeki her öğeye hedef öğeyle olan ilgisine göre farklı ağırlıklar atanarak daha hassas ve kişiselleştirilmiş öneriler yapılmasına olanak tanımıştır. Ancak bu modelin tek bir dikkat başlığı kullanması, kullanıcı tercihleri arasındaki farklılıkları ve içerik karmaşıklığını yeterince iyi modelleyememektedir. Bu çalışmada önerilen MH-NAIS modeli, çok başlı dikkat mekanizması kullanarak kullanıcı geçmişindeki etkileşimlerin farklı yönlerine aynı anda odaklanabilme yeteneğine sahiptir. Bu modelde her dikkat başlığı, hedef öğe ile kullanıcının etkileşimde bulunduğu öğeler arasındaki ilişkiyi farklı bir temsille öğrenmektedir. Başlıkların her birine 16-boyutlu tam öğe gömme vektörü verilmiş, böylece Transformer'deki daraltılmış alt-uzay bölünmesinin aksine her başlık bağımsız ve tam ifadeli kalmıştır; ek olarak klasik 'Transformer-style' parçalı varyantla doğrudan karşılaştırma yapılarak bu tasarımın üstünlüğü gösterilmiştir. Böylece model, kullanıcıların farklı ilgi boyutlarını paralel olarak öğrenebilir. Bu durum, hem daha zengin bir kullanıcı temsil vektörü oluşmasını sağlar hem de modelin genelleme gücünü artırır. MH-NAIS, NAIS modelinin temeline sadık kalmakla birlikte, dikkat katmanını çok başlı şekilde yeniden tasarlayarak farklı başlıklar üzerinden etkileşimlerin çeşitli yönlerini öğrenmektedir. Modelin performans değerlendirmesi, öneri sistemleri alanında yaygın olarak kullanılan MovieLens-1M veri seti üzerinde gerçekleştirilmiştir. Bu veri seti, kullanıcıların filmlere verdikleri puanlar üzerinden oluşturulmuş kullanıcı-ürün etkileşim bilgilerini içermektedir. Değerlendirme için her kullanıcıya ait en son etkileşim 'test' örneği olarak tutulmuş, kalan etkileşimler 'train' kümesine atanmıştır. 6,040 kullanıcı ve 3704 filmden oluşan dataset toplam 1,000,209 gözlem içerir. Ayrıca her pozitif örnek için rastgele seçilen dört negatif örnek eklenerek toplam eğitim örneği sayısı yaklaşık beş katına çıkarılmıştır. (4,970,845) çıkarılmıştır. Bu leave-one-out bölütleme ile negatif örnekleme, gerçek dünyada yaygın 'implicit feedback' senaryosunu taklit eder. Elde edilen sonuçlar önceki NAIS ve FISM modelleriyle karşılaştırılmıştır. Model başarısı, HR@10 (Hit Ratio at rank 10) ve NDCG@10 (Normalized Discounted Cumulative Gain) metrikleriyle ölçülmüştür. HR@10, ilk 10 tahminde doğru tahmin edilen önerilerin oranını gösterirken; NDCG@10, ilk 10 tahmin için kullanıcıya sunulan öneri listesinin sıralama kalitesini ölçmektedir. MH-NAIS, yapılan deneyler sonucunda, HR@10 metriğinde %1.5, NDCG@10 metriğinde ise %3.93 oranında iyileşme sağlamıştır. Bu sonuçlar, çok başlı dikkat mekanizmasının öneri doğruluğunu artırmada etkili bir yöntem olduğunu açıkça ortaya koymaktadır. Performanstaki kazanımın maliyeti, klasik NAIS'e kıyasla yaklaşık %80 daha uzun eğitim süresidir; yine de metriklerdeki artış bu ek süreyi gerekçelendirecek düzeydedir. MH-NAIS modelinin uygulanmasında TensorFlow kütüphanesi kullanılmış, model parametreleri optimize edilmiştir. Tüm modeller Adagrad (öğrenme hızı 0.01), gömme boyutu 16, negatif örnek sayısı 4 ve 100 epoch boyunca aynı hiper-parametrelerle eğitilerek adil karşılaştırma sağlanmıştır. Dikkat başlıkları için öğrenilebilir ağırlıklar, başlık çıktılarının etkileşimli biçimde işlenmesini sağlamakta ve dikkat davranışının daha derinlemesine analizine olanak tanımaktadır. Modelde dikkat başlıklarının çıktılarını birleştirmek üzere“mean”,“dynamic”ve“collaborative”gibi farklı füzyon yöntemleri uygulanmış ve bu yöntemlerin sistem performansı üzerindeki etkileri analiz edilmiştir. Ayrıca, skor fonksiyonları arasında“dot product”ve“MLP”(çok katmanlı algılayıcı) yöntemleri test edilerek dikkat dağılımının öneri başarısına etkisi de incelenmiştir. Gerçekleştirilen ayrıntılı grid aramasında 2, 3 ve 4 başlık; 6 farklı füzyon-skorlama kombinasyonu denendi ve en yüksek başarıyı '4 başlık + mean pooling + dot-product' konfigürasyonu gösterdi ve nihai deneylerde bu ayar tercih edildi. Farklı dikkat başlıkları, kullanıcıların farklı içerik kategorilerine olan ilgisini farklı düzlemlerde modellemekte ve böylece kullanıcı-temsil matrisleri daha yorumlanabilir hale gelmektedir. Örneğin, bazı başlıklar geçmişte yüksek puan verilen aksiyon filmlerine odaklanırken, bazıları romantik içeriklere veya oyuncu bazlı tercihlere yönelmiş olabilir. Bu durum, önerilerin neden ve nasıl üretildiğine dair daha şeffaf bir yapı sunmakta ve kullanıcı güvenini artırma potansiyeli taşımaktadır. Otuz bağımsız rastgele tohum (seed) kullanılarak yürütülen deneysel tekrarlar sonrasında, her bir tohuma ait NAIS ve MH-NAIS modellerinin HR@10 ile NDCG@10 skorları eşleştirilmiş (paired) gözlemler hâline getirildi. Böylece her metrik için 30 fark değeri (Δ = MH-NAIS – NAIS) elde edilmiş oldu. Bu fark vektörlerinin ortalamalarının sıfırdan anlamlı biçimde büyük olup olmadığı, iki uçlu eşleştirilmiş t-testi uygulanarak değerlendirildi. Sonuçlar, %99 güven düzeyinde istatistiksel olarak anlamlı bir iyileşme gösterdi. Böylece çok başlı dikkat mekanizmasının sağladığı performans artışı yalnızca tekil bir çalışmaya özgü olmayıp, rastgele başlangıç koşullarına karşı tutarlı ve tekrarlanabilir bir üstünlük sergilemiştir. Modelin en önemli katkılarından biri, veri seyrekliği (data sparsity) gibi klasik öneri sistemlerinin karşılaştığı sorunlara karşı dayanıklı bir yapı sunmasıdır. Çok başlı dikkat, sınırlı kullanıcı geçmişi olan durumlarda dahi farklı başlıklardan elde edilen tamamlayıcı bilgiler sayesinde öneri başarımını koruyabilmektedir. Bu özellik, özellikle yeni kullanıcılar ve düşük etkileşimli veri senaryolarında önemli avantajlar sunmaktadır. Bununla birlikte çok başlı yapı parametrik olarak daha ağırdır; başlık sayısı ve gömme boyutu artırıldıkça aşırı uyum (overfitting) riski artabileceğinden hiper-parametre duyarlılığı dikkatle yönetilmelidir. Sonuç olarak, bu tez çalışması, NAIS modelinin dikkat mekanizmasını çok başlı yapıya dönüştürerek öneri sistemlerinin doğruluğunu artıran yeni bir yaklaşım ortaya koymaktadır. MH-NAIS, teorik olarak dikkat dağılımlarının çeşitlendirilmesinin kullanıcı davranışlarını modellemede daha başarılı sonuçlar doğurduğunu göstermektedir. Pratikte ise, öneri doğruluğunun artması, kullanıcı memnuniyetinin ve sistem etkinliğinin yükselmesini beraberinde getirmektedir. Bu bağlamda, tezde sunulan yöntem, öneri sistemleri literatürüne katkı sağlamakta ve gelecekte yapılacak çalışmalara sağlam bir temel oluşturmaktadır. MH-NAIS, çok başlı dikkat yapısının öneri sistemlerine başarılı şekilde entegre edilebileceğini göstererek, bu alandaki araştırmalar için yeni ufuklar açmaktadır. Gelecekte bu modelin farklı veri kümelerinde, hibrit öneri sistemlerinde ve soğuk başlangıç (cold-start) problemlerinin çözümünde kullanılması potansiyeli oldukça yüksektir.

Özet (Çeviri)

Personalized recommendation systems are widely used in many areas such as online publishing platforms, e-commerce and social media. These systems determine the interests of users based on their interactions and increase the user experience by making appropriate recommendations. Collaborative filtering method is one of the basic techniques of recommendation systems. However, traditional methods are limited in creating user and product representations and are not sensitive enough to complex user preferences. In recent years, the inclusion of attention mechanisms in recommendation systems has made significant progress in overcoming these limitations. The Neural Attentive Item Similarity (NAIS) model is one of the studies that increases recommendation accuracy by assigning different weights to the items that the user has interacted with in the past. However, since the NAIS model uses only a single-head attention structure, it may be insufficient to fully reflect the diversity in user behavior. In this study, the attention mechanism of the NAIS model is extended with a multi-head attention structure and a new model called MH-NAIS is proposed. By using multiple attention heads at the same time, MH-NAIS can learn from various representation subspaces in parallel. In this model, each attention head learns the relationship between the target element and the elements the user interacts with a different representation. This allows it to create more expressive and strong user profiles. Thus, it is possible to increase the recommendation accuracy by modeling the various interests and preferences of the users more effectively. The model was implemented using TensorFlow and the success of this model was evaluated on the MovieLens 1M dataset and the obtained results were compared with the previous NAIS and FISM models. Key performance metrics, including Hit Ratio at rank 10 (HR@10) and Normalized Discounted Cumulative Gain (NDCG@10), were used to assess the effectiveness of the proposed model. Experimental studies showed that the Multihead approach outperforms the baseline NAIS model, with up to 1.5% improvement in HR@10 and 3.93% in NDCG@10. The results show that multi-head attention significantly improves recommendation accuracy and robustness. Additionally, the various attention heads help better understand how users interact with items. In addition, although the training time of the proposed model is longer than the classical NAIS model, this increase was found to be balanced by the improvements in the quality of the proposed model. In summary, this study makes a significant contribution to the recommender systems by introducing a model that utilizes multi-head attention for its strong representational capabilities. The results indicate that incorporating such mechanisms into item-based collaborative filtering models, like NAIS, can significantly increase their predictive ability and performance. In the future, this model has a high potential to be used in different datasets, hybrid recommendation systems and in solving cold-start problems.

Benzer Tezler

  1. Tez No

    952853

    Metinden görüntü üretimi

    Text-to-image generation

    MELİKE NUR YEĞİN

    Doktora

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET FATİH AMASYALI

  2. Tez No

    953898

    Yetenek yönetimi uygulamalarının ve örgütsel bağlılığın çalışanın sürdürülebilir performansı üzerine etkisi

    The impact of talent management practices and organizational commitment on employee sustainable performance

    RIDVAN YANIK

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    İşletmeİstanbul Medipol Üniversitesi

    İşletme Ana Bilim Dalı

    DOÇ. DR. ELİF BAYKAL

  3. Tez No

    426493

    Farklı kontakt lens kullanım protokollerinde oküler yüzeyin değerlendirilmesi

    Evaluation of ocular surface in different contact lens usage protocols

    ERSİN MUHAFİZ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2016

    Göz HastalıklarıBozok Üniversitesi

    Göz Hastalıkları Ana Bilim Dalı

    DOÇ. DR. HASAN ALİ BAYHAN

  4. Tez No

    27432

    Ostiomeatal birimdeki anatomik varyasyonların ve paranazal sinüslerdeki mukozal anormalliklerin bilgisayarlı tomografi ile değerlendirilmesi

    Başlık çevirisi yok

    BİLGİN TOPCU

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    1993

    Radyoloji ve Nükleer TıpCumhuriyet Üniversitesi

    Radyodiagnostik Ana Bilim Dalı

    YRD. DOÇ. DR. MÜBECCEL AKSU

  5. Tez No

    668935

    Metropol yönetimlerinde Türkiye modeli arayışı: İstanbul örneği

    The quest of the metropolitan government model for Turkey: The case of İstanbul

    MUSTAFA DEMİRKOL

    Doktora

    Türkçe

    Türkçe

    2021

    Kamu Yönetimiİstanbul Üniversitesi

    Siyaset Bilimi ve Kamu Yönetimi Ana Bilim Dalı

    PROF. DR. ADEM ESEN

Geri Dön