Investigation of embedding methods on gnn basedrecommender models
Çizge sinir ağı temelli öneri sistemleriüzerinde kullanılan gömme tipinin etkisinin araştırılması
- Tez No: 676402
- Danışmanlar: DR. ÖĞR. ÜYESİ YUSUF YASLAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 81
Özet
Değişen ve dijitalleşen dünyada, insan yaşamına dokunan işlemlerin de dijitalleşmesi 21. yüzyılın başından itibaren önem kazanmıştır. Bu değişim kapsamında, insanların tarafından yüksek oranda fiziksel etkileşimin gerektiği işlemler bile, hızla bilgisayar destekli sistemler tarafından yürütülmektedir. E-ticaret uygulamalarından finansal işlemlerin yürütülmesine, sağlık sektöründe kullanılan sistemlerin geliştirilmesinden kişisel veya akademik eğitimlerin yürütülmesini kapsayan çok geniş bir yelpazeye hitap ederek, bu değişim süreci insanların günlük yaşantısının hemen hemen her alanında yer almaktadır. Buna ek olarak, yazılım ve donanım alanında görülen büyük gelişmeler bilgisayarlı sisteme geçiş sürecini öngörülemeyecek şekilde hızlandırmıştır. Çoğu organizasyonel yapı, bu geçiş sürecindeki rüzgârı arkasına alarak, halihazırda popüler bir seyir halinde olan bu akıma uyum sağlamak adına kendi sistemlerini adapte olmaya çalışmaktadırlar. Bu devrimsel dönüşüm bakış açısı göz önünde bulundurulduğunda, e-ticaret ve e-pazarlama alanları, bu değişin sürecinin tam merkezinde yer almaktadırlar. Bilgisayarlı sistemlere geçiş ile birlikte çok yüksek miktarda verinin üretilmesi ve depolanması, dijitalleşme sürecinin bir sonucu olarak karşımıza çıkmaktadır. Bununla birlikte, depolanan veri miktarının artması sonucunda, biriken veriden faydalı bilgi elde etme çalışmaları da gündeme gelmeye başlamıştır. Bu noktada, eldeki verilerden faydalanarak, kuruluşlara yaralı olacak bilgiyi etme işi kritik bir öneme sahip olmaya başlamıştır. Bu bilgilerden faydalanmak, kurumlara kendi müşterilerini, özelliksel, davranışsal ve müşterilerinin birbirleri arasındaki ilişkilerini daha iyi tanıyabilme yolunda önemli ilerlemeler sağlamaktadır. Ancak, elde edilen veriyi kıymetlendirmeden yalnızca veri toplama işini gerçekleştirmek, yeni kullanıcıların ilgilisini çekme konusunda faydalı olmayacağından, firmaya herhangi bir katma değer de sağlamayacaktır. Buna ek olarak, elde edilen veriyi doğru uygulamalarla ile bir araya getirip, akıllı sistemler inşa etmek toplanan verideki saklı potansiyeli ortaya çıkaracaktır. Dijitalleşmeyle birlikte elde edilen veriden fayda sağlanması gündeme geldiğinde, konu doğrudan makine öğrenmesi ve derin öğrenme alanına girmektedir. Bilgisayar dünyasındaki -özellikle son yıllarda tanık olduğumuz- gelişmelerin sonucunda bu alanlarda geliştirilen sistemler, daha uygulanabilir hale gelmiştir. Donanımsal alanda yeni işlemcilerin ve grafik işlemcilerin tanıtılması, yazılımsal alanda ise durum özelinde etkili ve verimli kütüphanelerin yayınlanması, bu kapsamda geliştirilen sistemlerin popülerliğinin artmasında önemli bir role sahip olmuştur. Bu alanda yapılan çalışmalar dikkate alındığında, tavsiye sistemlerinin de bir alt alanı olan bir sonraki ürünün tahmini, zorlu ama bir o kadar da fayda sağlayan işlemler arasında yer almaktadır. Sahip olduğu müşterilerini iyi tanıyabilmek ve müşteriye özgü davranışları ve ilişkileri yüksek doğrulukla adresleyebilmek, bu alanda çalışmalarını ve işlerini yürüten kuruluşlar tarafından büyük bir önem atfedilen tavsiye sistemleri için yüksek önceliğe sahip olmaktadır. Böylelikle, bu alanda öne çıkmayı başaran kuruluşlar aynı zamanda, bulundukları sektörde rakiplerine kıyasla bir adım öne geçmeyi başarabilmektedir. Bu amaç doğrultusunda, oturum tabanlı tavsiye sistemleri, araştırmacıların üzerinde çalışmalarını yoğunlaştırdığı ve tavsiye modellerini tanıttığı bir alan haline gelmiştir. Bu bakışa sahip bir tavsiye modeli göz önünde bulundurulduğunda, mevcut müşterinin bir oturum boyunca sergilediği aktivitelerden yola çıkılarak, aynı oturum süresince hangi ürün ile ilgilenebileceğinin tahminlemesi yapılabilmektedir. Belirli bir tahminleme işlemini gerçekleştirmek üzerine çalışan tavsiye sistemleri, bu işlemi yüksek başarım oranıyla tamamlayabilmek için çok miktarda veriye ve bu veriyle birlikte özniteliğe ihtiyaç duymaktadırlar. Ancak, söz konusu tahminleme işlemi oturum tabanlı sistemler üzerinde gerçekleştirildiğinde, mevcut özniteliklerin azlığı sebebiyle önerilen çözüm yöntemlerini farklı bir bakış açısı gözeterek irdelemek gerekir. Bu tipteki veri kümelerinde herhangi bir profilleme işlemi olmadığından ve ürünler ile ilgili, yalnızca hangi üründen sonra hangi ürünün geldiği bilgisi olduğundan, geleneksel tavsiye modellerinde kullanılan yöntemler bu alanda yetersiz kalmaktadır. Bu sebeple, mevcut veriye ek özellik katarak, ürünler arasındaki ilişkileri daha doğru bir şekilde modelleyebilecek yöntemlerin bulunması, araştırmacılar arasında popüler bir konu haline gelmiştir. Bu alanda, son 25 yıldır önemli çalışmalar yapılmıştır. Son yıllarda yapılan çalışmalarda ise özellikle özyineli yapay sinir ağları tabanlı (RNN) çalışmalar dikkati çekmektedir. RNN yöntemlerinden birisi olan GRU4Rec modeli de öneri sistemleri üzerinde başarılı sonuç veren çalışmalardan birisidir. Ardından, NARM ve STAMP oturum tabanlı tavsiye modelleri ilgili alanda yürütülen çalışmaların sonuçları arasındadır. Son olarak, çizge sinir ağları alanında en gelişmiş kabul edilen tavsiye sistemi olan SR-GNN bu alandaki çalışmaların geldiği son nokta oalrak kabul edilmektedir. Bu çalışma kapsamında SR-GNN yönteminin iç yapısı incelenmiş olup, bazı alt birimleri üzerinde yapılan değişiklikler doğrultusunda testler yapılmış ve elde edilen sonuçların değerlendirilmesi yapılarak, yapılan değişikliklerin genel performansa etkisi ölçülmeye çalışılmıştır. Gömme işlemi ile birlikte eldeki bir veri, daha toğun ve daha anlamlı bir şekilde ifade edilebilmektedir. Bu perspektif gözetilerek bir çok alanda başarılı sonuçlar elde edilmiştir. Benzer şekilde, yapılan çalışma dahilinde, mevcuttaki oturum bilgisi de gömme işlemi uyguladıktan sonra modele girdi olarak verilmektedir. Sonuç itibariyle, gömme birimi üzerinde yapılan değişikliğin orijinal modele olan etkisini daha doğru bir şekilde gözlemleyebilmek için, yürütülen deneylerde kullanılan veri kümeleri, orijinal modelin test edilmesi sırasında kullanılan veri kümeleriyle aynı olacak şekilde seçilmiştir. Bu bağlamda Yoochoose ve Diginetica olmak üzere, iki adet e-ticaret sayfasının sırasıyla 2015 yılında gerçekleştirilen ACM RecSys Challenge ve 2016 yılında gerçekleştirilen CIKM Cup yarışmalarda kullanılmak üzere sağlamış olduğu veri kümeleri üzerinde çalışılmıştır. Her iki veri kümesinde de anonim kullanıcılara ait hangi ürünler ile ilgilendiğini gösteren bir ürün listesi ve bu listedeki ürünler ile tam olarak hangi tarih ve saatte ilgilendiğini ifade edecek zaman damgası bilgisi bulunmaktadır. Bu bilgiler, eldeki verinin anlamlı bir şekilde oturum tabanlı tavsiye sistemine girdi olarak verilebilmesi için ilgili modelin ön işleme adımında kullanılmıştır. Üzerinde deneylerin yapılan SR-GNN oturum tabanlı tavsiye modelinin, daha önce de bahsedildiği şekilde farklı işlerin yürütülmesi amacıyla tasarlanmış 3 farklı birimi bulunmaktadır. Bunlardan ilki olan ön işleme biriminde, testler sırasında kullanılan veri kümesinin, modele tarafından işlenmeye uygun hale getirilmesi işi tamamlanmaktadır. Bu kapsamda, ham veri kümesinden elde edilen değerler, öncelikle her bir elemanın sahip olduğu zaman damgası bilgisine göre sıralı hale getirilmektedir. Bu sıralama işlemi sonrasında oturumda 5 üründen daha az ürün bulunan oturumlar veri kümesinden çıkarılmaktadır. Böylelikle model için ürünler ile ilgili yeteri kadar ilişki bilgisi taşımayan oturumlar elenmiş olup, işlemsel gücün gereksiz yere harcanmasının önüne geçilmesi amaçlanmıştır. Oturumların gömme değerlerini hesaplamak için öncelikle elde edilen veri kümesindeki bilgiler kullanılarak, bu veri kümesindeki bütün ürünlerin yer aldığı bir bitişiklik matrisi elde edilmiştir. Her bir oturum birer alt çizge, bu oturumdaki her bir ürün bu çizgedeki bir düğüm ve ürünler arasındaki ilişki (birbiri ardına gelme vb.) birer kenar olarak ifade edilmiş ve bir çizge yapısı oluşturulmuştur. Bu yöntem gözetilerek kümülatif bir şekilde, tüm veri kümesinin çizge şeklinde ifade edilmesi sağlanmıştır. Bu noktada farklı oturumlarda gözlemlenebilecek aynı türden ilişkinin olduğu durumlarda mevcut ürünler arasına yeni bir kenar eklemek yerine, mevcuttaki kenarın ağırlığı birim kenar ağırlığı kadar artırılmıştır. Böylelikle iki ürünün arasındaki ilişkinin kuvvetinin, gömme işlemi sırasında da doğru bir şekilde ifade edilebilmesi amaçlanmıştır. Sonraki adımda, elde edilen gömme değerlerinin modelde bir sonraki adımda girdi olarak kullanılabilmesi için oturumda geçen ürünlerin gömme değerlerinin arasındaki mesafenin ifade edildiği bir matris oluşturulmuştur. Son olarak her iki gömme değeri arasındaki mesafeyi hesaplamak için, Öklid uzaklığından faydalanılmıştır. Bu noktada, orijinal yöntemde her iki gömme değerinin arasındaki mesafeyi hesaplarken Öklid uzaklığının kullanılması, yürütülen deneyler dahilinde de aynı uzaklığın kullanılmasında etkili olmuştur. Gömme değerlerinin hesaplanması aşamasında, SR-GNN modelinin orijinal gerçeklemesinde, oturumların gömme değerlerini hesaplamak üzere temel bir gömme yöntemi kullanılmıştır. Bu işlem dahilinde gömme değerleri, her bir oturumun birer yönlü çizge ile ifade edildiği durum şeklinde düşünüldüğünde, bu çizgedeki kenarların ağırlıklarının normalize edilip, ortalamasının alınarak atanması şeklinde hesaplanmıştır. Tam olarak bu noktada, varsayılan gömme yöntemi yerine ürünler arasındaki ilişkileri daha iyi ifade edebileceği düşünülen 6 farklı gömme değeri kullanılarak modelin genel performansı artırılmaya çalışılmıştır. Oturumların gömme değerlerinin hesaplanması sırasında, oluşturulacak gömme vektörlerinin uzunluğu, yani her bir ürünün ifade edileceği öznitelik sayısı, ayarlanabilmektedir. Bu değişkenin optimum şekilde ayarlanmasının, oturumların gömme değerlerinin hesaplanması üzerinde büyük bir etkisi olduğunu ifade etmek gerekir. Yapılan deneyler dahilinde, elde edilen gömme değerlerinin uzunluğu 128 olacak şekilde ayarlanmıştır. Bu sayı seçilirken, word2vec gömme yöntemi her iki veri kümesi üzerinde 64, 128 ve 256 olmak üzere farklı uzunluklarda gömme vektörü üretecek şekilde çalıştırılmış, sonucunda elde edilen gömme değerleri tahminleme birimine girdi olarak verilmiştir. Her bir farklı uzunlukta gömme değeri için tahminleme modeli 3 kez çalıştırılmış ve elde edilen başarım değerlerinin ortalamaları karşılaştırılmıştır. Bu değerlerin arasından en yüksek başarıma sahip olan gömme değerleri 128 uzunluğa sahip vektörler ile ifade edildiğinden, kalan deneylerin yürütülmesi sırasında bu uzunlukta gömme değerleri kullanılmıştır. Bu kapsamda tekli değer ayrıştırması (SVD), word2vec, node2vec, Deepwalk, laplacian eigenmaps ve LINE yöntemleri kullanılarak, iki farklı veri kümesi her biri 6 farklı şekilde incelenmiştir. Varsayılan yöntemde, ürünlerin gömme değerleri arasındaki Öklid mesafesi hesaplanmış olup, bu değerlerden oluşan matris tahminleme işlemine gönderilmiştir. Çalışma dahilinde incelenen her bir gömme yöntemi için bu işlem o duruma özgü gömme değerleri kullanılarak tekrarlanmıştır. Bu çalışmadaki asıl amaç, ürünlerin vektörler ile ifade edilirkenki kullanılan gömme yönteminin, orijinal model üzerindeki etkisini gözlemlemektir. Burada orijinal deney düzeneğinde kullanılan veri kümesinin sabit tutulmasıyla aynı sebepten yola çıkarak, incelenen yöntemlerin başarımını değerlendirmek için de orijinal yöntemde kullanılan başarım kriterleri kullanılmıştır. Bu bağlamda, incelenen modelin başarım değerleri Recall@20 ve MRR@20 performans kriterleri ile ölçülmüştür. Recall@20 kriteri, 20 elemanlık tavsiye kümesinde, gerçekte olması gereken ürünün bulunup bulunmadığına gör hesaplanırken, MRR@20 kriteri, gerçekte olması gereken ürünün, tavsiye kümesinde bulunduğu yerden uzaklığının hesaba katılmasıyla elde edilen değer ile ifade edilmektedir. Deneylerden elde edilen başarım sonuçlarına göre yalnızca word2vec gömme yönteminin YOOCHOOSE veri kümesi üzerinde kullanıldığı durumda MRR@20 kriteri temel alındığında çok küçük bir başarım artışı gözlemlenmiştir. Bunun haricinde farklı gömme yöntemleri ve veri kümeleri kullanılarak elde edilen Recall@20 ve MRR@20 başarım değerleri, orijinal yöntemin başarım değerlerini geçmeyi başaramamıştır. Ancak bu değerlerin, orijinal modelin başarım değerlerinin çok az farklarla gerisinde kaldığı gözlemlenmiştir. Sonuç olarak, oturumların gömme değerleri ile ifade edilmesi sırasında kullanılan yöntemin, kapılı çizge sinir ağı yapısı temelli tavsiye sistemi üzerinde etkili olduğu açık bir şekilde gözlemlenmiştir. Böylelikle, gömme değerlerinin hesaplanması sırasında kullanılacak yöntemin seçimi esnasında, üzerinde çalışılan veri kümesinin iç yapısının da incelenmesi ve çalıştırılacak gömme yöntemi seçilirken bunun da göz önünde bulundurulmasının gerekliliği ortaya çıkarılmıştır. Duruma özgü tavsiye modeli oluşturmak, gömme yönteminin seçilmesi konusundaki problemin giderilmesine çözüm olarak önerilmiştir.
Özet (Çeviri)
Digitalization of the tasks that touch the daily life of human beings, became one of the major processes during the 21st century. This sight forces the processes that require physical human interaction to handle by computerized systems. Ranging from marketing applications to healthcare systems, this digitalization era is affecting various sections of human daily life. As a result of the huge developments in hardware and software components, computerized systems were allowed to grow at an unseen pace. Most of the companies that do not want to miss the chance of the downwind effect of this digital transformation, adapted their systems in order to keep pace with this rush. From the perspective of this evolution, e-marketing and e-commerce fields are the ones that lie in the heart of this digitalization process. Along with the digital transformation, a huge amount of data started to be collected from their computerized infrastructures. Therefore, it becomes viable to obtain and use the information that is collected from the cumulative data. Being aware of which data is beneficial for the organization is considered to be one of the most critical key points. These data collection and data processing will unlock the way of knowing their customer base in a better way in terms of their features, behaviors, and relationships. However, only collecting data alone is not sufficient for having advanced systems that address to draw the attention of possible new customers. Power of the collected data is unleashed when it is combined with an intelligent processing system. Considering processing and gathering a huge amount of data, the problem comes into the domain of machine learning and deep learning fields. Thanks to the recent developments in the field of computer hardware systems such as introducing new CPU and GPU architectures and also, computer software systems like publishing new powerful and efficient machine learning and deep learning libraries led those intelligent systems to become very popular in e-commerce and e-marketing fields. Accordingly, the next item prediction specific to recommendation systems shows up as a challenging but rewarding task in related fields. Ability to learn the behaviors and preferences of the specific customer, become the supreme priority for those organizations to perform the best recommendations for the specific user. This will allow those organizations to be one step ahead compared to their competitors. Within the context of the session-based recommendation models, there exists no profiling operation that allows binding the features of sessions to the specific user which means that each session is treated individually. That makes the recommendation problem more challenging, due to the absence of sufficient data. At this point, researchers try to introduce a new breath to the problem by bringing a new perspective to the problem. Benefitting from graph structures during the representation of the sessions offers to use new features to the current solution by revealing session-specific relations. As an application, several session-based item recommendation models were introduced by the researchers. Evolution of these models draws attention with the introduction of GRU4Rec and continues with NARM and STAMP session-based recommendation models. Lastly, publication of the SR-GNN method introduced a new state-of-art model in this field. By using these methodologies, it is possible to predict users' next behavior and recommend items according to their actions in a more efficient way. As a nature of the session-based recommendation problem, there exists only the sequence information among the items. Therefore, representing the sessions in a more compact and more meaningful way has become the new research area. At this point, graph structures come to help. Representing the sessions via graph structures boosted the performance of the current recommendation models. So, investigation of SR-GNN model, which is the recommendation model based on graph representation, possibly reveals new research questions that will be beneficial for improving the overall model. This research investigates the internal structure of the state-of-art graph neural network-based recommender model, SR-GNN, and expresses the test results by obtained making modifications to its internal modules. Accordingly, SR-GNN session-based recommendation model consists of three major modules which are pre-processing module, embedding module, and prediction module. Within the scope of the research, experiments conducted on SR-GNN model, research question mainly focused on the embedding module of the overall structure. The embedding part of the SR-GNN recommendation model consists of two sub-modules which are item embedding sub-module and session embedding sub-module. Sticking with the graph embedding scheme, all sessions that last inside the dataset, represented as graph structures where items are assigned to the nodes and relationships among the items assigned to the edges that connect these nodes. Then, adjacency matrices of each session are given to the embedding module of the model to obtain their vector representations. In the session embedding module of the vanilla model, embeddings of the sessions are calculated by averaging their normalized weights of the edges. After completing specific embedding calculations in sub-modules, obtained results are merged together and a matrix that represents the Euclidean distance among each item embeddings is given as an input to the prediction module of the overall structure. Within the scope of this study session embedding sub-module of the GNN based recommender model has been modified by applying different embedding techniques which are singular value decomposition, Laplacian eigenmaps, word2vec, node2vec, Deepwalk, and LINE. During the experiments, two different datasets which are YOOCHOOSE and DIGINETICA have been used after executing specific pre-processing steps. Totally 12 different experiments have been conducted by applying introduced 6 different embedding methods on each dataset and performance results of these results have been collected. As evaluation metrics, Recall@20 and MRR@20 criteria which are widely used in the field of session-based recommendation models have been selected. According to the obtained results, it is clearly seen that the embedding method used during the generation of session embeddings, affects the performance of the GNN based recommender model in different ways. The decision of which embedding technique should be selected for GNN based recommender model depends on the internal structure of the dataset. Therefore, case-specific implementations seem to be the best solution to overcome the problem of selecting the embedding method.
Benzer Tezler
- Bir iktisat okulu olarak davranışsal finans ve Borsa İstanbul hisse senedi piyasasında momentum ve zıtlık stratejilerinin kriz dönemlerinde incelenmesi
Behavioral finance as a school of economics and investigation of momentum and contrast strategies in Borsa Istanbul stock market during crisis periods
SEVDE ASLAN
- Investigation of CNT smart paint for structural health monitoring in advanced and nano-enhanced carbon fiber composites
Gelişmiş ve nano takviyeli kompozit malzemeler için karbon nanotüp içerikli akıllı boyanın yapısal sağlık izleme için geliştirilmesi
YAĞMUR ATEŞCAN
Yüksek Lisans
İngilizce
2015
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
YRD. DOÇ. HÜLYA CEBECİ
- Grup ankrajların davranışının 2 boyutlu sayısal yöntemlerle araştırılması
Investigation of the behavior of group anchors with 2D numerical methods ground
ALPTEKİN ŞAKALAR
Yüksek Lisans
Türkçe
2024
İnşaat MühendisliğiİSTANBUL NİŞANTAŞI ÜNİVERSİTESİİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELÇUK BİLDİK
- Gestasyonel diyabetik plasentalarda ADM ve sFLT-1 protein ekspresyon seviyelerinin araştırılması
Investigation of sFLT-1 and ADM proteinexpression levels on placentas of the gestational diabetes mellitus
NECAT ARSLAN
Yüksek Lisans
Türkçe
2019
Histoloji ve EmbriyolojiDicle ÜniversitesiHistoloji ve Embriyoloji Ana Bilim Dalı
PROF. DR. SEVDA SÖKER
- Akut tek taraflı üreteral tam obstrüksiyona bağlı gelişen renal hasarın tedavisinde hiperbarik oksijen tedavisinin etkinliğinin araştırılması: Rat modeli ile deneysel çalışma
Investigation of hyperbaric oxygen therapy efficency in the treatment of renal injury due to unilateral ureteral obstruction: An experimental study in rat model
ZAFER AKAR
Tıpta Uzmanlık
Türkçe
2009
ÜrolojiCelal Bayar ÜniversitesiÜroloji Ana Bilim Dalı
DOÇ. DR. TALHA MÜEZZİNOĞLU