Geri Dön

Enriching predictive models using graph embeddings

Tahminleme modellerinin çizge gömmeleri kullanılarak zenginleştirilmesi

PDF İndir

  1. Tez No: 779478
  2. Yazar: YAREN YILMAZ
  3. Danışmanlar: PROF. DR. ŞULE ÖĞÜDÜCÜ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 85

Özet

Günümüzde, yapay zeka ve makine öğrenmesi modelleri hızla gelişmekte ve kullanım alanları da bu hızla orantılı şekilde artmaktadır. Bu gelişmeler, çeşitli sektörlerde tahminleme modellerinin artmasına neden olmuştur. Dijitalleşen, değişen ve hızla artan veri dünyasında, bu çözümlerin yaygınlaşması, şirketlerin rekabet gücünü ele geçirmek ve karlarını arttırmak adına yaptıkları hamlelerin bir sonucu olarak görülebilir. Özellikle veri miktarının artmasıyla birlikte, tahminleme modellerinin doğruluk oranları da artmıştır. Tahminleme modelleri, çeşitli alanlarda kullanılmaktadır. Örneğin, finansal piyasalarda, gelecekteki fiyat hareketlerini tahmin etmek için tahminleme modelleri kullanılır. Ayrıca, sağlık sektöründe, hastalıkların teşhisi ve tedavisinde tahminleme modelleri kullanılır. Sosyal ağlar gibi bir çizge yapısında ise, kullanıcıların ilgi alanlarını tahmin etmek için tahminleme modelleri kullanılabilir. Özellikle sosyal ağların çok fazla görüldüğü e-ticaret alanında veri sıklıkla çizge yapısı olarak temsil edilmektedir. Çizge gömmeleri, çeşitli tahmin modellerinde kullanılabilir. Örneğin tahmin modeli oluştururken, çizge gömmeleri kullanarak modelin performansını iyileştirebiliriz. Bu, modelin çizge yapısındaki ilişkileri daha iyi anlayabilmesine yardımcı olur ve böylece daha doğru tahminler yapabilir. Ayrıca, çizge gömmeleri, bir çizge yapısındaki düğümler arasındaki ilişkileri tahmin etmek için de kullanılabilir. Örneğin, sosyal ağlar gibi bir çizge yapısında, bir kişinin arkadaşlarının arkadaşlarını tahmin etmek için çizge gömmeleri kullanabilir. Tahminleme modellerini, talep tahmin sistemleri ve öneri sistemleri olarak 2 ayrı sistem açısından ele alabiliriz. Talep tahmini sistemleri, bir ürünün gelecekte oluşabilecek talebinin, doğru olarak hesaplanmasıdır. Örneğin, bir e-ticaret sitesinde, bir kullanıcının hangi ürünleri almayı tercih ettiğini tahmin etmek için çizge gömmeleri kullanılabilir. Bu sayede, müşterilerin geçmiş alışverişleri ve diğer özelliklerine göre onların hangi ürünleri almayı tercih edeceklerini tahmin edebilir ve böylece stok yönetimi ve ürün çeşitliliği gibi konularla ilgili daha doğru karar verilebilir. Öneri sistemleri ise, kullanıcıların ilgi alanlarına göre önerilerde bulunmak için kullanılan yazılımlardır. Örneğin, bir müzik çalma uygulamasında, bir kullanıcının dinlediği şarkıları ve dinlediği sanatçıları inceleyerek, o kullanıcının ilgi alanlarına uygun diğer şarkılar önerilebilir. Öneri sistemleri genellikle veri setlerinde kullanıcı veya ürün benzerliklerini bularak çalıştığı için çizge gömmelerinin öneri sistemlerinde performans iyileştirmesi için kullanılması performansı ciddi oranda iyileştirebilmekledir. Sonuç olarak, talep tahmini ve öneri sistemlerinde veri kolayca çizge yapıları ise temsil edilebilmektedir. Bu çizgelerden elde edilen çizge gömmeleri, talep tahmin sistemleri ve öneri sistemlerinde önemli bir yöntem olarak kullanılmaktadır ve bu alanlarda tahminleme modellerinin performansını iyileştirmeye yardımcı olabilir. Bu tezde, yukarıda belirtildiği gibi talep tahmini ve öneri sistemlerinde çizge yapılarının kullanılması ve bu çizgelerden elde edilen gömmeler ile modellerin iyileştirilmesi hedeflenmiştir. Bu çalışma genel olarak 2 parçadan oluşmaktadır: Talep tahmininde çizge gömmelerinin kullanılması ve öneri sistemlerinde çizge gömmelerinin kullanılması. İlk aşama olan talep tahmininde, son araştırmalara göre, talep tahmininde son teknoloji makine öğrenimi ve derin öğrenme modellerinin başarısı ön plana çıksa da, talep tahmin modellerini iyileştirmek için çizge tabanlı özellik temsillerini kullanarak veri kümelerinin zenginleştirildiği çalışmalar hala nadirdir. Bu yüzden talep tahmini aşamasında, çizge gömmeleri kullanılarak talebi tahmin eden bir model önerilmiştir. Mevcut yöntemlerin çoğundan farklı olarak, satış bilgisi verileri ürünler arası çeşitli ilişkileri çıkarmak için kullanılır ve çizgeler oluşturmak için bu çeşitli ilişkiler kullanılır. Ürünlerin farklı ilişkilerini yansıtmak için beş farklı gömme değerlendirilir. Bu beş farklı gömme, beş farklı ilişki kullanılarak oluşturulmuş beş farklı çizge kullanılarak elde edilir. Ürün gömmelerini elde etmek için Node2Vec ve GraphSAGE adında iki farklı çizge gömme elde etme yöntemi tercih edilmiştir. Ürün gömmeleri elde edildikten sonra, talep tahminini gerçekleştirmek için Uzun süreli kısa bellek (LSTM) ve Ekstrem gradyan arttırma (XGBoost) modelleri denenmiştir. Tahmin edilen değerlerin doğruluğunu test etmek için Ortalama mutlak hata (MAE) metriği tercih edilmiştir ve halka açık olan açık bir perakende satış veri seti kullanılarak model test edilmiştir. Her iki model de farklı parametreler ile çalıştırılarak en iyi parametreler bulunmuş ve modellerin son sonuçları alınırken en iyi parametreler kullanılarak sonuçlar alınmıştır. Sonuçlara göre, çizge gömmelerinin kullanımı her iki modelde de tahmin etme başarısını arttırmıştır. Öne çıkan model MAE=2.98 değeri ile Node2Vec çizge gömülüm yöntemi ve Uzun süreli kısa bellek yönteminin oluşturduğu model olarak ön plana çıkmıştır. Burada önerilen çözüm, öncelikle marka veya kategori gibi ürünlerin doğal bir topolojisi olmadığında bile sadece önceki satış verisini kullanarak daha doğru bir talep tahmini yapmayı hedefliyor. Bununla beraber, çeşitli çizgeler oluşturarak elde edilen ürün gömmeleri ile, sınırlı satış bilgisine sahip ürünlerin sebep olduğu veri seyrekliğinin etkisini de azaltmayı hedefliyor. Bir diğer çalışma ise çizge gömmelerinin öneri sistemlerinde kullanılmasıdır. Bu çalışmada önerilen model, her ürün için ürün başlık bilgilerini kullanarak birer çizge gömmeleri elde eder. Bu aşamada BERT adında doğal dil işleminde kullanılan bir model kullanıldı. Önerilen model ile, ürün başlıkları kullanarak her ürün için birer gömme edildi ve bu gömmeler kullanılarak da BERTopic modeli kullanılarak her ürün için bir kategori bilgisi elde edilmiştir. BERTopic yöntemi ile kategori bilgilerinin elde edilmesi konu modelleme olarak kabul edilebilir. Elde edilen bu kategori bilgileri daha sonra çizge aşamasında kullanılır ve heterojen kullanıcı-ürün çizgesini kullanıcı-ürün-konu üçlü çizgesine dönüştürerek zenginleştirir. Mevcut yöntemlerin çoğundan farklı olarak kategoriler, özellik olarak yalnızca ürün başlıkları kullanılarak oluşturulur, bu da onu, maddelerin açıklama metinleri veya yorumları olmasa bile gerçek dünyadaki sistemlerde uygulanabilen, uygulaması kolay bir metodoloji haline getirir. Ayrıca, elde edilen üçlü çizgeyi keşfetmek için meta-yol tabanlı Metapath2Vec algoritması kullanarak düğüm gömmelerini öğrenerek öneri sistemlerindeki seyreklik probleminin çözülmesi hedeflenmiştir. Önerilen modelin performansını gözlemlemek için Amazon veri setinin iki farklı kategorisi kullanıldı ve sonuçlar, isabet oranına göre her iki veri seti için değerlendirildiğinde modelin en yakın temel sonuçtan bile \%3.8 daha iyi performans sergilediğini göstermiştir. Yapılan diğer analizler, kategori bilgilerinin çizge yapısına dahil edilmesinin, özellikle uzun kuyruklu öğeler tavsiye edilirken tavsiye doğruluğunda bir artış sağladığını doğrular. Sonuç olarak, önerilen model, veri kümelerinin küçük versiyonları ve soğuk başlatma adını verdiğimiz az ilişkisi olan ürünlerin alınarak oluşturulduğu versiyonları kullanarak değerlendirilmiştir ve önerilen model hem isabet oranı hem de NDCG için temel modellerden daha iyi performans göstermiştir. Bu öneri sisteminde geliştirilen çözüm, öncelikle öneri sistemlerinde konu modelleme yönteminin faydasını vurgulamaktadır. Model, herhangi bir müşteri ile ilişkisi olmayan ürünler için bile farklı meta-yollar tanımlayarak veride seyreklik sorununu hafifletmeyi amaçlamaktadır. Ayrıca konu modellemesi yöntemi, aykırı olarak belirlenen konusuz ürünleri de kendi gömmesine en yakın gömmeye sahip konuya atarak geliştirilmiştir. İlerleyen çalışmalarda, öncelikle iki model de daha fazla veriseti kullanılarak test edilebilir. Daha fazla veriseti kullanımı, her iki modelde de, sadece perakende sektöründe değil, işlemsel verilerin olduğu farklı alanlarda da modellerin kullanılabilirliğinin anlaşılmasına yardımcı olacaktır. Ayrıca talep tahmininde, model şimdilik tek bir değerlendirme metriği kullanılarak değerlendirilmektedir. Daha fazla değerlendirme ölçütü, yaklaşımın etkililiğini farklı bakış açılarından anlamaya yardımcı olur. Öneri sistemi için model, uygulamaya daha fazla açıklanabilirlik katmak için vaka çalışmaları genişletilebilir. Ayrıca, ürünlerin başlıkları kullanılarak ürünler için elde edilen kategoriler gibi kullanıcılar için de benzer şekilde kullanıcı yorumları kullanılarak kategoriler elde edilebilir. Kullanıcıların ürünlere yaptığı yorumların bilgisi modele eklenirse daha anlamlı gömmeler elde edilebilir. Son olarak, tezin tamamı için, farklı çizge gömme sinir ağı modellerinin kullanılması daha iyi sonuçlar gözlemlememize yardımcı olabilir.

Özet (Çeviri)

Today, artificial intelligence and machine learning models are developing rapidly and their usage areas are increasing in proportion to this speed. These developments have led to an increase in forecasting models in various industries. In the digitalizing, changing, and rapidly increasing data world, the spread of these solutions can be seen as a result of the moves made by companies to seize their competitive power and increase their profits. Especially with the increase in the amount of data, the need of the prediction models has also increased. Predictive models are used in various fields. For example, in financial markets, forecasting models are used to predict future price movements. Also, in the healthcare industry, predictive models are used in the diagnosis and treatment of diseases. In a graph structure such as social networks, prediction models can be used to predict users' interests. Especially in the field of e-commerce, where social networks are seen a lot, data is often represented as a graph structure. Graph embeddings can be used in a variety of prediction models. For example, when building a prediction model, we can improve the performance of the model by using graph embeddings. This helps the model better understand the relationships in the graph structure so it can make more accurate predictions. Also, graph embeddings can be used to predict relationships between nodes in a graph structure. For example, in a graph structure such as a social network, graph embeddings can be used to predict friend relationships between users. Demand forecasting systems and recommendation models are two different types of forecasting models. Demand forecasting systems are the accurate calculation of the future demand for a product. Graphs can be useful demand forecasting for several reasons. For example, demand prediction often involves working with sparse data, where there are many possible products or customers but only a small subset of them have any observed demand. Graphs can help to handle this sparsity by leveraging the relationships between entities to infer demand for products or customers that have not been directly observed. Graphs can be also used to handle the temporal dynamics of demand, such as how demand changes over time. Graphs can be very helpful to capture the compex interactions between different factors, such as customer preferences. Recommendation systems, on the other hand, are softwares used to make recommendations based on the interests of users. For example, in a music player app, by reviewing the songs a user has listened to and the artists they've listened to, other songs can be suggested that match that user's interests. Since recommendation systems generally work by finding the user or product similarities in data sets, using graph embeddings for performance improvement in recommendation systems can significantly improve performance. As a result, data can be easily represented in graph structures in demand forecasting and recommendation systems. Graph embeddings from these graphs are used as an important method in demand forecasting systems and recommendation systems and can help improve the performance of forecasting models in these areas. This thesis aims to use graph structures in demand forecasting and recommendation systems and to improve models with embeddings obtained from these graphs. This study generally consists of 2 parts: The use of graph embeddings in demand forecasting and the use of graph embeddings in recommendation systems. In demand forecasting, which is the first stage, although the success of cutting-edge machine learning and deep learning models in demand forecasting has come to the fore according to recent research, the usage of datasets that are enriched using graph-based feature representations to improve demand forecasting models, is still rare. Therefore, in the demand forecasting stage, a model that predicts demand using graph embeddings is proposed. Unlike most existing methods, sales information data is used to extract various relationships between products, and these various relationships are used to create graphs. Five different embeddings are evaluated to reflect the different relationships between the products. These five different embeddings are obtained using five different graphs created using five different relationships. In order to obtain product embeddings, two different graph embedding methods named Node2Vec and GraphSAGE were preferred. After the product embeddings are obtained, Long short-term memory (LSTM) and Extreme gradient boosting (XGBoost) models are tried to perform demand forecasting. The Mean absolute error (MAE) metric was preferred to test the accuracy of the predicted values and the model was tested using a publicly available retail sales dataset. By running both models with different parameters, the best parameters were found and the results were obtained by using the best parameters while taking the final results of the models. According to the results, the use of graph embeddings increased the prediction success in both models. The prominent model came into prominence as the model formed by the Node2Vec graph embedding method and the LSTM method with the value of MAE=2.98. Another study is the use of graph embeddings in recommendation systems. The model proposed in this study obtains graph embeddings for each product using the product title information. At this stage, a model used in natural language processing called BERT was used. With the proposed model, one embedding was created for each product using product titles, and category (topic) information was obtained for each product using the embeddings from the BERTopic model. This category information obtained is then used in the the next stage and enriches the user-product bipartite graph by transforming it into a heterogeneous user-product-topic tripartite graph. Unlike most existing methods, categories are created using only product titles as attributes, making it an easy-to-implement methodology that can be applied in real-world systems even if items don't have detailed item descriptions or comments. In addition, it is aimed to solve the sparsity problem in recommendation systems by learning the node embeddings using the meta-path-based Metapath2Vec algorithm to explore the resulting tripartite graph. Two different categories of the Amazon dataset were used to observe the performance of the proposed model, and the results showed that the model outperformed even the closest basic result by 3.8\% when evaluated for both datasets according to hit raito. Further analysis confirms that incorporating category information into the graph structure provides an increase in recommendation accuracy, especially when recommending long-tail items. As a result, the proposed model has been evaluated using small versions of datasets and versions where we call cold-start products with little relevance, and the proposed model outperformed the base models for both hit rate and NDCG.

Benzer Tezler

  1. Tez No

    892965

    Kayıp satış miktarlarının makine öğrenmesi ve zaman serisi ile analizi

    Analysis of lost sales quantities with machine learning and time series

    RIDVAN EYYÜPKOCA

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDoğuş Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUSTAFA ZAHİD GÜRBÜZ

  2. Tez No

    46585

    Bulanık (Fuzzy) sınıflayıcılarla EKG şekil bozukluklarının belirlenmesi

    Detection of ECG shape changes by using fuzzy classifiers

    ZÜMRAY DOKUR

    Yüksek Lisans

    Türkçe

    Türkçe

    1995

    Biyomühendislikİstanbul Teknik Üniversitesi

    DOÇ.DR. MEHMET KORÜREK

  3. Tez No

    682978

    Türkiye elektrik piyasasında fiyat oluşumunun analizi, fiyat tahmin modelleri: Türkiye uygulaması

    Analysis of pricing in electricity market in Turkey and price forecast models: Implementation on turkey

    TUĞÇE DİKBAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    EnerjiPamukkale Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. AŞKINER GÜNGÖR

  4. Tez No

    906466

    Siber tehdit istihbarati içeren heterojen bilgi ağlarinin üretimi ve zenginleştirilmesi

    Production and enrichment of heterogeneous information networks containing cyber threat intelligence

    BURAK GÜLBAY

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgi Güvenliği Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MEHMET DEMİRCİ

  5. Tez No

    903163

    Okul öncesi Arapça eğitim öğretim programları ve değerler eğitimi çerçevesinde örnek ders materyali

    Sample lesson material within the framework of preschool Arabic education teaching programs and values education

    BETÜL RÜMEYSA MESTEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimGazi Üniversitesi

    Yabancı Dil Öğretimi Ana Bilim Dalı

    DOÇ. DR. İBRAHİM ÖZAY

Geri Dön