Instruction-based fine-tuning of open-source LLMs for predicting customer purchase behaviors
Açık kaynaklı LLM'lerin müşteri satın alma davranışlarını tahmin etmek için talimat bazlı ince ayarı
- Tez No: 929398
- Danışmanlar: PROF. DR. SELİM SAFFET BALCISOY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada, finansal işlem verilerinden tüccar kategorilerini tahmin etmede olasılıklı temel modeller, CNN, LSTM ve ince ayar yapılmış büyük dil modelleri (LLM'ler) dahil olmak üzere çeşitli tahmin modellerinin performansı değerlendirilmiştir. Banka A'dan alınan veri setleri eğitim için, Banka B'den alınan veri setleri ise test için kullanılarak, müşteri verilerinin doğal dil formatına dönüştürülerek eğitildiği ince ayar yapılmış Mistral Instruct modelinin üstün tahmin yetenekleri ortaya konulmuştur. Bu çalışmanın metodolojisi, geniş önceden eğitilmiş bilgi birikimini finansal işlemler alanına uyarlamak için Mistral'ı LoRA (Büyük Dil Modellerinin Düşük Dereceli Adaptasyon Uyarlaması) aracılığıyla talimat ince ayarı yapmayı içermektedir. Mistral modeli, geleneksel sıralı modellerin çok ötesine geçerek, banka işlem verilerindeki üç önemli tüccar kategorisinde—market, giyim ve benzin istasyonları—daha yüksek F1 puanları elde etmiştir, ki bu, hedefli pazarlama kampanyaları için kritik öneme sahiptir. Bu performans, modelin geliştirilmiş semantik yeteneği ve uyarlanabilirliğine bağlanmakta olup, azınlıkta olan kategorileri daha iyi yönetmesini ve daha yüksek doğrulukla tahmin etmesini sağlamaktadır. Bu bulgular, LLM'lerin insan davranışını tahmin etme potansiyelini ve finansal karar alma süreçlerinde devrim yaratma olasılığını vurgulamaktadır.
Özet (Çeviri)
In this study, the performance of various predictive models, including probabilistic baseline, CNN, LSTM, and fine-tuned LLMs, in forecasting merchant categories from financial transaction data have been evaluated. Utilizing datasets from Bank A for training and Bank B for testing, the superior predictive capabilities of the fine-tuned Mistral Instruct model, which was trained using customer data converted into natural language format have been demonstrated. The methodology of this study involves instruction fine-tuning Mistral via LoRA (Low-Rank Adaptation of Large Language Models) to adapt its vast pre-trained knowledge to the specific domain of financial transactions. The Mistral model significantly outperforms traditional sequential models, achieving higher F1 scores in the three key merchant categories of bank transaction data—grocery, clothing, and gas stations— that is crucial for targeted marketing campaigns. This performance is attributed to the model's enhanced semantic understanding and adaptability which enables it to better manage minority classes and predict transaction categories with greater accuracy. These findings highlight the potential of LLMs in predicting human behavior and revolutionizing financial decision-making processes
Benzer Tezler
- Learning-based analysis of pull request–issue alignment with large language models
Büyük dil modelleri ile pull request–ıssue hizalamasının öğrenme tabanlı analizi
MUSTAFA YASİR ALTUNHAN
Yüksek Lisans
İngilizce
2026
İhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Yükleniyor...
- ArGemma: Gemma'nın Arapçaya uyarlanddırılması için ince ayar ve çok görevli öğrenme mimarisi
ArGemma: A fine-tuning and multi-task learning architecture for adapting Gemma to Arabic
TAHA AL-SELWI
- A comprehensive multi-prompt evaluation of large language models on Turkish datasets
Büyük dil modellerinin Türkçe veri kümeleri üzerinde kapsamlı ve çok-istemli değerlendirmesi
MUSTAFA BURAK TOPAL
- Güzel sanatlar lisesi keman ders kitaplarının makamsal boyutunun öğretmen görüşleri açısından incelenmesi
An investigation of the makam-based content in fine arts high school violin textbooks from the perspective of teachers
ŞAHİN BÜYÜKBALYA
- Vcompact vision–language models for low-resource Turkish image captioning: Projection-based fusion strategies
Düşük kaynaklı Türkçe görüntü açıklama için kompakt görsel–dil modellerinde projeksiyon tabanlı füzyon stratejileri
ULVİ DEMİRSOY
Yüksek Lisans
İngilizce
2026
Galatasaray ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Yükleniyor...
