B2B iletişimlerin otomatikleştirilmesinde büyük dil modellerinin etkinliğinin araştırılması
Investigating the efficacy of large language models in automating B2B communications
- Tez No: 937392
- Danışmanlar: DOÇ. DR. ŞEBNEM ÖZDEMİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Üsküdar Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük dil modelleri (LLM'ler) ve LLM ajanlarının potansiyelleri üzerine yapılan kapsamlı araştırmalar, çeşitli sektörlerde önemli sonuçlar ortaya koymaktadır. Bu tez çalışmasının amacı, B2B iletişim süreçlerini optimize etmek için LLM ajanlarının kullanımını incelemektir. Araştırmada, Kaggle'dan elde edilen ve 2020 yılına ait yaklaşık 10.000 ender üründen oluşan bir veri kümesi kullanılmıştır. Ayrıca, Amazon'un Müşteri Hizmetleri sayfasındaki çeşitli bilgiler kullanılarak bir vektör veri tabanı oluşturulmuştur. Veri kümesi, alaka düzeyi ve kullanılabilirliğin artırılması amacıyla çeşitli önişlemlerden geçirilmiştir. Çalışmada, Microsoft'un Autogen çerçevesi ile simüle edilmiş bir satış ekibi ortamı yaratılmış ve farklı hayali şirketlerden gelen satın alma taleplerine ve sorulara e-posta yoluyla yanıt verilmesi sağlanmıştır. Sistem performansı, OpenAI'nin GPT-4 (GPT-4o) ve GPT-3.5 (GPT-3.5-Turbo) modelleri kullanılarak değerlendirilmiştir. Müşteri sorgularını içeren e-postalar Google'ın Gemini modeli ile oluşturulmuştur. Sonuçlar, GPT-4'ün e-postaları yanıtlamada %100 tamamlama oranına ulaştığını ve ortalama işlem süresinin 18,71 saniye olduğunu; GPT-3.5'in ise %90 tamamlama oranı ve ortalama 13,44 saniye işlem süresi ile çalıştığını ortaya koymuştur. Şirketle ilgili sorularda GPT-4 %93, ürünle ilgili sorularda %83 doğruluk oranına ulaşırken, GPT-3.5 sırasıyla %50,6 ve %79,4 doğruluk oranı elde etmiştir. İhracat kısıtı sorularında ise GPT-4 %98,5, GPT-3.5 %86,67 doğruluk oranı yakalamıştır. Sürecin uçtan uca tüm soruların cevaplanması ile tamamlanması göz önüne alındığında, GPT-4 %77,5 başarı oranı ile GPT-3.5'in %34,0'lük başarısını geride bırakmıştır. Bu çalışma, LLM ajanlarının B2B iletişim süreçlerini optimize etme potansiyelini ortaya koymakta ve işletmelerin bu teknolojiyi nasıl kullanabileceğine dair önemli bulgular sunmaktadır.
Özet (Çeviri)
Comprehensive research on the potential of Large Language Models (LLMs) and LLM agents has yielded significant findings across various sectors. The objective of this thesis is to investigate the use of LLM agents to optimize B2B communication processes. The study utilized a dataset obtained from Kaggle, comprising approximately 10,000 rare products from the year 2020. Additionally, various pieces of information from Amazon's Customer Service page were used to create a vector database. The dataset underwent various preprocessing steps to enhance relevance and usability. In the study, a simulated sales team environment was created using Microsoft's Autogen framework, enabling responses to purchase requests and inquiries from different fictional companies via email. The system's performance was evaluated using OpenAI's GPT-4 (GPT-4o) and GPT-3.5 (GPT-3.5-Turbo) models. Emails containing customer inquiries were generated using Google's Gemini model. Results indicated that GPT-4 achieved a 100% completion rate in email responses with an average processing time of 18.71 seconds, whereas GPT-3.5 achieved a 90% completion rate with an average processing time of 13.44 seconds. For company-related queries, GPT-4 attained an accuracy rate of 93%, and for product-related queries, it achieved 83% accuracy. In contrast, GPT-3.5 achieved accuracy rates of 50.6% and 79.4% for company-related and product-related queries, respectively. For export restriction queries, GPT-4 achieved 98.5% accuracy, while GPT-3.5 attained 86.67% accuracy. Considering the end-to-end process of answering all queries, GPT-4 outperformed GPT-3.5 with a success rate of 77.5% compared to 34.0%. This study highlights the potential of LLM agents to optimize B2B communication processes and provides significant insights into how businesses can leverage this technology.
Benzer Tezler
- KOBİ'lerin İşletmeden İşletmeye (B2B) e-ticareti benimsemesinde etkili olan faktörler: Toprağa dayalı ürünler sektöründe bir uygulama
Factors affecting SMEs' adoption of business-to-business (B2B) e-commerce: An application for non-metallic mineral products industry
NİDA KUYULU
Yüksek Lisans
Türkçe
2021
Kütahya Dumlupınar ÜniversitesiUluslararası Ticaret ve Finansman Ana Bilim Dalı
Yükleniyor...
- The impact of social media and its role on SMESs' B2B marketing
KOBİ lerin örgütsel pazarlama faaliyetlerinde sosyal medyanın etkisi ve rolü
MOHAMED HASSAN MOHAMED EDWAN
- Türkiye'deki kamu iktisadi teşebbüslerinde stratejik kurumsal iletişim: Enerji sektörü
Strategic corporate communications in state-owned enterprises in Turkey: The energy sector
İSMAİL RÜZGAR
- L'evaluation des alternatives de paiement electronique avec des methodes floues d'aide a la decisions
Elektronik ödeme alternatiflerinin bulanık çok ölçütlü karar verme yöntemleriyle değerlendirilmesi
GÜLFEM IŞIKLAR
- Elektronik ticaretin KOBİ`ler açısından uygulanabilirliği: Ankara örneği
Applicability of e-commerce for SME`s: Example of SME's in Ankara
AHMED RAMAZAN ALTINOK
