B2B iletişimlerin otomatikleştirilmesinde büyük dil modellerinin etkinliğinin araştırılması
Investigating the efficacy of large language models in automating B2B communications
- Tez No: 937392
- Danışmanlar: DOÇ. DR. ŞEBNEM ÖZDEMİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Üsküdar Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Mühendisliği Bilim Dalı
- Sayfa Sayısı: 115
Özet
Büyük dil modelleri (LLM'ler) ve LLM ajanlarının potansiyelleri üzerine yapılan kapsamlı araştırmalar, çeşitli sektörlerde önemli sonuçlar ortaya koymaktadır. Bu tez çalışmasının amacı, B2B iletişim süreçlerini optimize etmek için LLM ajanlarının kullanımını incelemektir. Araştırmada, Kaggle'dan elde edilen ve 2020 yılına ait yaklaşık 10.000 ender üründen oluşan bir veri kümesi kullanılmıştır. Ayrıca, Amazon'un Müşteri Hizmetleri sayfasındaki çeşitli bilgiler kullanılarak bir vektör veri tabanı oluşturulmuştur. Veri kümesi, alaka düzeyi ve kullanılabilirliğin artırılması amacıyla çeşitli önişlemlerden geçirilmiştir. Çalışmada, Microsoft'un Autogen çerçevesi ile simüle edilmiş bir satış ekibi ortamı yaratılmış ve farklı hayali şirketlerden gelen satın alma taleplerine ve sorulara e-posta yoluyla yanıt verilmesi sağlanmıştır. Sistem performansı, OpenAI'nin GPT-4 (GPT-4o) ve GPT-3.5 (GPT-3.5-Turbo) modelleri kullanılarak değerlendirilmiştir. Müşteri sorgularını içeren e-postalar Google'ın Gemini modeli ile oluşturulmuştur. Sonuçlar, GPT-4'ün e-postaları yanıtlamada %100 tamamlama oranına ulaştığını ve ortalama işlem süresinin 18,71 saniye olduğunu; GPT-3.5'in ise %90 tamamlama oranı ve ortalama 13,44 saniye işlem süresi ile çalıştığını ortaya koymuştur. Şirketle ilgili sorularda GPT-4 %93, ürünle ilgili sorularda %83 doğruluk oranına ulaşırken, GPT-3.5 sırasıyla %50,6 ve %79,4 doğruluk oranı elde etmiştir. İhracat kısıtı sorularında ise GPT-4 %98,5, GPT-3.5 %86,67 doğruluk oranı yakalamıştır. Sürecin uçtan uca tüm soruların cevaplanması ile tamamlanması göz önüne alındığında, GPT-4 %77,5 başarı oranı ile GPT-3.5'in %34,0'lük başarısını geride bırakmıştır. Bu çalışma, LLM ajanlarının B2B iletişim süreçlerini optimize etme potansiyelini ortaya koymakta ve işletmelerin bu teknolojiyi nasıl kullanabileceğine dair önemli bulgular sunmaktadır.
Özet (Çeviri)
Comprehensive research on the potential of Large Language Models (LLMs) and LLM agents has yielded significant findings across various sectors. The objective of this thesis is to investigate the use of LLM agents to optimize B2B communication processes. The study utilized a dataset obtained from Kaggle, comprising approximately 10,000 rare products from the year 2020. Additionally, various pieces of information from Amazon's Customer Service page were used to create a vector database. The dataset underwent various preprocessing steps to enhance relevance and usability. In the study, a simulated sales team environment was created using Microsoft's Autogen framework, enabling responses to purchase requests and inquiries from different fictional companies via email. The system's performance was evaluated using OpenAI's GPT-4 (GPT-4o) and GPT-3.5 (GPT-3.5-Turbo) models. Emails containing customer inquiries were generated using Google's Gemini model. Results indicated that GPT-4 achieved a 100% completion rate in email responses with an average processing time of 18.71 seconds, whereas GPT-3.5 achieved a 90% completion rate with an average processing time of 13.44 seconds. For company-related queries, GPT-4 attained an accuracy rate of 93%, and for product-related queries, it achieved 83% accuracy. In contrast, GPT-3.5 achieved accuracy rates of 50.6% and 79.4% for company-related and product-related queries, respectively. For export restriction queries, GPT-4 achieved 98.5% accuracy, while GPT-3.5 attained 86.67% accuracy. Considering the end-to-end process of answering all queries, GPT-4 outperformed GPT-3.5 with a success rate of 77.5% compared to 34.0%. This study highlights the potential of LLM agents to optimize B2B communication processes and provides significant insights into how businesses can leverage this technology.
Benzer Tezler
- Big data analysis in digital marketing
Büyük verinin digital pazarlamada analizi
SERDA KASACI YILDIRIM
- Yapay zekanın marka söylemini belirleme gücü
The defining power of the artificial intelligence on brand discourse
GİZEM TEMİR
Yüksek Lisans
Türkçe
2024
Halkla İlişkilerTrabzon ÜniversitesiHalkla İlişkiler ve Reklamcılık Ana Bilim Dalı
DOÇ. DR. EMRE ŞABAN ASLAN
- B2B firmaların kriz dönemlerinde marka iletişimi, Ar-Ge ve müşteri ilişkileri yönetimi yatırımlarının pazarlama performansına etkisi
The impact of B2B firms' investments of brand communication, R&D and customer relationship management on the marketing performance in the crisis period
AYKUT KABATAŞ
Yüksek Lisans
Türkçe
2020
İşletmeİstanbul Gelişim Üniversitesiİşletme Ana Bilim Dalı
DR. ÖĞR. ÜYESİ KUTALMIŞ EMRE CEYLAN
- Effects of B2B e-marketplaces to the marketing strategies of companies
B2B elektronik pazar yerlerinin şirketlerin pazarlama stratejilerine etkileri
BARIŞ BEYOĞLU
Yüksek Lisans
İngilizce
2005
İşletmeYeditepe Üniversitesiİşletme Ana Bilim Dalı
YRD. DOÇ. DR. ÇETİN KAYA
- The effects of job stress on organizational citizenship behavior in the B2B Services Sector
B2B hizmet sektöründe iş stresinin örgütsel vatandaşlık davranışı üzerine etkisi
HASAN MEHMED AYT
Yüksek Lisans
İngilizce
2018
İşletmeMarmara Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. GÜLER İSLAMOĞLU