Customer network experience modeling: Network KPI-based scoring in the context of complaints
Müşteri şebeke deneyiminin modellenmesi: Şikayetler bağlamında şebeke KPI'larına dayalı skorlama
- Tez No: 1004315
- Danışmanlar: DR. ÖĞR. ÜYESİ MEHMET ALİ ERGÜN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Veri Mühendisliği ve İş Analitiği Ana Bilim Dalı (disiplinlerarası)
- Bilim Dalı: Büyük Veri ve İş Analitiği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tezde, telekomünikasyon alanında önemli konulardan biri olan abonelerin şebeke deneyiminin ölçümlenmesine yönelik bir çalışma gerçekleştirilmiştir. Abonelerin şebeke şikâyetlerinden yararlanılarak, şebeke deneyim skorlarının oluşturulması hedeflenmiştir. Bu skorlama sürecinde makine öğrenmesi tekniklerinden faydalanılmıştır. Çalışmanın örneklemi 63,344 aboneden oluşmaktadır. Bu abonelerin 32,344'ü daha önce şebeke şikâyeti bırakmış, 31,000'i ise şebeke şikâyeti bırakmamış abonelerdir. Şikâyet eden aboneler sınıf 1, şikâyet etmeyen aboneler ise sınıf 0 olarak kategorize edildiğinde, veri setinde %51.1'e %48.9 oranında dengeli bir sınıf dağılımı elde edilmiştir. Ayrıca şikâyet etme ve etmeme durumu, çalışmada hedef değişken olarak kullanılmıştır. Çalışmada kullanılan veri seti, 142 adet şebeke anahtar performans göstergesinden (KPI) oluşmaktadır. Bu KPI'lar ses, veri, SMS ve attach (şebekeye bağlanma) üst başlıkları altında yer almaktadır ve her biri günlük olarak ölçülüp kaydedilmektedir. Örneğin, SMS teslim başarı oranı SMS kategorisi altında yer alan KPI'lardan biridir. Bu KPI, 2G, 3G ve 4G olmak üzere farklı teknoloji kırılımlarında ayrı ayrı tutulmakta; ayrıca giden (MO) ve alınan (MT) SMS olacak şekilde iki farklı yöne göre de ayrıştırılmaktadır. Çalışma, bu ve benzeri şekilde abonelerin şebeke deneyimini yansıtabilecek KPI'lar kullanılarak oluşturulmuştur. Modelleme aşamasına geçilmeden önce çeşitli veri ön işleme adımları uygulanmıştır. İlk olarak, yüksek oranda Null ve sıfır değer içeren değişkenler incelenmiştir. Bu aşamada eşik değer olarak %90 belirlenmiş ve bu eşiğin üzerinde Null ya da sıfır değere sahip olan değişkenler tespit edilmiştir. İncelemeler sonucunda, 38 KPI'ın %90'ın üzerinde Null değere, 33 KPI'ın ise %90'ın üzerinde sıfır değere sahip olduğu belirlenmiştir. Ardından bu değerlerin oluşma nedenleri analiz edilmiş ve ilgili tüm değişkenler veri setinden çıkarılmıştır. Bir sonraki aşamada, bağımsız değişkenler ile hedef değişken arasındaki korelasyon ilişkisi incelenmiştir. Bu incelemenin amacı, bağımsız değişkenlerin tek başına hedef değişken üzerindeki doğrusal etkisini gözlemlemek ve yüksek korelasyon gösteren değişkenleri çalışmadan çıkarmaktır. Elde edilen korelasyon matrisinde değerlerin -0.2 ile 0.25 aralığında değiştiği görülmüştür. Bu durum, bağımsız değişkenler ile hedef değişken arasında güçlü bir doğrusal ilişkinin bulunmadığını göstermektedir. Bu bulgu, modelin tek bir değişken tarafından yönlendirilmediğini; aksine birden fazla değişkenin çok boyutlu ilişkileri üzerine kurulu olduğunu ortaya koymaktadır. Model kurulmadan önce, geçmiş şebeke deneyiminin şikâyet davranışı üzerindeki etkisi ve veri sızıntısına yol açabilecek değişkenler de analiz edilmiştir. Bu kapsamda, şikâyet günü T0 olmak üzere [T0], [T0-T3], [T0-T5], [T0-T7] ve [T0-T15] şeklinde farklı zaman pencereleri oluşturulmuştur. Her bir KPI için belirlenen zaman pencereleri boyunca ortalama değerler hesaplanmış ve her pencere için ayrı temel modeller kurulmuştur. Modellerin doğrulukları karşılaştırıldığında, şikâyet gününe ait verilerin (T0) modelleme açısından en uygun zaman dilimi olduğu belirlenmiştir. Bunun ardından veri sızıntısı riski taşıyan değişkenler incelenmiştir. Bazı değişkenlerin, şikâyet yönetim sürecinin operasyonel işleyişiyle ilişkili olmaları nedeniyle yanıltıcı sonuçlara yol açabileceği tespit edilmiştir. Özellikle bazı KPI'ların, şikâyet günlerinde gerçekleşen çağrı merkezi faaliyetlerinden doğrudan etkilendiği gözlemlenmiştir. Bu nedenle, veri sızıntısına neden olabilecek değişkenler veri setinden çıkarılmıştır. Veri ön işleme adımlarının tamamlanmasının ardından modelleme ve skorlama aşamasına geçilmiştir. Çalışma ilk olarak bir sınıflandırma problemi olarak ele alınmış, daha sonra sınıf 1'e ait olma olasılığı üzerinden skorlama yapılmıştır. Modelleme sürecinde LightGBM, CatBoost, Random Forest, XGBoost ve Stacked Model yaklaşımları denenmiş; yapılan değerlendirmeler sonucunda LightGBM modeli tercih edilmiştir. Model eğitildikten sonra, sınıf 1 olasılığı 1'den çıkarılıp 100 ile çarpılarak 0 ile 100 arasında değişen bir şebeke deneyim skoru hesaplanmıştır. Son aşamada, modelleme ve skorlama sonuçları çeşitli testler ile değerlendirilmiştir. Modelin feature importance çıktıları incelendiğinde, en üst sıralarda yer alan değişkenlerin şebeke deneyimiyle ilişkili olması beklenen KPI'lar olduğu görülmüştür. Daha sonra, model eğitim sürecine dahil edilmeyen bir abone kitlesi üzerinde skorlar test edilmiştir. Şebeke şikâyeti bulunan ve bulunmayan aboneler için hesaplanan skor dağılımları karşılaştırılmıştır. Şikâyet oluşturan abonelerin büyük bir kısmının düşük deneyim skor aralıklarında yoğunlaştığı, bu grubun %85'inin 40'ın altında skor aldığı gözlemlenmiştir. Buna karşılık, şikâyet oluşturmayan abonelerin daha yüksek deneyim skor gruplarında yoğunlaştığı görülmüştür. Ayrıca, şebeke deneyim skoru ile müşteri kaybı (churn) arasındaki ilişki de incelenmiştir. Bu analiz, faturalı ve faturasız aboneler için ayrı ayrı gerçekleştirilmiştir. Her iki segmentte de, abonelerin şebeke deneyim skoru iyileştikçe churn oranlarının azaldığı tespit edilmiştir. Sonuç olarak, bu çalışmada geliştirilen şebeke deneyim skoru; abonelerin şebeke deneyimini veri odaklı ve ölçeklenebilir bir biçimde temsil edebilmiş, hem şikâyet hem de müşteri kaybı davranışı ile anlamlı ve tutarlı ilişkiler ortaya koymuştur. Elde edilen bulgular, yalnızca şebeke KPI'larına dayalı bu yaklaşımın, telekomünikasyon sektöründe proaktif müşteri deneyimi yönetimi ve karar destek süreçlerinde etkin bir şekilde kullanılabileceğini göstermektedir. Gelecek çalışmalar kapsamında, modelin farklı boyutlarda genişletilmesi ve daha kapsamlı analizlerle desteklenmesi planlanmaktadır. Öncelikle, yeterli verinin sağlanmasının ardından mevsimselliğin şebeke deneyim skoru üzerindeki etkisi detaylı olarak incelenecektir. Farklı mevsimlerde oluşabilecek değişimlerin modele olan katkısı analiz edilerek, anlamlı bir etki tespit edilmesi durumunda model yapısının bu doğrultuda güncellenmesi hedeflenmektedir. Bunun yanı sıra, abonelerin kullanım alışkanlıkları dikkate alınarak segmentasyon çalışması gerçekleştirilmesi planlanmaktadır. Abonelerin veri ve ses kullanımı tarafındaki yoğunluklarına göre farklı segmentlere ayrılması ve her segment için ayrı şebeke deneyim skorunun hesaplanması, modelin daha hassas ve segment bazlı içgörüler sunmasına katkı sağlayacaktır. Bu sayede, farklı kullanıcı gruplarının şebeke performansına karşı gösterdiği duyarlılıkların daha net bir şekilde ortaya konulması mümkün olacaktır. Son olarak, abone seviyesinde elde edilen şebeke deneyim skorlarının baz istasyonu seviyesine taşınması hedeflenmektedir. Bu kapsamda, abonelerden elde edilen skorların baz istasyonları ile ilişkilendirilmesi yapılarak baz istasyonu performansını yansıtan yeni bir KPI oluşturulması planlanmaktadır. Böylece, şebeke performansı yalnızca teknik metrikler üzerinden değil, doğrudan kullanıcı deneyimi üzerinden değerlendirilebilecek ve daha kullanıcı odaklı bir bakış açısı sunulabilecektir.
Özet (Çeviri)
This thesis presents a machine learning-based approach aimed at scoring mobile subscribers' network experience using network-related complaint data. The study is based on a large-scale and comprehensive dataset consisting of 142 Key Performance Indicators (KPIs) covering voice, data, SMS, and attach, reflecting multiple dimensions of network performance. The main objective of the proposed approach is to transform network KPIs into a unique, interpretable, and scalable network experience score that reflects the actual quality of subscribers' experience. Before the model development process, a comprehensive data preprocessing process was applied. This process included missing and null value analyses, correlation analyses between independent and target variables, examination of different time windows to evaluate the impact of past network performance, and identification and removal of variables that could lead to data leakage from the dataset. Thanks to these steps, the resulting model was trained on statistically robust and behaviorally meaningful features, thus increasing the generalizability and interpretability of the model. During the modeling phase, multiple machine learning algorithms were evaluated in terms of prediction performance and robustness, and the LightGBM method was determined as the most suitable model for this study. The model was trained to predict the probability of subscribers creating network-related complaints; this probability value was then converted into a network experience score. The proposed network experience score was validated on both subscriber groups with and without network complaints. The evaluation results showed significant and consistent score differences between these two groups, revealing that the model successfully captured significant differences in experienced network quality. Furthermore, the relationship between network experience score and subscriber churn behavior was analyzed for both postpaid and prepaid subscribers. The findings showed that churn rates decreased significantly as the network experience score increased, highlighting the importance of the proposed approach in terms of business value. In conclusion, the findings of this study demonstrate that mobile subscribers' network experience can be reliably quantitatively represented using network KPIs. The proposed scoring framework; By offering a data-driven, scalable, and operationally applicable solution, it is capable of supporting proactive customer experience management and customer retention strategies in the telecommunications sector.
Benzer Tezler
- Long term competitive advantage effect on company value with fuzzy logic and machine learning applications
Bulanık mantık ve makine öğrenmesi uygulamaları ile uzun vadeli rekabet avantajının şirket değeri üzerine etkisi
ZEKERİYA BİLDİK
Doktora
İngilizce
2024
İşletmeİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
DOÇ. DR. KAYA TOKMAKÇIOĞLU
- Hücresel imalat sistemlerinde maliyet ve sinir ağları tabanlı iki evreli bir kümelendirme yaklaşımı
Artificial neurat network x operation costs based twostage GT clusterning procedure
AFFAN NOMAK
Yüksek Lisans
Türkçe
1995
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. BÜLENT DURMUŞOĞLU
- Ar-ge projelerinin karmaşıklığının değerlendirilmesi: Bayes inanç ağı yaklaşımı
Assessing r&d project complexity: A bayesian belief network approach
ZÜLFİYE DERİN
Yüksek Lisans
Türkçe
2024
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYBERK SOYER
- A decision modeling study with fuzzy cognitive mapping method on customers' brand preferences criteria in telecommunications industry
Telekomünikasyon sektöründe müşterilerin marka tercih kriterleri üzerine bulanık bilişsel haritalama yöntemi ile bir karar modelleme çalışması
FATİH İSKENDER
Yüksek Lisans
İngilizce
2022
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE CAMGÖZ AKDAĞ