An ensemble classification model for detecting voice phishing in telecommunication networks and its integration into a visual analysis tool
Telekomünikasyon ağlarında sesli olta saldırılarının birleşik sınıflandırma modeli ile tespiti ve görsel analiz aracına entegrasyonu
- Tez No: 755500
- Danışmanlar: PROF. DR. UĞUR DOĞRUSÖZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 63
Özet
Telefon görüşmeleri üzerinden gerçekleştirilen bir sosyal mühendislik dolandırıcılığı yöntemi olan sesli kimlik avı, telefon kullanımının yaygınlaşmasından bu yana dünya çapında büyük bir sorun haline geldi. Bu sahtekarlıkları tespit etmek için geleneksel ve modern yöntemler şu şekilde listelenebilir; müşteri davranışlarının görsel analizi, kural tabanlı karar sistemleri, kümeleme algoritmaları, karar ağaçları, sığ sınıflandırıcılar ve derin öğrenme modelleri gibi makine öğrenme modelleri. Görsel analiz sadece insan uzmanlığına bağlıdır ve etkili olabilmesi için çok yüksek iş gücü gerektirir. Kural tabanlı sistemler uç durumlar için kullanışlıdır ancak konsept kaymalarına karşı savunmasızdır. En gelişmiş yöntemler genellikle makine öğrenimi yaklaşımlarını kullanır. Ancak, makine öğrenmesi yöntemlerinin, uzmanlar tarafından yapılan özellik mühendisliği çalışması ve yüksek hesaplama gücü gibi gereklilikleri ve gizlilik ihlalleri gibi kısıtları vardır. Bu nedenle Turkcell Teknoloji ile ortaklaşa çalışarak, bu sorunu çözmek için geleneksel yöntemlerin avantajlarından ve son teknoloji yöntemlerin etkinlik ve verimliliğinden yararlanan bir sistem geliştirmeyi hedefledik. Dolandırıcı kullanıcıları tespit etmek için bir birleşik öğrenme modelini mevcut bir görselleştirme aracına entegre ettik. Bu araç, ilişkisel verileri bilgi çizgeleri olarak görselleştirirken, bilgileri ve istatistiksel verileri çizelgeler ve metinler olarak gösteren bir araçtır. Birleşik öğrenme modelimiz iki derin sinir ağı ve bir karar ağacı sınıflandırıcısından oluşturmaktadır. Varyansı azaltmak ve daha kararlı bir model oluşturmak için iki farklı yapay sinir ağından faydalandık. İlk yapay sinir ağı; bir giriş katmanından, Rektifiye Edilmiş Doğrusal Birim (ReLU) aktivasyon fonksiyonunu kullanan 200 yapay nöron içeren iki gizli katmandan, gizli katmanları takip eden nöron seyreltme katmanlarından ve sigmoid aktivasyon fonksiyonlu bir yapay nöron içeren çıkış katmanından oluşmaktadır. Aşırı uyumlamayı önlemek için bu ağda nöron seyreltme katmanları kullanılmıştır. Oluşturduğumuz ikinci sinir ağı, aktivasyon fonksiyonu ReLU olan, sırasıyla 64, 64 ve 32 yapay sinir hücresi sahip 3 gizli katmana sahiptir. Bu modellerde kullanmak için Turkcell dolandırıcılık uzmanlarıyla birlikte 20'si ham olmak üzere toplam 34 özellik tasarlanmıştır. Son sonuçların hesabı, modellerin çıktılarının ortalamaları alınarak yapılmıştır. Modelimizin başarısı, sınıf dengesizliği yüksek olduğu için F1 skoru ile ölçülmüştür. Modelimiz 0.82 kesinlik değeri, 0.83 duyarlılık değeri ve 0.82 F1 skoruna sahiptir. Ayrıca modelimizin görselleştirme aracına entegrasyonu ile mobil şebeke operatörlerinin dolandırıcılık olaylarını daha etkin bir şekilde inceleyerek buna göre hareket etmelerini sağlayan bir çerçeve oluşturulmuştur.
Özet (Çeviri)
Voice phishing, a method of social engineering fraud performed over phone calls, has been a major problem globally since the use of phones became widespread. Traditional and modern methods to detect these fraud schemes include visual analysis of the customers' behaviour, rule-based systems and machine learning models such as clustering, decision trees, shallow classifiers and deep learning models. Visual analysis depends only on human expertise and requires very high labor force to be effective. Rule-based systems are useful for extreme cases but are vulnerable to concept drifts. The-state-of-the-art methods generally utilize machine learning approaches. However, they require one or more of feature engineering done by experts, high computational power and privacy infringements. Therefore, in collaboration with Turkcell Technology, we aimed to develop a system that benefits from the advantages of the traditional methods while exploiting the effectiveness and efficiency of the state-of-the-art ones to tackle this issue. In doing so, we integrated an ensemble learning model to an existing visualization tool for detecting fraud users. This tool visualizes relational data as knowledge graphs, shows the informational data as texts and statistical data with charts and texts. Our ensemble learning model has two deep neural networks and one decision tree classifier. Multiple neural networks are used to reduce the variance and make a more stable model. One of them is composed of an input layer, two hidden layers with 200 nodes using Rectified Linear Unit (ReLU) activation function, each followed by a dropout layer and an output layer of one node with sigmoid activation function. We used dropout layers in this network to prevent over-fitting. The second neural network we built has 3 hidden layers instead with node numbers 64, 64 and 32, respectively, with ReLU as their activation function. To feed these models, a total of 34 features, 20 of which are raw, have been engineered with Turkcell fraud experts. The aggregation of the outputs is done by taking their average. We measured the success of our model by calculating the F1 Score as the class imbalance is high. Our model's F1 score is 0.82 with a precision of 0.82 and a recall of 0.83. Also, with the integration of our model into this visualization tool, a framework was formed allowing mobile network operators to examine and detect fraud cases more efficiently and act accordingly.
Benzer Tezler
- Patolojik seslerin tanısı için derin öğrenme tabanlı tıbbi karar destek sisteminin geliştirilmesi
Development of a deep learning-based medical decision support system for the diagnosis of pathological voices
İREM BİGAT
Yüksek Lisans
Türkçe
2022
BiyomühendislikTOBB Ekonomi ve Teknoloji ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. OSMAN EROĞUL
- Multimodal emotion recognition in video
Video içerisinde çok alanlı duygu tanıma
TANER DANIŞMAN
Doktora
İngilizce
2008
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Bölümü
YRD. DOÇ. DR. ADİL ALPKOÇAK
- Computer aided detection of cancer using histopathology images
Histopatoloji görüntülerinden bilgisayar destekli kanser tespiti
SENA BÜŞRA YENGEÇ TAŞDEMİR
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAbdullah Gül ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BÜLENT YILMAZ
DOÇ. DR. ZAFER AYDIN
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Online anomaly detection in the Neyman-Pearson hypothesis testing framework
Neyman-Pearson hipotez testi çerçevesinde çevrimiçi anomali tespiti
BAŞARBATU CAN
Doktora
İngilizce
2022
Elektrik ve Elektronik MühendisliğiSabancı ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜSEYİN ÖZKAN