Adversarial attacks against machine learning algorithms at training stage
Eğitim aşamasındaki ̇makina öğrenme algoritmalarına karşı gerçekleştirilen çekişmeli saldırılar
- Tez No: 777727
- Danışmanlar: DOÇ. DR. ŞERİF BAHTİYAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 159
Özet
Son yıllardaki en önemli gelişmelerden biri, veriden öğrenme ve öğrenilen bilgiyi işleyip çıkarımlar yapabilmektir. Bilgileri doğru şekilde işleyerek, canlı veya kaydedilmiş video kayıtlarındaki ilgi çekici objeleri tespit etme, spam mesajlarını tespit etme, paragrafları diğer dillere çevirme, temel kelimelerden karmaşık metinleri oluşturma, gerçek zamanlı işlemlerdeki robotları veya karakterleri hareket ettirme gibi çeşitli alanlarda ihtiyacımız doğrultusunda kullanabiliriz. İşleme yeteneklerimizin artması ve donanım kaynaklarındaki gelişmelerle birlikte, verilerden öğrenme için makine öğrenme algoritmalarını kullanılmaya başlandı. Çok katmanlı algılayıcıları ve derin sinir ağlarını kullanarak karar verme yeteneklerimizi geliştirebileceğimiz gözlemlendi. Günümüzde pek çok araştırmacı hala yeni yöntemler geliştirerek veya mevcut olanları iyileştirmeye çalışarak mevcuttaki en iyi başarıyı daha da ileriye taşımaya çalışmaktadır. Başarılı bir makine öğrenme modeli elde etmek için büyük ve çeşitli veri örneklerini toplama ve iyi tasarlanmış bir ağı kullanmak çok önemlidir. Ancak, veri toplama zor bir süreç olabilir ve çeşitli dış kaynaklara ihtiyaç duyulabilmektedir. Ayrıca, üçüncü parti modellerini kullanmak, belirli girdiler üzerinde beklenmedik model davranışlarına yol açabilmektedir. Bunlar, aslında modelin veyan ağın iç katmanlarına kodlanmış olumsuz durumlara yol açabilecek senaryolardır. Makine öğrenimi algoritmaları veya derin sinir ağları, yukarıda bahsedilen çeşitli problemlere yüksek performanslı çözümler sağlamak için canlı sistemlerde kullanılır. Ancak, modellerin öğrenme kapasiteleri, eğitim parametrelerine ve verilerine dayandığı bilinmektedir. Bundan dolayı, modelin eğitimde kullandığı verilere yakın verileri, onların dağılımından çıkartabilmek mümkündür. Bir sistemin güvenliğini sağlamak, onun güvenilirliğini ve sürdürülebilirliğini koruma açısından önemlidir. Bununla birlikte, yukarıda bahsedilen nedenler, sistemlerde hatalar oluşmasına sebep olabilmektedir. Saldırganlar, bu hataları kullanarak sistem performansını düşürebilmekte ve onlara modeller aracılığıyla zayıflıklar ekleyebilmektedir. Bu çalışma süresince, makine öğrenme algoritmalarının güvenliğinin üç önemli adımına odaklandık. Öncelikle, makine öğrenimine karşı düşmancıl saldırıları özetleyerek, saldırgan ve hedef model tabanlı kriterlere göre sınıflandırdık. Birçok çalışmada düşmancıl saldırıları ve onlara karşı koyma yöntemleri araştırılmıştır, ancak bizim araştırmamın temel farklı, saldırıların performansını hem saldırgan, hemde hedef sistem üzerindeki etkileri tarafından incelenmesidir. İncelemelerimizde, saldırıların tasarımı ve performansını araştırırken, hedef modelin saldırılara karşı tavrını ve saldırıların üzerindeki etkilerini analiz ettik. İkinci olarak, klasik makine öğrenme algoritmalarının düşmancıl saldırılara karşı dayanıklılığını araştırdık. Bu araştırma için altı tane makine öğrenme algoritması ve farklı alanlardan dört veri kümesi kullanılmıştır. Düşmancıl saldırıların hedeflenen modeller üzerinde uygulamak için etiket değiştirme saldırı stratejisini kullanıldı ve modellerin bu saldırı karşısındaki dayanıklılığı değerlendirildi. Değerlendirme için, doğruluk oranlarındaki, f1-skorlarındaki ve AUC skorlarındaki değişim oranları incelendi. En yüksek performanslı algoritmaları belirlemek için, her algoritmanın performansını diğer algoritmalarla, her öğrenme ortamında, karşılaştırıldı. Son olarak, model performanslarını daha karmaşık bir saldırı senaryosunda, arka kapı saldırıları karşısında incelenmiştir. Arka kapı saldırıları, eğitim aşamasında gerçekleşen özel bir saldırı stratejisidir. Saldırganların amacı, modelin, belirli bir tetikleme deseninin, belirli bir hedef sınıfına ait olduğunu öğrenmesini sağlamaktır. Bu son çalışmada, oluşturulan zehirli veri örneklerinin doğru olarak etiketlendiği, temiz etiketli arka kapı saldırı stratejisi tasarlandı. Deneylerimizde, sistem modeli olarak LSTM tabanlı spam algılama modeli eğitilmiştir. Sonuçlar, saldırımın hedef modelin performansını başarıyla yanıltabileceğini göstermektedir. Makine öğrenme modellerinin performansının çeşitli alanlarda gelişmeye devam etmesine rağmen, makine öğreniminin güvenlik yönü hala yeni bir araştırma alanıdır. Bu çalışmada, makine öğrenme ağlarının hatalarına odaklanılmıştır ve eğitimleri esnasında rakiplerle etkileşim sırasında performans değişiklikleri analiz edilmiştir. Literatürde, modellerin dayanıklılık değerlendirmesi için temel bir standarttan bile çok uzaktayız. Ancak daha fazla araştırmayla, makine öğreniminin daha istikrarlı bir performans göstermesini sağlamak mümkündür.
Özet (Çeviri)
Learning from data and processing them is one of the most important achievements that lead to improving ourselves in the past decade. We can apply that learned information to various domains like detecting interested objects via recorded video or live footage, deciding if a message is spam or not, translating paragraphs into other languages, auto-completing texts from basic words to complex sentences, moving agents in real-time processes, and so many others. With the increase in our process capability and improvements in hardware-related resources, we began to use machine learning algorithms to learn from data. We saw that we can improve our decision capability by applying multi-layer perceptrons and after that (deep) neural networks. Today, many researchers still develop new ways or improve existing ones to increase the state of the arts further. To accomplish a successful machine learning model, collecting huge and variant data samples and using a well-designed network are crucial steps. But, data collection can be a harsh process and relies on various third parties. Also, using others' networks can lead to unexpected model behaviors on specific inputs which are actually encoded into the inner layers of the network. Machine learning (or deep neural networks) networks are used in real-world systems to accomplish high-performance solutions for various problems like those mentioned above. But, it is known that networks are carried off their training side parameter and training data. From this characteristic, it is possible to extract similar data to the ones that the model trained on by the similarity to its distribution. Supplying the security of a system helps it to sustain its reliability and sustainability. However, reasons like those mentioned above can introduce flaws in systems. Attackers can use these flaws to decrease system performance and introduce vulnerabilities into them with help of those networks. During this work, we focused on three important aspects of the security of machine learning algorithms. First of all, we summarize adversarial attacks against machine learning and categorize them using the attacker and target model-based criteria. In many works adversarial attacks and their countermeasures are investigated, but the main difference of our is we focus on attacks and performance from both the attacker and target system sides. While exploring the design and performance of attacks, we analyze the response of the target model against them and the results that the attack achieves on them. Second, we investigate the robustness of classical machine learning algorithms against adversarial attacks. For this specific task, six machine-learning algorithms and 4 different datasets from different domains are used. Specifically, Support Vector Machine, Stochastic Gradient Descend, Logistic Regression, Random Forest, Gaussian Naive Bayes, and K-Nearest Neighbor algorithms are selected to create learning models and spam, botnet, malware, and breast cancer datasets are selected for training data samples. The label-flipping attack strategy, which is a data poisoning attack, is used to apply adversarial attacks on the targeted models and evaluate the robustness of those models. For evaluation, the change rates in their accuracy rate, f1-score, and AUC score are analyzed. For determining the algorithms with the highest performance, each algorithm's performance is compared with other algorithms in each learning environment. Last but not least, we further analyze the performance of models in a more complex attack scenario, more specifically backdoor attacks. Backdoor attacks are a specific attack strategy that happens in the training stage. Attackers aim to let the target model learn from a specific trigger pattern as the target class. In this work, a clean-label backdoor attack strategy is designed to generate poisoned data samples correctly labeled as they must be. An LSTM-based spam detector is trained for the main target model. Results show that the attack can successfully deceive the performance of the target model. While improvements in the performance of machine learning models still continue in various domains, the security aspect of machine learning is still a new research area. In this work, we focus on the flaws of machine learning networks by analyzing their performance change when they interact with adversaries in their training. Currently, we are still far from even a standard in the robustness evaluation, but with further research, we can accomplish great achievements in the stability of machine learning.
Benzer Tezler
- Mil-Std 1553 tabanlı sistemler için yeni bir saldırı tespiti yaklaşımı
A new intrusion detection approach for Mil-Std 1553 based systems
YUNUS EMRE ÇİLOĞLU
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ŞERİF BAHTİYAR
- Missile evasion maneuver generation with model-free deep reinforcement learning
Modelden bağımsız derin pekiştirmeli öğrenme ile füzeden kaçınma manevraları
MUHAMMED MURAT ÖZBEK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- Exploring adversarial machine learning attacks on intrusion detection systems
Saldırı tespit sistemlerine karşı karşı makine öğrenimi saldırılarını araştırmak
ABDULSTAR AHMED KAREEM KAREEM
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ECE GELAL SOYAK
PROF. ALKAN SOYSAL
- Yapay öğrenme algoritmalarını kandırmak
Deception of machine learning algorithms
FATMA GÜMÜŞ
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET FATİH AMASYALI
- The interplay of multiple kernel learning in gans via robust optimization
Gans'ta çoklu kernel öğreniminin etkileşimi sağlam optimizasyon
MOHAMMED THAMER KAMIL AL-KHAZRAJI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiYapay Zeka Ana Bilim Dalı
PROF. DR. SÜREYYA AKYÜZ