Security impacts of AI model collapse
AI model çöküşünün güvenlik etkileri
- Tez No: 1005176
- Danışmanlar: DR. ÖĞR. ÜYESİ BELAYNESH BİADGİLİGN CHEKOL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Üsküdar Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Siber Güvenlik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, yapay zekanın (YZ) evrimini ve karşılaştığı tüm zorlukları ve güvenlik etkilerini, özellikle de YZ modeli çöküşü olgusuna odaklanarak inceler. YZ, siber güvenlik, sağlık ve finans gibi kritik sektörlere hızla entegre olmaya devam ederken, YZ sistemlerinin güvenilirliğini ve güvenliğini sağlamak birçok endişeye yol açmıştır. Bu sistemlerdeki herhangi bir arıza, tüm altyapıların felç olmasına yol açabilir. Bu çalışma, YZ modeli çöküşü olarak adlandırılan olgunun matematiksel açıklamasından başlayarak, bu olguyu kanıtlamayı amaçlayan iki farklı simülasyon kullanarak YZ modeli çöküşü olarak adlandırılan olgunun pratik simülasyonlarına kadar bir YZ modeli çöküşü analizi sunmaktadır. Çalışma, güçlerine rağmen YZ tarafından oluşturulan veriler üzerinde tekrarlanan eğitimden kaynaklanan performans düşüşüne karşı savunmasız olan üretken YZ modellerine odaklanacaktır. İlk simülasyon, YZ metin modellerinin, eğitim veritabanlarında birden fazla nesil boyunca üretilen çıktılarının küçük miktarlarına bile maruz kaldığında kaçınılmaz olarak nasıl çöktüğünü göstermektedir. Onuncu nesilde, model tarafından üretilen yanıtlar anlamsız hale gelir ve sorulan soruları ele alamaz. İkinci simülasyon, AI tarafından yönlendirilen kötü amaçlı yazılım tespit sistemlerine odaklanır. AI tarafından oluşturulan kötü amaçlı dosyalar eğitim veritabanına enjekte edilirse veya veritabanına herhangi bir veri sızıntısı olursa, model kötü amaçlı ve iyi huylu dosyalar arasında ayrım yapamaz hale gelir. Bu bozulma, her türlü güvenlik duvarını açık bir kapıya dönüştürebilir ve tüm farklı kötü amaçlı yazılımların herhangi bir sisteme erişmesine izin verebilir
Özet (Çeviri)
This thesis examines the evolution of artificial intelligence (AI), and all the difficulties it is facing, and its security implications, with a particular focus on the phenomenon of AI model collapse. As AI continues its rapid integration into critical sectors such as cybersecurity, healthcare, and finance, ensuring the reliability and security of AI systems has shown a lot of concerns. Any failure within these systems could lead to the paralysis of an entire infrastructure. This study is providing an analysis of AI model collapse starting from the mathematical explanation to the practical simulations of the phenomena that's called AI model collapse using two different simulations that aims to proving this phenomena. The study will be focusing on generative AI models, which, despite their power, are vulnerable to collapse a degradation in performance caused by repeated training on AI-generated data. The first simulation illustrates how generative text models, when exposed to even small quantities of their generated outputs within their training dataset across multiple generations, inevitably collapse. By the tenth generation, the answers generated by the model become meaningless and fail to address the posed questions. The second simulation focuses on AI-driven malware detection systems. If AI-generated malicious files are injected into the training database, or if there is any data leakage into the database, the model becomes incapable of distinguishing between malicious and benign files. This degradation can manage to turn any kind of security firewall into an open door, allowing all the different malware's to have an access into any system
Benzer Tezler
- Deprem sonrasında algılayıcılar kullanılarak geçiş alanlarında hasara bağlı blokaj tespiti
The assessment of blockage related to damage in transition areas after earthquake with sensors
BURAK ÖZBAŞ
Yüksek Lisans
Türkçe
2013
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
YRD. DOÇ. ESİN ERGEN PEHLEVAN
- Birinci Körfez Savaşında Türkiye'nin rolü ve savaşın Türkiye'ye etkileri
Role of Turkey i̇n the fi̇rst gulf war and impli̇cati̇ons for Turkey of the war.
MEHMET YILMAZ
Yüksek Lisans
Türkçe
2011
TarihGaziantep ÜniversitesiTarih Ana Bilim Dalı
YRD. DOÇ. DR. REŞİT YAŞAR BÜYÜKOĞLU
- Applications of artificial intelligence for the security of networks
Ağ güvenliği için yapay zeka uygulamalari
SELEN GEÇGEL ÇETİN
Doktora
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. GÜNEŞ ZEYNEP KARABULUT KURT
- İletişim süreçlerinde yapay zekâ temelli dönüşümler: Sorunlar ve olanaklar üzerine bir alan analizi
AI-based transformations in communication processes: An area analysis on problems and opportunities
BİLAL SİNAN ERDOĞAN
Yüksek Lisans
Türkçe
2025
İletişim BilimleriAnadolu ÜniversitesiSinema Televizyon Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ONUR YUMURTACI
- Biyoçeşitliliğin korunmasında öncelikli alanların (sıcak-noktaların) belirlenmesi: Anadolu Diyagonali'nin Güneyi
Identification of priority areas (hotspots) for conservation of biodiversity: South of the Anatolian Diagonal
ENES KARADENİZ