Towards robustness in 3D point cloud analysis: Novel approaches to adversarial attacks and defences
3B nokta bulutu analizinde gürbüzlüğe doğru: Çekişmeli saldırılar ve savunmalar için yeni yaklaşımlar
- Tez No: 916481
- Danışmanlar: PROF. DR. GÖZDE ÜNAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 71
Özet
Bu tez, 3B nokta bulutu verilerinin işlenmesinde güvenlik ve dayanıklılığı artırmayı hedefleyen yenilikçi yöntemler geliştirmektedir. Nokta bulutu verileri, sırasız ve düzensiz yapıları nedeniyle analiz edilmesi ve işlenmesi oldukça karmaşık bir veri türüdür. Bu veriler, fiziksel dünyayı üç boyutlu olarak temsil etme kabiliyetleri sayesinde, otonom sürüş, robotik, artırılmış gerçeklik ve yüz tanıma gibi alanlarda geniş bir uygulama yelpazesi bulmuştur. Ancak, bu uygulamalardaki sistemlerin yalnızca yüksek doğrulukta çalışması yeterli değildir; aynı zamanda güvenlik tehditlerine karşı dayanıklı olmaları gerekmektedir. Güvenlik açıklarına maruz kalan sistemler, hem bireysel hem de endüstriyel kullanımda büyük riskler yaratmaktadır. 3B nokta bulutu verileri üzerindeki saldırılar, sistem performansını olumsuz yönde etkileyebilir ve potansiyel olarak ciddi sonuçlara yol açabilir. Bu nedenle, bu tez kapsamında hem saldırı hem de savunma mekanizmalarını içeren kapsamlı bir araştırma yürütülmüştür. Tezin ilk bölümünde, yeni bir saldırı yöntemi olan epsilon-Mesh Saldırısı tanıtılmıştır. Geleneksel epsilon-topu tabanlı saldırılardan farklı olarak, bu yöntem pertürbasyonları yalnızca 3B yüzeylerle sınırlandırmakta ve optimizasyon alanını iki boyutlu üçgen düzlemlere indirgemektedir. Geleneksel saldırılar genellikle yüzey deformasyonlarına neden olarak görsel olarak belirgin manipülasyonlar yaratmaktadır. Bu durum, saldırının gerçekçilikten uzaklaşmasına ve savunma sistemleri tarafından daha kolay tespit edilmesine yol açmaktadır. Buna karşılık, epsilon-Mesh Saldırısı, iki boyutlu üçgen düzlemler üzerinde çalışan bir optimizasyon süreci ile yüzey bütünlüğünü korurken, sınıflandırma modellerini etkili bir şekilde yanıltmayı başarmaktadır. epsilon-Mesh Saldırısı, Merkezi Projeksiyon ve Dik Projeksiyon olmak üzere iki farklı teknikle uygulanmıştır. Merkezi Projeksiyon yöntemi, pertürbasyonları üçgenin kütle merkezine doğru yönlendirirken, Dik Projeksiyon yöntemi, pertürbasyonları üçgene en yakın noktaya taşımaktadır. Her iki projeksiyon yöntemi de yüzey yapısının korunmasını ve saldırının daha gerçekçi olmasını sağlamaktadır. epsilon-Mesh Saldırısı, CoMA, Bosphorus ve FaceWarehouse gibi tanınmış veri kümeleri üzerinde test edilmiştir. Bu veri kümeleri, 3B yüzey verilerinin yanı sıra yüz ifadeleri gibi karmaşık geometrik yapıların temsilinde kullanılmaktadır. Deneyler, epsilon-Mesh Saldırısı'nın, sınıflandırma modellerini yanıltmada etkili olduğunu ve yüzey bütünlüğünü koruduğunu göstermiştir. Örneğin, DGCNN modeli üzerinde CoMA veri kümesi kullanılarak yapılan testlerde, geleneksel saldırılar ile %0.5 oranına kadar çıkan yüzey deformasyonu, epsilon-Mesh Saldırısı ile %0.15 seviyesine düşürülmüştür. Ayrıca, epsilon-Mesh Saldırısı'nın sınıflandırma doğruluğunu ortalama %97 oranında azalttığı gözlemlenmiştir. Bu sonuçlar, özellikle yüz tanıma gibi yüzey bütünlüğünün kritik önem taşıdığı uygulamalarda, epsilon-Mesh Saldırısı'nın oldukça etkili bir yöntem olduğunu göstermektedir. Yüzey deformasyonlarının düşük seviyede tutulması, saldırının görsel gerçekçiliğini artırmakta ve tespit edilmesini zorlaştırmaktadır. Tezin ikinci bölümünde, 3B nokta bulutu verilerinin saldırılara karşı dayanıklılığını artırmak amacıyla geliştirilen Katman Tabanlı Nokta Bulutu Difüzyonu (PCLD) yöntemi tanıtılmıştır. Difüzyon yöntemleri, başlangıçta generatif modeller olarak tasarlanmıştır ve bir veri kümesinin temel dağılımını öğrenerek yeni örnekler üretmek için kullanılmıştır. Ancak bu çalışmada, difüzyon modelleri, yüksek boyutlu ara katman dağılımlarını öğrenmek ve adversarial pertürbasyonları temizlemek amacıyla uyarlanmıştır. Bu mekanizma, giriş verisinden başlayarak sinir ağının her katmanındaki ara temsilleri difüzyon yoluyla düzenler ve temizler. Böylece, hem giriş seviyesinde hem de daha derin katmanlarda meydana gelen saldırı etkileri etkili bir şekilde azaltılır. Bu yöntem, sınıflandırıcı modellerin her bir katmanı için difüzyon olasılık modelleri eğitilerek, saldırıya uğramış verilerin etkisinin hiyerarşik bir temizleme süreci ile azaltılmasını sağlamaktadır. PCLD yöntemi, ModelNet40 veri kümesi üzerinde yapılan kapsamlı deneylerle değerlendirilmiştir. Bu deneylerde, PointNet++, DGCNN ve CurveNet gibi modern sınıflandırıcılar üzerinde, PCLD'nin savunma performansını artırdığı görülmüştür. Örneğin, PointNet++ modeli üzerinde yapılan testlerde, PCLD'nin saldırıya uğrayan modellerde doğruluk oranını %89 seviyesine yükselttiği gözlemlenmiştir. Daha karmaşık senaryolarda ise, DGCNN ve CurveNet modellerinde PCLD kullanıldığında doğruluk oranının %92'den %96'ya çıktığı rapor edilmiştir. PCLD'nin katmanlar arası yüksek boyutlu dağılımları öğrenerek, saldırıların etkilerini temizleme kabiliyeti, yöntemin farklı model mimarileri ve saldırı senaryoları için geniş bir uygulanabilirlik sunduğunu göstermektedir. Araştırma sonuçları, hem saldırıların hem de savunma mekanizmalarının tasarımında yapısal bütünlüğün korunmasının kritik önem taşıdığını vurgulamaktadır. epsilon-Mesh Saldırısı, 3B yüzeylerde gerçekçi manipülasyonlar yapma kabiliyetine sahipken, PCLD yöntemi, katman bazında gerçekleştirdiği temizleme süreçleri ile saldırılara karşı dayanıklılığı artırmaktadır. Bu iki yöntem, güvenlik ve dayanıklılık gereksinimlerini karşılayarak 3B nokta bulutu işleme alanında yenilikçi bir çerçeve sunmaktadır. Bu tez, yalnızca mevcut zorlukları ele almakla kalmayıp, gelecekteki araştırmalara ve uygulamalara da güçlü bir temel sunmaktadır. Gelecekteki çalışmalar, önerilen yöntemlerin zaman boyutuna genişletilmesi ve dinamik 4B verilere uygulanması üzerinde yoğunlaşabilir. Özellikle, zamanla değişen verilerin analizi, bu yöntemlerin etkinliğini artırarak uygulama alanlarını genişletecektir. Bunun yanı sıra, önerilen yöntemlerin daha büyük veri kümelerine ve daha karmaşık modellere ölçeklenebilirliği üzerinde çalışılması gerekmektedir. Ayrıca, yeni ortaya çıkan saldırı stratejilerine uyum sağlamak ve bu tehditlere karşı etkili çözümler geliştirmek için adaptif savunma mekanizmalarının tasarlanması, bu alanda önemli bir araştırma alanı olarak öne çıkmaktadır. Önerilen yöntemlerin pratikteki uygulanabilirliği, özellikle güvenlik açısından kritik görevlerde büyük bir potansiyele sahiptir. epsilon-Mesh Saldırısı, yüzey deformasyonlarını en aza indirerek gerçek dünyadaki uygulamalar için daha gerçekçi ve tespit edilmesi zor saldırılar sunmaktadır. Örneğin, yüz tanıma sistemlerinde güvenlik açıklarını değerlendirmek için bu saldırı yöntemi kullanılabilir. Benzer şekilde, PCLD yöntemi, saldırılara karşı dayanıklı sinir ağları tasarlamak için güçlü bir savunma mekanizması sağlamaktadır. Bu yöntem, yalnızca statik veri senaryolarında değil, aynı zamanda otonom araçlar gibi sürekli değişen ortamlarda çalışan sistemlerde de etkili bir şekilde uygulanabilir. Yüksek boyutlu ara temsillerin temizlenmesi, dinamik sistemlerin güvenliğini artırmada kilit bir rol oynamaktadır. Bu tezde sunulan çözümler, yapay zekanın daha güvenli ve dayanıklı bir şekilde gerçek dünya problemlerine uygulanmasına yönelik önemli bir adım olarak değerlendirilmektedir. Sonuç olarak, bu tez, 3B nokta bulutu işleme alanında güvenlik ve dayanıklılık açısından yenilikçi çözümler sunmakta ve teknolojik ilerlemelere önemli bir katkı sağlamaktadır. Önerilen yöntemler, 3B verilerin güvenliğinin sağlanmasında hem teorik hem de pratik olarak değerli bir adım niteliğindedir.
Özet (Çeviri)
This thesis explores the domain of adversarial robustness in 3D point cloud data, addressing both the offensive and the defensive aspects of adversarial interactions. The subject focuses on designing methods for adversarial attacks and defence mechanisms, particularly for applications in safety-critical domains like autonomous driving, robotics, and facial recognition. The first part of the study introduces a novel adversarial attack method, named the ε-Mesh Attack. This method confines perturbations to the surface of 3D meshes, preserving the structural integrity of facial data. Unlike traditional approaches that operate within a 3D ε-ball, the ε-Mesh Attack reduces the optimization domain to 2D triangular planes by employing two projection methods: Central projection and Perpendicular projection. These methods ensure that adversarial manipulations remain realistic while misleading classification models. Evaluations were conducted using PointNet and DGCNN models trained on well-known 3D datasets. The results demonstrate that the ε-Mesh Attack effectively compromises model performance while maintaining the original surface integrity. In the second part, the thesis proposes a novel defence mechanism called Point Cloud Layerwise Diffusion (PCLD). PCLD enhances robustness by employing a diffusion-based purification process that operates layer by layer within the neural network. The method involves training diffusion probabilistic models for each layer of a classifier, enabling hierarchical purification of adversarial perturbations. Suggested Point Cloud Layerwise Diffusion method was tested against state-of-the-art defence techniques and showed superior or comparable performance, particularly in defending against deeper-layer attacks. The conclusions derived from this research emphasize the importance of preserving structural integrity during adversarial attacks and the effectiveness of layerwise purification in defending against such attacks. The findings contribute to advancing secure and resilient 3D point cloud processing methods, paving the way for their safe deployment in critical applications. Future work aims to extend these methods into the temporal domain and adapt them to handle emerging adversarial strategies effectively.
Benzer Tezler
- Storefront logo recognition and stereo vision based distance estimation
Mağaza logosu tanıma ve stereo görüntü tabanlı mesafe kestirimi
MEHMET BİBERCİ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Lab-on-a-chip devices with patterned hydrogels: Engineered microarrays for biomolecule fractionation, organ-on-chip and desalination
Başlık çevirisi yok
BURCU GÜMÜŞCÜ
Doktora
İngilizce
2016
Bilim ve TeknolojiUniversity of TwentePROF. DR. ALBERT VAN DEN BERG
PROF. DR. JAN C. T. EIJKEL
- ΧΑΙ IDS: Towards robustness against adversarial attaks in hostile environments
ΧΑΙ IDS: Düşmanca ortamlarda adversaryal saldırılara karşı dayanıklılığa doğru
YASIR ABDULRAHMAN YASIR
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YÜCEL BATU SALMAN
- Human-inspired communicative cues for intent expressive motion generation
Niyet belirtimli hareket üretimi için insandan esinlenilmiş iletişimsel ipuçları
DOĞANCAN KEBÜDE
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BARIŞ AKGÜN