Bulut tabanlı otonom sürüş sıstemlerınde görüntü işleme ıçın tam homomorfık şıfreleme yaklaşımı
A fully homomorphic encryption approach to image processing in cloud based autonomous driving systems
- Tez No: 988408
- Danışmanlar: DOÇ. DR. MUHAMMED FATİH ADAK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Sakarya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Akıllı ulaşım sistemlerinin hızlı ve ileri düzeydeki gelişimi, otonom araçları günümüz yeniliklerinin bir parçası haline getirmiştir. Bu araçlar, çevrelerini sürekli olarak taramak ve anlık gelişen olaylara göre karar vermek için sensörler, kameralar ve iletişim modüllerinden oluşan bir ağa bağımlıdır. Bu sensörlerin taşıdığı bilgiler yolcu bilgileri, yol koşulları ve konum verilerini içermesi nedeniyle oldukça hassastır. Araçlarda sınırlı depolama alanı bulunduğundan, bu verilerin bulut depolama gibi harici bir ortama aktarılması gerekmektedir. Ancak veriler buluta gönderilip işlenmek üzere saklandığında, yetkisiz erişim, içeriden gelen tehditler ve çıkarıma dayalı saldırılar gibi risklere açık hale gelmektedir. Üçüncü taraf depolama alanlarında saklanan bu verilerin korunması için kriptografi teknikleri kullanılabilir, ancak bu durumda verilerin geri çağrılması (retrieval) sorunu ortaya çıkmaktadır. Araç üzerine monte edilen kameralar tarafından yakalanan tüm görüntü tabanlı verilerin saklanması genellikle başka bir kaynağı gerektirir; çünkü bu verilerin tamamının araç depolamasında tutulması imkânsızdır. Bu çalışmada, verilerin bulutta güvenli bir şekilde saklanması ve şifre çözme yapılmadan geri çağrılabilmesi için homomorfik şifreleme tekniği önerilmiş ve doğrulanmıştır. Bu kapsamda Brakerski–Fan–Vercauteren (BFV) tam homomorfik şifreleme (FHE) şeması kullanılarak görüntü tabanlı veri setleri piksellere dönüştürülmüş ve iletimden önce şifrelenmiştir. Geleneksel şifreleme yöntemlerinde olduğu gibi bilgilerin çözülüp analiz edilmesine gerek kalmadan, bu yöntemde süreç boyunca gizlilik korunmaktadır. Şifrelenmiş veriler bulutta işlenebilmekte ve güvenliğini korumakta, dolayısıyla ele geçirilse bile saldırgan için kullanılabilir olmamaktadır. Bu çalışmanın en önemli katkılarından biri, görüntülerin çok yönlü ve güvenli bir şekilde geri çağrılmasını sağlamak amacıyla üç farklı algılama tekniğinin bir araya getirilmesidir. Benzerlik yüzdesine dayalı yöntem, şifrelenmiş görüntüler arasında yapısal benzerliklerin karşılaştırılmasını ve eşleştirilmesini sağlayarak benzer veya yinelenen görüntülerin tespitinde etkili olmaktadır. Bilinen nesne tabanlı yaklaşım, bulutta önceden şifrelenmiş nesne desenlerinden yararlanarak belirli kategori sorgularında hızlı ve kesin çözümler sunmaktadır. Bilinmeyen nesne tabanlı yaklaşım ise yeni, daha önce görülmemiş nesnelerin tanımlanabilmesi için nesne şekillerinin oluşturulup şifrelenmesiyle sistemin esnekliğini artırmaktadır. Bu kombinasyon sayesinde çerçeve hem rutin sorgularda hem de beklenmedik yol durumlarında etkili olmaktadır. Bununla birlikte, gerçek zamanlı nesne tespitinde yüksek doğruluk ve verimlilik sağlamak için YOLOv9c modeli uygulanmıştır. Model, araçların, yayaların, trafik işaretlerinin ve diğer kritik trafik unsurlarının yerini belirlemede %90 ortalama hassasiyet elde etmiştir. Kriptografik şema ile YOLOv9c'nin birleşimi, gizlilik, doğruluk ve performans arasında bir denge sağlamıştır. Deneysel sonuçlar, bulut tabanlı görüntü işlemede homomorfik şifrelemenin uygulanabilir olduğunu kanıtlamıştır. Şifreleme, daha fazla hesaplama ve depolama maliyetine neden olsa da, bu maliyetler mevcut bulut ortamlarında karşılanabilir düzeydedir. Ayrıca, şifrelenmiş görüntülerde yapısal bütünlük korunduğundan, şifreleme tespit sonuçlarını bozucu bir etki yaratmamıştır. Çalışmada dikkat çekilen bir diğer önemli nokta, kötü hava koşulları gibi zorlu ortamlarda da çerçevenin dayanıklılığını korumasıdır. Benzerlik tabanlı tekniklerin doğruluğu bu durumlarda düşse de sistem işlevselliğini sürdürebilmiştir. Sonuç olarak, bu çalışma homomorfik şifreleme ve derin öğrenmenin, otonom araçlar için bulut depolarda güvenli ve gizliliği koruyan bir arama kabiliyeti sağlayabileceğini göstermektedir. YOLOv9c modeli, karmaşık araç veri setlerinde nesneleri yüksek doğrulukla tespit ederek 0.901 F1 skoru, 0.948 hassasiyet ve 0.86 duyarlılık elde etmektedir. Önerilen BFV tabanlı şifreleme yöntemi, önceki çalışmalarda bildirilen sürelere kıyasla çok daha düşük işlem yüküne sahiptir; şifreleme süresi yalnızca 0.18 saniye, çözme süresi ise 0.09 saniyedir. Şifreli görüntü arama performansı da oldukça yüksektir; 100 görüntülük bir veri setinde arama işlemi 14.04 saniyede tamamlanmakta olup, bu süre literatürde rapor edilen sürelerden önemli ölçüde daha kısadır. Bilinen nesne tespiti, 50 nesneye kadar 4.06 saniyelik arama süresi ile ölçeklenebilirlik göstermektedir. Bilinmeyen nesne tespitinde ise 1.17 KB boyutundaki nesneler, 1000 görüntü içeren bir veri setinde 10 saat 29 dakika içinde bulunabilmektedir. Önerilen bu sistem, yalnızca akıllı ulaşım sistemlerine değil, aynı zamanda büyük miktarda verinin saklanmasını gerektiren tüm sistemlere, güvenli ve düşük maliyetli üçüncü taraf depolama çözümleri sunmaktadır. Araştırmanın bulguları, veri gizliliği ve güvenliğinin kritik önem taşıdığı sağlık, finans, kamu, gözetim ve akıllı şehirler gibi diğer sektörler için de değerlidir.
Özet (Çeviri)
Nowadays there is an advancement of smart transportation which has boosted the growth of autonomous vehicles. Autonomous vehicles use sensors, cameras, and networked Internet of Things (IoT) devices to understand their environment. These devices help to take appropriate decisions on time. All these devices mounted on vehicles captured enormous amounts of sensitive data like real-time video feed, location data, and traffic status. It is essential to the safety of the passengers and their effective navigation. Because of this large amount of data there is need for third-party storage where all this data should be securely stored like cloud storage. If this data is sent to the cloud and stored there, then it is very necessary to ensure the privacy preserving of that data and should be protected from any insider attacker and unauthorized access. Cryptography is the technique through which data can be secured but at the same time administrator required some computation on the data for analyzation of any incident or research. This is the primary concern of autonomous vehicles automation system. This research provides a solution to this concern about how the data can easily secure on cloud or any third-party storage and can also perform the computation without revealing any information of data. The suggested method proposed the integration of homomorphic encryption through which administrator or researcher can perform any type of computation without decryption of data on cloud. In this work this technique is tested on the image-based dataset which is captured by the camera mounted on the vehicle. As the image data takes too much storage, it is impossible to store on vehicle that's why it is necessary to send this data to the other storage. Images data can be encrypted per pixel and securely processed in the cloud without decryption. The scheme by Brakerski, Fan, and Vercauteren (BFV) was selected as a cryptographic basis since it enables the implementation of efficient integer-based operations and computations can be done directly on encrypted messages. This technique can be applied to recognize very similar images or similar situations despite the use of diverse environmental conditions. The second is an established object-based approach, in which objects are extracted and encrypted and stored in the cloud along with the corresponding images. The queries are handled by comparing the desired object with the encrypted objects and allow users to download all images linked with that object. This method is computationally cheap and is especially effective where the objects in question are already in the system database. The third one is a method of objects whose nature is unknown, created to process the objects do not present in the prior dataset. Here the object vector is repeated and shifted to create various patterns that correspond to the length of the image vector, and which are then encrypted and compared with encrypted images. Being more computationally intensive but offers flexibility to find new or unexpected object-based images, this method is important in the real world of autonomous driving. All the processing on the cloud was performed on encrypted data, that's why this method ensures privacy preserving. The encrypted detection framework was combined with the (You Only Look Once version 9) YOLOv9c deep learning model that has become one of the most popular algorithms in real-time object detection. YOLOv9c attained an average Precision of approximately 90 percent when using traffic related objects such as vehicles, pedestrians, road signs, and lights. Its ability to improve small and partially blocked object detection, combined with speed, prequalified it as a supplement to the cryptographic layer. YOLO offered quick predictions of bounding boxes and homomorphic encryption ensured that all comparisons and validations were conducted in a secure way. The methodology started with preprocessing in which the raw images were resized, normalized and turned into one-dimensional pixel vectors. Such vectors were subsequently coded with the use of BFV scheme and sent to the cloud. In the case of known objects, sub vectors were extracted, encrypted, and stored to permit queries later. In the case of undetermined objects, repetitive designs were created and coded. Subtraction operations were implemented directly on the ciphertexts on the cloud, which resulted in encrypted output. Upon their reversion to the administrator, they were decrypted by using the private key and verified by searching through consecutive zero sequences that were the indicators of presence of an object. This methodology made sure that there was no point in exposure of unencrypted data at any point of processing. It was implemented by a multi-layer hardware configuration comprising of a high-performance Ubuntu server with 128 GB of RAM and multi-core processors to operate the cloud, an administrator system with Windows and Xeon processors to decrypt and validate, and an on-vehicle system with light-weight hardware to encrypt and transmit the data. The cryptographic tasks were programmed with the use of the TenSEAL library, and YOLOv9c was trained and tested on traffic data. These findings showed that this combined model was effective. YOLOv9c has a good precision and recall rate which proves that it can be relied on in actual time. The encrypted detection of the known object-based method was the fastest and most efficient, and low computational overhead. The unknown object-based approach, though slower, was necessary in terms of flexibility, which enabled the system to identify new objects that were not in the driving environment before. The similarity-based approach that uses percentile allowed us to make encrypted comparisons of the images, but the similarity scores dropped during bad weather conditions because of low image quality. Notably, the structural integrity of encrypted images was maintained in all methods, which avoided distortions caused by encryption, which otherwise would obstruct detection. It was also found that homomorphic encryption added both time and storage overhead to the analysis. Encrypted vectors were much larger than plaintext and encrypting and decrypting vectors introduced latency when compared to single-stage image processing. Nevertheless, subtraction on the encrypted side was still light, and the current cloud infrastructure contributed to the elimination of storage heavy loads. The cost was determined as being acceptable when weighed against the imperative privacy trims obtained. While classical schemes like Rivest Shamir Adleman (RSA) and Paillier offer limited homomorphic capabilities, they do not support the full range of efficient integer-based operations required by the framework. In contrast, the BFV scheme was selected because it enables extensive computations directly on encrypted messages, providing the end-to-end security processing needed to ensure data is never exposed to risk during analysis. The BFV scheme on the other hand provided end-to-end security processing. According to the Artificial Intelligence (AI) point of view, YOLOv9c had better performance compared to the previous versions as well as other alternatives like faster R-CNN in speed and applicability in real-time situations. Homomorphic encryption integration with YOLOv9c produced a hybrid system that could not be implemented either by pure cryptographic or pure AI. The strengths of the framework that were identified in the discussion are that the framework provides privacy and detection performance, adjusts to known and unknown objects, and scales in a cloud setting. Limitations also were admitted, including the complexity of computations, the need to store more information, and the dependence on the connection with the cloud. They can, however, be overcome by several enhancements such as hardware acceleration with GPUs and FPGAs, parallel and distributed computing to minimize pattern evaluation delays, and integration of edge and fog computing to minimize latency in regions with low network coverage. Future work also looks forward to improving robustness in adverse weather with image enhancement schemes and multi-sensor fusion, compressing encrypted data schemes, and preparing the framework to cryptography resistant to quantum computing with the advancing of computing technology. An additional potentially useful direction is the federated learning approach where vehicles would learn their local models on encrypted data and submit only encrypted updates to the cloud. This would minimize the overhead in communication and would further increase privacy. The suggested model can be extended to healthcare imaging, surveillance, industrial surveillance, and smart cities, which are all based on sensitive visual data that must be analyzed without revealing privacy. This research gives a future research path that how computation on cloud storage can be done securely by demonstrating that practical and effective image processing which has been done on encrypted images. This implementation also shows that intelligent transportation systems can easily use any storage for image data for encrypted image detection by maintaining privacy-preserving. Integration of BFV homomorphic encryption scheme and YOLOv9c, the system was effective in accomplishing a reliable and efficient object-based images detection. The percentile similarity-based, known object-based, and unknown object-based methods offered multiple options of searching the desired images. As the encryption drawback is both computation and storage load, but these costs are less than the advantages of secure computation on cloud. The findings of this research validate the proposed idea of secure sensitive image information on cloud and facilitate intelligent analytics. This validation opens doors to autonomous vehicles and IoT systems expand more by utilization of cheap cloud storage as well those don't provide highly secure features because the data itself is secure.
Benzer Tezler
- Design and control of an autonomous electrical vehicle for indoor transport applications
İç mekanda taşıma uygulamalarına yönelik elektrikli otonom araç tasarımı ve kontrolü
ŞÜKRÜ YAREN GELBAL
Yüksek Lisans
İngilizce
2016
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ
- Histogram-based sampling and multi-level global registration for 3D point clouds
3B nokta bulutları için histogram tabanlı örnekleme ve çok katmanlı global eşleştirme
OSMAN ERVAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN TEMELTAŞ
- Single frame targetless lidar-camera calibration using region of interest based edge features
Bölge ilgi tabanlı kenar özellikleri kullanılarak tek kareli hedefsiz lidar-kamera kalibrasyonu
MAHSUN BİNGÖL
Yüksek Lisans
İngilizce
2026
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. VOLKAN SEZER
- Design, implementation and comparison ofsensor fusion methods for object detection and trackingbased on multiple 3D lidar sensors
Çoklu 3D lidar sensörleri üzerindenesne algılama ve takibi için sensör füzyon yöntemlerinintasarımı, uygulaması ve karşılaştırılması
ELİF AKSU TAŞDELEN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER
- Investigation of artificial intelligence-based point cloud semantic segmentation
Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi
MUHAMMED ENES ATİK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ZAİDE DURAN