Drone detection methods and comparison metrics for audio and vision modalities
Ses ve görüntü modaliteleri için drone tespit yöntemleri ve karşılaştırma ölçümleri
- Tez No: 881574
- Danışmanlar: DR. ÖĞR. ÜYESİ HÜSEYİN BİRKAN YILMAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 73
Özet
Dronlar, bilim, teknoloji ve savunma sistemlerinde önemli bir yere sahip olan insansız hava araçlarıdır. Ancak, tehlikeli durumlar ve güvenlik açısından varlıkları ve tespitleri karmaşık konulardır. Bu tez kapsamında, gerçek bir deneysel örnekle tasarlanmış ve değerlendirilmiş çok modallı bir drone tespit sistemi mevcuttur. Drone tespit prosedürü iki modalite yaklaşımına sahiptir: ses ve optik modaliteler. Optik modalite için Yolov8, uzun-kısa süreli bellek (LSTM) ve görüş dönüştürücüleri uygulanırken, ses modalitesi için Evrişimli Sinir Ağı (CNN) ve LSTM değerlendirilmiş ve uygulanmıştır. Daha sonra, iki modalitenin füzyon yaklaşımı farklı karanlık seviyelerinin etkisiyle (sırasıyla yüzde 20, yüzde 40, yüzde 60 ve yüzde 80 karanlık) değerlendirilmiş ve yorumlanmıştır. Deneysel sonuçlar, her iki modalite için farklı modellerin hassasiyet-geri çağırma eğrilerini ve ROC eğrilerini göstermektedir. Sonuçların bulguları, başka bir modalite kullanımının veya termal kızılötesi görüntülemenin önemi açısından daha fazla araştırma yaklaşımları için içgörüler yansıtmaktadır. Ayrıca, füzyon ve karanlık yeniliklerinden sonra toplam tahmin artışını da yansıtmaktadır. Meydan okuma, görüş örneklerine karanlık eklenmesiyle her kare veya ses parçacığı için modalitelerin son tespit sonuçlarını sınıflandırmak olmuştur. Sonuçlar, farklı karanlık seviyelerinden farklı örnekler için mantıksal yöntemler kullanıldığında, görüş ve ses modalitelerinin genel olasılık tespit performansının etkilenebileceğini göstermektedir.
Özet (Çeviri)
Drones are unmanned aerial vehicles with a significantly growing importance in science, technology, and defense systems. However, their existence and detection a complex issues in terms of risky situations and compromise security. In this thesis, a multi-modal drone detection system has been designed and evaluated using a real experimental sample. The drone detection procedure has two modality approaches: audio and optical modalities. While Yolov8, Long-short-term memory (LSTM), and Vision transformers are applied and evaluated for optic modality, Convolutional neural network (CNN) and LSTM are evaluated and applied for audio modality. After that, a fusion approach for the two modalities is evaluated and interpreted with the affection of different levels of darkness conditions (20, 40, 60, and 80 % of darkness respectively.) Experimental results indicate that precision-recall curves and ROC curves of different models for both modalities. The finding of results reflects insights for further research approaches in terms of the importance of the study with regard to using another modality or thermal infrared imaging. It also reflects the total prediction increase after fusion and darkness novelties. The challenge becomes when adding darkness to vision samples classifying the final detection results of modalities for each frame or sound snippet. The final results demonstrate that using logical methods different levels of samples from different darkness levels might affect the overall performance of probability detection for vision and audio modalities.
Benzer Tezler
- Topluluk öğrenmeli destek vektör veri tanımlaması yöntemi ile hiperspektral görüntülerin sınıflandırılması
Hyperspectral image classification based on ensemble support vector data description method
FARUK ŞÜKRÜ USLU
Doktora
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HERMAN SEDEF
- Automated detection of new multiple sclerosis lesions in longitudinal magnetic resonance imaging
Başlık çevirisi yok
ONUR GANİLER
- Mobil cihazlar ile derin öğrenme mimarisi kullanarak gerçek zamanlı video nesne izleme
Deep learning architectures for real-time video object tracking by mobile devices
ULAŞ TOSUN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Intelligent ways of detecting fraud
Sahtekarlık tespitinin akıllı yolları
YUSUF ŞAHİN
Doktora
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiMühendislik Yönetimi Ana Bilim Dalı
YRD. DOÇ. DR. SEROL BULKAN
DOÇ. DR. EKREM DUMAN
- Fault detection on automated beverage dispenser systems by using online feature extraction based neural network models
Otomatik içecek servis sistemlerinde çevrimiçi öznitelik çıkarıma dayalı nöral ağlar kullanılarak hata tespiti
AHMET DEMİREL
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMakine Ana Bilim Dalı
PROF. DR. ŞENİZ ERTUĞRUL