Derin öğrenme tabanlı ses ve görüntü işleme teknolojilerine sahip otonom insansız hava aracı
Autonomous unmanned aerial vehicle with deep learning-based audio and visual processing technologies
- Tez No: 853207
- Danışmanlar: PROF. DR. SUNULLAH ÖZBEK
- Tez Türü: Doktora
- Konular: Savunma ve Savunma Teknolojileri, Defense and Defense Technologies
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İstanbul Gedik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Savunma Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Savunma Teknolojileri Bilim Dalı
- Sayfa Sayısı: 179
Özet
Bu çalışma, derin öğrenme tabanlı çevresel ses sınıflandırma teknolojisi ve bilgisayarlı görü tekniklerini bir araya getirerek gerçek zamanlı nesne algılama ve sınıflandırma işlemlerini gerçekleştirebilen ve bu özellikleri sayesinde otonom karar verebilen bir İnsansız Hava Aracı (İHA) platformunu tanıtmayı amaçlamaktadır. İHA'nın aynı anda ses ve görüntü işleme yeteneklerini kullanabilmesi, iki farklı veri kaynağından bilgi toplama ve analiz yapma olanağını sunar. Bu, İHA'nın hem çevresel sesleri dinleyebilme hem de çevresindeki nesneleri gözlemleme yeteneğini içerir. Ses işleme, platformun çevresel sesleri algılayarak ses tabanlı nesne tanıma ve sınıflandırma yapmasına olanak tanırken, görüntü işleme ise uçuş sırasında çevresindeki nesneleri görsel olarak algılayarak nesne tanıma ve sınıflandırma işlemlerini gerçekleştirebilir. Bu da İHA'nın tanımlı görevleri otomatik olarak gerçekleştirebilmesine olanak tanır. Daha önceki bilimsel çalışmalar incelendiğinde nesne algılama ve sınıflandırmada, görüntü ve ses işleme teknolojisinin farklı alanlarda değişik amaçlar için ayrı ayrı kullanıldığı görülmektedir. İHA'ya otonom karar verme yeteneği kazandırmak ve gerçek zamanlı algılamanın yanı sıra kaydedilen görüntülerden ve seslerden nesne algılama ve sınıflandırma yapabilmek için gömülü bir yapay zekâ modülü gereklidir. İHA'nın, gömülü sistemler aracılığıyla hem ses hem de görüntü işleme teknolojilerini aynı anda kullanabilme yeteneğine sahip olması, nesne algılama ve sınıflandırma kapasitesini büyük ölçüde artırır ve ona önemli bir avantaj sağlar. Bu, İHA'nın çeşitli görevlerde daha etkili ve güvenilir bir şekilde kullanılmasına olanak tanır. Önerilen yaklaşımda, görüntü ve ses işleme, İHA üzerine Raspberry Pi 4, kamera ve mikrofon monte edilerek gömülü gerçekleştirildi. Ayrıca uzaktan müdahale imkânı sağlaması için Raspberry Pi ile uyumlu 4G/LTE modem kit ve nesne algılama hızını arttırması için Coral Edge TPU yardımcı işlemcisi kullanıldı. Görüntü işleme için TensorFlow Kütüphanesi ve SSD MobilNetV2 evrişimsel sinir ağı modeli kullanıldı. Test uçuşları sırasında, araba için %96.3 ve insan için %96.2 doğruluk elde edildi. Ses sinyali işleme için derin öğrenme modeli olarak MobileNetV1 evrişimsel sinir ağı üzerine kurulu YAMNet derin öğrenme modeli seçildi. Ses sınıflandırması için yapılan uçuş testlerinde helikopter sesi kullanıldı ve modelin sesi doğru sınıflandırdığı gözlemlendi.
Özet (Çeviri)
This study aims to introduce an Unmanned Aerial Vehicle (UAV) platform capable of real-time object detection and classification by combining deep learning-based environmental sound classification technology with computer vision techniques. The UAV's ability to simultaneously utilize audio and visual processing capabilities allows it to gather information and analyze data from two different sources. This includes the UAV's capacity to both listen to environmental sounds and observe surrounding objects. Sound processing enables the platform to detect and classify objects based on sound, while image processing allows it to visually perceive and classify objects during flight. This enables the UAV to autonomously perform defined tasks. Previous scientific studies indicate that in object detection and classification, image and sound processing technologies have been separately used for different purposes. To endow the UAV with autonomous decision-making abilities and enable real-time detection from recorded images and sounds, an embedded artificial intelligence module is required. The UAV's capability to simultaneously use both sound and image processing technologies through embedded systems significantly enhances its object detection and classification capacity, providing it with a significant advantage. This allows the UAV to be used more effectively and reliably in various missions. In the proposed approach, image and sound processing were embedded onto the UAV using Raspberry Pi 4, a camera, and a microphone. Additionally, a 4G/LTE modem kit compatible with Raspberry Pi was utilized to enable remote intervention, and the Coral Edge TPU auxiliary processor was used to increase object detection speed. For image processing, the TensorFlow Library and the SSD MobilNetV2 convolutional neural network model were used. During test flights, accuracy rates of 96.3% for cars and 96.2% for humans were achieved. For sound signal processing, the YAMNet deep learning model built on the MobileNetV1 convolutional neural network was chosen. Helicopter sound was used during flight tests, and the model correctly classified the sound.
Benzer Tezler
- Bilgisayar ve internet destekli uzaktan eğitim programlarının tasarım, geliştirme ve değerlendirme aşamaları (SUZEP örneği)
Design, development and evaluating stages of computer and internet supported distance education program (on the model of SUZEP)
BİROL GÜLNAR
Yüksek Lisans
Türkçe
2003
Radyo-TelevizyonSelçuk ÜniversitesiRadyo Televizyon Ana Bilim Dalı
PROF.DR. AHMET HALUK YÜKSEL
- Implementation of data-driven decisions in urban governance and planning
Kent yönetişim ve planlamasında veri odaklı kararların uygulanması
JAFAR NAJAFLI
Yüksek Lisans
İngilizce
2020
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
DOÇ. DR. ÖZHAN ERTEKİN
- Manipulation of visually recognized objects using deep learning
Görsel tanınan nesnelerin derin öğrenme kullanarak hareket ettirilmesi
ERTUĞRUL BAYRAKTAR
Doktora
İngilizce
2018
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR BOYRAZ
- Pansharpening using generative adversarial networks with dual discriminators
Çift ayrıştırıcılı çekişmeli üretken ağlar kullanarak pankeskinleştirme
NAHİDE NESLİ CESUR
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. IŞIN ERER
- Scene change detection with triplet loss network using self-supervised learning
Üçlü kayıp ağı ile kendi kendine denetimli öğrenme metodu kullanarak sahne geçişlerinin tespiti
BURAK NAYIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Ana Bilim Dalı
DR. TANKUT AKGÜL