Geri Dön

Derin öğrenme tabanlı ses ve görüntü işleme teknolojilerine sahip otonom insansız hava aracı

Autonomous unmanned aerial vehicle with deep learning-based audio and visual processing technologies

PDF İndir

  1. Tez No: 853207
  2. Yazar: ERTUĞRUL KIRAÇ
  3. Danışmanlar: PROF. DR. SUNULLAH ÖZBEK
  4. Tez Türü: Doktora
  5. Konular: Savunma ve Savunma Teknolojileri, Defense and Defense Technologies
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: İstanbul Gedik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Savunma Teknolojileri Ana Bilim Dalı
  12. Bilim Dalı: Savunma Teknolojileri Bilim Dalı
  13. Sayfa Sayısı: 179

Özet

Bu çalışma, derin öğrenme tabanlı çevresel ses sınıflandırma teknolojisi ve bilgisayarlı görü tekniklerini bir araya getirerek gerçek zamanlı nesne algılama ve sınıflandırma işlemlerini gerçekleştirebilen ve bu özellikleri sayesinde otonom karar verebilen bir İnsansız Hava Aracı (İHA) platformunu tanıtmayı amaçlamaktadır. İHA'nın aynı anda ses ve görüntü işleme yeteneklerini kullanabilmesi, iki farklı veri kaynağından bilgi toplama ve analiz yapma olanağını sunar. Bu, İHA'nın hem çevresel sesleri dinleyebilme hem de çevresindeki nesneleri gözlemleme yeteneğini içerir. Ses işleme, platformun çevresel sesleri algılayarak ses tabanlı nesne tanıma ve sınıflandırma yapmasına olanak tanırken, görüntü işleme ise uçuş sırasında çevresindeki nesneleri görsel olarak algılayarak nesne tanıma ve sınıflandırma işlemlerini gerçekleştirebilir. Bu da İHA'nın tanımlı görevleri otomatik olarak gerçekleştirebilmesine olanak tanır. Daha önceki bilimsel çalışmalar incelendiğinde nesne algılama ve sınıflandırmada, görüntü ve ses işleme teknolojisinin farklı alanlarda değişik amaçlar için ayrı ayrı kullanıldığı görülmektedir. İHA'ya otonom karar verme yeteneği kazandırmak ve gerçek zamanlı algılamanın yanı sıra kaydedilen görüntülerden ve seslerden nesne algılama ve sınıflandırma yapabilmek için gömülü bir yapay zekâ modülü gereklidir. İHA'nın, gömülü sistemler aracılığıyla hem ses hem de görüntü işleme teknolojilerini aynı anda kullanabilme yeteneğine sahip olması, nesne algılama ve sınıflandırma kapasitesini büyük ölçüde artırır ve ona önemli bir avantaj sağlar. Bu, İHA'nın çeşitli görevlerde daha etkili ve güvenilir bir şekilde kullanılmasına olanak tanır. Önerilen yaklaşımda, görüntü ve ses işleme, İHA üzerine Raspberry Pi 4, kamera ve mikrofon monte edilerek gömülü gerçekleştirildi. Ayrıca uzaktan müdahale imkânı sağlaması için Raspberry Pi ile uyumlu 4G/LTE modem kit ve nesne algılama hızını arttırması için Coral Edge TPU yardımcı işlemcisi kullanıldı. Görüntü işleme için TensorFlow Kütüphanesi ve SSD MobilNetV2 evrişimsel sinir ağı modeli kullanıldı. Test uçuşları sırasında, araba için %96.3 ve insan için %96.2 doğruluk elde edildi. Ses sinyali işleme için derin öğrenme modeli olarak MobileNetV1 evrişimsel sinir ağı üzerine kurulu YAMNet derin öğrenme modeli seçildi. Ses sınıflandırması için yapılan uçuş testlerinde helikopter sesi kullanıldı ve modelin sesi doğru sınıflandırdığı gözlemlendi.

Özet (Çeviri)

This study aims to introduce an Unmanned Aerial Vehicle (UAV) platform capable of real-time object detection and classification by combining deep learning-based environmental sound classification technology with computer vision techniques. The UAV's ability to simultaneously utilize audio and visual processing capabilities allows it to gather information and analyze data from two different sources. This includes the UAV's capacity to both listen to environmental sounds and observe surrounding objects. Sound processing enables the platform to detect and classify objects based on sound, while image processing allows it to visually perceive and classify objects during flight. This enables the UAV to autonomously perform defined tasks. Previous scientific studies indicate that in object detection and classification, image and sound processing technologies have been separately used for different purposes. To endow the UAV with autonomous decision-making abilities and enable real-time detection from recorded images and sounds, an embedded artificial intelligence module is required. The UAV's capability to simultaneously use both sound and image processing technologies through embedded systems significantly enhances its object detection and classification capacity, providing it with a significant advantage. This allows the UAV to be used more effectively and reliably in various missions. In the proposed approach, image and sound processing were embedded onto the UAV using Raspberry Pi 4, a camera, and a microphone. Additionally, a 4G/LTE modem kit compatible with Raspberry Pi was utilized to enable remote intervention, and the Coral Edge TPU auxiliary processor was used to increase object detection speed. For image processing, the TensorFlow Library and the SSD MobilNetV2 convolutional neural network model were used. During test flights, accuracy rates of 96.3% for cars and 96.2% for humans were achieved. For sound signal processing, the YAMNet deep learning model built on the MobileNetV1 convolutional neural network was chosen. Helicopter sound was used during flight tests, and the model correctly classified the sound.

Benzer Tezler

  1. Tez No

    123235

    Bilgisayar ve internet destekli uzaktan eğitim programlarının tasarım, geliştirme ve değerlendirme aşamaları (SUZEP örneği)

    Design, development and evaluating stages of computer and internet supported distance education program (on the model of SUZEP)

    BİROL GÜLNAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2003

    Radyo-TelevizyonSelçuk Üniversitesi

    Radyo Televizyon Ana Bilim Dalı

    PROF.DR. AHMET HALUK YÜKSEL

  2. Tez No

    637308

    Implementation of data-driven decisions in urban governance and planning

    Kent yönetişim ve planlamasında veri odaklı kararların uygulanması

    JAFAR NAJAFLI

    Yüksek Lisans

    İngilizce

    İngilizce

    2020

    Şehircilik ve Bölge Planlamaİstanbul Teknik Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    DOÇ. DR. ÖZHAN ERTEKİN

  3. Tez No

    496446

    Manipulation of visually recognized objects using deep learning

    Görsel tanınan nesnelerin derin öğrenme kullanarak hareket ettirilmesi

    ERTUĞRUL BAYRAKTAR

    Doktora

    İngilizce

    İngilizce

    2018

    Mekatronik Mühendisliğiİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. PINAR BOYRAZ

  4. Tez No

    783439

    Pansharpening using generative adversarial networks with dual discriminators

    Çift ayrıştırıcılı çekişmeli üretken ağlar kullanarak pankeskinleştirme

    NAHİDE NESLİ CESUR

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. IŞIN ERER

  5. Tez No

    887835

    Scene change detection with triplet loss network using self-supervised learning

    Üçlü kayıp ağı ile kendi kendine denetimli öğrenme metodu kullanarak sahne geçişlerinin tespiti

    BURAK NAYIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Ana Bilim Dalı

    DR. TANKUT AKGÜL

Geri Dön