Geri Dön

Enhancing UCAV operations with AI-driven point cloud semantic segmentation for precision gimbal targeting in defense industry

Savunma sanayiinde hassas gimbal hedefleme için yapay zeka tabanlı nokta bulutu semantik segmentasyon yaklaşımlarıyla S/İHA operasyonlarının iyileştirilmesi

PDF İndir

  1. Tez No: 917998
  2. Yazar: SALİH BOZKURT
  3. Danışmanlar: PROF. DR. ZAİDE DURAN
  4. Tez Türü: Doktora
  5. Konular: Jeodezi ve Fotogrametri, Savunma ve Savunma Teknolojileri, Geodesy and Photogrammetry, Defense and Defense Technologies
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 88

Özet

Teknolojik gelişmelerin hızla ilerlemesi ve bu yeniliklerin çeşitli alanlara entegrasyonu, yapay zeka teknolojilerini kökten dönüştürmüş ve model çıktılarına duyulan güveni önemli ölçüde artırmıştır. Bu dönüşüm, otomotivden robotik teknolojilere, sağlık hizmetlerinden uzay araştırmalarına ve savunma sanayiine kadar geniş bir yelpazede yapay zeka uygulamalarının benimsenmesine öncülük etmiştir. Özellikle savunma sanayii bağlamında, hava muharebelerinde hedef belirleme ve angajman süreçlerinde lazer işaretleme operasyonları kritik bir role sahiptir. Ancak, bu operasyonların mevcut durumda büyük ölçüde insan faydalı yük operatörlerinin yetenek ve kararlarına bağımlı olması, hatalara ve zaman kaybına yol açmaktadır. Bu tez çalışması, insana bağımlılığı azaltarak lazer işaretleme sürecini otomatikleştirmeyi amaçlamakta ve bu kapsamda üç boyutlu (3B) nokta bulutları ile derin öğrenme algoritmalarının etkin bir şekilde kullanımını önermektedir. Tezde kullanılan temel veri seti, Bayraktar AKINCI Silahlı İnsansız Hava Aracı (S/İHA) gimbal sisteminden elde edilen görüntülerin fotogrametrik yöntemlerle işlenmesi sonucu oluşturulan 3B nokta bulutlarıdır. Çalışmada ilk değerlendirmeler ve parametre optimizasyonları için ise DublinCity 3B LiDAR veri seti kullanılmıştır. DublinCity veri seti, İrlanda'nın başkenti Dublin üzerinde 2015 yılında gerçekleştirilmiş Hava-LiDAR taramaları ile elde edilmiş ve 13 farklı sınıfa ayrılmış bir nokta bulutu veri kümesidir. Bu sınıflar; bina, zemin, bitki örtüsü ve tanımsız gibi dört ana kategoriye ayrılmaktadır. Ek olarak pencere, kapı ve ağaç gibi alt kategorileri bulunmaktadır. Nokta bulutlarının otomatik segmentasyonunda, derin öğrenme tabanlı iki popüler algoritma olan PointNet++ ve RandLA-Net kullanılmıştır. Her iki algoritma da doğrudan nokta bulutları üzerinde çalışabilen ve son derece esnek bir şekilde sonuç üretebilen yapılardır. RandLA-Net algoritması, nokta bulutlarındaki geometrik özelliklerin yanı sıra renk bilgilerini de kullanabilme kabiliyetine sahiptir. PointNet++ algoritması ise temel bağlamda yalnızca geometrik özellikler ve ilişkiler üzerinden çalışmak üzere tasarlanmıştır. Ancak bu tez çalışması kapsamında PointNet++ algoritmasına renk bilgisini de kullanabilme kabiliyeti kazandırılmıştır. Sonuçlar değerlendirildiğinde renk bilgisi ile zenginleştirme işleminin PointNet++ algoritmasının segmentasyon doğruluğunu arttırdığı gözlemlenmiştir. Bu geliştirme, tez çalışmasının PointNet++ algoritması özelinde sağladığı özgün katkılarından biri olarak öne çıkmaktadır. Çalışmadan elde edilen sonuçlardan yola çıkarak RandLA-Net ve PointNet++ algoritmalarının performansları karşılaştırmalı olarak değerlendirilmiştir. RandLA-Net algoritmasında yalnızca geometrik özellikler ve ilişkiler ile eğitim ve test süreçleri gerçekleştirildiğinde yaklaşık olarak %94 oranında segmentasyon doğruluğu elde edilmiştir. Bununla birlikte geometrik özelliklere renk bilgileri de dahil edilerek elden edilen sonuçlar değerlendirildiğinde ise RandLA-Net algoritmasının segmentasyon doğruluğunun %97 değerine yükseldiği gözlemlenmiştir. RandLA-Net algoritmasındaki süreç ile benzer şekilde PointNet++ algoritması da yalnızca geometrik özellikler ve ilişkiler ile eğitim ve test süreçleri gerçekleştirildiğinde yaklaşık olarak %94 doğruluk elde edilmiştir. Fakat, geometrik özelliklere ek olarak renk bilgisinin de sürece dahil edilmesi ile beraber doğruluk değerinin %96 değerine yükseldiği tespit edilmiştir. Bu sonuçlar, objelerin renk uzayındaki ilişkilerinin 3B nokta bulutlarının segmentasyon süreçlerinde ve derin öğrenme algoritmalarının öğrenme ve tahmin başarısını artırmada kritik bir rol oynadığını göstermektedir. Bu çalışma kapsamında elde edilen bulgular, iki temel katkıyı vurgulamaktadır. İlk ve en önemli katkı olarak, farklı kaynaklardan üretilen nokta bulutlarının yapay zeka destekli karar mekanizmalarıyla birleştirilmesinin hedef tespiti, takibi ve imhası gibi hava muharebe operasyonlarında savunma sanayii açısından büyük avantajlar sağlayacağıdır. İkinci olarak, başlangıçta yalnızca geometrik bilgiye dayalı işlem yapabilen PointNet++ algoritmasının renk bilgisi kullanacak şekilde yeniden tasarlanmasının 3B nokta bulutu işleme süreçlerinde öğrenme ve karar doğruluğunu artırdığıdır. Bu çalışma, özellikle Bayraktar AKINCI S/İHA'nın sağladığı verilerden yararlanarak lazer işaretleme süreçlerinde insan müdahalesini minimize eden, güvenilir ve etkili bir çözüm sunmayı hedeflemektedir. İlerleyen çalışmalar kapsamında daha yüksek çözünürlüklü nokta bulutu verileri ve farklı derin öğrenme algoritmalarının entegrasyonu ile doğruluk oranlarının daha da artırılması amaçlanmaktadır. Ek olarak yüksek çözünürlüklü radar sistemlerinden elde edilen verilerin ve fotogrametrik yöntemlerle zenginleştirilmiş nokta bulutlarının incelenmesi, gelecekteki araştırmalar için önemli bir odak noktası olacaktır. Bunun yanı sıra bu tez çalışmasında ele alınan DublinCity veri seti ve fotogrametrik olarak oluşturulmuş Bayraktar AKINCI S/İHA verilerinin farklı sınıflara ayrılarak optimize edilmesi sürecinde detaylı bir ön işleme aşaması gerçekleştirilmiştir. DublinCity veri setinin 13 sınıftan oluşan karmaşık yapısı, çalışmanın segmentasyon algoritmalarını değerlendirirken çeşitlilik sunan bir temel oluşturmuştur. Bu süreçte yüksek detay içeren sınıfların (pencere, kapı vb.) ayrıştırılması, algoritmaların doğruluk oranlarının detay seviyesi ile olan ilişkisini analiz etme fırsatı vermiştir. Çalışmanın bu yönü, yüksek çözünürlükte detaylı verilerin işlenmesinde karşılaşılan zorlukları ve algoritmaların sınırlarını ortaya koymaktadır. Lazer, RADAR ve gimbal sistemlerinin savunma sanayiinin dışında da pek çok farklı uygulama alanı bulunmaktadır. Dolayısıyla bu çalışma kapsamında geliştirilen yöntem ve yaklaşımlar da aynı şekilde farklı uygulama alanlarına kolayca entegre edilebilecektir. Örneğin, afet yönetimi süreçlerinde bu sistemler, deprem veya sel gibi doğal afetlerde otomatik enkaz tespiti ve kurtarma ekiplerinin yönlendirilmesi amacıyla kullanılabilecektir. Şehir planlama ve altyapı yönetimi açısından kentlerin üç boyutlu haritalanması ve bina envanterlerinin otomatik çıkarılması gibi süreçlerde önemli katkılar sağlayacaktır. Tarım ve orman alanlarında ise bu teknolojiler; tarımsal alanların verimliliğini artırmak, zararlı yapıları tespit etmek ve bitki sağlığını izlemek için kullanılabilecektir. Aynı şekilde arkeolojik alanların üç boyutlu olarak haritalanması, tespiti ve tarihi eserlerin 3B dokümantasyonu gibi uygulamalar kültürel mirasın korunmasına büyük katkılar sunacaktır. Sonuç olarak bu tez çalışması, savunma sanayiinde S/İHA ile gerçekleştirilecek olan hava muharebesi uygulamalarında lazer işaretleme süreçlerinin otomasyonunda derin öğrenme algoritmalarının etkin bir şekilde uygulanabilirliğini kanıtlamıştır. Savunma sanayiine yönelik bu tür çalışmalar, yalnızca mevcut teknolojilerin verimliliğini artırmakla kalmayıp aynı zamanda otonom sistemlerin geliştirilmesi için de bir temel sağlamaktadır. Bu bağlamda çalışmanın sunduğu katkılar, hem teorik hem de pratik anlamda önemli bir potansiyele sahiptir. İlerleyen dönemde RADAR sistemlerinden elde edilen veriler gibi daha karmaşık veri setleri ve farklı algoritmaların karşılaştırılmasıyla bu alandaki yeniliklerin artırılması hedeflenmektedir.

Özet (Çeviri)

The widespread integration of technological advancements has fundamentally transformed the field of artificial intelligence, significantly enhancing the reliability of AI model outputs. This progress has led to the widespread use of artificial intelligence in various sectors, including automotive, robotics, healthcare, space technologies, and defense industries. Particularly in the field of aerial combat, target identification and engagement operations still heavily rely on human operator intervention. Within the scope of this thesis, the aim is to automate the complex and error-prone laser designation process using 3D point clouds and deep learning algorithms. The primary dataset for the study consists of 3D point clouds obtained by processing gimbal images of the Bayraktar AKINCI Unmanned Combat Aerial Vehicle (UCAV) using photogrammetric methods. For initial evaluations and parameter optimizations, the DublinCity 3D LiDAR point cloud data was used. The DublinCity dataset was created using Airborne LiDAR methodology in the capital city of Ireland, Dublin, in 2015. This dataset is hierarchically organized into 13 classes, including buildings, vegetation, ground, and undefined, divided into four main categories. Within these main categories, there are subcategories such as windows, doors, trees, and others. For this study, we used the PointNet++ and RandLA-Net algorithms, two widely recognized approaches for point cloud segmentation. Both algorithms are designed to process point clouds directly and deliver segmentation results. However, a key difference lies in their handling of data: while RandLA-Net can incorporate both geometric and color information, PointNet++ traditionally relies only on geometric features. To address this limitation, we modified the PointNet++ algorithm to utilize color attributes, allowing for a more comprehensive analysis. This enhancement represents a significant contribution of our research. By comparing the improved PointNet++ with RandLA-Net, we observed noticeable differences in their performance, particularly in how they handle datasets with combined geometric and color information. In tests conducted using only geometric features in the RandLA-Net algorithm, an accuracy rate of approximately 94% was achieved. When color information for points was also provided to the algorithm, the accuracy rate significantly increased to approximately 97%. In tests conducted with the PointNet++ algorithm, an accuracy rate of 94% was observed when only geometric features were used. However, the accuracy rate increased significantly to approximately 96% when the PointNet++ algorithm was enriched with color information. The results of this research highlight two main contributions. Primarily, combining point clouds produced from different sources with AI-driven decision-making processes provides substantial benefits for the defense industry in aerial combat activities, such as target identification, monitoring, and neutralization. Secondly, modifying the PointNet++ algorithm, which originally relied exclusively on geometric data, to include color information has greatly enhanced the accuracy of learning and decision-making in 3D point cloud processing tasks. This research seeks to offer a dependable and effective approach to reduce human involvement in laser designation procedures, especially by utilizing data gathered from the Bayraktar AKINCI UCAV. Upcoming research will aim to enhance precision by incorporating higher resolution point cloud data and examining different deep learning algorithms. Furthermore, analyzing data gathered from advanced RADAR systems and enhanced photogrammetric point clouds will be a key emphasis for upcoming studies. Additionally, this thesis features an extensive preprocessing stage, enhancing the DublinCity dataset and photogrammetrically produced Bayraktar AKINCI UCAV information by organizing them into separate categories. The intricate framework of the DublinCity dataset, consisting of 13 categories, provided a varied basis for assessing segmentation algorithms. In this process, distinguishing highly specific classes (e.g., windows, doors) created a chance to examine the connection between detail level and algorithm precision. This part of the research highlights the difficulties and constraints associated with handling high resolution, intricate data. Apart from defense applications, laser, RADAR, and gimbal systems offer numerous potential uses. The techniques and strategies created in this research can be readily modified for use in other fields. For instance, in disaster management, these systems could be employed for automatic debris identification and directing rescue teams during natural disasters like earthquakes or floods. In urban design and infrastructure management, these technologies can greatly enhance procedures such as 3D city visualization and automated extraction of building inventories. In agriculture and forestry, they might be used to improve soil productivity, identify damaging structures, and track plant health. Likewise, in the preservation of cultural heritage, these systems can aid in 3D mapping of archaeological locations, identifying relics, and comprehensive documentation of historical items. In summary, this thesis illustrates the successful use of deep learning algorithms in automating laser targeting processes for aerial combat applications involving UAVs within the defense sector. These studies not only improve the effectiveness of current technologies but also establish a base for creating autonomous systems. The findings of this research possess significant theoretical and practical implications. Upcoming developments in this area seek to integrate more intricate datasets, including those from radar technologies, and evaluate different algorithms to foster additional innovation.

Benzer Tezler

  1. Tez No

    886884

    Missile evasion maneuver generation with model-free deep reinforcement learning

    Modelden bağımsız derin pekiştirmeli öğrenme ile füzeden kaçınma manevraları

    MUHAMMED MURAT ÖZBEK

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Savunma Teknolojileri Ana Bilim Dalı

    DOÇ. DR. EMRE KOYUNCU

  2. Tez No

    416567

    Enhancing mobile spontaneous adverse drug event reporting through electronic health records

    Mobil advers etki bildirim sistemlerinin elektronik sağlık kayıtları yardımıyla iyileştirilmesi

    MEHMET KUBİLAY KAHVECİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. İSMAİL SENGÖR ALTINGÖVDE

    PROF. DR. ASUMAN DOĞAÇ

  3. Tez No

    416810

    Triploid karpuz tohumlarının çimlenme kapasitesinin tohum uygulamaları ile teşvik edilmesi

    Enhancing the triploid watermelon seed germination with seed treatments

    MERVE KİREMİT

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    ZiraatAnkara Üniversitesi

    Bahçe Bitkileri Ana Bilim Dalı

    PROF. DR. İBRAHİM DEMİR

  4. Tez No

    881622

    Enhancing information axiom and developing an axiomatic design based macroergonomics framework for manufacturing companies

    Bilgi aksiyomunun geliştirilmesi ve imalat şirketleri için aksiyomatik tasarım tabanlı makroergonomik çerçeve tanımlanması

    ÖMER GÜNDÜZ

    Doktora

    İngilizce

    İngilizce

    2023

    Endüstri ve Endüstri MühendisliğiBoğaziçi Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. MAHMUT EKŞİOĞLU

  5. Tez No

    881819

    Enhancing the performance of a coagulometer through optimization of microfluidic cartridge and fiber optic-based optomechanical systems

    Mikroakışkan kartuş ve fiber optik tabanlı optomekanik sistemlerin optimizasyonu yoluyla koagülometrenin performansının artırılması

    MERVE KORTEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    BiyomühendislikKoç Üniversitesi

    Biyomedikal Bilimler ve Mühendislik Ana Bilim Dalı

    PROF. DR. HAKAN ÜREY

Geri Dön