Geri Dön

Real-time anomaly detection in UAV systems using TinyML on ARM Cortex-M microcontrollers

ARM Cortex-M mikrodenetleyicilerde gömülü makine öğrenmesi kullanarak İHA sistemlerinde gerçek zamanlı anomali tespiti

PDF İndir

  1. Tez No: 908560
  2. Yazar: MEHMET ALPEREN BAKICI
  3. Danışmanlar: PROF. DR. ECE OLCAY GÜNEŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Havacılık ve Uzay Mühendisliği, Savunma ve Savunma Teknolojileri, Aeronautical Engineering, Defense and Defense Technologies
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Savunma Teknolojileri Ana Bilim Dalı
  12. Bilim Dalı: Savunma Teknolojileri Bilim Dalı
  13. Sayfa Sayısı: 134

Özet

Son yıllarda, mikrodenetleyici merkezli sistemlerde makine öğreniminin (ML) önemi, özellikle savunma teknolojisi ve İnsansız Hava Aracı (İHA) uygulamaları alanlarında büyük bir artış göstermiştir. Bu sistemler, genellikle sınırlı işlem gücü, bellek kapasitesi ve enerji kaynakları nedeniyle geleneksel makine öğrenimi yöntemlerinin uygulanmasında zorluklarla karşılaşmaktadır. Bu nedenle, daha hafif, enerji verimli ve kaynak dostu çözümler sunabilen yaklaşımlara olan ihtiyaç giderek artmaktadır. Gömülü makine öğrenimi (Tiny Machine Learning), bu sınırlamaları aşmak için yenilikçi bir çözüm olarak ortaya çıkmıştır. Bu teknoloji, düşük güçlü mikrodenetleyiciler üzerinde makine öğrenimi modellerinin çalıştırılmasını mümkün kılarak, cihaz üzerinde gerçek zamanlı ve gelişmiş karar verme süreçlerini desteklemektedir. Ayrıca bulut tabanlı veri işleme gereksinimlerini ortadan kaldırarak, veri aktarımından kaynaklanan gecikmeleri minimize etmekte ve sistem güvenliğini artırmaktadır. Özellikle, İHA gibi zaman kritik uygulamalarda bu özellikler operasyonel başarı açısından hayati bir öneme sahiptir. İnsansız hava araçlarında hata ve anomali tespitinin zorlukları, sistemin karmaşık yapısından ve uçuş sırasında oluşabilecek çok sayıda değişkenin kontrol edilmesi gerekliliğinden kaynaklanmaktadır. Bir İHA'nın uçuş güvenliğini sağlamak, motor ve itki sistemlerinin performansı, navigasyon sistemlerinin doğruluğu, güç sistemi ve batarya sağlığı ile uçuş kontrol yüzeylerinin durumu gibi kritik aviyonik sistemlerin sürekli olarak izlenmesini gerektirir. Bu durum, manuel veya kural tabanlı yöntemlerle gerçekleştirildiğinde hem zaman alıcı hem de hata yapmaya açık bir süreç haline gelir. Bu bağlamda, gömülü makine öğrenimi teknolojilerinin uygulanması, hata durumlarının tespit edilmesini çok daha hızlı ve otonom bir şekilde gerçekleştirme potansiyeli sunmaktadır. Gömülü makine öğrenimi ile İHA sistemleri, uçuş sırasında oluşabilecek anormallikleri gerçek zamanlı olarak tespit edebilir ve gerekli önlemleri hızlı bir şekilde alabilir. Bu durum, hem uçuş güvenliğini artırmakta hem de İHA'nın operasyonel etkinliğini ve bağımsızlığını desteklemektedir. Gömülü makine öğreniminin en büyük avantajları enerji verimliliği, düşük maliyetli donanımlarda çalışabilme yeteneği ve sınırlı bellek kaynaklarını optimize edebilme kapasitesidir. Bu özellikler, İHA'ların uzun süreli operasyonlarını desteklerken, daha güvenilir bir sistem tasarımına olanak tanır. Gömülü makine öğreniminin sunduğu enerji verimliliği, düşük maliyetli donanımlarda çalışabilme kapasitesi ve yüksek doğruluk oranlarını koruyabilme yeteneği, İHA sistemleri için umut verici bir çözüm sunmaktadır. Ancak, bu teknolojinin uygulanmasında çeşitli teknik zorluklar bulunmaktadır ve bu zorlukların üstesinden gelmek için etkili stratejiler geliştirilmesi gerekmektedir. Gömülü sistemlerde makine öğrenimi uygulamaları, sınırlı işlem gücü, bellek kapasitesi ve enerji kaynakları gibi kısıtlamalar nedeniyle çeşitli teknik zorluklar barındırmaktadır. Özellikle mikrodenetleyiciler, geleneksel makine öğrenimi modellerini çalıştırmak için yeterli donanım kapasitesine sahip değildir. Bu cihazlar genellikle birkaç yüz kilobyte bellek ve düşük işlemci hızları ile sınırlıdır. Bu durum, karmaşık yapay zeka modellerinin doğrudan mikrodenetleyiciler üzerinde çalıştırılmasını oldukça zorlaştırmaktadır. Özellikle derin öğrenme tabanlı modeller, büyük tensor işlemleri ve yüksek düzeyde paralel işlem gücü gerektirdiğinden, gömülü sistemlerde verimli bir şekilde çalıştırılmaları için optimize edilmelidir. Gömülü makine öğrenim teknolojisi bu noktada çözüm sunarak model sıkıştırma, kuantizasyon ve donanım hızlandırma gibi tekniklerle bu zorlukların üstesinden gelmeyi mümkün kılmaktadır. Ayrıca gömülü sistemlere makine öğrenim modellerinin entegrasyonunu kolaylaştırmakta hem de yüksek doğruluk oranlarını koruyarak güçlü bir anomali tespit sistemi geliştirilmesine imkan tanımaktadır. Bununla birlikte, gömülü sistemlerin sınırlamaları sadece donanım kaynaklarıyla sınırlı kalmaz. Bu tür sistemlerin genellikle batarya ile çalışması, enerji tüketiminin de kritik bir parametre olmasını gerektirir. Özellikle İHA gibi uygulamalarda, enerji verimliliği sağlanamadığında operasyonel süreler ciddi şekilde kısalabilir. Gömülü makine öğrenimi tabanlı çözümler, enerji tüketimini minimize ederek sistemin verimli bir şekilde çalışmasını mümkün kılmaktadır. Bunun yanı sıra, sınırlı bellek kaynaklarıyla başa çıkmak için kullanılan model sıkıştırma teknikleri, hem bellek kullanımını optimize etmekte hem de çıkarım sürelerini kısaltmaktadır. Gömülü makine öğreniminin gömülü sistemlerdeki bir diğer avantajı, uçta çıkarım yapma yeteneğidir. Uçta çıkarım, verinin merkezi bir sunucuya aktarılmadan doğrudan cihaz üzerinde işlenmesini ifade eder. Bu yaklaşım, özellikle veri gizliliği ve güvenliği açısından büyük avantajlar sunar. İHA sistemlerinde uçuş sırasında toplanan veriler, genellikle hassas operasyonel bilgiler içerir. Bu verilerin merkezi bir sisteme aktarılması, hem veri gizliliği ihlallerine yol açabilir hem de iletişim hatlarında ek bir yük oluşturabilir. Gömülü makine öğrenimi, verilerin cihaz üzerinde işlenmesini mümkün kılarak bu tür riskleri en aza indirmektedir. Ayrıca, uçta çıkarım, geniş bant iletişim hatlarına olan ihtiyacı da azaltır. Veri aktarımı gereksiniminin azalması, hem iletişim gecikmelerini minimize eder hem de bant genişliği kullanımını optimize eder. Bu durum, özellikle geniş bir İHA filosunun aynı anda çalıştığı operasyonlarda büyük avantaj sağlar. Uçta çıkarım aynı zamanda gerçek zamanlı karar alma süreçlerini hızlandırır. Merkezi sistemlerde işlenen verilerde, veri aktarımı sırasında oluşabilecek gecikmeler kritik kararların zamanında alınmasını engelleyebilir. Gömülü makine öğrenimi destekli sistemlerde ise veri işleme cihaz üzerinde gerçekleştirildiği için, anomali tespiti ve gerekli müdahaleler çok daha hızlı bir şekilde uygulanabilir. Bu durum, yalnızca operasyonel verimliliği artırmakla kalmaz, aynı zamanda sistem güvenilirliğini ve uçuş güvenliğini de önemli ölçüde artırır. Gömülü makine öğreniminin sunduğu çözümler, gömülü sistemlerin sınırlamalarını aşarak hem veri gizliliği ve güvenliği sağlamada hem de enerji verimliliği ve gerçek zamanlı performans artırmada kritik bir rol oynamaktadır. Bu avantajlar, İHA sistemlerinin daha bağımsız, güvenli ve etkili bir şekilde çalışmasına olanak tanımaktadır. Ancak, bu faydaların elde edilebilmesi için makine öğrenim modellerinin mikrodenetleyicilere uygun şekilde optimize edilmesi ve donanım kısıtlamaları göz önünde bulundurularak uygulanması gerekmektedir. Bu araştırmanın temel amacı, gömülü makine öğrenimi teknolojisinin gerektirdiği optimizasyon yöntemlerini inceleyerek ARM Cortex-M mikrodenetleyiciler üzerinde çalışabilen bir anomali tespit sistemi geliştirmektir. Geliştirilen sistem, İHA'ların uçuş sırasında karşılaşabileceği anomali durumlarını gerçek zamanlı olarak tespit ederek, uçuş güvenliğini artırmayı ve sistemin daha bağımsız çalışmasını sağlamayı hedeflemektedir. Bu bağlamda, araştırmamızda kullanılan ALFA (AirLab Failure and Anomaly) veri kümesi, farklı uçuş senaryolarını ve anomali durumlarını içeren zengin bir veri kaynağı olarak öne çıkmaktadır. Araştırmada kullanılan veri kümesi, Carnegie Mellon Üniversitesi'ne bağlı AirLab tarafından sunulan ALFA veri kümesidir. Bu veri kümesi, motor gücü kaybı, dümenin veya kanatçıkların sabit pozisyonda kalması gibi kritik uçuş senaryolarını kapsayarak, uçuş performansı ve güvenliğini değerlendirmek için bir kaynak sunmaktadır. Veri setinin geniş kapsamı sayesinde, farklı uçuş koşullarını ve senaryolarını modellemek mümkün olmuştur. Örneğin, motor arızaları sırasında hızlanma, yükseklik ve manyetik alan ölçümlerindeki değişimler gibi kritik parametreler, sistemin anormallikleri algılama yeteneğini geliştirmek için model eğitiminde önemli bir rol oynamıştır. Veri kümesi, hem bireysel uçuş verileri hem de birleştirilmiş uçuş senaryoları üzerinde modellenmiştir. Bireysel uçuşlar üzerinde yapılan eğitimler, belirli bir senaryoya özgü performansı artırırken, birleştirilmiş uçuş verileriyle yapılan eğitimler, modelin genelleme yeteneğini güçlendirmiştir. Özellikle, birleşik uçuş verileri ile oluşturulan model, %76'lık bir doğruluk oranına ulaşarak genel bir arıza tespit sistemi geliştirilmiştir. Bu model, ARM Cortex-M mikrodenetleyiciler üzerinde gerçek zamanlı olarak çalışabilmesi için CMSIS-NN ve TensorFlow Lite optimizasyonlarıyla entegre edilmiştir. Araştırma sonucunda, geliştirilen autoencoder modelinin doğruluk oranlarının %71 ile %93 arasında değiştiği gözlemlenmiştir. Model, yalnızca enerji verimliliği sağlamakla kalmayıp, aynı zamanda diğer kritik görevler için sistem kaynaklarını serbest bırakmıştır. TensorFlow Lite ve CMSIS-NN gibi araçlar sayesinde, modelin bellek kullanımı 200 KB'ye düşürülmüş ve çıkarım süresi 1-2 milisaniye arasında gerçekleşmiştir. Bu optimizasyonlar, mikrodenetleyicinin sınırlı kaynakları içinde yüksek performans sağlamış ve modelin gerçek zamanlı uygulamalar için uygunluğunu kanıtlamıştır. Bu çalışma, gömülü makine öğrenim teknolojisinin yalnızca akademik bir kavram olmaktan çıkarak gerçek uygulamalarda nasıl kullanılabileceğini göstermektedir. Geliştirilen sistem, İHA'ların uçuş güvenliğini artırmak, enerji tasarrufu sağlamak ve operasyonel maliyetleri düşürmek için etkili bir çözüm sunmaktadır. Bunun yanı sıra, savunma teknolojileri alanında da önemli bir etki yaratma potansiyeline sahiptir. Gömülü makine öğrenim teknolojisinin sunduğu gerçek zamanlı veri işleme yetenekleri, İHA'ların operasyonel kullanım ortamlarında daha bağımsız ve güvenilir bir şekilde çalışmasını sağlayarak savunma operasyonlarının başarı oranını artırabilir. Gelecek çalışmalarda, daha karmaşık veri kümeleri üzerinde yapılan testler ve hibrit öğrenme yöntemleriyle modelin performansının daha da artırılması hedeflenmektedir.

Özet (Çeviri)

In recent years, the significance of machine learning (ML) within microcontroller-centric systems has expanded, particularly within the realms of defense technology and UAV (Unmanned Aerial Vehicle) implementations. These systems often encounter difficulties due to limited computing resources and power constraints. Tiny Machine Learning (TinyML) is emerging as a promising solution to these issues, enabling efficient ML implementation in environments with limited resources. TinyML enables low-power microcontrollers to process machine learning tasks, facilitating enhanced and instantaneous decision-making capabilities directly on the device. This not only boosts the capabilities of UAVs but also extends the use of advanced ML in resource-constrained settings. This research delves into integrating machine learning functionalities into Unmanned Aerial Vehicle (UAV) systems, leveraging the ARM Cortex-M microprocessor architecture via TinyML. The principal aim is to facilitate real-time anomaly detection, thereby bolstering UAV system security and imbuing it with greater dynamism and autonomy, reducing reliance on pilot interventions. In order to achieve the aforementioned objective of enhancing anomaly detection, a unique and specialized autoencoder model was conceptualized and developed. This particular model was intricately designed with the specific purpose of identifying and flagging anomalies within a given dataset Autoencoders, a class of neural networks, demonstrate remarkable proficiency in discerning and comprehending data patterns. They acquire an understanding of prevalent data patterns, enabling the identification of any data instances diverging from these norms as anomalies. The dataset used in this research is the ALFA (AirLab Failure and Anomaly) dataset, which contains data from various autonomous UAV flights specifically gathered for failure and anomaly detection purposes. Utilizing this data set, the autoencoder architecture can be efficiently educated and assessed. This ensures that the model can recognize typical UAV operational patterns and accurately detect anomalies. Nevertheless, the deployment of the model on ARM Cortex-M Series Microcontroller Units (MCUs) presents considerable obstacles attributable to the constrained memory and computational capacities of such devices. To address these challenges, the research utilizes the Common Microcontroller Software Interface Standard for Neural Network (CMSIS-NN) and TensorFlow Lite for model optimization. CMSIS-NN, a library developed by Arm, is optimized for ARM Cortex-M microcontrollers, aiding in neural network operations within the MCU's resource limitations. TensorFlow Lite is specifically tailored for running machine learning models on devices with restricted resources, enabling model conversion and compression while maintaining performance. These enhancements make the model suitable for deployment on the MCU, facilitating real-time anomaly detection within strict memory and processing constraints. The successful implementation of the autoencoder algorithm on ARM Cortex-M microcontrollers exemplifies the viability and efficiency of utilizing TinyML for instantaneous anomaly identification in Unmanned Aerial Vehicle (UAV) platforms. This approach enhances the UAV's ability to continuously learn and adapt to new conditions, improving its anomaly detection capabilities in various operational scenarios. As a result, UAVs become more self-learning and agile in responding to unforeseen situations, significantly enhancing their operational reliability and security. This research adds to the body of knowledge on UAV system security by showcasing the efficient application of TinyML for executing real-time anomaly detection on microcontrollers with limited resources. The integration of CMSIS-NN and TensorFlow Lite optimizations ensures that even with limited computational resources, sophisticated ML models can be deployed to enhance the functionality and security of UAV systems.

Benzer Tezler

  1. Tez No

    857057

    Anomaly detection in unmanned aerial vehicles: A comprehensive study of hybrid deep neural network methods for edge-based applications

    İnsansız hava araçlarında anomali tespiti: Uç birim tabanlı uygulamalar için hibrit derin sinir ağı yöntemlerinin kapsamlı bir çalışması

    HATİCE VİLDAN DÜDÜKÇÜ

    Doktora

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik MühendisliğiYıldız Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. NİHAN KAHRAMAN

    DR. ÖĞR. ÜYESİ MURAT TAŞKIRAN

  2. Tez No

    618503

    Zaman serisi verilerde gerçek zamanlı anomali tespiti

    Real time anomaly detection in time series data

    BAHADIR UĞUR

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ŞAHİN EMRAH

  3. Tez No

    810967

    Collective anomaly detection in time series using pitch frequency and dissimilarity features

    Pitch frekansı ve benzeşmezlik öznitelikleri kullanılarak zaman serilerinde kolektif anomali tespiti

    EKİN CAN ERKUŞ

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Biyomedikal Mühendisliği Ana Bilim Dalı

    PROF. DR. VİLDA PURUTÇUOĞLU

    DR. ÖĞR. ÜYESİ AYKUT EKEN

  4. Tez No

    758114

    Endüstri 4.0 için bir anomali tespit sistemi çerçeve geliştirilmesi

    Development of an anomaly detection system framework for industry 4.0

    CİHAN BAYRAKTAR

    Doktora

    Türkçe

    Türkçe

    2022

    Bilim ve TeknolojiGazi Üniversitesi

    Yönetim Bilişim Sistemleri Ana Bilim Dalı

    PROF. DR. HADİ GÖKÇEN

  5. Tez No

    894539

    Context aware real-time clustering with cortical coding method

    Kortikal kodlama yöntemi ile bağlama duyarlı gerçek zamanlı kümeleme

    SELİM EREN ERYILMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. BURAK BERK ÜSTÜNDAĞ

Geri Dön