Ai-based visual odometry implementation on an embedded system
Yapay zeka tabanlı görsel odometrinin gömülü bir sistemde gerçeklemesi
- Tez No: 807828
- Danışmanlar: PROF. DR. ECE OLCAY GÜNEŞ
- Tez Türü: Yüksek Lisans
- Konular: Savunma ve Savunma Teknolojileri, Defense and Defense Technologies
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Savunma Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Savunma Teknolojileri Bilim Dalı
- Sayfa Sayısı: 83
Özet
Navigasyon teknolojisi, savunma teknolojileri için her zaman kritik bir alt alan olmuştur. Navigasyon teknolojisinin kökleri M.Ö. 3000 yıllarına kadar uzanmaktadır. Navigasyon teknolojisinin ilk örnekleri arasında yıldızların gözlemlenmesi, kuş takibi vb. teknikler yer alır. Günümüzde savunma teknolojilerinde Küresel Seyrüsefer Uydu Sistemleri (GNSS) ve Ataletsel Seyrüsefer Sistemi (INS) yaygın olarak kullanılmaktadır. Neredeyse tüm askeri platformlar ve akıllı mühimmatlar, navigasyon çözümleri için GNSS ve INS sistemlerini kullanmaktadır. Ancak bu sistemlerin dezavantajları da mevcuttur. Bu nedenle, bu sistemlere eşlik eden veya bu sistemlere alternatif yeni bir sistem, askeri platformlar için navigasyon teknolojisinde esneklik saglayabilir. Görsel odometri, navigasyon teknolojileri için gelişmekte olan bir tekniktir. Görsel odometri teknigi bir parakete tekniği olup, kamera görüntülerinden göreceli poz değişimini tahmin etme işlemidir. Askeri platformlar, oldukça farklı boyutlarda olabileceğinden, güç ve hesaplama gereksinimleri de değişkendir. Ayrıca akıllı mühimmat gibi harcanabilir platformlar için maliyet hesabı da önemli bir gerekliliktir. Gömülü görsel odometri uygulaması, GNSS ve INS'ye düşük güçlü, düşük maliyetli ve küçük boyutlu bir alternatif veya yardımcı konumlandırma sistemi saglayabilir. Gömülü sistemlerin hafızası yetersiz oldugundan, bu çalışmada, gömülü sistemlerde uygulanabilen, düşük hafıza gereksinimli, sinir ağı tabanlı yeni bir görsel odometri yöntemi tanıtılmış ve değerlendirilmiştir. Bu çalışmada ilk olarak geometri tabanlı ve derin ögrenme tabanlı görsel odometri yöntemleri için mevcut literatür incelenmiştir. Derin öğrenme tabanlı teknikler, geometri tabanlı tekniklere göre daha çevre sartlarına daha dayanıklı ve enerjiyi daha efektif kullanırlar. Bu sebeple bu çalışmada derin ögrenme tabanlı bir görsel odometri tekniği kullanılmıştır. Derin öğrenme teknikleri kendi arasında denetimli ve denetimsiz ögrenme olarak sınıflandırılabilir. Denetimli öğrenme yöntemleri genellikle görüntü sensörlerinin dışında başka sensörlerin dahil edilmesini gerektirir. Ayrıca, tekrarlayan yapay sinir agları kullanım gereksinimi de denetimli öğrenme tekniklerinde yaygındır. Bu gereksinimler, ek hesaplama ve güç tüketimi ile birlikte gelir. Bu çalışmada çok düşük güçlü, gerçek zamanlı bir sistem hedeflenmiştir. Bu nedenle denetimsiz bir ögrenme yöntemiyle ilerlemeye karar verilmiştir. Araştırılan hafif hafıza gereksinimli evrişimli sinir aglarından elde edilen fikirlerle, TinyVO tasarlanmıştır. Çalışmada tek kameralı bir metodun tercih edilmiştir. Çift kameralı metotlar derinlik bilgisini iki kameradan elde edilen görüntülerde özniteliklerin birbiriyle karşılaştırmasından elde ettigi için, özniteliklerin az olduğu ortamlarda zaafiyet gösterirler. Direkt olarak tek görüntüden derinlik bilgisinin tahmin edilmesi bu zaafiyeti ortadan kaldırdıgı için daha fazla sağlamlık sağlar. Ayrıca tek kameralı metotların daha az görüntü işleme ihtiyacı oldugu için hesaplama efektifliği sağlarlar. Ayrıca tek kameralı metotlar sistemde kullanılan kamera sayısını azalttıgı için daha bütçe dostudurlar. TinyVO iyi bilinen, ölçek tutarlı denetimsiz bir ögrenme yöntemi ile eğitilmiştir. Kullanılan ölçek tutarlı denetimsiz ögrenme yöntemi, pozisyon sinir ağının bir derinlik sinir agıyla birlikte eğitilmesiyle gerçekleştirilir. Bu çalışmada TinyVO bir pozisyon sinir agı olduğu için, eğitim sırasında kullanılmak üzere daha önce eğitilmiş bir derinlik sinir agı seçilmiştir. Ölçek tutarlı öğrenme metodu toplam üç adet maliyet fonksiyonun birlikte kullanılmasıyla oluşturulmuştur. Bunlardan ilki ayırt edici özelliklerin az oldugu alanlarda derinlik haritası oluşturulan derinlik haritasının regülazasyonunu saglayan pürüzsüzlük maliyet fonksiyonudur. İkincisi ise derinlik tutarsızlıklarını cezalandıran geometrik tutarsızlık maliyet fonksiyonudur. Geometrik tutarsızlık maliyet fonksiyonu ölçek tutarlılıgını sağlar. Son maliyet fonksiyonu ise maskelenmiş fotometrik maliyet fonksiyonudur ve iki resim arasındaki hareket eden cisimlerin maskelenmesi sonucunda kalan kısımlarda fotometrik maliyetin hesaplanması ile elde edilir. Fotometrik maliyet fonksiyonu hesaplanırken poz degişikliği tahmini kullanılarak ikinci karenin birinci kareye yansıtılmış versiyonu kullanılır. İlk kare ve yansıtılmış ikinci kare arasındaki piksel bazlı ve yapısal farklılıklar fotometrik maliyeti oluşturur. Tüm bu üç maliyet fonksiyonun toplanmasıyla metodun ana maliyet fonksiyonu oluşturulmuştur. Çalışmada CNN hızlandırıcı ve Arm Cortex-M4 işlemciye sahip MAX78002 mikrodenetleyicisi kullanılmıştır. TinyVO, CNN hızlandırıcısı üzerinde çalışır. MAX78002 8 bitlik agırlıkları desteklediğinden, sağlanan MAX78002 yazılım araç setini kullanarak TinyVO 8 bit olarak kuantize edilmiştir. Ayrıca modelin aktivasyonları da son katman hariç 8 bit olarak gerçeklenmiştir. Son katmanın aktivasyonu daha iyi dogruluk elde edebilmek için 32 bit olarak tutulmuştur. Öğrenme sonrası kuantizasyon işlemi dogruluk üzerinde negatif etkilere sahip olduğundan, Quantization Aware Training metodu egitim sırasında uygulanmıştır. TinyVO modeli 240 epok boyunca egitilmiş ve Quantization Aware Training 10. epokta başlamıştır. Batchnorm parametreleri bu noktadan sonra evrişim katmanları ile kaynaştırılmıştır ve sinir agı ilk 10 epokta öğrendiği batchnorm parametrelerini kullanmaktadır. Bu çalışmada kullanılan veri seti, Cvlibs web sitesinden erişilebilen ve gerçek referans degerlerini ve stereo görüntüleri içeren KITTI Visual Odometry / SLAM Evaluation 2012'dir. KITTI veri setinin 9 ve 10. dizileri test seti olarak kullanılmıştır. TinyVO modelinin girdisi 140x140 oldugu için, testler esnasında KITTI veri setindeki görüntüler 140x140 boyutuna indirgenmiştir. TinyVO monoküler bir yöntem oldugu için mutlak metrik ölçeği geri kazanamaz. Bu nedenle, değerlendirme sırasında Absolute Trajectory Error (ATE) en aza indiren ölçegi elde etmek için bir optimizasyon gerçekleştirilmiştir. Önerilen yöntem tarafından saglanan pozisyon degişimi tahminlerinin gerçek referans değerleri ile kıyaslanması yapılmıştır. Çalışmanın çıktısı olan algoritmanın donanımdaki dogrulaması için bilinen yanıt testi yapılmıştır. Bilinen yanıt testi KITTI veri setinden bir örnek kullanılarak gerçekleştirilmiştir. Ardından, çıkarım başına enerji ve zaman tüketimi ölçülmüştür. Çıkarım başına enerji ve zaman tüketimini ölçmek için MAX78002 devre kartından yararlanılmıştır. Ortaya çıkan sinir agı TinyVO, düşük bellek alanı, düşük güç ve makul performans ile monoküler bir görsel odometri çözümü saglanmaktır. Bilindiği kadarıyla bu, mikrodenetleyici tabanlı bir görsel odometri çözümü saglayan ilk çalışmadır
Özet (Çeviri)
Navigation technology has always been a critical sub-field for defence technologies. The roots of navigation technology extend to early as 3000 BC year. The early examples of navigation technology were the observation of stars, bird following, etc. In modern days, Global Navigation Satellite Systems(GNSS) and Inertial Navigation System(INS) are widely used in defence technologies. The GNSS and INS systems are included nearly all the modern military platforms and smart munitions. However, they have also practical limitations. Therefore, a companion or alternative to these systems may provide flexibility in the navigational technology for military platforms. Visual odometry is an emerging technique for navigation technologies. The visual odometry technique is a dead reckoning technique, and it is the process of relative pose change estimation from camera images. Processing camera images for visual odometry is a computationally heavy operation. As the military platforms vary between a large scale of different sizes, their power and computational requirements also vary. Also, for expendable platforms like smart munitions, the cost is another important requirement. Embedded visual odometry(VO) implementation may provide a low-power, low cost and small-size alternative or companion positioning system to GNSS and INS. Hence the embedded systems are memory scarce, in this work, a new low-memory footprint neural network-based visual odometry method that is implementable on embedded systems is introduced and evaluated. In this work, firstly, the existing literature for geometry-based and deep learning-based methods was examined. Due to robustness and energy efficiency advantages, it was decided to realize a deep learning-based method, which can be further classified as supervised and unsupervised methods. The supervised learning methods generally require the involvement of other sensors than images and recurrent neural networks. These requirements come with additional computational and power consumption. As a very low-power and real-time system was targeted for this work, an unsupervised learning approach was selected as a training framework. With the ideas from the lightweight convolutional neural networks literature, a neural network namely TinyVO was designed. As monocular techniques provide more robustness and cost advantage than binocular ones, it was decided to use a monocular visual odometry technique in this work. The TinyVO network was trained with a well-known scale consistent unsupervised learning framework. After the training, TinyVO's performance on the KITTI dataset was evaluated. To deploy the neural network, MAX78002 artificial intelligence microcontroller has been chosen as the embedded platform. As MAX78002 supports 8 bits weights, the TinyVO was quantized to 8 bits using the provided MAX78002 software toolset. Also, the toolset supports the known answer test functionality. The known answer test was realized by using a sample from the KITTI dataset. Then, the energy and time consumption per inference values was measured. The resulting neural network, TinyVO enables a monocular visual odometry solution with a low-memory footprint, low power, and reasonable accuracy. To the best of found knowledge, this is the first study that provides a microcontroller-based visual odometry solution.
Benzer Tezler
- A comparison of CNN-based visual explanation methods inmedical images
Sağlık görüntülerinde CNN tabanlı görsel açıklama yöntemlerinin karşılaştırılması
ELHAM DEHGHANI MOINI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. NAFİZ ARICA
- Ai-based classification between healthy and vestibular system impaired individuals using gait parameters
Sağlıklı ve vestibüler sistem (VS) bozukluğu gösteren ve göstermeyen bireyler arasındaki yürüme parametrelerinin yapay zeka tabanlı sınıflandırılması
DUA HİŞAM
Yüksek Lisans
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
ASSOCIATE PROF. DR. SERHAT İKİZOĞLU
- Assessing neurophysiological human response to visual qualities of street intersections
Sokak kesişimlerinin görsel özelliklerine verilen nörofizyolojik insan tepkilerinin değerlendirilmesi
ERCÜMENT GÖRGÜL
Doktora
İngilizce
2024
Halk Sağlığıİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ. DR. DİLEK YILDIZ ÖZKAN
- Derin öğrenme tabanlı yöntemlerle düşük ışıklı görüntü iyileştirme
Low light image enhancement with deep learning based methods
EMİN CİHANGİR US
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Endüstriyel üretim hatlarında yapay zekâ destekli kalite kontrol sisteminin geliştirilmesi
Development of artificial intelligence-supported quality control system in industrial production lines
ELİF AYDAN BİKE
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiAkıllı Sistemler Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKAY BAYRAK