Geri Dön

İnsansı robotlarda nesne algılama ve tanıma için yeni derin öğrenme algoritmalarının geliştirilmesi

Development of novel deep learning algorithms for object detection and recognition in humanoid robots

  1. Tez No: 682891
  2. Yazar: SİMGE NUR ASLAN
  3. Danışmanlar: PROF. DR. AYŞEGÜL UÇAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Mekatronik Mühendisliği, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: Türkçe
  9. Üniversite: Fırat Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Bilim Dalı
  13. Sayfa Sayısı: 90

Özet

İnsansı robotların, ev, otel ve hastane gibi iç ortamlarda insanlar ile birlikte çalışması, insanlara yardımcı olması ve insanların hayatını kolaylaştırması beklenmektedir. Bu nedenle robotların nesneleri tanıması, algılaması ve nesneleri hareket ettirmesi önemlidir. Bu durumda, insansı robotlar otonom olarak gezinmeli ve ortamdaki tüm nesneleri algılamalı, tanımalı ve hareket ettirebilmelidir. Ancak farklı nesne konumları ve nesne görünüşleri ile gerçek zamanlı kontrol nedeniyle bu işlem hala zor ve çözülmesi gereken bir problemdir. Bu tezde, insansı robotlarla nesne tanıma ve algılama için yeni algoritmalar geliştirilmiştir. İlk olarak, Evrişimli Sinir Ağları (ESA'lar) tabanlı küçük yapıya sahip yeni sınıflayıcı modeller sunulmuştur. Önerilen modeller ile nesne tanıma işlemi gerçekleştirilmiştir. İkinci olarak, ESA'ları ve Uzun Kısa Süreli Bellek Ağları (UKSA'ları) birleştiren yeni melez ESA-UKSBA regresör modelleri önerilmiştir. Uzaktan yönlendirme (teleoperasyon) ile gösterimden öğrenme yöntemi kullanarak Robotis-Op3 insansı robotu ile nesne manipulasyonu uygulaması gerçekleştirilmiştir. Üçüncü olarak, bilimsel yazında PSPNet olarak adlandırılan Piramit Sahne Ayrıştırma Ağının özelleştirilmiş küçük yeni bir sürümü ile Ayrık Dalgacık Dönüşümü (ADD) kullanılarak öznitelikleri çıkaran yeni sürümü önerilmiştir. Derin Dalgacık dönüşümü içeren yeni ağ, kodlayıcı ve kod çözücü bölümlerinden oluşturulmuştur. Her iki kısımda birden fazla özgünlük içerilmiştir. Kodlayıcı kısmında, ADD uygulayan ve uzamsal ve kanal dikkat blokları içeren yeni bir dalgacık ağı önerilmiştir. Kod çözücü kısmında, PSPNet içinde kullanılan yapının geliştirilmiş yeni bir sürümü önerilmiştir. Deneysel çalışmalarda, ilk olarak insansı robotun kamerası ile alınan nesne görüntüleri üzerinde çalışmalar yapılmıştır. Önerilen küçük yapılı sınıflandırma modellerinin, karmaşık modellerden daha düşük parametre sayısı ve daha kısa eğitim süresi ile yüksek doğrulukta tanıma sergilediği gösterilmiştir. İkinci olarak, önerilen insansı robotların gösterimden nesne hareket ettirmeyi öğrenmesi sisteminde, melez ESA-UKSBA tabanlı regresörlerin önerilen ESA modellerinin daha doğru ve kararlı sonuçlar sergilediği gösterilmiştir. Üçüncü olarak, insansı robot ev içerisinde gezdirilerek ortam algılama işlemi yapılmıştır. Küçük yapılı PSPNet'in nesne bölütlemesi işleminde, geleneksel PSPNet'e göre daha az parametre sayısı ile başarılı sonuçlar verdiği gözlenmiştir. Bunların dışında, derin dalgacık dönüşümü içeren yeni ağın, anlamsal bölütleme görevini yerine getirmede geleneksel PSPNet ve bilimsel yazındaki güncel ağlardan daha yüksek başarım verdiği ve hızlı olduğu gösterilmiştir.

Özet (Çeviri)

The humanoid robots are expected to facilitate people's lives in healthcare, houses and hotels providing various service support. Hence, it is important that the robots have object recognition capability. In that case, the humanoid robots should autonomously navigate and detect, recognize, and move all objects in the environment. However, object recognition is still a challenging problem at different locations and different object positions in real time. However, this is still difficult due to real-time control with different object positions and object views, and it is a problem to be solved. In this thesis, new algorithms are developed for object recognition and detection with humanoid robots. First, new classifier models with small structure based on Convolutional Neural Networks (CNNs) have been presented. Object recognition process was carried out with the proposed models. Second, new hybrid CNN-LSTM regressor models combining CNNs and Long Short-Term Memory Networks (LSTMs) have been proposed. Object movement application has been carried out with the Robotis-Op3 humanoid robot by using the method of learning from demonstration with the teleoperation method. Third, in the literature, a customized small new version of Pyramid Scene Parsing Network called PSPNet and a new version extracting the features using Discrete Wavelet Transform (DWT) has been proposed as DW-PSPNet. Moreover, DW-PSPNET is built from the encoder and decoder parts. Both parts include multiple originality. The encoder part proposes a novel Wavelet network applying DWT and including the spatial and channel attention blocks. In the decoder part, a new improved version of PSPNet is proposed. In experimental studies, firstly the object images have been taken with the camera of the humanoid robot. It has been shown that the proposed small structure classification models exhibit high accuracy recognition with lower number of parameters and shorter training time than complex models. Secondly, it has been observed that the proposed CNN models of hybrid CNN-LSTM based regressors show more accurate and stable results in the proposed system of humanoid robots learning to move objects from the demonstration. Third, the environment detection process has been performed by moving the humanoid robot in a house environment. It has been observed that the small structured PSPNet gives successful results in object segmentation with less parameter numbers than the conventional PSPNet. On the other hand, it has been shown that DW-PSPNet is faster and more successful than the conventional PSPNet and the popular networks in the semantic segmentation task in literature.

Benzer Tezler

  1. Object-aware interactive perception

    Nesne farkındalıklı etkileşimli algılama

    ÇAĞATAY KOÇ

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. SANEM SARIEL UZER

    PROF. DR. SİNAN KALKAN

  2. Vi̇sual servo control appli̇cati̇on i̇n a humanoi̇d robot usi̇ng depth-camera i̇nformati̇on

    Derinlik kamera bilgisini kullanarak insansı robot'ta görsel servo-kontrol uygulaması

    AREZOU RAHİMİ

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. ALİ FUAT ERGENÇ

    YRD. DOÇ. DR. PINAR BOYRAZ

  3. Design, modelling and control of a nano quadrotor withmicrocontroller based vision system for object tracking

    Nesne takibi için bir nano dört rotorlu helikopterin tasarımı, modellenmesi ve mikrodenetleyici tabanlı görüntü sistemi ile kontrolü

    MUSTAFA ENES KIRMACI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HÜLYA YALÇIN

    PROF. DR. ERDİNÇ ALTUĞ

  4. Real-time visual target identification and tracking via unmanned ground vehicle (UGV)

    İnsansız yer aracı (UGV) üzerinden gerçek zaman görsel hedef belirleme ve izleme

    NOUR ZAKARIYA AMMAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ OKATAN

  5. Çilek meyvesi gelişiminin derin öğrenme metotlarıyla karşılaştırmalı incelenmesi

    Comparison of development strawberry fruit with deep learning methods

    LEVENT DALGIN

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolVan Yüzüncü Yıl Üniversitesi

    Yapay Zeka ve Robotik Ana Bilim Dalı

    DOÇ. DR. MURAT CANAYAZ