İnsansı robotlarda nesne algılama ve tanıma için yeni derin öğrenme algoritmalarının geliştirilmesi
Development of novel deep learning algorithms for object detection and recognition in humanoid robots
- Tez No: 682891
- Danışmanlar: PROF. DR. AYŞEGÜL UÇAR
- Tez Türü: Yüksek Lisans
- Konular: Mekatronik Mühendisliği, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Bilim Dalı
- Sayfa Sayısı: 90
Özet
İnsansı robotların, ev, otel ve hastane gibi iç ortamlarda insanlar ile birlikte çalışması, insanlara yardımcı olması ve insanların hayatını kolaylaştırması beklenmektedir. Bu nedenle robotların nesneleri tanıması, algılaması ve nesneleri hareket ettirmesi önemlidir. Bu durumda, insansı robotlar otonom olarak gezinmeli ve ortamdaki tüm nesneleri algılamalı, tanımalı ve hareket ettirebilmelidir. Ancak farklı nesne konumları ve nesne görünüşleri ile gerçek zamanlı kontrol nedeniyle bu işlem hala zor ve çözülmesi gereken bir problemdir. Bu tezde, insansı robotlarla nesne tanıma ve algılama için yeni algoritmalar geliştirilmiştir. İlk olarak, Evrişimli Sinir Ağları (ESA'lar) tabanlı küçük yapıya sahip yeni sınıflayıcı modeller sunulmuştur. Önerilen modeller ile nesne tanıma işlemi gerçekleştirilmiştir. İkinci olarak, ESA'ları ve Uzun Kısa Süreli Bellek Ağları (UKSA'ları) birleştiren yeni melez ESA-UKSBA regresör modelleri önerilmiştir. Uzaktan yönlendirme (teleoperasyon) ile gösterimden öğrenme yöntemi kullanarak Robotis-Op3 insansı robotu ile nesne manipulasyonu uygulaması gerçekleştirilmiştir. Üçüncü olarak, bilimsel yazında PSPNet olarak adlandırılan Piramit Sahne Ayrıştırma Ağının özelleştirilmiş küçük yeni bir sürümü ile Ayrık Dalgacık Dönüşümü (ADD) kullanılarak öznitelikleri çıkaran yeni sürümü önerilmiştir. Derin Dalgacık dönüşümü içeren yeni ağ, kodlayıcı ve kod çözücü bölümlerinden oluşturulmuştur. Her iki kısımda birden fazla özgünlük içerilmiştir. Kodlayıcı kısmında, ADD uygulayan ve uzamsal ve kanal dikkat blokları içeren yeni bir dalgacık ağı önerilmiştir. Kod çözücü kısmında, PSPNet içinde kullanılan yapının geliştirilmiş yeni bir sürümü önerilmiştir. Deneysel çalışmalarda, ilk olarak insansı robotun kamerası ile alınan nesne görüntüleri üzerinde çalışmalar yapılmıştır. Önerilen küçük yapılı sınıflandırma modellerinin, karmaşık modellerden daha düşük parametre sayısı ve daha kısa eğitim süresi ile yüksek doğrulukta tanıma sergilediği gösterilmiştir. İkinci olarak, önerilen insansı robotların gösterimden nesne hareket ettirmeyi öğrenmesi sisteminde, melez ESA-UKSBA tabanlı regresörlerin önerilen ESA modellerinin daha doğru ve kararlı sonuçlar sergilediği gösterilmiştir. Üçüncü olarak, insansı robot ev içerisinde gezdirilerek ortam algılama işlemi yapılmıştır. Küçük yapılı PSPNet'in nesne bölütlemesi işleminde, geleneksel PSPNet'e göre daha az parametre sayısı ile başarılı sonuçlar verdiği gözlenmiştir. Bunların dışında, derin dalgacık dönüşümü içeren yeni ağın, anlamsal bölütleme görevini yerine getirmede geleneksel PSPNet ve bilimsel yazındaki güncel ağlardan daha yüksek başarım verdiği ve hızlı olduğu gösterilmiştir.
Özet (Çeviri)
The humanoid robots are expected to facilitate people's lives in healthcare, houses and hotels providing various service support. Hence, it is important that the robots have object recognition capability. In that case, the humanoid robots should autonomously navigate and detect, recognize, and move all objects in the environment. However, object recognition is still a challenging problem at different locations and different object positions in real time. However, this is still difficult due to real-time control with different object positions and object views, and it is a problem to be solved. In this thesis, new algorithms are developed for object recognition and detection with humanoid robots. First, new classifier models with small structure based on Convolutional Neural Networks (CNNs) have been presented. Object recognition process was carried out with the proposed models. Second, new hybrid CNN-LSTM regressor models combining CNNs and Long Short-Term Memory Networks (LSTMs) have been proposed. Object movement application has been carried out with the Robotis-Op3 humanoid robot by using the method of learning from demonstration with the teleoperation method. Third, in the literature, a customized small new version of Pyramid Scene Parsing Network called PSPNet and a new version extracting the features using Discrete Wavelet Transform (DWT) has been proposed as DW-PSPNet. Moreover, DW-PSPNET is built from the encoder and decoder parts. Both parts include multiple originality. The encoder part proposes a novel Wavelet network applying DWT and including the spatial and channel attention blocks. In the decoder part, a new improved version of PSPNet is proposed. In experimental studies, firstly the object images have been taken with the camera of the humanoid robot. It has been shown that the proposed small structure classification models exhibit high accuracy recognition with lower number of parameters and shorter training time than complex models. Secondly, it has been observed that the proposed CNN models of hybrid CNN-LSTM based regressors show more accurate and stable results in the proposed system of humanoid robots learning to move objects from the demonstration. Third, the environment detection process has been performed by moving the humanoid robot in a house environment. It has been observed that the small structured PSPNet gives successful results in object segmentation with less parameter numbers than the conventional PSPNet. On the other hand, it has been shown that DW-PSPNet is faster and more successful than the conventional PSPNet and the popular networks in the semantic segmentation task in literature.
Benzer Tezler
- Object-aware interactive perception
Nesne farkındalıklı etkileşimli algılama
ÇAĞATAY KOÇ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
PROF. DR. SİNAN KALKAN
- Vi̇sual servo control appli̇cati̇on i̇n a humanoi̇d robot usi̇ng depth-camera i̇nformati̇on
Derinlik kamera bilgisini kullanarak insansı robot'ta görsel servo-kontrol uygulaması
AREZOU RAHİMİ
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ALİ FUAT ERGENÇ
YRD. DOÇ. DR. PINAR BOYRAZ
- Design, modelling and control of a nano quadrotor withmicrocontroller based vision system for object tracking
Nesne takibi için bir nano dört rotorlu helikopterin tasarımı, modellenmesi ve mikrodenetleyici tabanlı görüntü sistemi ile kontrolü
MUSTAFA ENES KIRMACI
Yüksek Lisans
İngilizce
2023
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
PROF. DR. ERDİNÇ ALTUĞ
- Real-time visual target identification and tracking via unmanned ground vehicle (UGV)
İnsansız yer aracı (UGV) üzerinden gerçek zaman görsel hedef belirleme ve izleme
NOUR ZAKARIYA AMMAR
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ OKATAN
- Çilek meyvesi gelişiminin derin öğrenme metotlarıyla karşılaştırmalı incelenmesi
Comparison of development strawberry fruit with deep learning methods
LEVENT DALGIN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolVan Yüzüncü Yıl ÜniversitesiYapay Zeka ve Robotik Ana Bilim Dalı
DOÇ. DR. MURAT CANAYAZ