Obstacle avoidance with object detection using 3-D stereo cameras for indoor mobile robots
Gezgin robotlar için iç mekanlarda 3-B stereo kameraya dayalı nesne tespiti ile engellerden kaçınma
- Tez No: 671265
- Danışmanlar: DOÇ. DR. MEHMET BERKE GÜR
- Tez Türü: Yüksek Lisans
- Konular: Mekatronik Mühendisliği, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 87
Özet
Bu tezin ana amacı, 3-boyutlu (3-B) stereo kameralardan elde edilen görüntüler ile fabrika ve depo gibi iç mekanlarda gezgin robotlar için akıllı nesne tanıma ve engellerden kaçınma yöntemlerinin uygulanmasıdır. İnsan ve kameranın görüş alanına giren insan uzuvlarının tespiti ve dinamik engel olarak tanımlanmasına odaklanılmıştır, insan vücudunu tespit etme metodolojisini doğrulamak için Intel RealSense D435 kamera ve YOLOV3 ile gerçek zamanlı bir deney gerçekleştirildi (deney, farklı mesafe ölçeklerinde beş farklı poz üzerinde gerçekleştirildi). Bunun dışındaki tüm engeller statik olarak kabul edilmiştir. Elde edilen derinlik görüntülerinden tespit edilen insanların kameralara uzaklıkları çıkarılmıştır. Tespit edilen engellerin statik veya dinamik olarak sınıflandırılmasına göre farklı engelden kaçınma yöntemleri uygulanmıştır. Yöntemlerin uygulamalarında 'Robot Operating System' (ROS) yazılımının stereo kamerlardan elde edilen derinlik görüntülerini işlemek için geliştirilen kütüphanelerinden faydalanılmıştır. Stereo kameralardan alınan görüntülerin lazer tarama verisine dönüştürülmesi ile elde edilen görüntülerden ortam haritaları çıkarılmış ve engellerin yeri tespit edilmiştir. Buna ek olarak, dinamik engellerin algılanması, sınıflandırması ve robota olan uzaklıklarının çıkarılması için YOLO3 kütüphanesinden faydalanılmıştır. Dinamik bir engel tespit edildiğinde robotun durması için bir işaret oluşturulur ve robot ancak engelin ortadan kalkması ile tekrardan harekete geçer. Son olarak, azami duruş mesafeleri ve güvenli sürüş hızları belirlenmiştir. Geliştirilen uygulamalar Intel RealSense D435 stereo kamerasına sahip EvaRobot differensiyel sürüşlü gezgin robotu kullanılarak Gazebo benzetim ve laboratuvar otamında test edilmiştir. Bilimsel yazımda yaygın kullanılan Bug2 ve 'dynamic window approach' (DWA) engelden kaçınma yöntemlerine ait sonuçlar sunulmuştur. DWA ve BUG algoritmasını önerilen yaklaşımla test etmek için bir gazebo simülatöründe gerçekleştirilen bir deney.
Özet (Çeviri)
The primary objective of this thesis is to implement smart obstacle avoidance methods, stereo vision cameras and object detection for mobile robots (autonomous mobile robots or AMRs) navigating in indoor factory and warehouse environments. Focus is given to detecting and discerning dynamic obstacles such as humans and human body parts that fall within the stereo camera field-of-view (FOV), a real-time experiment was conducted with Intel RealSense D435 camera and YOLOV3 to verify the methodology of detecting the human body (experiment conducted on five different poses on different distance scales ). All other obstacles that are detected are considered static. The cameras are programmed to measure the distance to the detected human and other objects based on the depth images. Separate obstacle avoidance strategies are implemented depending on whether the obstacle is considered static or dynamic. The implementation of the algorithms are done using packages developed for the Robot Operating System (ROS) for the depth images obtained from the stereo cameras. Obstacles are detected and mapped by converting the depth image obtained from stereo cameras to laser scan images. In addition, the depth images are used to detect dynamic obstacles and calculate their range based on the YOLO3 library. Once dynamic objects are detected, a signal is sent to the mobile robot to stop moving until the path is clear from the dynamic obstacle. Finally, safe detection ranges and allowable speed limits for the AMR is also evaluated. For implementation is evaluated on the EvaRobot differential drive robot equipped with the Intel RealSense D435 stereo camera in the Gazebo simulation environment and tested using actual equipment. Results obtained from two well-known obstacle avoidance algorithms, namely the Bug2 and the dynamic window approach (DWA), are presented. An experiment performed on a gazebo simulator to test the DWA and BUG algorithms with the proposed approach.
Benzer Tezler
- Stereo görme ile hareketli görüntülerde engellerin uzaklık ve boyutlarının gerçek zamanlı bulunması
Real-time distance and dimension estimation of the obstacles using active stereo camera
EMRE ÖZGÜNDÜZ
Yüksek Lisans
Türkçe
2008
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. M. ELİF KARSLIGİL
- Otonom araçlar için 2B lazer tarayıcı kullanılarak yeni 3B LIDAR sistemi elde edilmesi ve engel tespiti
Obtaining a new type 3D LIDAR system using 2D laser scanner for autonomous vehicles and obstacle detection
AHMET KAĞIZMAN
Yüksek Lisans
Türkçe
2018
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ
- Design and control of an autonomous electrical vehicle for indoor transport applications
İç mekanda taşıma uygulamalarına yönelik elektrikli otonom araç tasarımı ve kontrolü
ŞÜKRÜ YAREN GELBAL
Yüksek Lisans
İngilizce
2016
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ
- İHA üzerinden derin öğrenme tabanlı nesne belirlenmesi ve GNSS konum koordinatlarının hesaplanması
Deep learning based object detection via UAV and computation of GNSS location coordinates
FERİT TİRYAKİ
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ERDAL
DR. ÖĞR. ÜYESİ BARIŞ DOĞAN
- Designing an obstacle detection and avoidance system using a 2D LIDAR and a stereo camera for autonomous vehicles
Otonom araçlar için 2D LIDAR ve stereo kamera kullanarak engel tespiti ve kaçınma sistemi tasarımı
ZEYNEP YASEMİN ERDOĞAN
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik MühendisliğiÇukurova ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ULUS ÇEVİK