Real–time target tracking and following with ur5 collaborative robot arm
Gerçek zamanlı hedef takibi ve ur5 işbirlikçi robot kolu ile izlenmesi
- Tez No: 517413
- Danışmanlar: DOÇ. DR. TUFAN KUMBASAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
- Sayfa Sayısı: 109
Özet
The rise of the camera usage and their availability give opportunities for developing robotics applications and computer vision applications. Especially, recent development in depth sensing (e.g., Microsoft Kinect) allows development of new methods for Human Robot Interaction (HRI) field. Moreover, Collaborative robots (co–bots) are adapted for the manufacturing industry. This thesis focuses on HRI using the capabilities of Microsoft Kinect, Universal Robot–5 (UR5) and Robot Operating System (ROS). In this particular study, the movement of a fingertip is perceived and the same movement is repeated on the robot side. Seamless cooperation, accurate trajectory and safety during the collaboration are the most important parts of the HRI. The study aims to recognize and track the fingertip accurately and to transform it as the motion of UR5. It also aims to improve the motion performance of UR5 and interaction efficiency during collaboration. One of the important parts of the study is trajectory planning. A trajectory is the path that a robot follows through as a function of time. Trajectory planning is sometimes referred to as motion planning and erroneously as path planning. Trajectory planning is distinct from path planning in that it is parametrized by time. Essentially, trajectory planning encompasses path planning in addition to planning how to move based on velocity, time and kinematics. In robotics there are inherent limitations to calculate the trajectory, especially for non–spherical wrist robots such as UR5. The computation time of a trajectory and data processing must be in milliseconds in tracking for seamless and safe HRI. Besides that, if the movements are not recognized or planned movements, safety is endangered and comfort will be lower. In the experimental part, nearest–point approach is used via Kinect sensor's depth image (RGB–D). The approach is based on the Euclidean distance which has robust properties against different environments. Moreover, Point Cloud Library (PCL) and its built–in filters are used for processing the depth data. After the depth data provided via Microsoft Kinect have been processed, the difference of the nearest points is transmitted to the robot via ROS. On the robot side, MoveIt! motion planner is used for the smooth trajectory. Once the data has been processed successfully and the motion code has been implemented without bugs, 84.18% total accuracy was achieved. After the improvements in motion planning and data processing, the total accuracy was increased to 94.14%. Lastly, the latency was reduced from 3–4 seconds to 0.14 seconds.
Özet (Çeviri)
Kamera kullanımının ve erişebilirliğinin artması, robotik ve bilgisayarlı görme uygulamaları için fırsatlar yaratmaktadır. Özellikle, derinlik algılamasındaki son gelişmeler (örneğin; Microsoft Kinect), insan robot etkileşimi (HRI) alanı için yeni yöntemlerin geliştirilmesine olanak sağlamaktadır. Öte yandan, imalat sanayisine bakıldığında, işbirlikçi robotların bu sanayi için uyarlandığı görülebilir. Bu tez, Microsoft Kinect, Universal Robot-5 (UR5), robot işletim sistemi (ROS) ve araçlarının yeteneklerini kullanarak HRI üzerine odaklanmaktadır. Bu spesifik çalışma alanında, parmak ucunun hareketi algılanmakta ve robot tarafında aynı hareket tekrarlanmaktadır. Gerçekleşen işbirliği sırasında sorunsuz bir işbirliğinin olması, doğru yörünge planlanması ve güvenlik HRI'nın en önemli bileşenleridir. Çalışma, parmak ucunu doğru bir şekilde tespit etmeyi ve izlemeyi, bu hareketi UR5'in hareketi olarak dönüştürmeyi amaçlamaktadır. Bunlara ek olarak, işbirliği sırasında UR5'in hareket performansını ve etkileşim verimliliğini artırmayı hedeflemektedir. İlk olarak, bu çalışma sırasında Microsoft Kinect v2 ve Universal Robot-5 kullanıldı. Yazılım ve kütüphane olarak, ROS, nokta bulutu kütüphanesi (PCL), libfreenect2, IAI Kinect2, açık kaynak bilgisayarlı görme kütüphanasi (OpenCV), Eigen, ur_modern_driver, MoveIt!, açık kaynak yörünge planlama kütüphanesi (OMPL) ve ROS görselleştirme aracı (rviz) kullanıldı. Microsoft Kinect v2 tarafından oluşturulan kırmızı, yeşil, mavi renk uzayı (RGB) ve derinlik bilgisi içeren veriler IAI Kinect2 (ROS ve libfreenect2 arasındaki köprü) ve libfreenect2 (Kinect'ten veri almak için gereken sürücü) aracılığıyla alındı. Daha sonra, bu veriler PCL aracılığıyla nokta bulutu olarak temsil edildi. Voxel Grid (VG), Radius Outlier Removal (ROR) ve Statistical Outlier Removal (SOR) filtreleri bu noktalardaki aykırı değerleri ve gürültüleri gidermek için uygulandı. En yakın nokta (parmak ucu), aykırı noktalardan ve gürültüden arındırılmış veriler kullanılarak Eigen matris hesaplama aracı yardımıyla gerçek zamanlı olarak hesaplandı. Her 1cm değerindeki değişimde hesaplama yeniden başlatıldı ve en yakın nokta güncellendi. Güncellenmiş en yakın nokta sürekli olarak bir ros_topic üzerinden yayınlandı. Bunu takiben, PCL ve rviz görselleştirme araçları ile görselleştirildi. Robot tarafında ise, UR5, ur_modern_driver kullanılarak ROS aracılığıyla kontrol edildi. Bu çalışmada, ROS'un Kinetic Kame sürümü Ubuntu 16.04 uzun süreli destek (LTS) yüklü bir bilgisayarda çalıştırıldı. En yakın nokta ilgili ros_topic üzerinden alındı. Bu parmak ucu farklılıkları robot yörüngesi hesaplanması amacıyla MoveIt!'e gönderildi. Daha sonra, bu hesaplamalarda uygulanabilir bir çözüm varsa UR5 harekete geçirildi. MoveIt! hakkında şunu belirtmek gerekir ki, uygulanabilir yörüngeyi hesaplamak için kullanılan parametrelerden“j”parametresi önemlidir.“Eklem için anlık izin verilebilir açışal değişim faktörü”olarak tanımlanan bu değişkenin değeri sıfırdan başka bir değere ayarlandığında robot eklemlerinin hareketi sırasında ne kadar anlık değişimin olacağı kullanıcı tarafından kontrol edilebilir. Gerçek zamanlı testte sıfıra ayarlanmamalıdır; çünkü bu, robotun istenmeyen bir hedefe hareket etmesine neden olur ve güvenlik sorunu teşkil eder.“j”parametresini ayarlamadan ve sisteme herhangi bir filtre uygulamadan sistemi 1 çevrim çalıştırmak 1.9 saniye zaman aldı. Bundan sonra, en yakın noktayı doğru olarak tespit etmek için VG, SOR ve ROR filtreleri sisteme uygulandı. Son durumda, VG ve SOR filtreleri kullanıldı. Filtre kullanılmasına ve daha fazla hesaplama yapılmasına rağmen gecikme süresi 0,14 saniyeye düşürüldü. Deneme ve gözlem sonucunda“j”parametresinin optimal değerini ayarlamak, gecikme ve güvenlik açısından oldukça önemli bir adımdır. İkinci olarak, çalışma ile ilgili sınırlamalar aşağıdaki gibi listelenebilir. ROS sadece Linux tabanlı işletim sistemlerinde çalışır, dolayısıyla Kinect'in yerleşik işlevleri kullanılamaz ve bunun için harici kütüphane kullanılmalıdır (örneğin; libfreenect2 ve IAI Kinect2). Öte yandan, alt örnekleme işlemi VG filtresi ile yapıldığında, nokta bulutundaki çözünürlük azalır ve nokta bulutu 50K'nın altına düşerse noktalar yanlış hesaplanır. PCL'de yerleşik filtreler kullanmak için, şu an sadece C++ programlama dili kullanılabilir. Son olarak, MoveIt! planlayıcısında, arama tabanlı hesaplama yöntemi kullanıldığından, yörünge planlaması için milisaniye mertebesine ulaşılamamaktadır. Uygulama bölümünde, Kinect sensörünün derinlik görüntüsü (RGB-D) ile en yakın nokta yaklaşımı kullanılır. Yaklaşım, farklı ortamlara karşı gürbüz özelliklere sahip olan Euclidean mesafesine dayanmaktadır. Ayrıca, PCL ve yerleşik filtreleri derinlik verilerini işlemek için kullanılır. Microsoft Kinect aracılığıyla sağlanan derinlik verileri işlendikten sonra, en yakın noktaların farkları ROS aracılığıyla robota iletilir. Robot tarafında, MoveIt! hareket planlayıcısı uygulanabilir yörünge hesaplaması için kullanılır. Robot yörüngesini test etmek için ham RGB-D verileri sisteme gönderilir ve sonuçlar elde edilir. Sistemin ne kadar doğru çalıştığını test etmek için UR5'in el kumandası yardımıyla bir test yörüngesi oluşturuldu. Kinect robota doğru döndürüldü ve test yörüngesi çalıştırıldı. Test yörüngesi çalıştırıldığı sırada, Kinect tarafından üretilen RGB-D verileri rosbag record kayıt fonksiyonu kullanılarak“rosbag”uzantısı olarak kaydedildi. Test için robot başlangıç pozisyonuna getirildi. Bu sefer sistem, rosbag play fonksiyonu yardımıyla Kinect kullanmadan kaydedilen veri ile çalıştırıldı ve robotun hareketi gözlemlendi. Testin ana fikri, algoritmanın parmak ucunu ne kadar doğruluk ile takip ettiğini görmektir. İlk test, VG, ROR ve SOR filtreleriyle“Kartezyen yol planlama metodu”kullanıdı ve X %85,79, Y %87.14 ve Z %79.63 doğruluk ile takip edildi. İkinci test için, VG ve SOR filtreleriyle "Zaman parametrelendirme metodu'' kullanıldı ve X %97,32, Y %93.34 ve Z %91.77 doğruluk ile takip edildi. Gecikme ve ön işleme tarafında, (j) için optimal olmayan bir değer seçildiğinden, uygulanabilir yörünge hesaplama süresi 3 ile 4 saniye arasındadır. Hatta mevcut sistemin toplam gecikme süresi 5 saniye civarlarındadır. Gecikmeyi ve ön işleme süresini azaltmak için, testleri ve gözlemleri kullanarak, j parametresi en uygun değere ayarlandı. (j=1,7). Başlangıçta, sistemde 200 bin nokta vardır ve buna SOR ve ROR filtreleri uygulandığında ön işleme süresi 1,9 saniyedir. VG filtresi oldukça hızlıdır ve ön işleme süresi üzerinde bir etkisi yoktur. Noktalar, VG filtresiyle 55-60 bin değerine düşürüldü ve Kinect tarafındaki maksimum ve minimum derinlik parametreleri optimum değerlerine ayarlandı. Bundan sonra sisteme, ROR ve SOR filtreleri uygulandığında ön işleme süresi 0,55 saniyeye düşürüldü. Bu değerin etkin etkileşim için yeterli olmadığı gözlemlendi. Bunu takiben, ROR filtresinin çok fazla hesaplama süresine sahip olması ve aykırı noktaları kaldırma yeteneğinin SOR filtresinden kötü olması nedenleriyle son aşamada kullanılmadı. Son olarak, VG filtresi, SOR filtresi ve en uygun j parametresi kullanıldığında, toplam gecikme süresi 0,14 saniyeye düşürüldü. Bu verimli işbirliği için kabul edilebilir bir düzeydir. Sonuç olarak, gecikme ne kadar düşük olursa, etkileşim o kadar iyi olur. Gelecekteki çalışmalar için, işbirliği sırasında yörünge hesaplama süresini azaltmak için kapalı form yörünge planlama yöntemine odaklanılabilir. Bunu başarmak için, düşük seviyeli programlama (örneğin; movej, servoj), ur_modern_driver ve ilgili sürücüler kullanılabilir. Nokta bulutunun ön işleme süresi için, Merkezi İşlem Birimi (CPU) kullanmak yerine Grafik İşlem Birimi (GPU) kullanılabilir. Ayrıca, PCL'deki farklı filtreler kullanılarak etkileşim verimliliği artırılabilir.
Benzer Tezler
- Target detection and tracking from unmanned aerial vehicle cameras using embedded GPU
Gömülü cihazlar kullanarak insansız hava araçları üzerinden hedef tespit ve takibi
FIRAT MEHMETOĞLU
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiÇankaya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. YAHYA KEMAL BAYKAL
- Kalman filtresi ve olasılıksal veri ilişkilendirme yöntemlerini kullanan çoklu hedef izleme algoritmaları
Multi-target tracking algorithms employing both kalman filtering and probabilistic data association
ADNAN LANA
Yüksek Lisans
Türkçe
2001
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. İ. CEM GÖKNAR
- Integrating computer vision with a robot arm system
Bilgisayar görüşünün bir robot kolu sistemi ile entegrasyonu
ZEAD MOHAMMED YOSIF
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. REZA ZARE HASSANPOUR
DR. SA'AD AHMED AL-KAZZAZ
- Addressing parametric uncertainties in autonomous cargo ship heading control
Otonom kargo gemisi yön kontrolündeki parametrik belirsizliklerin ele alınması
AHMAD IRHAM JAMBAK
Yüksek Lisans
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. İSMAİL BAYEZİT
- Derin obje sezicilerle tümleştirilmiş bayesçi filtreleme ile videoda obje izleme
Integration of bayesian filtering and deep object detection for video object tracking
FİLİZ GÜRKAN GÖLCÜK
Doktora
Türkçe
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU