Geri Dön

Vi̇sual servo control appli̇cati̇on i̇n a humanoi̇d robot usi̇ng depth-camera i̇nformati̇on

Derinlik kamera bilgisini kullanarak insansı robot'ta görsel servo-kontrol uygulaması

PDF İndir

  1. Tez No: 363549
  2. Yazar: AREZOU RAHİMİ
  3. Danışmanlar: YRD. DOÇ. DR. ALİ FUAT ERGENÇ, YRD. DOÇ. DR. PINAR BOYRAZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2014
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 131

Özet

İnsan hayatını kolaylaştırmak ve yeni imkânlar sunmak amacıyla günden güne artan bilgisayar teknolojisindeki araştırmaların büyük bir kısmı, insan müdahalesi olmadan kendi kendine hareket edebilen akıllı makineler geliştirmekle ilgilidir. İnsanoğlu, hayatını kolaylaştırmak amacıyla teknolojik alanda birçok atılımlar yapmıştır. Robot fikri de gerçekleştirilen ve hala güncelliğini koruyan bu atılımlardan biridir. Robotlar, endüstride, tıpta, haberleşmede ve daha birçok alanda kullanılmaktadır. Ayrıca, askeri uygulamalarda da robot kullanımı yaygındır. Robot teknolojisi, çağımız gelişim süreci içinde gelişen birçok bilimsel ve teknolojik olguların, robot adını verdiğimiz teknolojik ürünler üzerinde bütünleşmesi ve uygulamasını içerir. İnsansı robotlar, şekil olarak insana benzemekle beraber, çoğu zaman insanların bulunduğu ortamlarda çalışmaları için tasarlanmış robotlardır. Bu durum insan-robot etkileşimini ve robotun daha önceden bilmediği ortamlarda çalışmasını gerektirir. Genelde endüstriyel robotlar fabrikaların önceden belirlenmiş ortamlarında ve tanımlanmış işler üzerinde çalışmaktadır. Buna karşın günlük hayatımızda kullanabileceğimiz robotlar için önceden tanımlanmış ortamlar yoktur. Robotların gündelik hayatımızda kullanımını sağlamak için robotların bulundukları ortamı görmeleri ve tanımaları gerekmektedir. Örnek vermek gerekirse, bir insanın daha önceden bilmediği bir masa üzerinde bulunan bir objenin, bu noktadan başka bir noktaya taşınması insanda bulunan görme yetisi sayesinde mümkün olmaktadır. Böyle bir uygulamanın robot üzerinde gerçeklenmesi de yapay bir görü sistemi kullanımı ile elde edilebilir. Bu durumda, endüstriyel robotlardan farklı olarak, robotun kolunu uzatacağı objenin cinsini ve yerini tahmin etmesi, bu koordinatlara doğru eklem açılarını kullanarak uzanması ve objeyi kavraması gerekir. Yapay görme veya görüntü işleme teknolojisi, bir kameranın sensör olarak kullanımı ile dış dünya ile robot arasındaki bilgi akışının sağlanmasıdır. Bu noktada, bilginin görüntüden çıkarımı için belirli işlemlerin uygulanması gerekmektedir. Bu işlemler görüntü işleme algoritmaları olarak adlandırılır. Görüntü işleme algoritmalarının robot gibi akıllı makineler ile birlikte kullanılması, insan yaşamını daha da kolaylaştırdığı için günümüz teknolojik gelişmeleri arasında önemli bir yer tutmuştur. Bir sensör olarak kamera, diğer algılayıcı teknolojilerinden farklı olarak ucuzdur, hafiftir, ve kapladığı alana oranla yüksek miktarda bilgi verir. Benzer şekilde insan üzerinde bulunan 5 duyu organından biri de gözdür ve temel olarak robotlarda, yapay görü ve görüntü işleme uygulamaları insan gözünü taklit etmeye yöneliktir. Renk algılama, nesne tanıma, hareket algılama, şekil algılama gibi uygulamaların dışında, bir nesnenin derinliğinin algılanması da görüntü işleme algoritmaları tarafından gerçeklenebilir. Bugüne kadar derinlik algılayabilmek için en az iki kameralı sistemler kullanılırken, gelişen teknoloji ile derinlik algılayıcı sensör ve kameranın entegre çalıştığı sistemler gerçekleştirilmiştir. Bu tez kapsamında, UMAY (uyarlamalı mekanik ara yüz) projesi için tasarlanan 6 serbestlik dereceli kol ve gövde benzetim ortamında kullanılmıştır. UMAY projesi otistik çocukların eğitim ve rehabilitasyon süreçlerinde kullanılmak üzere geliştirilen bir insansı robot projesidir. UMAY projesi ile ilgili çalışmalar İstanbul Teknik Üniversitesi bünyesinde faaliyet gösteren Mekatronik Eğitim ve Araştırma Merkezi Laboratuvarları'nda yapılmakta olup, proje ile ilgili çalışmalar halen devam etmektedir. Bu tez kapsamında, bir insansı robot projesi olan UMAY'ın 6 serbestlik dereceli kolu ve Kinect derinlik algılayıcı sensör ve kamera sistemi kullanılarak görsel servo kontrolü benzetim ortamında yapılmıştır. Görse servo kontrol yardımı ile robot kolu kontrolünde literatürde pek çok uygulama mevcuttur. Bunlar; sistem hata sinyali (system error signal based), kamera robot entegre düzeneği (camera-robot setup based) ve kamera sayısı tabanlı (number of cameras based) çalışma başlıkları altında incelenebilir. Sistem hata sinyali tabanlı çalışmalar iki başlık altında toplanabilir: Konum bazlı ve görüntü bazlı. Konum bazlı uygulamalar, görüntülerden özniteliklerin çıkarımı (feature extraction), hedef nesnenin konum ve oryantasyonun kestirimi, konum ve oryantasyondaki kestirim hatasının geri besleme yardımıyla azaltılmasını sağlayacak hesaplamalar olarak gösterilebilir. Görüntü bazlı uygulamalar ise, görüntülerden özniteliklerin çıkarılması ve bu öznitelikler üzerinden kontrol değerlerinin hesaplanması olarak karşımıza çıkar. Bu uygulamalar iki boyutlu olduğu için kalibrasyon hataları daha az karşılaşılır. Kamera robot entegre düzeneğinde iki yaklaşım bulunmaktadır. Bunlar, kameranın robot koluna monte edildiği (eye-in-hand) ve kameranın robot kolu ve hedef nesneleri beraber görebileceği (eye-to-hand) şekilde kameranın konumlandırılmasını sınıflandırmaktadır. Bu kontrol yapılarında açık (EOL) ve kapalı (ECL) kontrol teknikleri uygulanmaktadır. Kamera kol üzerine monte edildiğinde sadece nesne görülebildiği için açık çevrim kontrol kullanılabilir. Buna karşın kamera kolu ve hedef nesneyi kontrol işlemi süresince görebilecek bir konuma yerleştirildiği takdirde, kapalı çevrim kontrol uygulanabilir olur. Kamera sayısı tabanlı çalışmalar, tek kamera (monocular), çift kamera (binocular) veya ikiden fazla kameranın kullanıldığı yaklaşımlar şeklinde sıralanabilir. Tek kameralı sistemler, görsel bilgiyi çıkarımı için gerekli işlem zamanını en aza indirir. Nitekim nesne modeli bilinmediği için derinlik bilgisinin kaybolması görsel servo ile kontrol işlemini kısıtlar ve kontrol sistemi tasarımını karmaşık hale getirir. Çift kameralı sistemler ise, nesne ve sahne ile ilgili 3 boyutlu bilgiyi sağlar. Bu metot iki farklı görüntüleme cihazı kullandığı için stereo görüntü sistemleri tek kameralı sistemlere göre iki kat daha fazla işlem yüküne sahiptir. Bu çalışmada, görüntü temelli servo kontrolü kapalı bir kontrol çevrimi içerisinde kullanılarak, benzetim ortamında 6 serbestlik dereceli bir kolun, daha önceden tanımlanmamış bir masa üzerinde bulunan bir objeye ulaşması sağlanmıştır. Masa üzerinde bulunan nesneye erişmek için tahmin edileceği üzere hedef nesnenin mutlak koordinatlarda derinliğinin saptanması çok büyük önem arz etmektedir. Görsel etkileşim matrisi olarak isimlendirilen matrisin hesaplanmasında derinlik bilgileri kullanılır. Literatürde bulunan çalışmaların aksine, bu çalışmada stereo ve tek kamera kullanımının dezavantajları bulunması nedeniyle, yeni bir yöntem ile Kinect sistemi kullanılmıştır. Bunun sonucunda, derinlik hesaplamasında işlem zamanı literatürde verilen çalışmalara oranla bir düşüş göstermiştir. Kapalı çevrim kontrol uygulanabilmesi için Kinect robot gövdesi üzerine yerleştirilmiştir. Bu sayede hem hedef nesne, hem de robot kolu işlem boyunca Kinect tarafından görülebilir, bu durum kameranın el üzerine konulduğu durumların aksine işlem süresi içerisinde hedef nesnenin görüntüden çıkması problemini engeller. Alışılmışın aksine, görsel etkileşim matrisi bu uygulamada kapalı çevrim kontrol içerisinde kullanılmaktadır. Benzetim için Ubuntu işletim sistem ile çalışan i5 işlemcili 4 GB belleği olan bir bilgisayar kullanılmıştır. Solidworks ortamında üç boyutlu tasarımı yapılan robot ve kol modeli, URDF (universal robot description format) formatına çevrilerek benzetim ortamına aktarılmıştır. Kontrol algoritmaları ve robot modelinin dinamik simülasyonu robot işletim sistemi ROS (Robot Operating System) groovy versiyonu ve gazebo programı (1.5 versiyonu) kullanılarak yapılmıştır. Görüntü işleme için OpenCv kütüphanesi kullanılmıştır. Kontrol uygulaması python 2.7 ve C++ programlama dillerinde yazılmıştır. Kinect sistemi yardımıyla benzetim ortamında derinlik algılanması ve nesnelerin tanımlanması sağlanmıştır. Literatürde kullanılan derinlik algılama yöntemleri arasında reflektif yöntemler içerisinde bulunan optik aktif ve pasif yöntemler bulunmaktadır. Stereo görüntü işleme pasif bir yöntem iken, Kinect, aktif bir şekilde ışık kodlaması ile üçgenleştirme metodunu kullanarak derinlik tespiti yapar. Bu sensör, içerisinde bir adet kızılötesi kamera, bir RGB (kırmızı yeşil mavi) kamera ve bir adet de kızılötesi projektör bulundurur. Bu çalışmada; sabit derinlik, değişken derinlik ve bunların kombinasyonları kullanılarak, yukarıda ifade edilen benzetim şartlarında robotun kolun uç eyleyicisinin masa üzerine konulan hedef nesneye ulaşması başarıyla sağlanmıştır. Burada sabit derinlik olarak uç eyleyicinin başlangıç pozisyonunda hedef nesneye olan uzaklığın tüm benzetim boyunca sabit olarak kullanılması şeklindedir. Bu nedenle tüm benzetim boyunca uç eyleyicinin üç boyutlu uzaydaki hızı sabit kalmaktadır. Diğer yöntemlerde her iterasyonda uç eyleyici ile hedef nesne arasındaki derinlik bilgileri tekrar algılanmış ve bu bilgiler ışığında kontrol gerçekleştirilmiştir. Burada uç eyleyici için değişken hızlar elde edildiği görülmüştür. Burada kullanılan iki yöntem MPJ (mean of pseudo-inverse Jacobian) ve PMJ (pseudo-inverse of mean Jacobian) olarak adlandırılır ve benzetimler göstermiştir ki MPJ kullanımı bu uygulama için daha iyi sonuçlar vermektedir.

Özet (Çeviri)

Robotic systems have been increasingly employed in various industrial, urban, medical, military and exploratory applications during last decades. To enhance the robot control performance, vision data are integrated into the robot control systems. Using visual feedback has a great potential for increasing the flexibility of conventional robotic and mechatronic systems to deal with changing and less-structured environments. How to use visual information in control systems has always been a major research area in robotics and mechatronics. Visual servoing methods, which utilize direct feedback from image features to motion control, have been proposed to handle many stability and reliability issues in vision-based control systems. Visual control is one of the key tools used by human beings to control their body motions to perform activities such as grabbing a cup of coffee and placing it on a table. Similarly, in the field of robotics it is often desirable to make use of visual data obtained from an imaging system to control the motion of a robotic manipulator in order to grab an object or to place the end effector tool in a certain position with respect to an object. To accomplish these tasks in a closed-loop manner, researchers have developed a number of visual servo control techniques that can provide a high degree of accuracy. In the following work an overview of the different visual servo control techniques reported in the literature is given, highlighting their main advantages and drawbacks. This thesis introduces Image-based Visual Servoing (IBVS) (to the contrary Position-based Visual Servoing (PBVS)) with eye‐to‐hand configuration that is able to reach an desired object. Humanoid robots have a broad range of applications and a common attribute of all these applications is that the robot needs to operate in unstructured environments rather than structured industrial work cells. Motion control and trajectory planning for robots in unstructured environments face significant challenges due to uncertainties in environment modeling, sensing modalities, and robot actuation. This thesis attempts to solve a subset of these challenges. This thesis focuses on visual servoing (VS) control systems, particularly on image-based visual servoing (IBVS) control structures. In IBVS, the error signal is computed in the image plane and the regulation commands are generated with respect to such error by means of a visual Jacobian. The Image based visual servoing scheme is adapted for an eye-to-hand configuration and implemented with a 6 DOF Humanoid robot; depth camera (Kinect) instead of monocular or stereo vision methods is used to control the end effector of UMAY. Different formulations of the jacobian of the system are implemented and the performance of the system is tested through simulation environment.

Benzer Tezler

  1. Tez No

    46362

    İnsansız hava aracı için bir borda bilgisayarının mimarisi ve tasarımı

    Başlık çevirisi yok

    SAİT N. YURT

    Yüksek Lisans

    Türkçe

    Türkçe

    1995

    Astronomi ve Uzay Bilimleriİstanbul Teknik Üniversitesi

    Y.DOÇ.DR. T. BERAT KARYOT

  2. Tez No

    783614

    Farklı yüzeylerdeki serigrafi baskı ürünlerinin görsel hata tespiti modellenmesi

    Visual defect detection of printing products on different surfaces

    MEHMET KAYĞUSUZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Mekatronik MühendisliğiMarmara Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İSMAİL TEMİZ

  3. Tez No

    171118

    Saçların kaynakla birleştirilmesinde robotik sistemin kaynak kalitesine ve hassasiyetine etkisinin araştırılması

    The influence of robotic system to quality and precision of sheet metal's welding

    FATİH AKGÜN

    Yüksek Lisans

    Türkçe

    Türkçe

    2005

    Endüstri ve Endüstri MühendisliğiGebze Yüksek Teknoloji Enstitüsü

    Tasarım ve İmalat Mühendisliği Ana Bilim Dalı

    DOÇ.DR. FEHMİ ERZİNCANLI

  4. Tez No

    243811

    Bilgisayar kontrollü dik işlem tezgahı tasarımı ve uygulaması

    Design and application of a computer controlled vertical milling machine

    MERİÇ KAYALIK

    Yüksek Lisans

    Türkçe

    Türkçe

    2009

    Elektrik ve Elektronik MühendisliğiDokuz Eylül Üniversitesi

    Makine Mühendisliği Bölümü

    YRD. DOÇ. DR. ZEKİ KIRAL

  5. Tez No

    268738

    Elektrik motorları için internet tabanlı laboratuar tasarımı

    Internet based laboratory for electric motors

    ÖMER AYDOĞAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2010

    Elektrik ve Elektronik MühendisliğiSüleyman Demirel Üniversitesi

    Elektronik-Bilgisayar Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. OKAN BİNGÖL

Geri Dön