Robot manipulator control for vision-based object detection and pick-and-place applications
Görüş tabanli nesne algilama ve tutma-yerleştirme uygulamalari için robot kolu kontrolü
- Tez No: 961881
- Danışmanlar: DR. KAMİL ÇETİN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İzmir Katip Çelebi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 65
Özet
Al-yerleştir işlemleri için yüksek hassasiyetli 6D poz tahmini, üretimdeki endüstriyel robot kolları için kritik bir sorun olmaya devam ediyor. Bu çalışma, gerçek dünya endüstriyel uygulaması için tasarlanmış 6D poz tahmini için analitik tabanlı bir çözüm sunuyor: Staubli TX2-60L robot kolunun çeşitli yerlerden metal plakaları alıp bunları bir fren balatası üretim hattında tam olarak tanımlanmış yuvaya yerleştirmesini sağlıyor. Sistem, renk ve derinlik verilerini yakalamak için sabit bir göz-ele Intel RealSense D435 RGB-D kamera kullanıyor. NI Vision kütüphanesiyle entegre edilmiş LabVIEW'de geliştirilen sağlam bir yazılım altyapısı, nesnenin X-Y konumlarını ve Z ekseni dönüşünü belirlemek için parçacık filtreleme, eşitleme ve desen eşleştirme dahil olmak üzere bir dizi adımdan geçerek görüntüleri işliyor. Nesnenin Z konumu kameranın yoğunluk verilerinden hesaplanırken, kalan X-Y dönüş açıları eğim açısı analitiği yöntemi kullanılarak belirlenir. Önerilen analitik çözümün hibrit tabanlı yöntemden (PnP/RANSAC algoritmalarıyla birleştirilmiş YOLO-v8) daha iyi performans gösterdiği deneysel olarak doğrulanmıştır. Dört farklı toplama senaryosundaki deneysel sonuçlar, önerilen çözümün üstün doğruluğunu, 2 mm'nin altındaki konum hatalarını, 1°'nin altındaki yönelim hatalarını ve alma ve yerleştirme görevlerinde mükemmel bir başarı oranını göstermektedir.
Özet (Çeviri)
High-precision 6D pose estimation for pick-and-place operations remains a critical problem for industrial robot arms in manufacturing. This study introduces analytics based solution for 6D pose estimation designed for a real-world industrial application: it enables the Staubli TX2-60L robot arm to pick up metal plates from various locations and place them into precisely defined slot on a brake pad production line. The system uses a fixed eye-to-hand Intel RealSense D435 RGB-D camera to capture color and depth data. A robust software infrastructure developed in LabVIEW integrated with the NI Vision library processes the images through a series of steps, including particle filtering, equalization, and pattern matching, to determine the X-Y positions and Z-axis rotation of the object. The Z-position of the object is calculated from the camera's intensity data, while the remaining X-Y rotation angles are determined using the angle of inclination analytics method. It is experimentally verified that the proposed analytical solution outperforms the hybrid-based method (YOLO-v8 combined with PnP/RANSAC algorithms). Experimental results across four distinct picking scenarios demonstrate the proposed solution's superior accuracy, with position errors under 2mm, orientation errors below 1°, and a perfect success rate in pick-and-place tasks.
Benzer Tezler
- Moving part recognition and automatic pick and place using an industrial robot
Harketli parçaların tanınması ve endüstriyel robot kullanarak bu parçaların alınması ve yerleştirilmesi
ERHAN İLHAN KONUKSEVEN
- Manipulation of visually recognized objects using deep learning
Görsel tanınan nesnelerin derin öğrenme kullanarak hareket ettirilmesi
ERTUĞRUL BAYRAKTAR
Doktora
İngilizce
2018
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR BOYRAZ
- Anticipating robot manipulation failures using knowledge distillation
Bilgi damıtma ile robot-nesne etkileşim hatalarını tahminleme
TUĞÇE TEMEL
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
- Multimodal sensing for manipulation failure detection
Etkileşim hatası sezme için çok kipli algılama
ARDA İNCEOĞLU
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SANEM SARIEL
- Identification of object manipulation anomalies for service robots
Servis robotları için nesne etkileşim anomalilerinin tanısı
DOĞAN ALTAN
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SANEM SARIEL UZER