Learning markerless robot-depth camera calibration and end-effector pose estimation
Öğrenim tabanlı robot-3B kamera harici kalibrasyonu ve uç efektörpozisyonu tahmini
- Tez No: 774149
- Danışmanlar: DR. ÖĞR. ÜYESİ BARIŞ AKGÜN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 80
Özet
Robot kolları yapılandırılmamış ortamlarda giderek daha fazla kullanılıyor. Bu nedenle, yüksek düzeyde yapılandırılmış, kontrollü ve kafesli iş hücrelerine yerleştirilen geleneksel fabrika robotlarına kıyasla görüntü sensörlerine daha fazla ihtiyaç duyuyorlar. çöp toplama, kutu taşıma ve yerleştirme, insan-robot ortak çalışma hücrelerinde montaj ve parça besleme, inceleme, kalite kontrol sistemleri görüntü sensörü kullanan uygulamalara örnek olarak gösterilebilir. Görüntü verileri esas olarak manipüle edilecek nesnelerin yerini belirlemek, ölçümler yapmak ve yakındakı insanları tespit etmek için gereklidir. Görüntü tabanlı robot sistemlerinin düzgün çalışabilmesi için, robot ve kamera arasında harici kalibrasyon işlemi yapılması gerekir. Bu, zaman alıcı ve sıkıcı aynı zamanda da pahalı olabilen bir prosedürdür. Hızlı, esnek ve hassas robot-kamera kalibrasyonu, yalnızca endüstriyel ortamlar için değil, aynı zamanda kamera ve/veya robotun konumunun sık sık değiştirilmesi gereken veya yanlışlıkla değiştirildiği akademik laboratuvar ortamları için de gereklidir. Robot-kamera harici kalibrasyonu, on yıllardır süre gelen ve bugün dahi üzerinde çalışılan bir problem. Geleneksel yöntemler, referans bir nesnenin kameraya göre afin dönüşümünü farklı robot pozisyonlarından hesaplayarak ve bu afin dönüşüm tahminlerini robotun yön ve konumuyla eşleştirerek çalışır. öğrenme tabanlı güncel yaklaşımların büyük bir kısmı simülasyon ortamında oluşturulan verileri kullanarak harici kalibrasyon tahminini gerçekleştiriyor. Bu tez çalışmasında; referans nesneye ihtiyaç duymayan, öğrenme tabanlı bir robot-3B kamera harici kalibrasyon sistemi sunuyoruz. Otomatik olarak oluşturulan gerçek dünya verilerilerini kullanarak, uç efektör (EE) segmentasyonu, EE yön tahmini ve kilit nokta tespiti için modeller eğitiyoruz. öğrenme modellerimiz MinkUNet ve PointNet++ mimarileri kullanılarak oluşturuldu. EE konum hesaplamasını, EE segmentasyon ve EE yön modellerinden elde edilen tahminlerini kullanarak yapıyoruz. Tespit edilen kilit noktaları referans kilit noktalarıyla eşleyerek, EE yön ve konum tahminini ikinci bir yöntemle de gerçekleştirmiş oluyoruz. Kalibrasyon kalitesini artırmak için yinelemeli yakın nokta (ICP) algoritmasından, birden fazla 3B fotoğraf verisinden ve aykırı değer analizinden faydalanıyoruz. Daha önce kullanılmamış test verileriyle yaptığımız ölçümlerde; 1 santimetreden daha az (0.74 cm) konum ve 0.05 radyandan daha az (1.69 derece) yön ortalama hata paylarıyla kalibrasyon işlemini gerçekleştirdik. Tek kareden yaptığımız EE yön ve konum hesaplamarında, 1.00 cm konum and 2.74 derece yön ortalama hata paylarına ulaştık. Ayrıca, bu tezde anlatılan tüm model ve algoritmaları entegre ederek; açık kaynaklı, kullanıcı dostu robot-3B kamera harici kalibrasyon yazılımını geliştirdik.
Özet (Çeviri)
Robot arms are being used more and more in unstructured environments. As such, they are relying more on vision sensors compared to traditional factory robots which are placed in highly structured, controlled and caged work-cells. Some applications that rely on vision data include bin-picking, box picking and placing, assembly and part feeding in mixed human-robot work cells, inspection, quality control etc. Vision data is mainly required to localize the objects to be manipulated, perform measurements and detect near-by humans. Vision based robot systems require extrinsic calibration between the robot and camera in order to work properly. This is a time consuming and tedious procedure which can be expensive as well. Fast, flexible and precise robot-camera calibration is essential for not only industrial environments but also academic lab environments where the location of the camera and/or robot needs to be frequently or is accidentally changed. Extrinsic calibration between a robot arm and camera is a decades old challenge still prevalent to this day. Traditional techniques work by estimating pose of the camera relative to a fiducial marker from multiple points and matching these estimations with the robot's pose. Recent learning based approaches predict extrinsic calibration from images relying heavily on simulation data. In this thesis, we present a learning based markerless extrinsic calibration system that uses a depth camera. We learn models for end-effector (EE) segmentation, single-frame rotation prediction and keypoint detection, from automatically generated real-world data. Our models are based on MinkUNet and PointNet++ architectures. We use a transformation trick to get EE pose estimates from rotation predictions and a matching algorithm to get EE pose estimates from keypoint predictions. We further utilize the iterative closest point (ICP) algorithm, multiple-frames and outlier detection to increase calibration robustness. Our results on the test set with previously unseen camera locations give sub-centimeter (0.74 cm) and less than 0.05 radians (1.69 degrees) average calibration errors and 1.00 cm and 2.74 degrees average pose estimation errors. In addition, we released an open source easy to use tool for robot users to handle robot-camera calibration with a few mouse clicks by seamlessly integrating all the models and algorithms discussed in this thesis.
Benzer Tezler
- Makine öğrenmesi yöntemleri ile konum tabanlı artırılmış gerçeklik uygulaması
A location-based augmented reality application with machine learning methods
KÜBRA KAPICI
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKTO Karatay ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ ÖZTÜRK
- Continuous vs fixed-window temporal data processing for hand movement analysis
Başlık çevirisi yok
BEYZA TÜRKMEN
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YAKUP GENÇ
- The noun phrase accessibility hierarchy (NPAH) in the acquisition of English restrictive relative clauses by Turkish adult learners of English
Yetişkin Türk öğrencilerinin ilgi tümcelerini öğrenmede izledikleri sıra ve bunun ad öbeklerinin erişimlik sıralaması (NPAH) ile bağlantısı
AYNUR BAYSAL
Doktora
İngilizce
1999
DilbilimAnadolu Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
PROF. DR. GÜL DURMUŞOĞLU KÖSE
- Markedness theory in the acquisition order of dative alternation by Turkish adult learners of English
İngilizce öğrenen yetişkin Türk öğrencilerin İngilizce'de dolaylı nesnenin tümce içindeki sıralamasını edinmesinde belirtilik kuramı
YÜCEL ÖZ
Yüksek Lisans
İngilizce
2002
Eğitim ve ÖğretimAnadolu Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. ŞEYDA ÜLSEVER
- Universal grammer in second language acquisition: Knowledge of English reflexivies by Turkish learners
İkinci dil ediniminde evrensel dilbilgisi: Türk öğrencilerin İngilizce'deki dönüşlü yapılara ilişkin bilgisi
AYŞEN CEM