Real-time safety decisions for robot manipulations in unstructured environments
Yapılandırılmamış ortamlardaki robot etkileşimlerinde gerçek zamanlı güvenlik kararları
- Tez No: 570160
- Danışmanlar: DOÇ. DR. SANEM SARIEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 77
Özet
Robotlar ev ortamlarında kullanılmaya başladığından beri, çevre ile güvenli bir şekilde etkileşimi sağlamak için ilgili güvenlik önlemleri önem kazanmıştır. Ancak, bu önlemler robot çalışmasını kalıcı olarak kesmemeli veya görev yürütme yeteneklerini azaltmamalıdır. Bu, mevcut göreve uygunluğu göz önüne alındığında robotun neye tepki vereceği konusunda seçici olan uygun bir karar mekanizmasıyla başarılabilir. Bu tezde, bu problemleri ele alan bir yürütme izleme modülülü önerilmiştir. Bu modül, yürütmedeki göreve, karşılaşılan arızalara ve robot ile çevre arasındaki etkileşimin özelliklerine bağlı olarak reaksiyonları sağlar. Bir robotun yürütülen görev üzerinde verebileceği çeşitli kararlar vardır. Bu kararlar içinde tespit edilen güvensiz durumu güvenli hale getiren çeşitli kararlar olmalıdır. Örnek olarak, güvensiz bir durum karşısında robotun durması veya robotun önceden belirlenen güvenli bir duruma ulaştıracak eylemler bu kararlara örnek gösterilebilir. Bu tezde, robotun güvensiz bir duruma karar vermesi konusu ele alınmıştır. Verilen kararın sonucu olarak da dur kararı vermesi beklenmiştir. Dur kararı güvensiz durumu her zaman güvenli duruma çevirmek için yeterli değildir ama durumun güvensiz olduğunun karar verilmesi için yeterlidir. Dur kararının yetersiz olduğu durumlarda durum incelenerek durumu güvenli hale getirecek kararlar verilmelidir. Bu kararların oluşturulması bu tezin kapsamı dışındadır. Bu tezde, robotlarda güvenli görev yürütülmesi için bir güvenli robot mimarisi gerçeklenmiştir. Mimari Sahne Yorumlayıcı, Hedef Seçici, Planlayıcı, Eylem İstemcisi, Eylem Sunucusu, Eylem İzleyicisi bileşenlerini içerir. Güvenli robot mimarisi bir küme sensör grubu verisini kullanır. Tez kapsamında RGBD kamera ve mikrofon sensörleri kullanılmıştır. Sensörlerden elde edilen gözlemler Sahne Yorumlayıcı'nın kullandığı bir grup algoritma ile yorumlanır ve ortam modeli oluşturulur. Bu şekilde, ortam modeli her yeni gözlemle sürekli olarak güncellenir. Hedef Seçici'nin bir hedef seçmesiyle birlikte Planlayıcı tarafından üretilen plan Eylem İstemcisi'ne iletilir. Eylem yürütmede güvenliğin sağlanması için yürütmeyi başlatmak ve durdurmak sadece Eylem İstemcisi'nin kararıyla olmaktadır. Eylem İstemcisi yürütülmesi gereken eylemlerin ön koşullarını kontrol eder ve eylemin yürütülmesi karşısında bir engel yok ise yürütülecek eylemi Eylem Sunucusu'na iletir. Eylem Sunucusu'na eylemin iletilmesi ile eylem yürütme işlemi başlar. Eylem Sunucusu, eylemin yürütülmesi için gereken yörünge hesaplarını yapar ve motorlara hareket komutlarını gönderir. Güvenli robot mimarisinde, eylem yürütmedeki güvenlik, Eylem Sunucusu'ndan ve Eylem İzleyicisi'nden gelen hata mesajlarının, Eylem İstemcisi tarafından değerlendirilmesi ile yapılır. Eylem Sunucusu, robotun yürütme sırasındaki kontrol hatalarını tespit eder. Bir motorun gitmesi gereken konum ile gerçek konumu arasındaki hata belli bir miktarın üzerine çıkar ise robotun kendisinden istenen yörüngeyi takip edemememesi nedeniyle oluşacak güvensiz durumları engellemek için yürütme durdurulur. Ayrıca Eylem İzleyicisi ortam modelini izleyerek yürütme sırasındaki anomalileri tespit eder. Tespit edilen anomaliler Eylem İstemcisi tarafından değerlendirilerek yürütmeyi durdurma kararı verilir. Bu tezde Eylem İstemcisi'nin durdurma kararını vermesi için hata sezme ve yürütme izleme modülleri geliştirilmiştir. Hata sezme, eylemler yürütülürken ortam ve robot durumunun incelenmesi ile yapılmıştır. Bu çalışmada, hata sezme tutucu durumu ve ses bilgilerinin kullanımı ile yapılmıştır. Yürütme izleme modülü hataların yürütülen eylem ve robot tarafından tespit edilen bazı bağlam bilgileri ile uygulanmıştır. Eylem İstemci'si iki farklı tasarımla gerçeklenmiş ve performansı incelenmiştir. Birinci tasarım hata sezme ve yürütme izlemenin beraber yapılması ile gerçeklenmiştir. Bu tasarımda hata sezme ve yürütme izleme tek bir makine öğrenmesi modeli kullanılarak tasarlanmıştır. İkinci tasarımda yürütme izleme, hata sezmeden ayrı bir makine öğrenmesi modeli kullanılarak tasarlanmıştır. Deneylerde üst üste koyma ve itme eylemleri kullanılmıştır. Her eylem için 55'er adet gerçek robot yürütmesi gerçekleştirilmiştir ve zaman dizileri şeklinde veri elde edilmiştir. Gerçek zaman dizilerinden seçilen pencere büyüklüklerine göre anlık pencere görüntüleri oluşturulmuştur ve her pencere görüntüsü dur veya devam et kararı ile etiketlenmiştir. Her iki tasarım da Destek Vektör Makinesi(SVM), Yapay Sinir Ağları(ANN), Rastgele Değişken(RF) ve Gradyan Artırma(GB) yöntemleri kullanılarak uygulanıp anlık pencere görüntüleri ile eğitilmiştir. Eğitilen modellerin performansları incelenmiştir. Bu tezde, tespit edilen hatalar karşısında robotların kendi eylemlerinden kaynaklanan hatalara tepki vermesi beklenmektedir. Örnek olarak, bir robot başka bir nesnenin üzerine bırakılan nesnenin yere düşmesini hata olarak kabul etmektedir. Robot, bir nesneye doğru yaklaşım yaparken, masanın diğer tarafında bulunan bir nesnenin dış etkenler ile düşürülmesini hata olarak kabul etmemektedir. Kullanılan veride eylemin gerçeklendiği sırada gerçekleşen hataların yanısıra eylemi gerçekleştirmek için yaklaşım yaparken farklı bir nesne ile temas edilmesi nedeniyle gerçekleşen hatalar da bulunmaktadır. Ayrıca yürütmenin çeşitli zamanlarında gerçekleşen dış etkiler de bulunmaktadır. Makine öğrenmesi modellerinin eğitiminde bağlam bilgisi kullanılmıştır. Bu bağlam bilgileri eylemin cinsi ve aşaması, en yakın nesneye olan uzaklık, robot kolun bileğinde bulunan kamera ile yapılan nesne tespitleri ve robotun hareket durumunu içermektedir. Hata sezme ve yürütme izlemenin birlikte olduğu model, tutucu durumu, çevre sesleri ve bağlam bilgisi ile eğitilmiştir. Elde edilen sonuçta test başarısı anlık pencere görüntülerinin sınıflandırılmasında \%75 ve zamansal dizilerin sınıflandırılmasında \%50 olarak bulunmuştur. Durma kararı gecikmesinin 1.5 saniyeden daha az olduğu görülmüştür. Hata sezme ve yürütme izlemenin ayrı olduğu model hata sezmeden gelen hata öznitelikleri ve bağlam bilgisi ile eğitilmiştir. Elde edilen sonuçta test başarısı anlık pencere görüntülerinin sınıflandırılmasında \%98 ve zamansal dizilerin sınıflandırılmasında \%95 olarak bulunmuştur. Durma kararı gecikmesinin 1 saniyeden daha az olduğu görülmüştür. Ayrıca bu model ile anlık pencere görüntülerindeki pencere boyutunun etkisi incelenmiştir. Farklı pencere boyutları ile 3 model eğitilmiştir ve pencere boyunun artmasıyla anlık pencere görüntülerinin sınıflandırılmasında ve zamansal dizilerin sınıflandırılmasında başarının düştüğünün görülmesine rağmen durma kararı gecikmesinin de azaldığı görülmüştür. Sonuç olarak bu tezde, insansı bir robotun gerçek dünyadaki masa üstü senaryolarında yürütülen eylem için dur veya devam et kararları verebilmesi için bir yöntem önerilmiştir. Önerilen yöntemin doğruluğu değerlendirilmiştir ve en iyi sonuçların hata sezme ve yürütme izlemenin ayrı olduğu model ile üst üste koyma ve itme eylemleri için alındığı görülmüştür.
Özet (Çeviri)
Since robots are getting used in domestic environments, relevant safety measures become crucial for safely interacting with the environment. However, these measures should not interrupt the robot execution persistently or reduce the capabilities of task execution. This can be achieved by a proper decision mechanism that is selective to what to react considering the relevance of the current task. In this thesis, we propose a safe manipulation architecture that addresses these issues. The decision on an ongoing action depends on the task, the obtained failures and the properties of interactions between the robot and the environment. This is done by analysing the results from failure detection and execution monitoring. In particular, we are interested in when the robot should choose to stop the execution. This problem is modelled as a classification problem, and modelled with Support Vector Machine, Artificial Neural Network, Random Forest and Gradient Boosting algorithms. Evaluation is done with a Baxter humanoid robot in real-world tabletop manipulation scenarios. These scenarios include put-on and push actions to interact with primitive objects and kitchen objects. The executions are kept as time-series. Time series are converted into data windows and labeled with the proper decisions. Two different approaches have been implemented. The first approach uses a joint model of Execution Monitor and Failure Detection. The second approach uses a separate model of Execution Monitor and Failure Detection. Both models are evaluated with the machine learning algorithms given above. The accuracy of the decisions on data windows, the accuracy of the decisions on time-series, lateness of the decisions and the affects of the window size are analysed. The results indicate that the safe manipulation architecture using a Separate Execution Monitor and Failure Detection can make proper decisions with 98% accuracy on data windows and 95% on time-series. Lateness of the decision is found smaller than 1 second. The window size is a hyper parameter that should be tuned depending on the application since when the window size decreases, accuracy and lateness both increases.
Benzer Tezler
- Sahte GPS sinyallerine karşı gömülü sistem tasarımı ve mekatronik sistemlerde uygulanması
Embedded system design against spoofing GPS signals and its application in mechatronic systems
MUSTAFA TANIŞ
Doktora
Türkçe
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. MÜŞTAK ERHAN YALÇIN
- Curriculum learning for robot navigation in dynamic environments with uncertainties
Belirsiz dinamik ortamlarda robot seyrüseferi ı̇çin müfredatlı öğrenme
DEVRAN DOĞAN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖZGÜR ERKENT
- Kıyı yapısı inşaatları için iş güvenliği risk yönetim sistemi
Occupational safety risk management system for coastal structure construction
DİNÇER İNANÇ YILMAZ
Doktora
Türkçe
2024
Mühendislik Bilimleriİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. DENİZ ARTAN
- Raspberry Pi kartı kullanarak nesne tespit ve takip robotunun tasarımı ve modellenmesi
Design and modeling of object detection and tracking robot with using raspberry Pi
TANER YILMAZ
Yüksek Lisans
Türkçe
2019
Mekatronik MühendisliğiFırat ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ÇAVAŞ
DR. ÖĞR. ÜYESİ MUZAFFER ASLAN
- Yarı otomatik kural tabanlı planlama esaslı iş güvenliği yaklaşımı
Semi automated rule based planning through safety
MERVE SEVİM
Doktora
Türkçe
2018
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜRKAN EMRE GÜRCANLI