Contact-VLA: Zero-shot planning and control for contact-rich manipulation
Contact-VLA: Temas-yoğun manipülasyon için sıfır örnek planlama ve kontrol
- Tez No: 983130
- Danışmanlar: DR. ÖĞR. ÜYESİ SALİH ÖZGÜR ÖĞÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Otonom robotlar, Robot manipülatörleri, İnsani robot, Autonomous robots, Robot manipulators, Humanoid robot
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Görsel-Dil-Eylem (VLA) sistemleri, kara-kutu yapıları ve geniş ölçekli teleoperasyonla toplanmış verilerden türetilen sabit eylem kümelerine bağımlılıkları nedeniyle uyarlanabilirlik ve açıklanabilirlikten yoksundur; bu da onların karmaşık, dinamik manipülasyon senaryolarındaki yetkinliklerini kısıtlar. Bu sorunu ele almak üzere, karmaşık, dinamik ve temas-yoğun manipülasyon görevlerini etkin biçimde yönetebilen yeni bir VLA modeli öneriyoruz. Bu model sayesinde, temel görsel-dil modellerini hareket planlama ve reaktif denetleyicilerle bütünleştirerek, kapsamlı teleoperasyon eylem veri kümelerine ihtiyaç duymadan sıfır-örnek planlama ve uyarlanır manipülasyon elde ediyoruz. Modelde, geleneksel VLA'lardan farklı olarak, Görsel-Dil Modelleri (VLM) ile Büyük Dil Modellerinin (LLM) rollerini açıkça ayrıştırıyoruz: VLM, nesne parametrelerinin çıkarımı ve ortamın modellenmesinden sorumluyken, LLM başlangıç temas stratejileri ile maliyet kestirimlerini üretir. Bu iki bileşen, dinamik planlayıcımızın çalıştığı benzetim ortamının oluşturulmasına birlikte katkı sağlar. Ek olarak, modüler yaklaşımımızın modelin hem açıklanabilirliğini hem de performansını anlamlı ölçüde artırdığını, titiz yoksayım (ablation) çalışmalarımızla ortaya koyuyoruz. Ayrıca geçmiş manipülasyon deneyimlerinden yararlanmak için bir bellek birimi sunuyor; böylece öğrenilen temas stratejileri ve parametre ayarlamalarının çeşitli manipülasyon senaryolarında genellenmesini ve verimli biçimde yeniden kullanımını mümkün kılıyoruz. Zorlu, temas-yoğun görevler üzerinde yürütülen deneyler, önerilen çerçevenin sağlamlığını doğrulamakta ve etkinliğine katkı sunan kritik tasarım ögelerini vurgulamaktadır.
Özet (Çeviri)
Vision-Language-Action (VLA) systems often lack adaptability and explainability due to their blackbox structure and dependency on fixed action sets from extensive tele-operated datasets, limiting their effectiveness in complex, dynamic manipulation scenarios. To address this issue, we propose a novel VLA framework capable of effectively managing complex, dynamic, and contact-rich manipulation tasks. By integrating foundational vision-language models with motion planning and reactive controllers, our system achieves zero-shot planning and adaptive manipulation without relying on extensive tele-operated action datasets. Unlike conventional VLAs, we explicitly separate the roles of Vision-Language Models (VLM) and Large Language Models (LLM): the VLM handles object parameter extraction and environmental modeling, while the LLM generates initial contact strategies and cost estimations. These two components collaboratively contribute to the creation of a simulated environment in which our dynamic planner operates. Additionally, this modular approach significantly enhances both the explainability and performance of the overall framework, as demonstrated through our rigorous ablation studies. Furthermore, we introduce a memory unit to leverage past manipulation experiences, enabling the generalization and efficient reuse of learned contact strategies and parameter adjustments across diverse manipulation scenarios. Experiments conducted on challenging contact-rich tasks validate our framework's robustness and highlight the critical design elements that contribute to its effectiveness.
Benzer Tezler
- Akışkan yüklü plakların bağlaşık titreşimi
Coupled vibrations of liquid loaded plates
A.NECMETTİN GÜNDÜZ
- Investigation of co hydrogenation catalysts for producing oxygenated hydrocarbons
Karbon monoksit hidrojenasyonu katalizörlerinin oksijenlenmiş hidrokarbon üretimi için incelenmesi
DİDEM BÜŞRA KABAKÇI
Yüksek Lisans
İngilizce
2014
Kimya MühendisliğiBoğaziçi ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
PROF. DR. ZEYNEP İLSEN ÖNSAN
DOÇ. DR. AHMET KERİM AVCI
- Gürcü oryantalistlerin Hz. Muhammed ile ilgili çalışmaları
Works of Georgian orientalists on Hz. Muhammad
RAMAZ BERİDZE
Yüksek Lisans
Türkçe
2023
DinRecep Tayyip Erdoğan Üniversitesiİslam Tarihi ve Sanatları Ana Bilim Dalı
PROF. DR. NEBİ GÜMÜŞ
- Catalyst development for hydrocarbon production by carbon monoxide hydrogenation
Karbon monoksit hidrojenasyonu ile hidrokarbon üretimi için katalizör geliştirilmesi
MURAT EROL
Yüksek Lisans
İngilizce
2011
Kimya MühendisliğiBoğaziçi ÜniversitesiKimya Mühendisliği Bölümü
PROF. DR. ZEYNEP İLSEN ÖNSAN
- Cyanex-272 emdirilmiş amberlite XAD reçineler ile asidik çözeltilerden uranyumun uzaklaştırılması
Removal of uranium from acidic solutions using cyanex-272 impregnated amberlite XAD resins
UYGAR SOYDAM