Mobil insansı robotlar için insan poz tahminine dayalı poz kontrolü
Pose control based on human pose estimation for mobile humanoid robots
- Tez No: 1011020
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA ÖZDEN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: İnsan poz tahmini, İnsansı robotlar, 3B poz tahmini, Derinlik kamerası, Robot kontrolü, İnsan–robot etkileşimi, Human pose estimation, Humanoid robots, 3D pose estimation, Depth camera, Robot control, Human–robot interaction
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Bursa Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik ve Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnsansı robotların insan merkezli görevlerde etkin, güvenli ve verimli bir şekilde kullanılabilmesi; insan hareketlerinin doğru, kararlı ve gerçek zamanlı olarak algılanarak robot kontrol sistemlerine eksiksiz biçimde aktarılmasına doğrudan bağlıdır. Özellikle üst ekstremite ve el hareketlerinin üç boyutlu (3B) uzayda yüksek hassasiyetle modellenmesi, robotların doğal, akıcı ve insan davranışlarıyla uyumlu hareketler sergileyebilmesi açısından kritik bir gereklilik olarak öne çıkmaktadır. Bu bağlamda, insan–robot etkileşiminin artırılması ve teleoperasyon yeteneklerinin geliştirilmesi için güvenilir bir algılama ve kontrol mimarisine ihtiyaç duyulmaktadır. Bu tez çalışmasında, BTÜ Mekatronik Mühendisliği laboratuvarlarında geliştirilen MORIA mobil insansı robotu için, insan poz tahminine dayalı bütünleşik ve gerçek zamanlı bir poz kontrol mimarisi sunulmuştur. Çalışma kapsamında, görüntü tabanlı iki boyutlu (2B) poz tahmini ile stereo derinlik bilgisini birleştiren hibrit bir algılama altyapısı geliştirilmiştir. İnsan vücudu ve el eklemleri, MediaPipe tabanlı poz ve el izleme algoritmaları kullanılarak RGB görüntüler üzerinden tespit edilmiştir. Elde edilen 2B anahtar noktalar (landmarks), Intel RealSense D435 derinlik kamerasından sağlanan derinlik verileri ile eşleştirilmiş ve bu sayede gerçek dünya koordinat sisteminde 3B poz bilgileri elde edilmiştir. Elde edilen 3B konum verileri kullanılarak omuz, dirsek, bilek ve parmak eklemlerine ait açısal değerler hesaplanmış ve robot kontrolünde kullanılabilecek eklemsel temsiller oluşturulmuştur. İnsan ve robot iskeletleri arasındaki antropometrik farklılıkların neden olduğu uyumsuzlukları gidermek amacıyla ölçek normalizasyonu, koordinat sistemi dönüşümleri ve kinematik yeniden hedefleme (retargeting) yöntemleri uygulanmıştır. Bununla birlikte, sensör gürültüsü ve ani insan hareketlerinden kaynaklanan titreşimlerin robot hareketlerine olumsuz etkisini azaltmak için zaman serisi tabanlı filtreleme tekniklerinden yararlanılmıştır. Bu sayede robot hareketlerinin daha stabil, güvenli ve doğal bir yapıya kavuşması sağlanmıştır. Geliştirilen sistem, düşük gecikmeli bir haberleşme altyapısı aracılığıyla mobil insansı robota entegre edilmiş ve hem benzetim ortamında hem de gerçek zamanlı olarak çalışan simülasyon ortamında test edilmiştir. Elde edilen deneysel sonuçlar, önerilen mimarinin insan hareketlerini tatmin edici doğrulukla algılayabildiğini ve robot tarafından eşzamanlı olarak başarılı bir şekilde taklit edilebildiğini ortaya koymaktadır. Sunulan yaklaşım; arama-kurtarma, teleoperasyon, sağlık hizmetleri, rehabilitasyon uygulamaları ve insan–robot etkileşimi gibi pek çok alanda kullanılabilecek insansı robot sistemleri için uygulanabilir ve etkili bir çözüm sunmaktadır.
Özet (Çeviri)
The effective, safe, and efficient deployment of humanoid robots in human-centered tasks is directly dependent on the accurate, stable, and real-time perception of human motions and their seamless transfer to robot control systems. In particular, the high-precision modeling of upper extremity and hand movements in three-dimensional (3D) space is a critical requirement for enabling robots to exhibit natural, fluent, and human-like behaviors. In this context, the enhancement of human–robot interaction and the development of teleoperation capabilities necessitate a reliable perception and control architecture. In this thesis, an integrated and real-time pose control architecture based on human pose estimation is presented for the MORIA mobile humanoid robot developed in the laboratories of the Bursa Technical University Department of Mechatronics Engineering. Within the scope of the study, a hybrid perception framework combining image-based two-dimensional (2D) pose estimation with stereo depth information has been developed. Human body and hand joints are detected from RGB images using MediaPipe-based pose and hand tracking algorithms. The extracted 2D keypoints (landmarks) are associated with depth data obtained from an Intel RealSense D435 depth camera, enabling the reconstruction of 3D pose information in the real-world coordinate system. Using the obtained 3D positional data, angular values of the shoulder, elbow, wrist, and finger joints are computed, and joint-space representations suitable for robot control are generated. To address mismatches arising from anthropometric differences between human and robot skeletons, scale normalization, coordinate system transformations, and kinematic retargeting methods are applied. Furthermore, time-series-based filtering techniques are employed to mitigate the adverse effects of sensor noise and abrupt human motions on robot movements, resulting in more stable, safe, and natural robot behavior. The developed system is integrated into the mobile humanoid robot via a low-latency communication infrastructure and is evaluated both in a simulation environment and in a real-time operating experimental setup. The experimental results demonstrate that the proposed architecture can perceive human motions with satisfactory accuracy and that these motions can be successfully and synchronously imitated by the robot. The presented approach offers a practical and effective solution for humanoid robot systems applicable to a wide range of domains, including search and rescue, teleoperation, healthcare services, rehabilitation applications, and human–robot interaction.
Benzer Tezler
- Object-aware interactive perception
Nesne farkındalıklı etkileşimli algılama
ÇAĞATAY KOÇ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
PROF. DR. SİNAN KALKAN
- Human aware navigation of a mobile robot in crowded dynamic environments
Mobil robotların kalabalık ve dinamik ortamlarda insan farkındalıklı navigasyonu
AKİF HACINECİPOĞLU
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. ERHAN İLHAN KONUKSEVEN
DR. ÖĞR. ÜYESİ AHMET BUĞRA KOKU
- İnsansı robotlarda yürüme
Humanoid walking
SABRİ YILMAZ
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. METİN GÖKAŞAN
- Gesture imitation learning in human-robot interaction
Taklit yolu ile hareket öğrenme ınsan robot etkileşimi
ITAUMA ISONG ITAUMA
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. HATİCE KÖSE-BAĞCİ
- Enhancing smart environments through an ai-assisted IORT agent
Akıllı ortamların yapay zekâ destekli bir İORT aracısıyla güçlendirilmesi
YAKUP KAYATAŞ
Yüksek Lisans
İngilizce
2025
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SANEM KABADAYI