A new approach using deep learning methodologies from human activity recognition to Robot Grasping
İnsan aktivitesi tanımadan Robot Kavrama'ya derin öğrenme yöntemlerini kullanarak yeni bir yaklaşım
- Tez No: 637232
- Danışmanlar: PROF. DR. MİTAT UYSAL, DR. DİLEK BİLGİN TÜKELİ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Doğuş Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 80
Özet
Bu çalışmanın araştırma amacı, videolardaki insan hareketlerini otomatik olarak analiz etmek için ileri bir derin öğrenme modeli geliştirmek ve derin öğrenme destekli temel bir robotik taklit sisteminin prototipini sunmaktır. Bu amaçla, insan aktivite tanıma için hibrit bir derin model, insan taklidi için robotik simülatör altyapısı ve entegrasyon için basit, akıllı, genişletilebilir ve pluggable bir video analitik çerçevesi öneriyoruz. İlk olarak, videolardaki insan aktivitelerini tanıyacak yeni bir hibrit derin model sunuyoruz. Yoğun optik akış ve yardimci bilgilerin kaynastirildigi, 3D-CNN ve LSTM kombinasyonu ile gerçeklenen 3-akışlı yeni bir hibrit derin model oluşturduk. Hibrit derin modeldeki 3D-CNN'ler çoklu çerçeve ve yoğun optik akışla beslenir, LSTM ise yardımcı bilgilerle beslenir. Sınıflandırıcı olarak SVM kullandık. Manyetik duvar satranç tahtası video veri seti (MCDS) ve standart satranç tahtası video veri seti (CDS) olmak üzere 2 farklı veri seti oluşturduk. Bu veri setleri, satranç oyuncusu tarafından yapılan anlamlı hareketleri içeren 5-6 saniyelik mikrovideolardan oluşurlar. İki yeni veri seti ile hibrit derin modeli denedik, deneysel sonuçlar, teknoloji harikası diğer çalışmalara kıyasla dikkate değer bir performans gösterdi. Geliştirdiğimiz hibrit derin model, hareket ile görüntü, ses ve text gibi farklı özellikteki bilgileri aynı derin modelde kaynaştırabilme yeteneği sayesinde kompleks hareket tanımada kullanılabilir. İkinci olarak, satranç oynayan delta robot için robotik bir simülasyon altyapısı geliştirdik. Coppelia Robotics tarafından geliştirilen V-REP sanal robot deney platformunu kullandık. Geliştirilen robot simülatörü hem bağımsız olarak hem de dış bir sistem tarafından kontrol edilerek çalışabilir. Son olarak, insan hareket taklit sistemi için basit bir video analitik çerçevesi tasarladık ve hibrit derin öğrenme modelimizi bu çerçevede kullandık. Çevrimdışı modda belirli bir senaryo ile uçtan uca sistemi test ettik. Bu şekilde, satranç oyuncusunun robot simulatörü ile taklit edilmesi problemi özelinde kullanılacak bir yapay zeka destekli insan taklit sistemi prototipi geliştirmiş olduk. Önerilen sistemdeki robot simülatörü, satranç oyuncusunu hareket ilkel yaklaşımı ile taklit edebilir. Sonuç olarak, yapay zeka destekli, akıllı, genişletilebilir ve pluggable bir insan taklit sistem prototipi elde ettik.
Özet (Çeviri)
The research goal of this work is to develop an advanced deep learning model to analyse automatically human motion on videos and to present the prototype of a basic robotic imitation system that mimics the human movement supported by deep learning. For this purpose, we propose a hybrid deep model for human activity recognition, robotic simulator infrastructure for human imitation, and simple, intelligent, extensible and pluggable video analytic framework for integration. First, we present a new hybrid deep learning model for human activity recognition in videos. We proposed a new 3-stream hybrid deep model with data fusion of 3D-CNNs fed by dense optical flow and LSTM fed by auxiliary information. We used SVM as a classifier. We generated 2 different datasets, namely the magnetic wall chess board video dataset (MCDS), and standard chess board video dataset (CDS). They consist of microvideos with duration of 5-6 second that contain meaningful movements by the chess player. We experimented hybrid deep model with two new datasets, the experimental results show remarkable performance compared to the state-of-the-art studies. The proposed hybrid deep model can be used in complex motion recognition tasks, thanks to its ability to fuse information with different characteristics such as motion, image, sound and text. Second, we developed a robotic simulation infrastructure for chess-playing delta robot. We used V-REP virtual robot experiment platform by Coppelia Robotics. Generated robotic simulator can operate both standalone and by being controlled by an external system. Finally, we designed a simple video analytic framework for human motion imitation system and used our hybrid deep learning model in this framework. We tested end to end system with a specific scenario in offline mode. In this way, we have developed an artificial intelligence supported human imitation system prototype to be used in the specific problem of imitating chess player by robot simulator. The robot simulator in the proposed system can imitate the chess player with motion primitive approach. As a result, we achieved an AI-powered, intelligent, extensible, and pluggable human imitation system prototype.
Benzer Tezler
- Deep learning approaches for hailstorm detection and forecasting using CNN and LSTM algorithms: Comparative evaluation of radar products
Derin öğrenme yaklaşımlarıyla dolu fırtınası tespiti ve tahmini için CNN ve LSTM algoritmalarının kullanılması: Radar ürünlerinin karşılaştırmalı değerlendirmesi
NAHİT ÇATMADIM
Yüksek Lisans
İngilizce
2023
Bilim ve Teknolojiİstanbul Teknik Üniversitesiİklim ve Deniz Bilimleri Ana Bilim Dalı
PROF. DR. MEHMET SİNAN ÖZEREN
- Measuring and evaluating the maintainability of microservices
Mikroservislerin sürdürülebilirliğinin ölçülmesi ve değerlendirilmesi
RAHİME YILMAZ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FEZA BUZLUCA
- Yapay zekâ ve demokrasi
Artificial intelligence and democracy
AYŞE NUR YAZICILAR
Yüksek Lisans
Türkçe
2023
HukukGalatasaray ÜniversitesiKamu Hukuku Ana Bilim Dalı
PROF. DR. ŞULE ÖZSOY BOYUNSUZ
- From black box to transparency: Advances in ai-drivenco-creation in architectural design
Kara kutudan şeffaflığa: Mimari tasarımda yapay zeka destekli ortak yaratımdaki ilerlemeler
SEVDA BAŞAR
Yüksek Lisans
İngilizce
2024
MimarlıkTOBB Ekonomi ve Teknoloji ÜniversitesiMimarlık Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZELAL ÇINAR
- BMI prediction from face images
Yüz görüntülerinden vücut kitle indeksi tahmini
GÜLPINAR BÖLÜKBAŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK