Self-supervised representation learning from demonstration
Gösterimden kendinden denetimli temsil öğrenme
- Tez No: 771752
- Danışmanlar: DR. ÖĞR. ÜYESİ BARIŞ AKGÜN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 80
Özet
Robotiğin giderek daha geniş bir görev ve ortam yelpazesinde uygulanmasına yönelik artan talep göz önüne alındığında, robot programlamanın aksine robot öğrenmesi gün geçtikçe daha önemli hale gelmektedir. Ancak robotlarla veri toplamak pahalı ve zaman alıcı bir iştir, bu nedenle öğrenme yöntemleri sınırlı miktarda veri ile çalışmak durumundadır. Yüksek boyutlu algısal verilerle çalışırken, düşük boyutlu, kullanışlı temsiller öğrenmek, düşük veri ortamının çıkardığı zorluklarla başa çıkmada önemli bir husustur. Bu tezde, kendi kendini denetleyen bir yapıda az sayıda insan beceri gösteriminden algısal temsiller öğrenen bir sinir ağı mimarisi geliştiriyoruz. Geliştirilen modeller, verilerin sıralılığını ve problemin düşük veri yapısını dikkate almaktadır. Öğrenilen temsiller, gösterilen becerilerin algısal hedef modellerini öğren-mek için kullanılır. Bu modeller, öğrenilen beceri yürütmelerini izleyebilir (başarılı/ başarısız şeklinde değerlendirebilir) ve ödül mühendisliği olmadan ödül sinyali oluş-turmak için pekiştirmeli öğrenmede kullanılabilir. Nesne tabanlı manipülasyon becerileri üzerine yaptığımız simüle edilmiş ve gerçek robot değerlendirmeleri, öğrenilen temsillerin, genel boyutluluk azaltma yöntemlerine kıyasla izleme performansı ve pekiştirmeli öğrenme performansı açısından daha iyi hedef modelleri ile sonuçlan-dığını göstermektedir. Bu çalışmada ek olarak, gösterimlerden öğrenme bağlamında aktarımlı öğrenme yaklaşımları tanıtıyoruz ve aynı beceri için farklı nesneler arasında, belirli koşullar altında aynı nesne için farklı beceriler arasında ve ayrıca farklı görsel girdi uzayları arasında pozitif aktarım gözlemlendiğini gösteriyoruz. Modüler sinirsel mimarimizin mümkün kıldığı bilgi aktarımı teknikleri, geleceğe yönelik öğrenme için mevcut verilerden yararlanarak veri gereksinimini daha da azaltmamızı sağlamaktadır.
Özet (Çeviri)
Given the growing demand for the application of robotics in an increasingly wide range of tasks and environments, robot learning as opposed to programming is getting more relevant by the day, since programming robots is tedious and usually only feasible in controlled domains. However, gathering data with robots is an expensive and time-consuming task, so the learning methods must cope with the limited amount of data available. When working with high dimensional perceptual data, learning low-dimensional, useful representations is a key aspect in dealing with the low-data setting. In this thesis, we develop a neural network architecture to learn perceptual representations from few human skill demonstrations in a self-supervised manner. The developed models take the sequentiality of the data and the low-data nature of the problem into account. These representations are used to learn perceptual goal models of the demonstrated skills. These models can monitor the learned skill executions and be used in reinforcement learning to generate reward signals, without explicit reward engineering. Our simulated and real robot evaluations with object manipulation skills show that the learned representations result in better goal models in terms of monitoring and reinforcement learning performance compared to generic dimensionality reduction methods. We further introduce transfer learning approaches in the context of learning from demonstration and show positive transfer between different objects for the same skill, between the same object for different skills under certain conditions, and also between different perceptual domains. Transferring knowledge as enabled by our modular neural architecture allows us to leverage existing data for continual learning into the future. Overall, we show that our proposed self-supervised representation learning architecture has the potential to improve learning from demonstration approaches with a perceptual component.
Benzer Tezler
- Understanding actions in instructional videos
Eğitici videolardaki eylemleri anlamak
ÖZGE YALÇINKAYA ŞİMŞEK
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. PINAR DUYGULU ŞAHİN
- İmalat sistemlerinin tasarlanması ve öncelik kurallarının belirlenmesinde yapay sinir ağlarının kullanılması
Başlık çevirisi yok
TARIK ÇAKAR
Doktora
Türkçe
1997
Mühendislik Bilimleriİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. AYHAN TORAMAN
- Öz bilgi destekli derin öğrenme yaklaşımları ile hsg gürültü giderme
Self-ınformation empowered deep learning approaches for hsı denoising
ORHAN TORUN
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiHacettepe ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
PROF. DR. MEHMET ERKUT ERDEM
- Sigortacılık sisteminde aktif-pasif yönetimi ve Türkiye hayat sigortası örneğinde portföy performansının boyutlarını belirleyen faktörlerin irdelenmesine ilişkin bir model denemesi
Assets and liablity management in the insurance sector and investigating sectors that are determinating dimensions of the portfolio performance by relating to model testing in the Turkish life insurance sector
ALİ İHSAN DOĞAN
Doktora
Türkçe
2001
SigortacılıkMarmara ÜniversitesiBankacılık Ana Bilim Dalı
PROF.DR. ABDÜLGAFFAR AĞAOĞLU
- Self-supervised representation learning with graph neural networks for region of interest analysis in breast histopathology
Meme histopatolojisinde ilgi alanı gösterimlerinin çizgesel sinir ağları ile kendinden gözetimli öğrenimi
YİĞİT ÖZEN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELİM AKSOY