Sample-efficient deep learning methods for autonomous systems
Otonom sistemler için verimli örneklemeli derin öğrenme yöntemleri
- Tez No: 559964
- Danışmanlar: DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Havacılık Mühendisliği, Computer Engineering and Computer Science and Control, Aeronautical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Uçak ve Uzay Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Uçak ve Uzay Mühendisliği Bilim Dalı
- Sayfa Sayısı: 71
Özet
Son yıllarda, makine öğrenmesi teknolojisinin otonom sistemlerde kullanılması, bilgisayar donanımların güçlenmesi ve derin öğrenme yöntemlerindeki gelişmeler nedeniyle önem kazanmıştır. Derin öğrenmedeki gelişme ve araştırmalara paralel olarak, otonom sistem görevlerinde yöntem olarak derin öğrenme yöntemlerinin kullanılması ve araştırılması akademide artmıştır. Otonom sistemler için derin öğrenmedeki ana araştırma alanlarından biri, standart kontrolcülerin başarısız olacağı karmaşık ortamlarda öngörülerde bulunabilecek ve kontrolörün yerini tutabilecek bir sinir ağı eğitmektir. Bir uzmanı veya ana kontrolcüyü taklit ederek bir sinir ağı eğitmek, günümüzde bir kontrolcünün görevlerini öğrenmenin ana yollarından biridir Derin öğrenmenin otonom sistemlerde temel kullanım alanlarından biri, kendi kendini süren araba teknolojilerinde görülebilir. Özellikle, otonom sürüş algoritması oluşturmak için görüntü temelli yöntemlerin kullanılması, geniş bir araştırmacı kitlesinin ilgisini çekmiştir ve çeşitli öğrenme ve kontrol mimarilerinin gelişmesine yol açmıştır. Bu yöntemler kabaca klasik yöntemler ve uçtan uca derin öğrenme diye ikiye ayrılabilir. Klasik yöntemler, otonom sürüş sorununu üç aşamada ele alır; algılama, planlama ve kontrol. Algılama aşamasında, otoyol üzerindeki şerit işaretlerini tespit etmek için renk ayırma, kenar algılama vb. gibi öznitelik çıkarma ve görüntü işleme teknikleri uygulanır. Planlama aşamasında, algılama aşamasında tespit edilen şerit işaretlerine göre otomobilin gitmesi gereken yolun planlaması yapılır. Kontrol bölümünde ise, otomobil için direksiyon, hız vb. kontrol eylemlerini bir kontrol algoritması kullanarak belirlemek için planlama ve algılama aşamalarınden gelen yol ve rota bilgisi kullanılır. Klasik yöntemlerin performansı büyük ölçüde algılama aşamasının performansına bağlıdır ve bu aşamada kullanılan sub-optimal yöntemler sebebiyle belirlenen otonom sürüş algoritması optimal olmayabilir. Klasik yöntemlerin sıralı yapısı sebebiyle algılama aşamasındaki bir hata büyüyerek son aşamaya kadar gider ve önlenemez hatalara yol açar. Öte yandan, uçtan uca derin öğrenme yöntemleri, uzman bir sürücünün sürüş verisinden elde edilen örneklerden bir fonksiyon öğrenir. Öğrenilen fonksiyon, kontrol girişlerini doğrudan görüş verilerinden üreterek klasik kontrol sekansının üç katmanını tek bir adımda birleştirir. Şimdiye kadar, uçtan uca derin öğrenme yöntemleri ile otonom sürüş algoritması üretmede en popüler yaklaşım sinir ağları(NN) kullanmaktır. CNN, LSTM yapısındaki ağlarda diğer kullanılan yöntemler arasında sayılabilir. Uçtan uca derin öğrenme yöntemleri, gösterilen veri ile sınırlıdır ve uzmandan toplanan veriler ile eğitilen yada öğrenilen fonksiyonun tahminlerinde hatalar düşük olsa da uzun vade de öğrenilen otonom sürüş algoritması zayıf performans gösterebilir. Bu performans kaybı, kısmen, öğrenilmiş otonom sürüş algoritmasının, eğitim aşamasında kullanlan verilerin dağılımına benzer ya da ait olmayan durumları gözlemlemesinden kaynaklanmaktadır. DAgger algoritması, bu konuyu hem uzmandan hem de eğitilen sinir ağından tekrar eğitimde kullanmak üzere yeni veri toplayarak çözer. DAgger'ın ana fikri, öğrenilen otonom görev algoritmasını geliştirmek için uzmandan aktif olarak daha fazla örnek almaktır. Bu durum için ilk olarak DAgger algoritmasının otonom sistemlerde uygulanabilirliği incelenmiştir. F-16 savaş uçağının otonom iniş sırasında baş istikameti açısını iniş pistine bakan kameradan gelen görüntüye bakarak tahmin etmek üzere DAgger algoritması yöntemleri kullanılarak bir sinir ağı eğitildi. Aynı zamanda karşılaştırma yapabilmek için standart uçtan uca derin öğrenme yöntemleri kullanarak başka bir referans sinir ağı eğitildi. Eğitilen sinir ağları aynı durumlar için test edildiğinde standart yöntemler ile eğitilen sinir ağı zayıf performans göstermiştir ve simülasyon sonucunda kaza kaçınılmaz olmuştur. Bunun yanında DAgger algoritması yöntemleri kullanılarak eğitilen sinir ağı test aşamasında daha iyi performans göstererek sorunsuz bir şekilde piste inişi gerçekleştirmiştir. DAgger daha iyi otonom görev performansı elde etmesine rağmen, uzmandan çok fazla örnek alması ile sonuçlanabilir ve bu da zaman ve kaynak kaybına yol açabilir. Derin öğrenme yöntemlerini yüksek boyutlarda eğri uydurma gibi düşünürsek eğer, kullanılan datanın gözlemlenen uzay içindeki yeri önem arzeder. Derin öğrenme yöntemlerinin tahmin performansını arttırmak için, tahminlerin kötü olduğu alt-uzaydan daha fazla data toplanıp sinir ağı tekrar bu data kullanılarak eğitildiğinde performansta artış meydana gelecektir. DAgger'ın bir diğer versiyonu olan SafeDAgger algoritması hem uzmana yapılan çağrıyı azaltmak hem de yapılan çağırılardan elde edilen verinin kalitesini arttırmak için, öğrenilen otonom sürüş algoritmasının tahminlerinin güvensiz olduğu durumları tahmin ederek uzmana yalnızca bu gibi durumlarda çağrı yapar. SafeDAgger algoritması her ne kadar iyi performans gösterse de veri toplama aşamasında sadece verilerin güvenli yada güvensiz olma durumlarına bakmaktadır. Güvensiz olarak seçilen durumların sınıflandırmasını yapmamaktadır. Bu durum sıralı karar verme süreci içeren otonom görevlerde, verimli örnek toplama bağlamında etkili bir yöntem değildir. Sıralı karar verme süreci gerektiren otonom görevlerde bir önceki karar bir sonraki gözlem uzayını etkiler. Verilen karar içinde bulunduğu anda küçük bir miktar hatalı olur ise sonrasındaki gözlem uzayına bakarak verilen kararların doğru olandan sapma ihtimali artar. Tüm bunların önüne geçmek için sorunlu gözlem uzayını başlangıçtan itibaren çözmek gerekir. Bu çalışmada, Selective SafeDAgger adlı ve SafeDAgger algoritmasına kıyasla, örneklem verimli olan yeni bir veri toplama methodu önerilmektedir. Önerilen algoritma, öğrenilen otonom sürüş algoritması tarafından yürütülen sorunlu durumların güvenli ve güvensiz bölümlerini sınıflandırır. Sınıflandırma işleminden sonra belirlenen en sorunlu sınıftan örnek almaya odaklanmaktadır. Sorunlu sınıftan alınan örnekler ile sinir ağı yeniden eğitilerek tahmin performansının arttırılması amaçlanmıştır. Böylece problem kaynağından çözülerek sonraki gözlem uzayına etkisi azaltmak mümkündür. Özetlemek gerekirse, bu çalışma ile literatüre asıl katkımız, uzman sürüş verisinden en efektif örnekleri alan ve aynı zamanda uzmana yapılan çağrıları sınırlandırıp SafeDAgger yönteminden daha iyi performans elde etmeyi sağlayan bir taklit öğrenme yöntemi geliştirmektir. Selective SafeDAgger algoritmasının performasını SafeDAgger algoritması ile karşılaştırmak amacıyla bir otonom araç simülasyonu oluşturulmuştur. Simülasyonun amacı araç önüne konulan bir kameradan gelen görüntülere bakarak aracın gitmesi gereken hızı ve direksiyon açısını tahmin etmektir. Bu amaçla iki algoritma da aynı ortamda derin öğrenme metodu kullanarak eğitilmiştir. Eğitilen sinir ağları test senaryoları ile karşılaştırılmıştır. Karşılaştırma sonucunda Selective SafeDAgger algoritmasının verimli örnekleme ve uzmana yapılan çağrı sayısı bakımından SafeDAgger algoritmasına üstünlüğü gösterilmiştir.
Özet (Çeviri)
Machine learning technology has got popularity in autonomous systems in recent years because of the huge improvements at deep learning methods. Imitating a controller using deep learning methods to take actions in complex environments became one of the main research area for autonomous systems. One way to learn a controller is using imitation learning which uses expert demonstrations. An end-to-end deep learning method which takes raw demonstrations comes from an expert and outputs a control signal can be used as a controller. End-to-end imitation learning is a popular method for performing autonomous system tasks. The objective of this work is to develop a sample efficient end-to-end deep learning method for an autonomous system, where we attempt to increase the value of the information extracted from samples, through selective analysis obtained from each call to expert policy. The standard approach relies on collecting pairs of inputs and outputs from an expert policy and fitting a deep neural network to this data to learn the task. Although this approach had some successful demonstrations in the past, learning a good policy might require a lot of samples from the expert policy, which might be resource-consuming. In this work, we develop a novel framework based on the Safe Dataset Aggregation (SafeDAgger) approach, where the current learned policy is automatically segmented into different classes, and the algorithm identifies classes with the weak performance at each step. Once the weak classes are identified, the sampling algorithm focuses on calling the expert policy only on these classes, which improves the convergence rate. Firstly, DAgger algorithm implemented to the problem of estimation of the aircraft states during the landing in order to show performance of data aggregation methods in autonomous system tasks. After that, the proposed framework verified on autonomous driving tasks and the presented simulation results showed that the proposed approach can yield significantly better performance compared to the standard Safe DAgger algorithm while using the same amount of samples from the expert.
Benzer Tezler
- Prediction of the pedestrian crossing intention using deep learning
Yayaların karşıya geçme davranışlarının derin öğrenmeyle tahmini
BERK EREN
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET HAMDİ KAYRAN
- Derin obje sezicilerle tümleştirilmiş bayesçi filtreleme ile videoda obje izleme
Integration of bayesian filtering and deep object detection for video object tracking
FİLİZ GÜRKAN GÖLCÜK
Doktora
Türkçe
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Data efficient offline reinforcement learning & reinforcement learning with imitation learning applications to autonomous driving and robotics
Veri verimli çevrimdışı pekiştirmeli öğrenme & taklit öğrenmeyle pekiştirmeli öğrenme otonom sürüş ve robotik uygulamaları
FEYZA NUR EKSEN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Moleküler haberleşme sistemlerinde alıcı kestirim yöntemleri
Receiver detection methods on molecular communications systems
ERGİN ASLAN
Doktora
Türkçe
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ERTUĞRUL ÇELEBİ
- A comparative study of nonlinear model predictive control and reinforcement learning for path tracking
Yol izleme için doğrusal olmayan model öngörülü kontrol ve pekiştirmeli öğrenmenin karşılaştırmalı çalışması
GAMZE TÜRKMEN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. OVSANNA SETA ESTRADA