Geri Dön

Prediction of the pedestrian crossing intention using deep learning

Yayaların karşıya geçme davranışlarının derin öğrenmeyle tahmini

PDF İndir

  1. Tez No: 698202
  2. Yazar: BERK EREN
  3. Danışmanlar: PROF. DR. AHMET HAMDİ KAYRAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 79

Özet

Son yıllarda yaşanan teknolojik gelişmeler, otonom araç teknolojilerinin de gelişmesine büyük katkıda bulunmuştur. Otonom araç teknolojileri, son yıllarda iletişim ve donanım teknolojilerindeki ve özellikle yapay zeka alanındaki yoğun çalışmalar ve geliştirmelerle birlikte otomotiv sektöründe büyük bir ivme kazanmıştır. Birçok büyük çaplı otomotiv firması, yeni nesil araçlarını otonom teknolojilerle birlikte donatmaya çalışmaktadır. Otonom sürüş farklı seviyelerden oluşmaktadır ve günümüzde belli seviyede otonom teknolojiler çeşitli araçlarda uygulanmaktadır, örn. ADAS (Gelişmiş Sürücü Asistan Sistemi). ADAS genel olarak kendi içerisinde şerit takip sistemi, acil fren sistemi, mesafe koruyucu gibi sistemleri bir arada bulundurmaktadır. Çeşitli sensörlerle, 5G ve bilgisayarlı görü uygulamalarıyla otonom sürüş seviyesi sürekli geliştirilmeye çalışılmaktadır. Tam otonom sürüş henüz tam anlamıyla uygulanamasa da, otonom araçların günümüzde çeşitli şehirlerde yaygınlaşan uygulamalarını görmek mümkündür. Otonom araçların daha fazla yaygınlaşmasının günlük hayatta getirebileceği birçok artıdan söz edilebilir. Otonom araçlar; daha iyi trafik yönetimi, daha iyi hizmet ve daha az CO2 salınımı gibi artıları da bu bağlamda beraberinde getirebilmektedir. Özellikle geleceğin akıllı şehirleri açısından da düşünülürse, otonom araçların günlük hayatın önemli bir parçasını oluşturması beklenmektedir. Tüm bu artıların yanında, otonom araçların sağlayabileceği belki de en büyük artılardan birisi de, insan etkisinden kaynaklı meydana gelen trafik kazalarının en aza indirgenebilmesi olasılığıdır. Yapılan araştırmalar göstermektedir ki, trafik kazalarının büyük bir kısmı insan hatasından kaynaklı meydana gelmektedir. Otonom araç teknolojileri vasıtasıyla, insan hatasının mümkün olduğunca en aza indirgenerek bu kazaların önüne geçilebilmesi amaçlanmaktadır. Trafikte en önemli ve hassas etkenlerden birisi de yayalardır. Bu yüzden yayaların trafikte güvenliğini sağlamak, otonom araç kapsamında yapılan çalışmaların önemli bir bölümünü oluşturmuştur. Bu alanda yapılan çalışmalara genel olarak, yayaların birkaç saniye sonrası davranışlarını ya da yayaların yörüngesini tahmin etmeye yönelik yapılmış çalışmalar örnek verilebilir. Yayaların davranışlarını tahmin etmede ya da sınıflandırmada karşılaşılan en büyük zorluklardan birisi de, yayaların davranışlarını etkileyebilecek birçok farklı etkenin bir arada bulunmasıdır. Bu etkenlere örnek olarak, yayaların dikkatlerini dağıtabilecek birçok farklı etmen söz edilebilir. Bu da bu alanda yapılan çalışmaları biraz daha karmaşık hale getirebilmektedir. Derin öğrenme algoritmaları, farklı modeller ile yapılan çalışmalar ve donanım alanındaki gelişmelerle birlikte birçok farklı alanda yaygınlık kazanmıştır. Son yıllarda yaya davranışlarının tahmini konusunda da yapılan çalışmaların daha çok derin öğrenme algoritmalarıyla gerçekleştirildiği görülmektedir. Yapılan çalışmalarda genel olarak, belli bir zaman dilimi içerisinde yayalarla ilgili çeşitli ekstra veriler toplanmakta (semantik veriler, araç hızı, yayanın videodaki konumu vb.) ve bu veriler RNN gibi derin sinir ağlarına sokulmaktadır. Bu ekstra verilerin elde edilmesi sırasında CNN modellerinden de yararlanılmıştır. RNN modelleri, zamansal verileri işlemede oldukça başarılıdır ve çeşitli çalışmalarda yaya davranışlarının ve konumlarının belirlenmesinde oldukça başarılı sonuçlar vermiştir. Bu yüzden RNN'ler bu çalışmalarda en çok kullanılan modellerin başında gelmektedir. Zamansal verilerde RNN modellerinin başarısının yanı sıra, 3 boyutlu CNN modelleri de uzaysal-zamansal verilerin işlenmesinde kullanılan modellerden birisi olmuştur. 3 boyutlu CNN modelleri, genellikle videolarda aktivite sınıflandırması çalışmalarında kullanılmaktadır Bu amaçlı yapılan çalışmalarda 3 boyutlu CNN modelleri oldukça başarılı sonuçlar vermiştir. Yayaların davranışlarının sınıflandırılması da aktivite sınıflandırmalarının bir alt çalışması olarak düşünülebilir. Yaya davranışlarının sınıflandırılması ile ilgili farklı çalışmalarda, 3 boyutlu CNN'ler ile çeşitli modeller kullanılmış ve başarılı sonuçlar elde edilmiştir. Bu tez çalışmasında da, yayaların davranışlarını önceden sınıflandırabilmek için, 3 boyutlu CNN modellerinin de başarısı göz önünde bulundurularak, 3 boyutlu CNN modelleri ile birlikte daha önceden yapılmış bir çalışma tekrardan uyarlanmaya çalışılmıştır. Bu çalışmada amaç, belli bir süre öncesinden yayanın karşıya geçip geçmeyeceğinin tutarlı bir şekilde sınıflandırılabilmesidir. Bunun için, sistemin ilk adımında yayaların videoda her bir kare içerisinde tespit edilmesi işlemi gerçekleştirildi. Orjinal çalışmadakine benzer olarak, bu çalışmada da YOLO algoritmasından faydalanıldı. Orjinal çalışmadaki YOLOv3 algoritmasından farklı olarak, YOLO'nun son versiyonlarından biri olan YOLOv4 modeli kullanıldı. YOLOv4 son yıllarda obje tespiti için geliştirilmiş, günümüzde en başarılı obje tespit modellerden birisidir. YOLOv4, YOLOv3'e ek olarak, çeşitli çalışmalarda derin öğrenme modellerinde performansta olumlu etki yaratmış çeşitli yöntemlerin modele uyarlanmış halidir. Kullanılan yöntemler genel olarak, modelin hesaplama yükünü aşırı artırmayan, ancak modelin performansında daha olumlu sonuçlara yol açan çeşitli yöntemler olarak özetlenebilir. Hız ve doğruluk açısından karşılaştırıldığında da, YOLOv4'ün, YOLOv3'den daha başarılı olduğu gözlenmiştir. Yayalar tespit edildikten sonra, yayaların özgün bir şekilde takip edilebilmesi için, orjinal çalışmadan esinlenilip SORT (Simple Online and Realtime Tracking) algoritması kullanılmıştır. SORT obje takibi algoritması, Kalman Filtresi ve Macar Algoritması'nı birlikte kullanarak hızlı ve etkili bir şekilde obje takibini sağlayan bir algoritmadır. Takibi gerçekleştirilen yayaların, en son adımda, belli bir zaman aralığında sürekli olarak gözlenerek, bir sonraki adımlarının karşıya geçecek ya da geçmeyecek şeklinde sınıflandırılması gerçekleştirilmiştir. Bunun için, orjinal çalışmadaki DenseNet tabanlı 3boyutlu CNN modeli baz alınmıştır. Çeşitli çalışmalarda, 3 boyutlu CNN modellerinde konvolüsyon işleminin daha alt boyutlara ayrıştırılarak gerçekleştirilmesinin modelin doğruluğu açısından daha pozitif sonuçlara yol açtığı gözlenmiştir. Bu tezde de orjinal çalışmaya ek olarak, son adımdaki 3 boyutlu DenseNet sınıflandırma modelinde, ayrıştırılmış konvolüsyon işlemleri uygulanarak modelin doğruluğunun artırılması çalışılmıştır. YOLOv4 ve 3 boyutlu CNN modellerinin eğitimi için JAAD verisetinden faydalanılmıştır. JAAD (Joint Attention in Autonomous Driving) veriseti, farklı koşullarda yayaların video içerisindeki konumlarını (sınırlayıcı kutuların koordinatları) ve yayaların trafik esnasındaki davranışlarını içeren bir verisetidir. İki farklı 3D CNN modeli için JAAD veriseti üzerinde modeller eğitilmiştir. Modeller eğitildikten sonra, modellerin sınıflandırma performansı ölçülmüş ve sonuçlar karşılaştırılmıştır. Ayrıca sistem tam haliyle genel olarak koşturulup programın çıktıları da sonuç kısmında paylaşılmış ve çıktılar değerlendirilmiştir.

Özet (Çeviri)

During the last years, autonomous cars are gaining big importance in the automotive sector. Many automotive companies are implementing autonomous technologies on their cars. Especially, in terms of smart cities, autonomous cars will be one of the main parts of our daily lives. They may be able to provide better traffic conditions. According to the statistics, one of the main reasons for traffic accidents is caused mainly by human mistakes. To reduce the risk of the human factor, many of the autonomous technologies are being implemented on the vehicles, such as ADAS (Advanced Driver Assistance Systems). With the development of autonomous cars, it is believed that the number of accidents, which were mostly caused by human mistakes, will be reduced. Regarding the security in traffic, pedestrians are one of the most important and sensitive factors. That's why it is very important to ensure pedestrian safety in traffic. There are types of research about pedestrian safety, which mainly aim to predict the next behavior or trajectory of the pedestrians. It is a hard task to handle since there are many factors affect the behavior of pedestrians. Generally, deep learning algorithms are applied to predict the next behavior or trajectory of pedestrians. In these researches, a length of consecutive frames in the video is observed and several features (e.g. semantic features, speed of the car, etc.) are extracted from the observed frames. These frames are then fed into a deep learning model, like RNNs, along with these extracted features. RNNs are one of the most used and most successful network architectures in handling temporal data. They provided successful results for the prediction of pedestrian behavior and pedestrian trajectory. In addition to RNNs, 3D CNNs also provided very successful results for temporal data. Several types of research show the effectiveness of 3D CNNs on action recognition tasks. Prediction of pedestrian behaviors can also be thought of as a part of action recognition tasks. In this thesis, it is tried to implement one of the state-of-the-art architectures used in pedestrian intention recognizer, to predict a pedestrian's behavior, by using several Deep Learning methods. The pedestrians are detected with an object detection model, called YOLO (You Only Look Once). YOLOv4 version of the YOLO is used in this thesis. The detected pedestrians are being tracked with a fast and efficient object tracking algorithm, called SORT (Simple Online and Realtime Tracking). At the end of the architecture, a 3D CNN architecture based on DenseNet is used to classify the pedestrian behavior, whether he will cross or not. There are several works on improvement of the 3D CNN architectures, show that decomposition of the 3D convolutions can be beneficial to increase the accuracy. As a contribution, these approaches are tried to be applied to the 3D DenseNet classification model to increase the accuracy. The results are then compared between each 3D DenseNet model. For the intent prediction task, JAAD (Joint Attention in Autonomous Driving) dataset is used, which contains the pedestrian bounding boxes and their behavior annotations.

Benzer Tezler

  1. Tez No

    179190

    Trafik kazaları ve Trabzon bölünmüş sahil yolu örneğinde kaza tahmin modelinin oluşturulması

    Traffic accidents and formed of accident prediction model at Trabzon divided coastal highway example

    FUNDA TÜRE KİBAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2008

    KazalarKaradeniz Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. FAZIL ÇELİK

  2. Tez No

    860955

    Sürücü kaynaklı trafik kazalarının veri madenciliği yaklaşımı ile modellenmesi: Sakarya örneği

    Modelling driver-related traffic accidents through data mining approach: The case of city of Sakarya

    ZELİHA ÇAĞLA KUYUMCU

    Doktora

    Türkçe

    Türkçe

    2024

    TrafikSakarya Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HAKAN ASLAN

    PROF. DR. NİLÜFER YURTAY

  3. Tez No

    66594

    Metro istasyonlarında yolcu sirkülasyonunun değerlendirilmesi için bir uzman sistem önerisi

    An expert system proposal for the evaluation of pedestrian circulation at underground stations

    A.GÜLAY PEKTAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    1997

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. GÜLEN ÇAĞDAŞ

  4. Tez No

    720431

    Tek sahneli sıkıştırılmış videoda anomali tespiti

    Anomaly detection in single scene compressed video

    SÜMEYYE ÇAVAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    PROF. DR. BEHÇET UĞUR TÖREYİN

  5. Tez No

    639030

    Analitik hiyerarşi prosesi ve mekansal enterpolasyon yöntemlerinin yolculuk talebi belirleme yaklaşımı olarak kullanılabilirliğinin incelenmesi

    Investigation of the use of analytical hierarchy process and spatial interpolation methods as a travel demand forecasting approach

    BİLGE YILMAZ

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    DOÇ. DR. UĞUR ALGANCI

Geri Dön