Predicting pedestrian behavior in autonomous vehicles using hybrid deep learning
Otonom araçlarda yaya davranışını ve hibrit derin öğrenme kullanarak tahmin etme
- Tez No: 933453
- Danışmanlar: DOÇ. DR. YÜKSEL ÇELİK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Karabük Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 119
Özet
Yol kazaları, 30 yaş altı gençler arasında ölümlerin ana kaynağı olmakta, yayanlar tüm ölümcül kazalarda meydana gelen olay mağdurlarının %23'ünü oluşturmaktadır. İnsani davranışın trafikte önemli ölçüde katkıda bulunduğunu, ekonomik kayıplar ve hasarlar ile birlikte kazaları ve ölüm oranlarını artırduğunu göstermektedir. Otonom sürüş ve bilgisayar görsel teknolojisinin gelişimi, insan davranışının riskli davranışlarının önceden önlenmesi için doğru bir algılanmasını sağlamak için geliştirilmektedir. Sürüş ortamlarında yaya niyetlerindeki ön görü, önemli bir meydan okumaktadır. Bu tez; yürürken riskli davranışın tanınıp önlenmesine uygulanacak derin öğrenme yöntemleri ile ilgili devam eden araştırmaların bir parçasıdır. Bu çalışmada tehlikeli insan davranışının tanınıp önlenmesine yönelik yaya güzergâhlarında derin öğrenme teknikleri kullanılması ile oluşturulan bir model tanıtımı vardır. Ana model, optik akış ile 3 boyutlu kümleli sinir ağının (3D CNN) ve uzun kısa dönem bellek (LSTM) içeren katmanlı otomatik kodlayıcı yapısı ile birleşik bir yapıya sahiptir. Amaç, trafik sahnelerinde anormal insan davranışının algılanmasıdır. HMDB51 ve JAAD veri setleri ile performansının ölçülmesi, yakın tarihli çalışmalara göre %86,86'dan yüksek doğruluk ile geçmektedir. Tercih eden kalite analizinin, JAAD veri seti için yürürken hareketler için başlangıçta oluşturulan etiketlemeler ile yol gösterici niteliktedir. İkinci model, yürüyüş hareketi ve hızla olan yaya motionu ve hızını öngörebilmek için çoklu görevli katmanlı otomatik kodlayıcı (multitask stacked autoencoder) kullanır. Yaya geçiş risklerini gerçek zamanlı olarak değerlendirmek için risk değerlendirmesi modeli oluşturulur. Önerilen model, var olan yöntemlere nazaran %81,95 doğruluk, %90,73 anımsama, %83,62 doğruluk, ve %87,03 F1 skoru ile performansı gösterir. Bu çalışmanın trafiğe ve otonom sürüşe ilişkin anıtsal sonuçlarından da bahsetmek mümkündür. Bu durum, derin öğrenme teknikleri ile yürürken güvenliği artırmak, olayları önlemek için zamanında müdahaleleri sağlayarak, trafiğe ve yürürken kazaları azaltma amacını taşır. Çalışma trafiğe otonom sürüş sistemlerine tüm yürürken davranış dinamiklerini daha iyi tanımlamaya olanak tanıyan daha net bir anlayış için modelin entegrasyonunu da içermektedir. Bu model, trafikte anormal davranışları algılamak için, optik akış ve derin öğrenme mimarisinin birleşimine dayanmaktadır. İlerlemenin kritik sorunlarını ele almak için gelişmiş kompyuter görsel teknolojileri kullanılması da amaçlamaktadır. Multitask katmanlı otomatik kodlayıcı ile gerçek zamanlı risk değerlendirmesi de önemli bir sonuç olarak öne gelmektedir. Ayrıca çalışmada, farklı trafik senaryolarında modelin dayanıklılığını ve uyumlu yapısını test etmek için, HMDB51 ve JAAD veri setleri kullanılması da amaçlanmıştır. Key Words : İnsan davranış tanıma, İnsan etkinliği tanıma, Yaya niyetlerini tahmin etme, Optik akış, Derin öğrenme, Stacklenmiş otomatik kodlayıcı
Özet (Çeviri)
Road accidents are the leading cause of death among young people under 30, with pedestrians making up 23% of all fatal accident victims globally. Dangerous human behavior in traffic significantly contributes to accidents, economic losses, and casualties. Advances in autonomous driving and computer vision technologies highlight the need for accurate detection of risky human behaviors to prevent potential incidents. Predicting pedestrian intentions in driving environments remains a notable challenge. This thesis is part of ongoing research into applying deep learning methods for pedestrian safety. This study introduces a dangerous human behavior recognition model on the road using deep learning techniques. The primary model combines optical flow with a hybrid architecture featuring a 3D Convolutional Neural Network (3D CNN) and Long Short-Term Memory (LSTM) within a stacked autoencoder framework. The goal is to detect abnormal human behavior in traffic scenes. The model's performance, evaluated using the HMDB51 and JAAD datasets, surpasses recent studies with an accuracy of approximately 86.86%. For qualitative analysis, preliminary annotations of ambulation actions in the JAAD dataset aid in identifying transitions. The second model uses a multitask Stacked Autoencoder (SAE) to predict pedestrian motion and velocity, facilitating comprehensive pedestrian behavior analysis. A risk assessment model was created to evaluate pedestrian crossing risks in real-time. The proposed model outperforms existing methods, achieving 81.95% accuracy, 90.73% recall, 83.62% precision, and an 87.03% F1-score. The study's significant implications for traffic safety and autonomous driving include: (1) Enhancing pedestrian safety through advanced deep learning techniques, enabling timely interventions to reduce pedestrian accidents. (2) Integrating the model into autonomous driving systems to better understand and predict pedestrian behavior dynamics, leading to safer interactions. (3) Leveraging optical flow and hybrid deep learning architectures to address the critical challenge of identifying abnormal behaviors, contributing to computer vision advancements. (4) Providing real-time risk assessment through the multitask Stacked Autoencoder (SAE) model is crucial for proactive safety measures in dynamic traffic environments. (5) Ensuring the model's robustness and adaptability across different traffic scenarios through HMDB51 and JAAD datasets validation. Key Words : Human behavior recognition, Human activity recognition, Predicting pedestrian ıntentions, Optical flow, Deep learning, Stacked autoencoder,
Benzer Tezler
- Prediction of the pedestrian crossing intention using deep learning
Yayaların karşıya geçme davranışlarının derin öğrenmeyle tahmini
BERK EREN
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET HAMDİ KAYRAN
- Acil durumlarda yaya tahliyesi için grup davranışı içeren sosyal kuvvet modeli önerisi
Proposal of social force model including group behaviour for pedestrian evacuation in emergency situations
YAKUP TURGUT
Yüksek Lisans
Türkçe
2017
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. CAFER ERHAN BOZDAĞ
- Metro istasyonlarında yolcu sirkülasyonunun değerlendirilmesi için bir uzman sistem önerisi
An expert system proposal for the evaluation of pedestrian circulation at underground stations
A.GÜLAY PEKTAŞ
Yüksek Lisans
Türkçe
1997
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. GÜLEN ÇAĞDAŞ
- Yaya caddelerinde mikro hareketin nicel analizi: İstiklal caddesi örneği
Quantitative analysis of micro movement on pedestrian streets: The case of İstiklal street
ALİ YILMAZ
Yüksek Lisans
Türkçe
2022
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiKentsel Tasarım Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İSMAİL EREN KÜRKÇÜOĞLU