Distracted driver detection by combining sensor and image data using deep learning
Derin öğrenme ile sensör ve görüntü verilerini kullanarak dikkati dağılmış sürücü tespiti
- Tez No: 619025
- Danışmanlar: DR. ÖĞR. ÜYESİ CEMAL OKAN ŞAKAR, DR. ÖĞR. ÜYESİ GÖRKEM KAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 62
Özet
Sürücünün dikkatinin dağılmasına sebep olan eylemler günümüzde trafik kazalarının en önemli nedenleri arasındadır. Bu sebepleri ortadan kaldırmak için özellikle son zamanlarda, sürücülerin eylemlerini algılamaya ve daha güvenli araç kullanmalarına yardımcı olabilecek sürücü asistanı sistemlerinin kurulmasına olan ilgi artış göstermektedir. Bu ilgi çerçevesinde gerçekleştirilen çalışmalarda genellikle; sürücünün içinde bulunduğu fiziksel koşullar, işitsel ve görsel özellikler ile araç bilgileri gibi bazı farklı veri kaynakları kullanılmaktadır. Fakat bütün bunların içerisinde en çok kullanılan veri kaynağı aracın içerisine yerleştirilen bir kamera yardımıyla toplanan ve sürücünün el, yüz ve kol bölgelerini de içeren görüntülerden meydana gelen görüntü kaynaklarıdır. Bu çalışmada ise görüntü tabanlı tespit modellerine, araç içerisinden ve telefondan elde edilen sensör verilerinin de entegre edildiği yeni bir model önerilmektedir. Bu amaçla, çalışma kapsamında kullanılmak üzere sürücü görüntülerinden ve sensör verilerinden oluşan yeni bir veri setinin oluşturulması sağlanmıştır. Sonrasında ise sürücünün dikatinin dağınık olduğu 9 farklı hareketin tespit edilebilmesine olanak sağlayan ve iki aşamadan oluşan bir sistem geliştirilmiştir. Sistemin ilk aşamasında transfer öğrenme ve ince ayar yöntemleri ile evrişimli sinir ağlarından oluşan çeşitli modeller meydana getirilmiştir. İkinci aşamada ise, sıralı sensör ve görüntü tabanlı veriler kullanılarak, uzun kısa vadeli hafıza ağlarından oluşan modeller gerçekleştirilmiştir. Son olarak ise iki farklı füzyon tekniği kullanılarak elde edilen modeller değerlendirilmiştir. Bunun sonucunda sensör verilerinin, görüntü tabanlı modellerle birlikte performansı önemli ölçüde arttırdığı gözlemlenmiştir. Bunlara ek olarak ikinci bir veriseti kullanarak gerçekleştirilen transfer öğrenme ve ince ayar yöntemlerinin görüntü tabanlı modellerin doğruluk oranını arttırdığı da tespit edilmiştir.
Özet (Çeviri)
Distracted driving is among the most important reasons for traffic accidents today. Recently, there is an increasing interest in building driver assistance systems that detects the actions of the drivers and help them drive safer. In these studies, although some different data types such as the physical conditions of the driver, audio and visual features, and car information are used; the main data source is taken images of the driver that includes the face, arms, and hands of the driver with a camera that is placed inside the car. In this study, we propose to integrate sensor data into the vision-based detection model. With this purpose, we created a new data set that consists of driver images and sensor data collected by real-world drives. Then, we constructed a two-stage distracted driving detection system to detect a total of 9 distracted behaviors. In the first stage, the convolutional neural network (CNN) models were created by transfer learning and fine-tuning methods. In the second stage, long-short term memory (LSTM) recurrent neural network models were created with sequential sensors and image-based data. We evaluate our system by two different fusion techniques and show that the addition of sensors to image-based driver detection increases the overall performance, significantly. We also show that the accuracy of the image-based model is increased by fine-tuning the pre-trained CNN model using a related public dataset.
Benzer Tezler
- Tomografik görüntü oluşturulmasında doğrudan fourier yöntemine yeni bir yaklaşım
A Novel approach to direct fourier transform technique in tomographic image reconstruction
A.FİLİZ BAYTAŞ
Doktora
Türkçe
1994
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiNükleer Mühendislik Ana Bilim Dalı
PROF. DR. MELİH GEÇKİNLİ
- Derin öğrenme kullanılarak araç içi görüntüden dikkatsiz sürücü tespiti
Distracted driver detection from in vehicle image using deep learning
SEYİT OZAN ÖZDİL
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SONGÜL VARLI
- Dikkatsiz sürücü davranışlarının derin öğrenme yöntemleri ile tespiti
Detection of distracted driver behaviors by deep learning methods
SHAFEEQ KANAAN SHAKIR AL-DOORI
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT KÖKLÜ
- Optimal feature tuning model by variants of convolutional neuralnetwork with LSTM for driver distract detection in IoT platform
IoT platformunda sürücü dikkat dağılmasını algılamak için LSTM ile evrimsel sinir ağının çeşitleriyle optimum özellikli ayar modeli
HAMEED MUTLAG FARHAN FARHAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYÇA KURNAZ TÜRKBEN
- Sürücü dikkat dağınıklığının çevresel etkilerinin incelenmesi ve nesne tespit algoritmaları ile tespit edilmesi
Investigation of the environmental effects of driver distraction and detection using object detection algorithms
KADİR DİLER ALEMDAR
Doktora
Türkçe
2023
TrafikErzurum Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED YASİN ÇODUR