Geri Dön

Distracted driver detection by combining sensor and image data using deep learning

Derin öğrenme ile sensör ve görüntü verilerini kullanarak dikkati dağılmış sürücü tespiti

  1. Tez No: 619025
  2. Yazar: FURKAN ÖMERUSTAOĞLU
  3. Danışmanlar: DR. ÖĞR. ÜYESİ CEMAL OKAN ŞAKAR, DR. ÖĞR. ÜYESİ GÖRKEM KAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 62

Özet

Sürücünün dikkatinin dağılmasına sebep olan eylemler günümüzde trafik kazalarının en önemli nedenleri arasındadır. Bu sebepleri ortadan kaldırmak için özellikle son zamanlarda, sürücülerin eylemlerini algılamaya ve daha güvenli araç kullanmalarına yardımcı olabilecek sürücü asistanı sistemlerinin kurulmasına olan ilgi artış göstermektedir. Bu ilgi çerçevesinde gerçekleştirilen çalışmalarda genellikle; sürücünün içinde bulunduğu fiziksel koşullar, işitsel ve görsel özellikler ile araç bilgileri gibi bazı farklı veri kaynakları kullanılmaktadır. Fakat bütün bunların içerisinde en çok kullanılan veri kaynağı aracın içerisine yerleştirilen bir kamera yardımıyla toplanan ve sürücünün el, yüz ve kol bölgelerini de içeren görüntülerden meydana gelen görüntü kaynaklarıdır. Bu çalışmada ise görüntü tabanlı tespit modellerine, araç içerisinden ve telefondan elde edilen sensör verilerinin de entegre edildiği yeni bir model önerilmektedir. Bu amaçla, çalışma kapsamında kullanılmak üzere sürücü görüntülerinden ve sensör verilerinden oluşan yeni bir veri setinin oluşturulması sağlanmıştır. Sonrasında ise sürücünün dikatinin dağınık olduğu 9 farklı hareketin tespit edilebilmesine olanak sağlayan ve iki aşamadan oluşan bir sistem geliştirilmiştir. Sistemin ilk aşamasında transfer öğrenme ve ince ayar yöntemleri ile evrişimli sinir ağlarından oluşan çeşitli modeller meydana getirilmiştir. İkinci aşamada ise, sıralı sensör ve görüntü tabanlı veriler kullanılarak, uzun kısa vadeli hafıza ağlarından oluşan modeller gerçekleştirilmiştir. Son olarak ise iki farklı füzyon tekniği kullanılarak elde edilen modeller değerlendirilmiştir. Bunun sonucunda sensör verilerinin, görüntü tabanlı modellerle birlikte performansı önemli ölçüde arttırdığı gözlemlenmiştir. Bunlara ek olarak ikinci bir veriseti kullanarak gerçekleştirilen transfer öğrenme ve ince ayar yöntemlerinin görüntü tabanlı modellerin doğruluk oranını arttırdığı da tespit edilmiştir.

Özet (Çeviri)

Distracted driving is among the most important reasons for traffic accidents today. Recently, there is an increasing interest in building driver assistance systems that detects the actions of the drivers and help them drive safer. In these studies, although some different data types such as the physical conditions of the driver, audio and visual features, and car information are used; the main data source is taken images of the driver that includes the face, arms, and hands of the driver with a camera that is placed inside the car. In this study, we propose to integrate sensor data into the vision-based detection model. With this purpose, we created a new data set that consists of driver images and sensor data collected by real-world drives. Then, we constructed a two-stage distracted driving detection system to detect a total of 9 distracted behaviors. In the first stage, the convolutional neural network (CNN) models were created by transfer learning and fine-tuning methods. In the second stage, long-short term memory (LSTM) recurrent neural network models were created with sequential sensors and image-based data. We evaluate our system by two different fusion techniques and show that the addition of sensors to image-based driver detection increases the overall performance, significantly. We also show that the accuracy of the image-based model is increased by fine-tuning the pre-trained CNN model using a related public dataset.

Benzer Tezler

  1. Tomografik görüntü oluşturulmasında doğrudan fourier yöntemine yeni bir yaklaşım

    A Novel approach to direct fourier transform technique in tomographic image reconstruction

    A.FİLİZ BAYTAŞ

    Doktora

    Türkçe

    Türkçe

    1994

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Nükleer Mühendislik Ana Bilim Dalı

    PROF. DR. MELİH GEÇKİNLİ

  2. Derin öğrenme kullanılarak araç içi görüntüden dikkatsiz sürücü tespiti

    Distracted driver detection from in vehicle image using deep learning

    SEYİT OZAN ÖZDİL

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. SONGÜL VARLI

  3. Dikkatsiz sürücü davranışlarının derin öğrenme yöntemleri ile tespiti

    Detection of distracted driver behaviors by deep learning methods

    SHAFEEQ KANAAN SHAKIR AL-DOORI

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MURAT KÖKLÜ

  4. Optimal feature tuning model by variants of convolutional neuralnetwork with LSTM for driver distract detection in IoT platform

    IoT platformunda sürücü dikkat dağılmasını algılamak için LSTM ile evrimsel sinir ağının çeşitleriyle optimum özellikli ayar modeli

    HAMEED MUTLAG FARHAN FARHAN

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AYÇA KURNAZ TÜRKBEN

  5. Sürücü dikkat dağınıklığının çevresel etkilerinin incelenmesi ve nesne tespit algoritmaları ile tespit edilmesi

    Investigation of the environmental effects of driver distraction and detection using object detection algorithms

    KADİR DİLER ALEMDAR

    Doktora

    Türkçe

    Türkçe

    2023

    TrafikErzurum Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUHAMMED YASİN ÇODUR