Geri Dön

Human factor based advanced driver-assistance system (ADAS) design for electric vehicle

Elektrikli araç için insan faktörü tabanlı gelişmiş sürücü yardım sistemi (ADAS) tasarımı

PDF İndir

  1. Tez No: 752892
  2. Yazar: DAĞHAN DOĞAN
  3. Danışmanlar: PROF. DR. OVSANNA SETA ESTRADA
  4. Tez Türü: Doktora
  5. Konular: Mekatronik Mühendisliği, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 172

Özet

Her yıl binlerce trafik kazası meydana gelmekte ve bu kazalarda binlerce insan ölmekte veya yaralanmaktadır. Kazaların sebeplerine bakıldığında çoğunun insan hatası olduğu söylenebilir. Bu nedenle son dönemdeki çalışmalar, gelişmiş sürücü destek sistemlerine, trafikte araç otonomi seviyelerinin artırılmasına ve sürücü davranışlarına odaklanarak olası kazaların önüne geçilmesi amaçlanmaktadır. Benzer bir amaçla bu çalışmada, gelişmiş sürücü destek sistemlerini (ADAS) destekleyecek bazı human factor teknolojilerin data da toplayarak deney destekli analizini, ve bu teknolojileri ADAS üreten araştırmacıların nasıl kullanabileceğini dair öneriler üretmeyi amaçladım. Giyilebilir bir sensör olan galvanik cilt tepkisi (GSR) sensörünün verilerine odaklanan çalışmamız, sürücülerden ve prototip elektrikli araçtan toplanan GSR sensörü ve diğer sensör verilerini analiz ederek insan faktörü çalışmalarına katkı sağlamayı amaçlamaktadır. Çalışma deneysel olduğundan gerçekçi bir araç ve gerçekçi bir sürüş verilerini gerektirir. Bu sebeple ilk olarak insan faktörü teknolojileri ve ADAS'larda araştırma ve eğitim için özgün, düşük maliyetli ve geliştirmeye açık bir gömülü veri toplama sistemi tasarlamayı hedefledik. Bu eşzamanlı veri toplama sisteminde kullanılan ekipmanlar: 750W gücünde bir elektrikli araç, Arduino Mega 2560 elektronik kartı, direksiyon açısı verileri için kullanılan 10 dönüşlü Vishay 860 potansiyometresi, Tamura 300 A AC/DC hall etkili akım sensörü. akım (tork) verileri, direksiyon simidi ve fren pedalındaki kuvveti algılamak için Pololu kuvvet algılama direnci (FSR), stresi algılamak için Seeedstudio GSR sensörü, cayro, ivme ve pusulayı ölçmek için MinIMU-9 v3 atalet ölçüm birimi (IMU), şasi hızı ve konumu algılamak için GY-NEO6MV2 küresel konumlama sistemi (GPS), tekerlek hızını algılamak için Scancon 2RM 200 kodlayıcı ile çevreyi ve sürücü davranışını görüntülemek için Techsmart araç kamerası. Veri toplama sistemini tasarlayıp prototip elektrikli araç için uyguladıktan sonra, sürücünün trafikteki stresinin GSR ve FSR sensör verileri ile tespit edilip edilemeyeceği sorusuna cevap arıyoruz. İstanbul Teknik Üniversitesi kampüsünde tasarlanan veri toplama sistemini kullanarak 38 sürücü için GSR ve FSR sensör verilerini topluyoruz ve GSR ve FSR sensör verilerini analiz ediyoruz. Ek olarak, stres seviyesi analizinin güvenilirliğini ve tutarlılığını geliştirmek ve sonuçları doğrulamak için sürüş sonrası stres anketi kullanılır. Analiz sonuçlarına göre, GSR sensörü stres seviyesi-cinsiyet, stres seviyesi-sürüş deneyimi, stres seviyesi-sürüş sıklığı ve stres seviyesi-normal sürüş davranışı ilişkisini tespit eder ve FSR sensörü sadece cinsiyet stres seviyesini belirler. Burada, GSR ve FSR sensörü için stres seviyesi-cinsiyet sonuçları, GSR sensörü için stres seviyesi-sürüş deneyimi sonuçları ve GSR sensörü için stres seviyesi-sürüş frekansı sonuçları, anketin sonuçlarıyla %100 doğrulukla tutarlıdır. GSR sensörü için normal sürüş davranışının temsili-stres seviyesi sonuçları, anketin sonuçlarıyla %50 doğrulukla tutarlıdır. Sonuç olarak, GSR sensör stres sonuçları, toplam %87,5 doğrulukla anket sonuçlarıyla tutarlıdır. FSR sensörü cinsiyet stres sonuçları, anketin sonuçlarıyla %100 doğrulukla tutarlıdır. Stres seviyesi tespiti çalışmasından sonra bir rota boyunca 38 sürücüden IMU, FSR, GSR, akım sensörü, potansiyometre, kodlayıcı, GPS verilerini topluyoruz. Sürücüler, her sensör için uzman sürücü verilerinden Öklid uzaklıklarına göre 2 (riskli ve normal) sınıfa ayrılır. Her sensör için en iyi sınıflandırma yöntemleri bu şekilde belirlenir. Buna göre tüm veriler, Orta Gauss Destek Vektör Makinesi (SVM/DVM) yöntemi kullanılarak %92,1 doğrulukla en yüksek doğrulukla sınıflandırılmıştır. IMU verileri, Yapay Sinir Ağları (ANN/YSA) yöntemi kullanılarak en yüksek %89,5 doğrulukla sınıflandırılır. FSR verileri, Orta Gauss DVM yöntemi kullanılarak %94,7 doğrulukla en yüksek doğrulukla sınıflandırılır. GSR verileri, İyi K-en Yakın Komşu (KNN) yöntemi kullanılarak %97.4 doğrulukla en yüksek doğrulukla sınıflandırılır. Akım verileri, YSA yöntemi kullanılarak %100 doğrulukla en yüksek doğrulukla sınıflandırılır. Potansiyometre verileri, YSA yöntemi kullanılarak en yüksek doğruluk oranı olan %97,3 ile sınıflandırılır. Enkoder verileri, Orta Gauss DVM yöntemi kullanılarak %92,1 doğrulukla en yüksek doğrulukla sınıflandırılır. GPS şasi hızı verileri, Orta Gauss DVM yöntemi kullanılarak %94,7 doğrulukla en yüksek doğrulukla sınıflandırılır. Bu nedenle, bir yol boyunca toplu veriler için sürücü davranışının oldukça öngörülebilir olduğunu söyleyebiliriz. İkinci olarak yukarıdaki yol boyunca elde ettiğimiz sürücü davranışının anlık olarak tespit edilip edilemeyeceği ortaya konulmaya çalışılmıştır. GSR sensörü sürücüye anında heyecan ve stres bilgisi verdiği için sücürülerin GSR verileri bireysel olarak analiz edilir. Sürücülerin sürüş videoları uzman sürücüye gösterilir. Sürücülerin hataları ve hata anları uzman sürücü tarafından etiketlenir. Öte yandan, GSR sensörü ile elde edilen veriler, sürücülerin ne zaman heyecanlandığını (streslendiğini) belirlemek için kullanılır ve stresin nedenleri uzman sürücü tarafından belirlenir. Bu analizde örnek olarak sürücü-4 (erkek) ve sürücü-7 (dişi) verileri bireysel sınıflandırma için incelenmiştir. Stres anları tehlikeli durumlar olarak sınıf-2 olarak kabul edilir. Diğerleri sınıf-1 olarak kabul edilir. Bu şekilde sınıflandırma yöntemleri uygulanır. Sonuç olarak, sürücülerin hata anlarının sürücülerin stresli anlarının bir alt kümesi olduğu bulunmuştur. Sürücü-4 için, stres momentleri ile etiketlenen tüm sensör verileri, ANN yöntemi kullanılarak %97.4 doğrulukla en yüksek doğrulukla sınıflandırılmıştır. Sürücü-7 için, tüm sensör verileri Bagged Tree yöntemi kullanılarak %98,6 doğrulukla en yüksek doğrulukla sınıflandırılır. Üçüncü olarak, GSR sensör verileri için yerel aykırı faktör (LOF) değerlerini farklı bir yöntem olarak kullanarak anormallikleri tespit ederek yukarıdaki sürücü durumunu/davranışını bu yöntem ile tekrar tespit ederek doğruluyoruz. Bu analiz, GSR sensör verilerinin LOF anomali değerleri ve diğer sensör desteği (kamera ve GPS) ile makine öğrenmesine ihtiyaç duymadan bir sürücü durumunun tespit edilmesini sağlar. Son olarak bölümde, dönüşlerde sürüş güvenini analiz ediyoruz. Çalışmada, dönüşlerde GSR sensöründen elde edilen heyecan artışları, sürüş güvensizliği olarak tanımlamıştır. Dönüşlerde GSR sensöründen tespit edilen sürücülerin dönüş anındaki hız ve akım verileri detaylı olarak incelenerek sürücülerin verileri bireysel olarak analiz edildi. GSR sensör verilerine dayalı olarak sürücülerin ilk kavşak manevra verileri incelendiğinde, 7, 9, 20, 23, 27 ve 34 numaralı sürücüler ilk dönüşte sürüş güvenini yetkilendirmede başarısız olmaktadır. İkinci dönüş verileri analiz edildiğinde, 9, 20, 23 ve 38 numaralı sürücüler ikinci dönüşte kendinden emin bir sürüş sergileyemediler. Anormal, riskli ve güvensiz sürüş bilgileri dahil olmak üzere deri iletkenlik bilgileri, otonom bir elektrikli aracın tork kontrolü için kullanılabilir. Yarı otonom elektrikli aracı boylamasına otonom elektrikli araca dönüştürüyoruz. Çalışmayı geliştirmek için, mesafe sensörü de GSR sensörü ile eşzamanlı olarak çarpışmayı tespit etmek ve müdahale etmek için kullanılır. Bu, sürücünün durumuna bağlı olarak, GSR verilerinin kapalı döngü ve uzunlamasına özerkliğe sahip bir aracı kontrol etmek için kullanıldığı anlamına gelir. Bir yol boyunca 38 sürücünün stres verileri yukarıda elde edilmiş ve ortalaması alınmıştır. Bu ortalamalar sisteme radyo frekansı ile tanımlam (RFID) kartları ile girdi olarak kullanılmaktadır. Böylece GSR sensör tabanlı tork kontrolüne sahip otonom bir araç tasarlanmıştır. Bu çalışmadaki bu dönüşümün amacı, çalışmalarımızı yarı otonom araçların yanı sıra otonom araçlara da entegre etmektir. Böylece biyosensörlerin otonom araçlar için bir giriş olarak kullanılabileceğini göstermektir. Devralma talebi (TOR) çalışmasında, 18 katılımcı sürücü ile beş farklı sürüş durumu üzerinde farklı TOR süreleri test edilmiştir. Bu durumlardan üçü, sürücülerin TOR zamanını tespit etmek için kullanılırken, diğer iki senaryo, kavşağa yaklaşan bir araç ve test yolu ortasında duran bir araç gibi diğer araçların olası bir tehlike olarak etkilerini artırmak için kullanılır. Analize göre sürücüler kritik duruma çok yakın olan (TOR 6 s) yetki geçişini tercih etmemektedir. Çünkü TOR 6 s'de kritik duruma yaklaşma nedeniyle (g) (GSR değerlerinin sapması) ve (fxa) (akım değerlerinin sapması ile ortalama ivmelenmenin çarpımı) değerleri daha yüksektir ve düzgün bir geçiş gerçekleşmez. Sürücülerin çoğunun TOR 4 s ve TOR 2 s için rahat ve sorunsuz yetki geçişi yaptığı gözlemlenmiştir. Tecrübeli sürücüler yetki geçişi için TOR 4'ü tercih ediyor. TOR 0'ın yetki geçişi de ani bir geçiş olduğu için sürücü hazırlıksız yakalanır ve daha yüksek (g) ve (fxa) neden olur. Yani sürücüler kritik durumdan uzak olsalar bile ani bir yetki geçişini tercih etmiyorlar. Devralma talep süresi çalışması, her bir sürücü ve deneyimli, yarı deneyimli ve deneyimsiz olmak üzere üç sürücü kategorisi için değerlendirilir ve bir anket ile doğrulanır. TOR zamanı, her sürücü için çıkarılır ve kişiselleştirilir; bu, mevcut koşullu otomatik sürüş teknolojilerinin penetrasyonunu ve kabulünü iyileştirebilir. Sürücünün tecrübesi arttıkça daha stabil sonuçlar alınmaktadır. Deneyimsiz sürücüler için TOR süresi her duruma göre değişir. Data analizleri sonucunda, giyilebilir biyosensör GSR sensör datası, ADAS'ı destekleyen farklı insan faktörü teknolojilerinde kullanılabilir. Çünkü çalışmamızda da görüldüğü gibi GSR sensörünü kullanarak sürücünün stresini ve durumunu tespit ettik, trafikte sürücünün hata kümesini tespit ederek makine öğrenmesi yöntemleriyle eğittik, yarı otonom bir aracı GSR tabanlı tork-kontrollü bir otonom araca dönüştürdük ve son olarak GSR sensörünü kullanarak devralma talebi performansını değerlendirdik.

Özet (Çeviri)

Every year, thousands of traffic accidents occur and thousands of people die or are injured in these accidents. Considering the causes of accidents, it can be said that most of them are human errors. For this reason, studies focus on advanced driver assistance systems, increasing vehicle autonomy levels and driver behavior in traffic, and aim to prevent possible accidents. For a similar purpose, in this study, I aimed to collect data and analyze some human factor technologies that will support advanced driver assistance systems (ADAS) and to produce suggestions on how researchers and manufacturers producing ADAS can use these technologies. Our study focuses on the data of the galvanic skin response (GSR) sensor, which is a wearable sensor and aims to contribute to human factor studies by analyzing the GSR sensor and other sensor data collected from the drivers and the prototype electric vehicle. The study is experimental and requires a realistic vehicle and realistic driver data. Thus, first of all, we aim to design a novel, low-cost and open to development embedded data collection system for the research and education in human factor technologies and ADASs. Equipment used in this simultaneous data acquisition system: an electric vehicle with the power of 750W, Arduino Mega 2560 electronic card, a 10-turn Vishay 860 potentiometer used for steering angle data, the Tamura 300 A AC/DC hall-effect current sensor used for current (torque) data, Pololu force-sensing resistor (FSR) to detect force on the steering wheel and brake pedal, Seeedstudio GSR sensor to detect stress, MinIMU-9 v3 inertial measurement unit (IMU) to detect gyro, accelerometer, and compass, GY-NEO6MV2 global positioning system (GPS) to detect chassis velocity and position, Scancon 2RM 200 encoder to detect wheel velocity and Techsmart dashcam to record the environment and driver behavior. After designing the data collection system and implementing it for the prototype electric vehicle, we are looking for an answer to the question of whether the driver's stress in traffic can be detected with the GSR and FSR sensor data. We collect the GSR and FSR sensor data for 38 drivers using the designed data collection system in the Istanbul Technical University campus and analyze the GSR and FSR sensor data. In addition, a post-driving stress survey is used to improve the reliability and consistency of the stress level analysis and to validate the results. According to analysis results, the GSR sensor detects stress level-gender, stress level-driving experience, stress level-driving frequency and stress level-representative of normal driving behavior relationship, and the FSR sensor determines only gender stress level. Here, stress level-gender results for the GSR and FSR sensor, stress level-driving experience results for the GSR sensor and stress level-driving frequency results for the GSR sensor are consistent with the results of the survey with an accuracy of 100 %. Stress level-representative of normal driving behavior results for GSR sensor are consistent with the results of the survey with an accuracy of 50 %. As a result, the GSR sensor stress results are consistent with the results of the survey with a total accuracy of 87.5 %. The FSR sensor gender stress results are consistent with the results of the survey with an accuracy of 100 %. After the stress level detection study, we collect the IMU, FSR, GSR, current sensor, potentiometer, encoder and GPS data from 38 drivers along a route. Drivers are divided into 2 (risky and normal) classes according to their Euclidean distance from expert driver data for each sensor. The best classification methods are determined along this way for each sensor. Accordingly, all data are classified with the highest accuracy of 92.1% using the Medium Gaussian Support Vector Machine (SVM) method. IMU data is classified with the highest accuracy of 89.5% using the Artificial Neural Network (ANN) method. FSR data is classified with the highest accuracy with 94.7% accuracy using the Medium Gaussian SVM method. GSR data is classified with the highest accuracy with 97.4% accuracy using the Fine K-nearest Neighbors (KNN) method. Current data is classified with the highest accuracy with 100% accuracy using the ANN method. Potentiometer data are classified with the highest accuracy of 97.3% using the ANN method. Encoder data is classified with the highest accuracy with 92.1% accuracy using the Medium Gaussian SVM method. GPS chassis velocity data is classified with the highest accuracy with 94.7% accuracy using the Medium Gaussian SVM method. Thus, we can say that driver behavior is highly predictable for the batch data along a road. Secondly, it is tried to reveal whether the driver behavior we obtained along the above road can be detected instantly. GSR data of the drivers is analyzed individually because the GSR sensor gives the driver instant excitement and stress information. The driving videos of the drivers are shown to the expert driver. The faults and fault moments of the drivers are labeled by the expert driver. On the other hand, the data obtained by the GSR sensor are used to determine when the drivers are excited (stressed) and the reasons for stress are identified by the expert driver. In the analysis, driver-4 (male) and driver-7 (female) data are examined for individual classification. Stress moments are considered class-2 as dangerous situations. Others are considered class-1. In this way, classification methods are applied. As a result, it is found that the fault moments of the drivers are a subset of the stressful moments of the drivers for all drivers. For driver-4, all sensor data which is tagged by stress moments are classified with the highest accuracy with 97.4% accuracy using the ANN method. For driver-7, all sensor data is classified with the highest accuracy with 98.6% accuracy using the Bagged Tree method. Thirdly, we validate the driver status/behavior analysis above by detecting anomalies using Local Outlier Factor (LOF) values for GSR sensor data as a different method. This analysis provides the detection of a driver status with LOF anomaly values of GSR sensor data and other sensor support (camera and GPS) without the need for machine learning. Lastly in the chapter, we analyze the driving confidence in turns. The excitement increases obtained from the GSR sensor on turns have defined the unconfidence of the driver. The velocity and current data of the drivers determined by the GSR sensor in turns are examined and thus drivers are analyzed individually. When the first junction maneuvering data of drivers are analyzed based on the GSR sensor data, drivers numbered 7, 9, 20, 23, 27 and 34 fail at authorizing driving confidence on the first turn. When the second turn data are analyzed, drivers with an ID 9, 20, 23 and 38 could not show a confident drive on the second turn. Skin conductivity information, including abnormal, risky, and unconfident driving information, can be used for torque control of an autonomous electric vehicle. We transform the semi-autonomous electric vehicle into an electric vehicle with longitudinal autonomy. To improve the study, the distance sensor is also used simultaneously with the GSR sensor to detect collisions and intervene. It means that the GSR data is used to control a vehicle with closed-loop and longitudinal autonomy, depending on the driver's condition. Stress data of 38 drivers along a road are obtained above and averaged. These averages are used as input to the system via radio frequency identification (RFID) cards. Thus, an autonomous vehicle with GSR sensor-based torque control is designed. The purpose of this transformation in this study is to integrate our work into autonomous vehicles as well as semi-autonomous vehicles. This shows that biosensors can also be used as input for autonomous vehicles. In the takeover request (TOR) study, different TOR times are tested on five different driving cases with 18 participating drivers. Three of these cases are used to detect the TOR time of drivers, while the other two scenarios are used sequentially to increase the effects of other participating vehicles such as a vehicle approaching the intersection and then is stopped on a lane along the test route causing a possible hazard situation. According to the analysis, drivers do not prefer the authority transition that is very close to the critical situation (TOR 6 s). Because in TOR 6 s, due to the approaching the critical situation, the (g) (pulse deviation) and (fxa) (current deviation multiplied by the average of five consecutive acceleration or deceleration values during manual driving) values are higher and a smooth transition does not occur. It has been observed that most of the drivers make the comfortable and smooth authority transition for TOR 4 s and TOR 2 s. The experienced drivers prefer TOR 4 for authority transition. Since the TOR 0 s authority transition is also a sudden transition, the driver is unready and causes a higher (g) and (fxa). In other words, even if the drivers are far from the critical situation, they do not prefer a sudden authority transition. Take-over request time is evaluated for each driver and three driver categories such as experienced, semi-experienced and inexperienced, and validated by a questionnaire. The TOR time is extracted and personalized for each driver, which may improve the current conditional automated driving technologies' penetration and acceptance. As the experience of the driver increases, more stable results are obtained. The TOR time for inexperienced drivers varies for each case. As a result of data analysis, the wearable biosensor GSR sensor data can be used in different human factor technologies to support ADAS. Because, as seen in our study, we detected the stress and status of the driver using the GSR sensor, detected the driver's fault cluster in traffic and trained it with machine learning methods, transformed a semi-autonomous vehicle into a GSR-based torque-controlled vehicle with longitudinal autonomy, and finally, evaluated takeover request performance using the GSR sensor.

Benzer Tezler

  1. Tez No

    485196

    Design and implementation of a torque-based predictive steering assistance for human-centered and safe automated driving

    İnsan-merkezli ve güvenli otomatik sürüş için tork tabanlı öngörümlü direksiyon yardımcı sisteminin tasarımı ve gerçeklenmesi

    ZİYA ERCAN

    Doktora

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. METİN GÖKAŞAN

  2. Tez No

    755192

    Kamera görüntülerinde makine öğrenmesi algoritmaları ile yaya tespiti

    Pedestrian detection in camera images with machine learning algorithms

    MOHAMED NEMA LIMAME

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    UlaşımBandırma Onyedi Eylül Üniversitesi

    Akıllı Ulaşım Sistemleri ve Teknolojileri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ İLYAS ÖZER

  3. Tez No

    698202

    Prediction of the pedestrian crossing intention using deep learning

    Yayaların karşıya geçme davranışlarının derin öğrenmeyle tahmini

    BERK EREN

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. AHMET HAMDİ KAYRAN

  4. Tez No

    507589

    Çekici tip kamyonlar için dikey park algoritması geliştirme

    Development of a perpendicular parking algorithm for truck-trailer

    CENK SÖZEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Makine Mühendisliğiİstanbul Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. İSMAİL MURAT EREKE

  5. Tez No

    866164

    Driver emotion recognition based on vehicle kinematics via machine learning methods

    Sürücü duygu durumunun araç kinematiği üzerinden makine öğrenmesi yöntemleriyle tanınması

    BÜNYAMİN EŞİYOK

    Doktora

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik MühendisliğiYeditepe Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. FETHİ İÇSEL OLCAYTUĞ

Geri Dön