Geri Dön

Deep learning-based behavior analysis of seafarers

Derin öğrenme tabanlı gemi adamlarının davranış analizi

PDF İndir

  1. Tez No: 911105
  2. Yazar: VEYSEL GÖKÇEK
  3. Danışmanlar: DOÇ. DR. GAZİ KOÇAK, DR. ÖĞR. ÜYESİ YAKUP GENÇ
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Denizcilik, Computer Engineering and Computer Science and Control, Marine
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Deniz Ulaştırma Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Deniz Ulaştırma Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 146

Özet

Deniz kazalarındaki insan hatası (HE) birçok çalışmanın odağı olmuştur. HE'nin nedenlerini bulmak için birçok çalışma yürütülmüştür. Literatürdeki çalışmalar ışığında geliştirilen risk yönetim planları, oluşturulan eğitimler, düzenlenen yönetmelikler, gelişen gemi dizaynları ve gelişen teknoloji sayesinde deniz kazalarının sıklığının azaldığı görülmektedir. Fakat tek bir deniz kazası bile feci ve uzun vadeli sonuçlar doğurabileceğinden, oluşmaya devam eden her bir deniz kazasına yönelik gerekli önlemleri alacak detaylı çalışmalar yapmak gerekmektedir. Özellikle çatışma ve karaya oturma kazaları feci sonuçlara neden olma potansiyeline sahiptir. Bu kazaların oluşmasına sebebiyet veren insan hataları, insanların davranışlarında gizlidir. Karaya oturma ve çatışma kazalarına neden olan davranışlar tespit edilirse ilgili uyarılar ve iyileştirmeler düzenlenebilir. Bu bağlamda bu tez, karaya oturma ve çatışma kazalarını önlemek için denizcilerin davranışlarını analiz eden derin öğrenmeye dayalı bir algoritma geliştirmeyi amaçlamaktadır. Literatüre göre, çatışmalara ve karaya oturmalara neden olan hatalar, esas aktörün vardiya personeli (WP) olduğu köprü-üstünde meydana gelmektedir. Bu literatür bulgusunu doğrulamak ve kazalara neden olan güncel ana nedenleri bulmak için, çatışma ve karaya oturma kazaları ile ilgili toplam 94 deniz kaza raporu toplanmıştır. Bu raporlar İngiltere Deniz Kazalarını Soruşturma Şubesi, Kanada Ulaştırma Güvenliği Kurulu ve Amerika Birleşik Devletleri Ulusal Ulaştırma Güvenliği Kurulu tarafından 2015 ve 2021 yılları arasında yayınlanmış 100 gros ton üstündeki bütün çatışma ve karaya oturma kazalarını içermektedir. Kazaları oluşturan insan hatalarının kök nedenlerini bulmak için TRACEr-MAR taksonomisi kullanılmıştır. Sonuçlara bakıldığında, hataların %74'ünün doğrudan WP'lerin vardiya tutma davranışıyla ilgili olduğunu görülmüştür. Seyir esnasında uygunsuz tutulan vardiyaların tespitini sağlamak için WP'lerin davranışlarını kesintisiz izleme ve değerlendirme sistemini geliştirmenin kaza riskini azaltacağı öngörülmüştür. Anlık izleme ve kümülatif değerlendirme sistemi vardiya süresince sürekli sayısal değer üretecek ve üretilen değer istenilen değerin altında olduğunda, atanan zabiti veya direk kaptanı uyaracaktır. Böylelikle uygunsuz vardiyanın oluşması durumunda kaptan tarafından yapılacak müdahale ile deniz kazası riski azaltılacaktır. Ayrıca, WP'ler sürekli olarak izlenildiklerini ve değerlendirildiklerini bileceklerinden, bu sistemin varlığı onları düzgün vardiya tutmaya teşvik edecektir. Gemi kaptanı seyir emniyetinin sürekliliğini sağlamaktan sorumludur. Bunun için köprü üstü seyir vardiyasını aralıklı olarak kontrol eder. Fakat, bütün vardiyaların kesintisiz olarak kontrolünü sağlaması mümkün değildir. Bu nedenle Uluslararası Denizcilik Örgütü (IMO), deniz kazalarına yol açabilecek operatör yokluğunu tespit etmek için Köprü-üstü Seyir Vardiyası Alarm Sistemi'ne (BNWAS) ilişkin MSC.128(75) numaralı kararı yayınlamıştır. Tanımlanan alarm sistemi sadece vardiyada birinin olup olmadığını tespit etmektedir. Tutulan vardiyanın standart bir vardiya olup olmadığını açıklamamaktadır. Ayrıca tanımlanan sistem çok basittir ve suistimale açıktır. İnsan hatalarının oluşmasını önlemek için daha gelişmiş bir sisteme ihtiyaç vardır. Bu tezde bu boşluğu doldurmak adına, köprü üstü vardiyasını anlık izleyecek ve sürekli değerlendirmesini yapacak bir Köprü-üstü Seyir Vardiyası İzleme Sistemi (BNWMS) önerilmektedir. Önerilen mimariye göre vardiya süresince WP'lerin köprü üstündeki davranışlarının belirli bir zaman aralığında takip edilmesi girdi verisini oluştururken, WP'lerin bu zaman aralığındaki davranışlarının sınıflandırılması da çıktı verisini oluşturacaktır. Literatürde insan davranışlarını analiz etmek için insan aktivitesi tanıma (HAR) adı altında birçok yöntem bulunmaktadır. HAR algoritmaları, çeşitli kaynaklardan edinilen çok boyutlu veriler üzerinde, vücut duruşunu, hareketlerini ve eylemlerini tahmin etmektedir. Girdi verisini toplamak için başlıca sensör tabanlı ve görme tabanlı kaynaklar kullanılmaktadır. Sensör tabanlı kaynaklar, insana, kullanılan nesneye veya çevreye takılan sensörlerden insan aktivitelerini açıklayacak verilerin toplanmasına olanak sağlamaktadır. Görme tabanlı kaynaklar ise, bu verileri çeşitli kamera tipleri ile toplamaktadır. Köprü üstünde vardiya süresince kullanılan her bir nesneye veya her bir WP'ye sensör takmak ve ortamın değişik parametrelerini açıklayacak ortam sensörleri kullanmak yerine, sadece video kamera kullanarak WP'leri rahatsız etmeden veri toplamanın daha uygun olacağı öngörülmüştür. WP'lerin davranışlarını açıklamak için görme tabanlı HAR yöntemleri arasından derin öğrenme tabanlı 3B vücut poz kestirim algoritmasının kullanılmasına karar verilmiştir. Vardiya tutma davranışlarının açıklanabilmesi için vardiya süresince WP'lerin bulunduğu konumlar ve bu konumlarda ne kadar kaldıkları önemlidir. Bu niteliklerin temsil adına 3B vücut pozlarının belirli bir zaman aralığında takibi ile hareket ısı haritası üretme yöntemi geliştirilmiştir. 3B vücut pozları üretmek için, aynı alana bakan iki farklı kameradan eş zamanlı görüntü almak gerekmektedir. Her iki kameradan 2B vücut pozlarının piksel koordinatları, 2B vücut poz kestirim algoritması kullanılarak çıkarılmıştır. Bu piksel koordinatları kamera kalibrasyon yöntemi ile 3B uzaya yansıtılmıştır. Son olarak vücut hareketlerinin ısı haritasını üretmek için, elde edilen 3B vücut pozları belirli bir zaman aralığında kuş bakışı köprü üstü planına pilotlanmıştır. Oluşturulan hareket ısı haritalarının, zamansal ve uzamsal bilgileri yakaladığından, BNWMS için önerilen mimari ile öğretilecek modele uygun girdi verisini sağlayacağı düşünülmüştür. Hareket ısı haritası oluşturma yöntemini doğrulamak için pilot araştırma yapılmıştır. Halihazırda kamera sistemi bulunan bir gemiden üç aylık çoklu görüntülü köprü üstü kamera kayıtları toplanmıştır. Toplanan veriler üzerinde yürütülen pilot çalışmada, iki kameradan sürekli olarak 2d vücut pozlarının tahmin edilebilmesi durumunda gerçekçi hareket ısı haritası üretiminin oluşturulabileceği bulunmuştur. Pilot çalışma bulguları, gerçek köprü-üstü ortamı üzerine yeni bir sistem kurularak kameraların çözünürlüğü, konumu ve gece görüşü geliştirilirse sistemin istenilen doğruluğa ulaşacağını göstermiştir. Veysel GÖKÇEK tarafından, ilgili verileri toplamak için, ticari bir kuru dökme yük gemisinin köprü üstüne çoklu görüntülü video kamera sistemi kurulmuştur. Toplanan video kamera kayıtlarından, araştırma metodolojisi kullanılarak 14400 hareket ısı haritası oluşturulmuştur. Isı haritalarına göre WP'lerin vardiya tutma davranışları“Kabul Edilemez”,“Standarttın Altında”ve“Standart”olarak sınıflandırılmıştır. Model eğitimleri, özel CNN modelleri ve önceden eğitilmiş CNN modelleri üzerinde ısı haritalarını ve sınıflandırmaları kullanarak gerçekleştirilmiştir. CNN mimarisi tasarımında sonsuz kombinasyonlar olduğu için doğru mimariyi tasarlamak zorlu bir problemdir. Literatürden önceden eğitilmiş başarılı CNN modellerini alıp benzersiz veri seti ile yeniden eğitmek, benzersiz özel CNN modelleri tasarlamaya çalışmaktan daha mantıklıdır. Araştırma sınıflandırması makul miktarda veri içeren küçük sınıflara sahip olduğundan, araştırma için nispeten daha basit önceden eğitilmiş modellerden VGG16, ResNet18, MobileNet ve EfficientNet seçilmiştir. Ayrıca, önceden eğitilmiş modellerle karşılaştırmak için basitten derine doğru 6 özel CNN mimarisi tasarlanmıştır. Tüm algoritmalar benzer hızlara sahip olduğundan, model performansı doğruluğa bağlıdır. Eğitim sonuçlarına bakıldığında önceden eğitilmiş algoritmaların, özel CNN'lerden daha iyi doğruluğa sahip olduğu görülmüştür. Bu, önceden eğitilmiş katmanların, özellik çıkarımını olumlu yönde artırdığı anlamına gelmektedir. Özel CNN'ler, CNN mimarisindeki karmaşık ve derin kavramlar arasındaki farkı göstermek için tasarlanmıştır. CNN5, CNN6'dan neredeyse 5 kat daha karmaşıkken CNN5, CNN6'dan 2 katman daha azdır. Basit tasarıma sahip daha derin katmanlar veya daha az katmana sahip karmaşık tasarımlar, veri kümemiz için aynı sonuçları göstermiştir. Bu hem derin hem de karmaşıklığın sonuçları iyileştirdiği anlamına gelmektedir. Bununla birlikte, CNN5'in eğitilebilir parametreleri önceden eğitilmiş tüm modellerden daha fazla olmasına rağmen, doğruluğu önceden eğitilmiş CNN modellerinden azdır. Çünkü model karmaşıklaştıkça daha doğru sonuçlar göstermek için daha fazla veriye ihtiyaç duymaktadır. Önceden eğitilmiş modeller, ilk katmanlarda özellik çıkarımını olumlu yönde artıran önceden eğitilmiş katmanlara sahiptir. Eğitim derin tasarımla daha az eğitilebilir parametreye sahip olan ince ayar katmanlarında ilk katmanlardan sonra gerçekleşmektedir. Toplanan veriler, özel CNN'lere kıyasla önceden eğitilmiş CNN'lerin daha düşük eğitilebilir parametre boyutlarını beslemek için daha yeterlidir. Öte yandan, MobileNet ve EfficientNet bazı özel CNN'lerden daha düşük doğruluk göstermiştir. Daha az doğruluk göstermelerinin nedeni eğitilebilir parametre boyutlarının ResNet18 ve VGG16'dan 3 kat daha büyük olmasıdır. MobileNet ve EfficientNet ResNet18 ve VGG16'dan daha yüksek doğruluk sağlamak için daha fazla eğitim verisine ihtiyaç duymaktadır. EfficientNet, önceden eğitilmiş modeller arasında en büyük eğitilebilir parametre boyutuna sahiptir, bu nedenle önceden eğitilmiş modeller arasında test verilerinde daha düşük bir doğruluğa sahip olmuştur. VGG16, tüm CNN'ler arasında eğitim, doğrulama ve test verileri üzerinde en iyi sonuçları göstermiştir. Bu nedenle, BNWMS testi için yapılan analizlerde VGG16 modeli kullanılmıştır. Doğruluk oranı 0,96 olan VGG16 modeli ile üç farklı seyir vardiyasının anlık izlemesi ve kümülatif değerlendirmesi yapılmıştır. VGG16 modeli ile hareket ısı haritalarından tahmin edilen sınıflara sayısal değerler atanmıştır. Bu sayısal değerler“Kabul Edilemez”sınıfı için 0 puan,“Standarttın Altında”sınıfı için 50 puan ve“Standart”sınıfı için 100 puan olarak atanmıştır. Vardiyaların performansını görüntülemek için anlık izleme ve kümülatif değerlendirme sonuçları grafiğe pilotlanmıştır. Bu yöntem kullanılarak, sayısallaştırılan sonuçlar belirlenecek eşik değerin altında olduğunda, kaptan veya görevli zabiti uyarmak için bir uyarı algoritması oluşturulabilir. Ayrıca geliştirilen yöntem, seyir vardiyasının sayısal performansını günlük, haftalık, aylık veya belirli bir periyot bazında üretebilecektir. Tezde geliştirilen BNWMS ile literatüre iki yeni yaklaşım kazandırmıştır. Bunlardan biri, çalışanların davranışlarını belirli bir zaman aralığına ait hareket ısı haritalarının oluşturulmasıyla açıklamaktır. İkincisi ise bu ısı haritalarının derin öğrenme tabanlı geliştirilmiş yapay zekâ tarafından anlık ve kümülatif olarak değerlendirilmesidir. Bu araştırma, bir dizi başka çalışmanın temelini oluşturacaktır. Geliştirilen yeni yaklaşımlar, fabrika gibi geniş bir alanda çalışmayı gerektiren gemiler dışındaki ortamlarda da davranış analizi yapılmasının önünü açacaktır.

Özet (Çeviri)

Human error (HE) in maritime accidents is the focus of many researches. Researchers develop many approaches to mitigate it. Apart from the approaches introduced in the literature, a new approach is proposed in this thesis. The idea is that errors are hidden in human behaviours. If the behaviours causing marine accidents can be detected, relevant warnings and improvements can be arranged to eliminate those behaviours. In this context, this thesis aims to develop a deep learning-based algorithm to analyze the behaviour of seafarers. While the frequency of maritime accidents has been in decline thanks to the studies, one single incident can have catastrophic and long-term consequences for the marine environment. Especially collisions and groundings have the potential to cause those catastrophic results for the marine environment, so the thesis is delimited to eliminate the cause of collisions and groundings. According to the literature, errors causing collisions and groundings have occurred on the bridge where the main actor involved has been the watchkeeping personnel (WP). To validate the literature and find the main reasons causing collisions and groundings, a totally of 94 maritime incident reports on collisions and groundings are obtained from the UK's Marine Accident Investigation Branch, the Transportation Safety Board of Canada and the National Transportation Safety Board of the United States of America. TRACEr-MAR taxonomy is utilized on those incident reports to find root causes of the human errors causing collisions and groundings. Results show that 74 % of the errors are directly related to the watchkeeping behaviour of the WPs. Monitoring and assessing the behaviours of WPs all the time during navigation watch has the potential to mitigate those errors. An alerting algorithm can be adjusted to warn the master or assigned officer based on behaviours causing errors gathered from monitoring results. Besides, the assessment system encourages the WPs to keep standard watch because of knowing that they are continuously being monitored and evaluated. In this thesis, a Bridge Navigation Watch Monitoring System (BNWMS) is suggested to achieve those monitoring and assessment tasks. The proposed architecture for BNWMS enables to train a model that continuously analyses the behaviour of WPs. Motion heatmap of 3D body poses over a specific time interval is suggested as an input. 2D body poses belonging to the same person are estimated from multiple camera views by using a deep learning-based pose estimation algorithm. Those estimated 2D poses are projected into 3D space by utilizing multiple-view computer vision techniques. Finally, the obtained 3D poses are plotted on the bird's-eye view bridge plan to calculate a heatmap of body motions capturing temporal as well as spatial information. After validating the proposed vision-based approach in the pilot study, the multi-view video camera system is established on an actual bridge of a commercial bulk carrier by Veysel GOKCEK to collect relevant data. 14400 motion heatmaps, each of them presenting unique 12 minutes during navigation watch, are generated from collected data. Watchkeeping behaviours of the WPs based on generated heatmaps are classified as“Not Acceptable”,“Below Standard”, and“Standard”. Training of models is conducted by using labelled 14400 motion heatmaps. Design of 6 custom CNNs and fine-tuning of 4 pre-trained CNNs are carried out to compare different CNN architectures. Pre-trained models show a higher value than custom CNNs, owing to their pre-trained initial layers which boost feature extraction. Pre-trained VGG16 model which has the highest accuracy of 0.96 among all models is utilized to predict instant monitoring and cumulative assessments of three navigation watch based on defined classes. Numerical scores are assigned to the classes, 0 points for“Not Acceptable”, 50 points for“Below Standard”, and 100 points for“Standard”. Both instant monitoring and cumulative assessment using numerical scores are plotted on the graph to display the performance of the watches. While instant monitoring succeeds to show the momentary condition of the navigation watch, cumulative assessment achieves to separate watches based on their performance values. The BNWMS which is consist of both instant monitoring and cumulative assessment can also produce the numerical performance of navigation on a daily, weekly, monthly or a defined period basis. An alerting algorithm can be adjusted to warn the master or assigned officer when the instant monitoring or assessment value is under the threshold. Defining the relevant threshold value based on the condition of the voyage is the feature work including revision of maritime regulations, risk assessments and company procedures. This is the first research of deep learning-based behaviour analysis on WPs keeping watch on the ship's bridge. The developed BNWMS in the thesis has introduced two new approaches to the literature. One of them is explaining the behaviour of workers by a generation of their motion heatmaps on the 2D plan of the working area within a defined period. The second one is the instant and cumulative assessment of those heatmaps by deep learning-based artificial intelligence all the time. This research will be the basis for a series of other studies. Developed novel approaches will pave the way for behaviour analysis in environments other than ships such as factories that require working in a large area.

Benzer Tezler

  1. Tez No

    777903

    Android sistemlerde derin öğrenme tabanlı kötü amaçlı yazılım tespit sistemi

    Deep learning based malware detection system on android systems

    ESRA ÇALIK BAYAZIT

    Doktora

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. BUKET DOĞAN

    PROF. DR. ÖZGÜR KORAY ŞAHİNGÖZ

  2. Tez No

    661356

    Sosyal ağlarda etkileşime dayalı davranış analizi ile karakter tespiti

    Character identification with interaction-based behavior analysis in social networks

    HAFZULLAH İŞ

    Doktora

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TANER TUNCER

  3. Tez No

    529691

    Derin öğrenme yöntemi ile köpek davranışlarının analizi ve sınıflandırılması

    Analysis and classification of dog behaviours using deep learning

    RUKİYE POLATTİMUR

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBilecik Şeyh Edebali Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ EMRE DANDIL

  4. Tez No

    787358

    Olasılıksal sembolik motif tanıma

    Probabilistic symbolic pattern recognition

    OĞUZ AKBİLGİÇ

    Doktora

    Türkçe

    Türkçe

    2022

    İstatistikMimar Sinan Güzel Sanatlar Üniversitesi

    İstatistik Ana Bilim Dalı

    PROF. DR. EYLEM DENİZ HOWE

  5. Tez No

    880104

    Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma

    Generating image hash codes with deep reinforcement learning method

    ELİF AKKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiSakarya Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BURHAN BARAKLI

Geri Dön