Multimodal classifier for disaster response
Afet müdahale için çok modlu sınıflandırıcı
- Tez No: 722674
- Danışmanlar: DR. ÖĞR. ÜYESİ SAED ABDEL WAHHAB RESHID AL-QARALEH
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Hasan Kalyoncu Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 67
Özet
Günümüzde sosyal medya verileri, doğal afet gibi zaman açısından kritik durumlarda doğru karar verme noktasında büyük bir fark oluşturan önemli bir çalışmadır. Sosyal medya içeriği mesaj, resim ve videolardan oluşur. Bazı durumlarda doğal afetin neden olduğu hasarı sadece metinden anlamak analiz açısından yeterli değildir, afetin etkisi görsel verilerle daha iyi anlaşılmaktadır. Sosyal medya platformlarından metin verisetleri araştırmacılar tarafında yaygın olarak kullanılmakta ve sınırlı sayıda çalışma görüntüler gibi farklı içeriklerin kullanımına odaklanmıştır. Bunun nedeni, afetlerle ilgili etiketli görüntü veri kümelerinin sayısının çok sınırlı olmasıdır. Bu nedenle bu tezde çok modlu bir Türkçe metin ve görüntü veri kümesi sunarak bu sınırlamayı ele almayı hedefliyoruz. Çalışmamızda, geç füzyon tekniği ile multimodal sınıflandırma çalışmaları yapılmıştır. Ayrıca, multimodal sınıflandırma elde etmek için; metni sınıflandırmak amacıyla; önceden eğitilmiş LSTM modeli kullanılırken, görsel içerik için önceden eğitilmiş bir CNN modeli kullanıyoruz. Genel olarak, çok modlu öğrenme mimarisinde her iki verinin birleştirilmesi ile %91,87 doğruluk sağlandı
Özet (Çeviri)
Nowadays, social media data can be used to make a huge difference in making correct decisions in time-critical situations, such as the event of natural disasters. Social media content consists of messages, images, and videos. In some cases, understanding the damage caused by natural disasters only from text is not enough in terms of analysis, the effect of disaster is better understood using visual data. Text datasets from social media platforms are widely used by researchers, and a limited number of studies have focused on the use of other content such as images. This is due to the fact that the number of tagged image datasets related to disasters is very limited. Therefore, in this thesis, we aim to address this limitation by presenting a multimodal Turkish text and images dataset. Multimodal classification studies were carried out with the late fusion technique. Also, to achieve multimodal classification; a pre-trained LSTM model is used for classifying the text while a pre-trained CNN model is used for the visual content. Overall, concatenating both inputs in a multimodal learning architecture achieved an accuracy of 91.87%.
Benzer Tezler
- Land cover and land use classification of multi-modal high-resolution satellite images using multi-task deep learning approach
Çok görevli derin öğrenme tekniği ile çok kipli yüksek çözünürlüklü uydu görüntülerinin arazi örtüsü ve arazi kullanımı sınıflandırılması
BURAK EKİM
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Investigating olive trees by monitoring phenological stages using multi-modal satellite sensor data
Çok-modlu uydu sensör verileri kullanılarak fenolojik aşamalarının izlenmesiyle zeytin ağaçlarının araştırılması
HAYDAR MUHAMMED AKÇAY
Doktora
İngilizce
2024
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ŞİNASİ KAYA
- Classifier fusion for multimodal correlated classifiers and video annotation
Bağımlı sınıflandırıcılar ve video işaretleme için sınıflandırıcı birleştirme
ÜMİT EKMEKCİ
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZEHRA ÇATALTEPE
- Dokunsal geri bildirimlerin sanal gerçeklik ortamlarında motor imgeleme eeg sinyallerine etkisinin incelenmesi
The effect of haptic feedback on motor imagery eeg signals in virtual reality environments
HARUN YENİŞAN
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiElektronik ve Bilgisayar Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ULVİ BAŞPINAR
- Nöropsikiyatrik hastalıkların tanısına destek amacıyla multimodal nörogörüntüleme verilerinin makine öğrenimi algoritmaları kullanılarak işlenmesi
Processing of multimodal neuroimaging data using machine learning algorithms to support diagnosis of neuropsychiatric diseases
CAN SOYLU