Identifying ımage related sentences in news articles
Haber makalelerinde görüntü ile i̇lgili cümlelerin belirlenmesi
- Tez No: 602669
- Danışmanlar: PROF. DR. LALE AKARUN ERSOY, DOÇ. DR. ARZUCAN ÖZGÜR TÜRKMEN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 105
Özet
İnternet ortamında görüntülerin ulaşılabilirliğinin artması ile görüntü ile ilgili cümlelerin belirlenmesi önemli bir problem haline gelmiştir. Bu araştırma alanı, haber görüntü altyazılarının otomatik oluşturulması ve özetleme konusunda haber yayıncıları için de önemlidir. Hakkında birçok çalışma yapılmış olsa da görüntü altyazılama hala zor bir problemdir. Görüntü altyazılama üzerine yapılmış önceki çalışmalar, genellikle görüntüler için yeni altyazılar üretmek üzerine odaklanmıştır. Haber metninden görüntü için en uygun cümleleri seçme problemi ilk defa bu çalışmada ele alınmıştır ve sıfırdan bir altyazı oluşturmaya çalışmak yerine görüntü ile ilgili cümleleri bulmaya çalıştığımız için yenidir. Bu teknik, haber ile resim yazısı arasındaki ilişkiyi kaybetmemeye yardımcı olur. Haberlerin sadece metin kısımlarını içeren CNN haber veri setini baz olarak kullandık ve bu veri setini haberlerin görüntülerini toplayarak genişlettik. Tf-Idf ve Word2Vec vektörleri kosinüs ve SEMILAR cümleden cümleye benzerlik yöntemlerini kullanarak haberin görüntüsü ve cümleleri için iki sınıflı referans altyapısı oluşturduk. HOG ve BOVW görüntü tanımlayıcıları ve Word2Vec metin özellik çıkarma yöntemlerini kullandık. Önerdiğimiz sistemin performansını ölçmek için Naive Bayes, k-En Yakın Komşu ve Rassal Karar Ormanı yöntemlerini uyguladık. Ayrıca, görüntü ve metin özelliklerini eşit ağırlıkla değerlendirmek için görüntü özellikleri için PCA boyut azaltma yöntemini uyguladık. Aynı zamanda, ikili sınıfların dengesiz dağılımını çözmek için de deneyler yaptık. Deney sonuçları, HOG özellik seçimi ile Naive Bayes sınıflandırıcısının daha iyi sonuçlar verdiğini göstermektedir.
Özet (Çeviri)
With the increasing availability of images on the web, identifying image related sentences has become an important problem. This research area is also important for the news publishing community for automatic captioning of news images and summarization. Although a large body of research has been devoted to image captioning, it is still a challenging problem. Previous works on image captioning mostly focus on generating new captions for the images. The problem of identifying image related sentences in news articles is discussed in this thesis for the first time and our approach is novel because we do not try to generate a caption from scratch, but we try to select the most appropriate set of sentences for the image from the news text itself. This technique helps not to lose the relationship between the news article and the image caption. We have used the CNN news dataset which only contains the text parts of news as basis and we have augmented the dataset by collecting the images of the news articles. We generated a two class ground truth for the image and sentences of news article by using Tf-Idf and Word2Vec vectors; and cosine and SEMILAR sentence-to-sentence similarity methods. We utilized HOG and BOVW image descriptors and Word2Vec text feature extraction methods. We implemented Naive Bayes, k-NN and Random Forest classification methods to measure the performance of our proposed system. We have also applied PCA dimensionality reduction method for image features to evaluate the equal weights of image and text features. We have also conducted experiments to solve the unbalanced class distribution of the two classes. The experiment results show that Naive Bayes classifier with HOG features gives better results.
Benzer Tezler
- Hemşirelik bölümü öğrencilerinin kadına yönelik şiddete ilişkin algılarının değerlendirilmesi: Bir metafor analizi
The evaluation of nursing students perceptions of violence against women: A metaphor analysis
EMİNE DELİMEHMET
Yüksek Lisans
Türkçe
2023
SosyolojiGiresun ÜniversitesiKadın Araştırmaları Ana Bilim Dalı
DOÇ. DR. EMEL BAHADIR YILMAZ
- Gait-based gender classification using neutral and non-neutral gait sequences
Nötr veya nötr olmayan ardaşık yürüyüş tarzlarından davranış bağımlı cinsiyet klasifikasyonu
ZHYAR QAHHAR MAWLOOD
Yüksek Lisans
İngilizce
2016
Elektrik ve Elektronik MühendisliğiHasan Kalyoncu ÜniversitesiElektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
Prof. Dr. CELAL KORAŞLI
DR. AZHIN TAHİR SABIR
- Crowd localization and counting via deep flow maps
Derin öğrenme ile çıkarılan hareket haritaları kullanılarak nesne kalabalıklarının tespiti ve sayımı
PEDRAM YOUSEFI
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL
- Alzheimer modelinde: ilaç-hedef etkileşim tahmini
Drug-target interaction prediction in the alzheimer model
MÜNEVVER DEMİR
Yüksek Lisans
Türkçe
2023
BiyomühendislikSüleyman Demirel ÜniversitesiBiyomühendislik Ana Bilim Dalı
PROF. DR. SELÇUK ÇÖMLEKÇİ
PROF. DR. ECİR UĞUR KÜÇÜKSİLLE
- Repertuar çizelgesi tekniğinin kuvvet ve hareket konusunda kullanılması
Using repertory grid techniques in the force and motion subject
İLKAY ABAZAOĞLU
Yüksek Lisans
Türkçe
2009
Eğitim ve ÖğretimGazi ÜniversitesiOrtaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. ŞEBNEM KANDİL İNGEÇ