Geri Dön

Identifying ımage related sentences in news articles

Haber makalelerinde görüntü ile i̇lgili cümlelerin belirlenmesi

  1. Tez No: 602669
  2. Yazar: MELİKE ESMA İLTER GÜLAÇ
  3. Danışmanlar: PROF. DR. LALE AKARUN ERSOY, DOÇ. DR. ARZUCAN ÖZGÜR TÜRKMEN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 105

Özet

İnternet ortamında görüntülerin ulaşılabilirliğinin artması ile görüntü ile ilgili cümlelerin belirlenmesi önemli bir problem haline gelmiştir. Bu araştırma alanı, haber görüntü altyazılarının otomatik oluşturulması ve özetleme konusunda haber yayıncıları için de önemlidir. Hakkında birçok çalışma yapılmış olsa da görüntü altyazılama hala zor bir problemdir. Görüntü altyazılama üzerine yapılmış önceki çalışmalar, genellikle görüntüler için yeni altyazılar üretmek üzerine odaklanmıştır. Haber metninden görüntü için en uygun cümleleri seçme problemi ilk defa bu çalışmada ele alınmıştır ve sıfırdan bir altyazı oluşturmaya çalışmak yerine görüntü ile ilgili cümleleri bulmaya çalıştığımız için yenidir. Bu teknik, haber ile resim yazısı arasındaki ilişkiyi kaybetmemeye yardımcı olur. Haberlerin sadece metin kısımlarını içeren CNN haber veri setini baz olarak kullandık ve bu veri setini haberlerin görüntülerini toplayarak genişlettik. Tf-Idf ve Word2Vec vektörleri kosinüs ve SEMILAR cümleden cümleye benzerlik yöntemlerini kullanarak haberin görüntüsü ve cümleleri için iki sınıflı referans altyapısı oluşturduk. HOG ve BOVW görüntü tanımlayıcıları ve Word2Vec metin özellik çıkarma yöntemlerini kullandık. Önerdiğimiz sistemin performansını ölçmek için Naive Bayes, k-En Yakın Komşu ve Rassal Karar Ormanı yöntemlerini uyguladık. Ayrıca, görüntü ve metin özelliklerini eşit ağırlıkla değerlendirmek için görüntü özellikleri için PCA boyut azaltma yöntemini uyguladık. Aynı zamanda, ikili sınıfların dengesiz dağılımını çözmek için de deneyler yaptık. Deney sonuçları, HOG özellik seçimi ile Naive Bayes sınıflandırıcısının daha iyi sonuçlar verdiğini göstermektedir.

Özet (Çeviri)

With the increasing availability of images on the web, identifying image related sentences has become an important problem. This research area is also important for the news publishing community for automatic captioning of news images and summarization. Although a large body of research has been devoted to image captioning, it is still a challenging problem. Previous works on image captioning mostly focus on generating new captions for the images. The problem of identifying image related sentences in news articles is discussed in this thesis for the first time and our approach is novel because we do not try to generate a caption from scratch, but we try to select the most appropriate set of sentences for the image from the news text itself. This technique helps not to lose the relationship between the news article and the image caption. We have used the CNN news dataset which only contains the text parts of news as basis and we have augmented the dataset by collecting the images of the news articles. We generated a two class ground truth for the image and sentences of news article by using Tf-Idf and Word2Vec vectors; and cosine and SEMILAR sentence-to-sentence similarity methods. We utilized HOG and BOVW image descriptors and Word2Vec text feature extraction methods. We implemented Naive Bayes, k-NN and Random Forest classification methods to measure the performance of our proposed system. We have also applied PCA dimensionality reduction method for image features to evaluate the equal weights of image and text features. We have also conducted experiments to solve the unbalanced class distribution of the two classes. The experiment results show that Naive Bayes classifier with HOG features gives better results.

Benzer Tezler

  1. Hemşirelik bölümü öğrencilerinin kadına yönelik şiddete ilişkin algılarının değerlendirilmesi: Bir metafor analizi

    The evaluation of nursing students perceptions of violence against women: A metaphor analysis

    EMİNE DELİMEHMET

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    SosyolojiGiresun Üniversitesi

    Kadın Araştırmaları Ana Bilim Dalı

    DOÇ. DR. EMEL BAHADIR YILMAZ

  2. Gait-based gender classification using neutral and non-neutral gait sequences

    Nötr veya nötr olmayan ardaşık yürüyüş tarzlarından davranış bağımlı cinsiyet klasifikasyonu

    ZHYAR QAHHAR MAWLOOD

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    Elektrik ve Elektronik MühendisliğiHasan Kalyoncu Üniversitesi

    Elektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    Prof. Dr. CELAL KORAŞLI

    DR. AZHIN TAHİR SABIR

  3. Crowd localization and counting via deep flow maps

    Derin öğrenme ile çıkarılan hareket haritaları kullanılarak nesne kalabalıklarının tespiti ve sayımı

    PEDRAM YOUSEFI

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. BİLGE GÜNSEL

  4. Alzheimer modelinde: ilaç-hedef etkileşim tahmini

    Drug-target interaction prediction in the alzheimer model

    MÜNEVVER DEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    BiyomühendislikSüleyman Demirel Üniversitesi

    Biyomühendislik Ana Bilim Dalı

    PROF. DR. SELÇUK ÇÖMLEKÇİ

    PROF. DR. ECİR UĞUR KÜÇÜKSİLLE

  5. Repertuar çizelgesi tekniğinin kuvvet ve hareket konusunda kullanılması

    Using repertory grid techniques in the force and motion subject

    İLKAY ABAZAOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2009

    Eğitim ve ÖğretimGazi Üniversitesi

    Ortaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. ŞEBNEM KANDİL İNGEÇ