Geri Dön

Efficient image annotation and caption system using deep convolutional neural networks

Verimli görüntü açıklama ve altyazı sistemi derin evrişimli sinir ağlarının kullanımı

PDF İndir

  1. Tez No: 720224
  2. Yazar: JUMAN SAKKAR
  3. Danışmanlar: DR. ÖĞR. ÜYESİ SAED ALQARALEH
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: Hasan Kalyoncu Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 60

Özet

son yıllarda, yapay zeka alanındaki gelişmelerle birlikte, görüntü açıklaması (IAC) olarak da bilinen görüntü açıklama, araştırmacıların ilgisini giderek daha fazla çekmiştir. IAC, görüntü içeriğine göre otomatik olarak doğal metin açıklamaları oluşturur. IAC, bilgisayarla görme ve doğal dil işleme bilgilerini birleştirir. Bu araştırmada, yeni bir görüntü açıklama ve açıklama sistemi geliştirilmiştir. Geliştirilen sistemin ana parçaları Evrişim Sinir Ağı (CNN) ve Uzun Kısa Süreli Bellek (LSTM)'dir. Ayrıca geliştirilen sistem, evrişim katmanlarına düzleştirme ekleme, tamamen bağlı katmanlara bırakma katmanları ekleme, en uygun parti boyutunu bulmak için genetik algoritmaları kullanma ve uyarlamalı moment gibi çoklu optimize edicilerin performansını inceleme gibi birçok adımla geliştirilmiştir. Tahmin (Adam), Stochastic Gradient Descent (SGD) ve Nesterov hızlandırılmış gradyan, geliştirilen en uygun olan yaklaşımı bulmak için. Geliştirilen sistem, zorlu veri kümelerinden biri, yani Flicker veri kümesi kullanılarak birden fazla deneyle doğrulandı. Genel olarak, geliştirilmiş modelimiz BLEU metriğini kullanarak mevcut son teknolojiden daha iyi performans gösterdi. Ayrıca sonuçlar, tasarlanan sistemin görüntüleri etkili bir şekilde tanımlayabildiğini kanıtlamaktadır. Son olarak, bu araştırma, görüntü açıklamaları alanındaki bazı açık zorlukları vurgulayarak araştırmacılara yardımcı olur.

Özet (Çeviri)

In recent years, with the advances in the artificial intelligence field, image annotation also known as image description (IAC) has progressively attracted researchers' attention. IAC automatically creates natural text descriptions according to the image contents. IAC combines the knowledge of computer vision and natural language processing. In this research, a novel image annotation and description system was developed. The main parts of the developed system are Convolution Neural Network (CNN) and Long Short Time Memory (LSTM). Also, the developed system was enhanced by multiple steps such as adding regularizing to convolution layers, adding dropout layers to the fully connected layers, using genetic algorithms to find the most suitable batch size, and investigating the performance of multiple optimizers such as Adaptive Moment Estimation (Adam), Stochastic Gradient Descent(SGD), and Nesterov accelerated gradient to find the most suitable one for the developed approach. The developed system was validated by multiple experiments using one of the challenging datasets, i.e., the Flicker dataset. Overall, our improved model outperformed the existing state of arts using the BLEU metric. Also, results prove that the designed system can effectively describe images. Last but not least, this research help researchers by highlighting some open challenges in the field of image annotation.

Benzer Tezler

  1. Tez No

    431051

    Büyük imge veri tabanlarında erişim için yarı eğitmenli görsel temsiller

    Semi-supervised visual representations for large scale image databases

    TUĞÇE DÖNGEL

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HAKAN ÇEVİKALP

  2. Tez No

    439685

    Using machine learning techniques to enhance teaching and performance prediction of students with autism spectrum disorders

    Yapay öğrenme yöntemleri ile otizm spektrum bozukluğu olan öğrencilerin öğretiminin ve öğretim performansı tahmininin iyileştirilmesi

    AKRAM M.M. RADWAN

    Doktora

    İngilizce

    İngilizce

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ZEHRA ÇATALTEPE

  3. Tez No

    474372

    Video and image based face analysis with extreme learning machines

    Uçta öğrenme makineleriyle video ve imge tabanlı yüz analizı

    FURKAN GÜRPINAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Hesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı

    DOÇ. DR. ALBERT ALİ SALAH

    YRD. DOÇ. DR. HEYSEM KAYA

  4. Tez No

    767413

    Deep learning based Turkish video indexing and retrieval system

    Derin öğrenmeye dayalı Türkçe video indeksleme ve bilgi getirimi sistemi

    JAWAD RASHEED

    Doktora

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Sabahattin Zaim Üniversitesi

    Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AKHTAR JAMIL

  5. Tez No

    400759

    Mining metabolic networks and biomedical literature

    Başlık çevirisi yok

    ALİ ÇAKMAK

    Doktora

    İngilizce

    İngilizce

    2009

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolCase Western Reserve University

    DR. GÜLTEKİN ÖZSOYOĞLU

Geri Dön