Geri Dön

Multi-label multi-modal classification of movie scenes

Film sahnelerinin çok etiketli karma model ile sınıflandırılması

  1. Tez No: 763348
  2. Yazar: IRMAK TÜRKÖZ
  3. Danışmanlar: PROF. DR. HALİL ALTAY GÜVENİR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 107

Özet

Filmleri fragmanları aracılı ̆gıyla tanıtmak, izleyicilerin ve yatırımcıların filmin gelecekteki ba ̧sarısı hakkında beklentiler olu ̧sturmasına yardımcı olabilecek de ̆gerli bilgiler sa ̆glar. Yakın zamanda yapılan ara ̧stırmalar, izleyicilerin sinema salonları yerine evde dijital yayın platformları aracılı ̆gıyla film izlemeyi tercih etti ̆gini do ̆gruladı ve bu da film fragmanlarının ki ̧siye ̈ozel olarak g ̈osterilmesine neden oldu. Ayrıca, farklı ilgi grupları i ̧cin olu ̧sturulan reklamlar, hem kullanıcılar hem de reklam verenler i ̧cin ̈onemli derecede iyile ̧stirilmi ̧s bir deneyim sa ̆glayabilir. Gecmi ̧ste fragman olu ̧sturma s ̈urecini otomatikle ̧stirmek i ̧cin birka ̧c giri ̧simde bulunuldu, ancak yapay zeka tarafından olu ̧sturulan fragmanlar, edit ̈orlerin yarattıklarından daha az ̧cekici olarak kabul edildi. Derin ̈o ̆grenmedeki en son geli ̧smelerin kullanımı ve veri k ̈umelerinin daha fazla kullanılabilirli ̆gi, otomatik fragman olu ̧sturma s ̈urecini hızlandırabilir. ̈Uretilen her film, temsil etti ̆gi bir dizi t ̈urle etiketlenmi ̧stir. B ̈oylece her filmin temsil etti ̆gi her t ̈ur i ̧cin ayrı fragmanını olu ̧sturularak izleyiciye ki ̧siselle ̧stirilmi ̧s reklam sunulabilir. Bildi ̆gimiz kadarıyla, t ̈ure ̈ozel fragmanlar aracılı ̆gıyla filmlerin ki ̧siselle ̧stirilmi ̧s reklamları, otomatik fragman olu ̧sturma ̧calı ̧smalarında ilk deneme olacaktır. Bu g ̈orev icin belirli bir filmden belirli bir t ̈ur ̈un temsili sahnelerini ̧cıkaran bir araca gereksinimiz vardır. Bu sahneler her t ̈ur i ̧cin bir fragman tasla ̆gı olu ̧sturmak uzere birlestirilir. Taslak, yaratıcı post prod ̈uksiyon s ̈urecinden ge ̧cirilir. Bu tezde, sahneleri bir dizi t ̈ure ayıran bir derin ̈o ̆grenme a ̆gı geli ̧stirdik. Bu a ̆gı e ̆giten bir ̈o ̆grenim veri seti olu ̧sturmak i ̧cin, temsili t ̈urleriyle etiketlenmi ̧s bir dizi sahne derledik. Ağımız, deneysel ikili modellerden ̈o ̆grenilen hiper parametrelerle ̧cok etiketli bir sınıflandırma g ̈orevini yerine getirdi. ̈O ̆grenme s ̈ureci, g ̈orsel ̈ozelliklerin, işitsel ̈ozelliklerin ve bunların kombinasyonunun kullanımını i ̧cererek ger ̧cekle ̧sti. Modelin nihai sonucundaki sınıflandırma performansı, insan algısı ile karsılastırılarak degerlendirildi.

Özet (Çeviri)

Promoting movies through their trailers provides valuable information that can help viewers and investors form expectations about the movie's future success. Recent research confirmed that the audience prefers to watch movies through at-home-streaming services rather than at the theaters which resulted in movie trailers being shown privately. Moreover, advertisements created for different interest groups can provide a drastically improved experience for users and advertisers alike. There have been few attempts to automatize the trailer generation process however, AI-generated trailers were considered less attractive than editors' creations. Fortunately, the use of the most recent advancements in deep learning and the greater availability of datasets can accelerate the automated trailer generation process. Every movie produced is labeled with a set of genres that it represents. Thus, it is possible to generate multiple trailers of the same movie for different genres to offer personalized advertisements to the audience. To the best of our knowledge, personalized advertisements of movies via genre-specific trailers will be the first attempt in the automated trailer generation studies. For this task, we needed a tool that extracts representative scenes of a particular genre from a given movie. Then, these scenes can be concatenated to form a draft of a trailer for each genre. The draft can be finalized through the creative post-production process. In this thesis, we developed a deep learning network that classifies scenes into a set of genres. In order to construct a training dataset to train this network, we compiled a set of scenes that are labeled with their representative genres. Our network accomplishes a multi-label classification task with hyperparameters learned from experimental binary models. The learning process comprises the use of visual features, audio features, and their combination. The final result of the model is evaluated by comparing its classification performance with human perception

Benzer Tezler

  1. Land cover and land use classification of multi-modal high-resolution satellite images using multi-task deep learning approach

    Çok görevli derin öğrenme tekniği ile çok kipli yüksek çözünürlüklü uydu görüntülerinin arazi örtüsü ve arazi kullanımı sınıflandırılması

    BURAK EKİM

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    İletişim Sistemleri Ana Bilim Dalı

    PROF. DR. ELİF SERTEL

  2. Diabetic retinopathy classification with using deep learning

    Derin öğrenme ile diyabetik retinopati sınıflandırılması

    MEHMET ALPER ŞAHİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Veri Mühendisliği ve İş Analitiği Ana Bilim Dalı

    DOÇ. DR. ÖMER FARUK BEYCA

  3. Covid-19 aşıları hakkındaki Türkçe tweetlerin doğal dil işleme ve derin öğrenme yardımıyla analizi

    Analysis of Turkish tweets about Covid-19 vaccines with the help of natural language processing and deep learning

    ÖZGÜN DEVRİM CAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ŞEBNEM BORA

    PROF. DR. OĞUZ DİKENELLİ

  4. Multi-label classification of text document using deep learning

    Derin öğrenme kullanan metin belgelerinin çoklu etiket sınıflandırılması

    HAMZA HARUNA MOHAMMED

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ABDÜL KADİR GÖRÜR

    DR. ÖĞR. ÜYESİ ROYA CHOUPANI

  5. SS-MLA: A novel solution for multi-label classification of remotely sensed images

    Ss-mla: Uzaktan algılamalı görüntülerin çok etiketli sınıflandırması için yeni bir çözüm

    TOLGA ÜSTÜNKÖK

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtılım Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    DOÇ. DR. KASIM MURAT KARAKAYA