Geri Dön

İnterpolasyon tabanlı yeni bir video stabilizasyon yöntemi

A novel interpolation-based video stabilization approach

  1. Tez No: 802021
  2. Yazar: SEMİHA DERVİŞOĞLU
  3. Danışmanlar: DR. ÖĞR. ÜYESİ MEHMET SARIGÜL, DR. ÖĞR. ÜYESİ LEVENT KARACAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: İskenderun Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 50

Özet

Videoların günlük kullanımının artması ile birlikte video iyileştirme yöntemlerine olan ihtiyaç da artmıştır. Video çekimi esnasında özellikle el kameraları, araç kameraları, kask kameraları gibi kameranın sabit olmadığı durumlarda titreme, sallanma gibi istemsiz kamera hareketleri, videolarda bulanıklık ve bozulmalar yaratabilmektedir. Son yıllarda bu olumsuzlukları ortadan kaldırmak veya azaltmak için birçok video stabilizasyon yöntemi önerilmiştir. Ancak, yapılan çalışmalar belirli problemleri çözebilse de henüz istenilen düzeyde bir stabilizasyon başarısı elde edilememektedir. Özellikle kamera hareketi ile nesnelerin kendi hareketlerinin ayırt edilebilmesi zordur, bu da başarımı büyük ölçüde etkilemektedir. Bu tezde video çekiminde ortaya çıkabilecek istemsiz kamera hareketlerini azaltmak için iki farklı video stabilizasyon yaklaşımı öneriyoruz. Birinci yaklaşımda video kare interpolasyon yöntemlerinden yararlanarak optimizasyon tabanlı yeni bir video stabilizasyon yöntemi önerilmektedir. Bu yöntemde, bir video video kare interpolasyonu yöntemi üzerinden giriş stabil olmayan video video karelerini stabil video karelerine dönüştüren çarpıtma (warping) alanlarını optimizasyon yoluyla buluyoruz. Ayrıca, bu optimizasyonu gerçekleştirebilmek için yeni bir kayıp fonksiyonu tanımlıyoruz. Deneysel sonuçlar, önerilen video stabilizasyon yönteminin başarılı sonuçlar ürettiğini göstermektedir. Nicel olarak yöntemimiz, temel interpolasyona dayalı yönteme göre %17,65'e kadar daha başarılı stabilite skorları elde etmektedir. Ancak optimizasyon tabanlı bir yaklaşım kullanıldığı için video işlemede yavaş kalmaktadır. Önerilen ikinci yaklaşımda mevcut interpolasyon tabanlı video stabilizasyon yöntemlerini iyileştirmek için video kareleri tahmin edilen derinlik haritaları üzerinden farklı katmanlara ayrıştırılıp ayrı ayrı stabilize edilmektedir. Bu yöntem özellikle özçekim videolarında rastladığımız ön plan ile arka plan nesneleri arasında derinlik farklarının fazla olduğu videolar için daha başarılı bir çözüm sunmaktadır. Önerilen yaklaşım güncel özçekim video stabilizasyon çalışmalarının kırpma, bozulma ve stabilite skorları ile rekabet edebilecek başarılı bir performans göstermiştir.

Özet (Çeviri)

With the increasing daily use of videos, the need for video enhancement methods has also increased. During video capture, involuntary camera movements such as shaking and trembling, especially in situations where the camera is not stable, such as handheld cameras, car cameras, and helmet cameras, can create blurring and distortions in videos. In recent years, many video stabilization methods have been proposed to eliminate or reduce these negative effects. However, while these studies can solve certain problems, the desired level of stabilization success has not yet been achieved. Especially, it is difficult to distinguish between camera motion and the movement of objects, which greatly affects performance. In this thesis, we propose two different video stabilization approaches to reduce involuntary camera movements that may occur during video recording. In the first approach, we propose a new optimization-based video stabilization method that utilizes video frame interpolation methods. In this method, we find warping fields that convert input unstable video frames to stable video frames through a video frame interpolation method using an optimization approach. Additionally, we define a new loss function to perform this optimization. Experimental results show that the proposed video stabilization method produces successful results. Quantitatively, our method achieves up to 17.65% better stability scores compared to the basic interpolation-based method. However, since an optimization-based approach is used, it is slower in video processing. In the second proposed approach, to improve existing interpolation-based video stabilization methods, video frames are decomposed into different layers based on estimated depth maps, and each layer is stabilized separately. This method provides a more successful solution, especially for videos with large depth differences between foreground and background objects, as commonly encountered in selfie videos. The proposed approach has shown successful performance that can compete with current selfie video stabilization studies in terms of cropping, distortion and stability scores.

Benzer Tezler

  1. Efficient HEVC and VVC video compression hardware designs

    Verimli HEVC ve VVC video sıkıştırma donanım tasarımları

    HOSSEIN MAHDAVI

    Doktora

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MURAT KAYA YAPICI

    PROF. DR. İLKER HAMZAOĞLU

  2. Implementation of a super-resolution algorithm using model composer

    Bir yüksek çözünürlük algoritmasının model composer ile gerçeklenmesi

    BERKAY UÇKUN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. SIDDIKA BERNA ÖRS YALÇIN

  3. Sperm analizi için bilgisayar görüsü tabanlı yeni bir yaklaşım ve uygulaması

    A new approach based on computer vision and its application for sperm analysis

    FATİH OKUMUŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. ADNAN FATİH KOCAMAZ

  4. Doğrusal olmayan hareket kestirimi ile video çerçeve ara değerlemesi

    Video frame interpolation with nonlinear motion estimation

    YÜCEL ÇİMTAY

    Yüksek Lisans

    Türkçe

    Türkçe

    2012

    Elektrik ve Elektronik MühendisliğiEskişehir Osmangazi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. EROL SEKE

  5. Motion estimation for video coting

    Video kodlama için devinim kestirimi

    ÖZGÜR KUTLU GÜLLE

    Yüksek Lisans

    İngilizce

    İngilizce

    1996

    Elektrik ve Elektronik MühendisliğiBoğaziçi Üniversitesi

    PROF.DR. BÜLENT SANKUR