İnterpolasyon tabanlı yeni bir video stabilizasyon yöntemi
A novel interpolation-based video stabilization approach
- Tez No: 802021
- Danışmanlar: DR. ÖĞR. ÜYESİ MEHMET SARIGÜL, DR. ÖĞR. ÜYESİ LEVENT KARACAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: İskenderun Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 50
Özet
Videoların günlük kullanımının artması ile birlikte video iyileştirme yöntemlerine olan ihtiyaç da artmıştır. Video çekimi esnasında özellikle el kameraları, araç kameraları, kask kameraları gibi kameranın sabit olmadığı durumlarda titreme, sallanma gibi istemsiz kamera hareketleri, videolarda bulanıklık ve bozulmalar yaratabilmektedir. Son yıllarda bu olumsuzlukları ortadan kaldırmak veya azaltmak için birçok video stabilizasyon yöntemi önerilmiştir. Ancak, yapılan çalışmalar belirli problemleri çözebilse de henüz istenilen düzeyde bir stabilizasyon başarısı elde edilememektedir. Özellikle kamera hareketi ile nesnelerin kendi hareketlerinin ayırt edilebilmesi zordur, bu da başarımı büyük ölçüde etkilemektedir. Bu tezde video çekiminde ortaya çıkabilecek istemsiz kamera hareketlerini azaltmak için iki farklı video stabilizasyon yaklaşımı öneriyoruz. Birinci yaklaşımda video kare interpolasyon yöntemlerinden yararlanarak optimizasyon tabanlı yeni bir video stabilizasyon yöntemi önerilmektedir. Bu yöntemde, bir video video kare interpolasyonu yöntemi üzerinden giriş stabil olmayan video video karelerini stabil video karelerine dönüştüren çarpıtma (warping) alanlarını optimizasyon yoluyla buluyoruz. Ayrıca, bu optimizasyonu gerçekleştirebilmek için yeni bir kayıp fonksiyonu tanımlıyoruz. Deneysel sonuçlar, önerilen video stabilizasyon yönteminin başarılı sonuçlar ürettiğini göstermektedir. Nicel olarak yöntemimiz, temel interpolasyona dayalı yönteme göre %17,65'e kadar daha başarılı stabilite skorları elde etmektedir. Ancak optimizasyon tabanlı bir yaklaşım kullanıldığı için video işlemede yavaş kalmaktadır. Önerilen ikinci yaklaşımda mevcut interpolasyon tabanlı video stabilizasyon yöntemlerini iyileştirmek için video kareleri tahmin edilen derinlik haritaları üzerinden farklı katmanlara ayrıştırılıp ayrı ayrı stabilize edilmektedir. Bu yöntem özellikle özçekim videolarında rastladığımız ön plan ile arka plan nesneleri arasında derinlik farklarının fazla olduğu videolar için daha başarılı bir çözüm sunmaktadır. Önerilen yaklaşım güncel özçekim video stabilizasyon çalışmalarının kırpma, bozulma ve stabilite skorları ile rekabet edebilecek başarılı bir performans göstermiştir.
Özet (Çeviri)
With the increasing daily use of videos, the need for video enhancement methods has also increased. During video capture, involuntary camera movements such as shaking and trembling, especially in situations where the camera is not stable, such as handheld cameras, car cameras, and helmet cameras, can create blurring and distortions in videos. In recent years, many video stabilization methods have been proposed to eliminate or reduce these negative effects. However, while these studies can solve certain problems, the desired level of stabilization success has not yet been achieved. Especially, it is difficult to distinguish between camera motion and the movement of objects, which greatly affects performance. In this thesis, we propose two different video stabilization approaches to reduce involuntary camera movements that may occur during video recording. In the first approach, we propose a new optimization-based video stabilization method that utilizes video frame interpolation methods. In this method, we find warping fields that convert input unstable video frames to stable video frames through a video frame interpolation method using an optimization approach. Additionally, we define a new loss function to perform this optimization. Experimental results show that the proposed video stabilization method produces successful results. Quantitatively, our method achieves up to 17.65% better stability scores compared to the basic interpolation-based method. However, since an optimization-based approach is used, it is slower in video processing. In the second proposed approach, to improve existing interpolation-based video stabilization methods, video frames are decomposed into different layers based on estimated depth maps, and each layer is stabilized separately. This method provides a more successful solution, especially for videos with large depth differences between foreground and background objects, as commonly encountered in selfie videos. The proposed approach has shown successful performance that can compete with current selfie video stabilization studies in terms of cropping, distortion and stability scores.
Benzer Tezler
- Efficient HEVC and VVC video compression hardware designs
Verimli HEVC ve VVC video sıkıştırma donanım tasarımları
HOSSEIN MAHDAVI
Doktora
İngilizce
2023
Elektrik ve Elektronik MühendisliğiSabancı ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MURAT KAYA YAPICI
PROF. DR. İLKER HAMZAOĞLU
- Implementation of a super-resolution algorithm using model composer
Bir yüksek çözünürlük algoritmasının model composer ile gerçeklenmesi
BERKAY UÇKUN
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. SIDDIKA BERNA ÖRS YALÇIN
- Sperm analizi için bilgisayar görüsü tabanlı yeni bir yaklaşım ve uygulaması
A new approach based on computer vision and its application for sperm analysis
FATİH OKUMUŞ
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ADNAN FATİH KOCAMAZ
- Doğrusal olmayan hareket kestirimi ile video çerçeve ara değerlemesi
Video frame interpolation with nonlinear motion estimation
YÜCEL ÇİMTAY
Yüksek Lisans
Türkçe
2012
Elektrik ve Elektronik MühendisliğiEskişehir Osmangazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. EROL SEKE
- Motion estimation for video coting
Video kodlama için devinim kestirimi
ÖZGÜR KUTLU GÜLLE
Yüksek Lisans
İngilizce
1996
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiPROF.DR. BÜLENT SANKUR