Estimation of partially occluded human joints using a Bayesian approach and an application of human image inpainting
Kısmi kapanmaya uğramış insan eklemlerinin Bayesyen yaklaşımla kestirimi ve insan görüntüsü tamamlama uygulaması
- Tez No: 663981
- Danışmanlar: PROF. DR. TEMEL ENGİN TUNCER
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 107
Özet
İnsan poz kestirimi güvenlik, kıyafet uygulamaları ve özel video efektleri alanlarında gerçekleştirilmesi önemli bir problemdir. Bu problemin çözümünde tek bir görüntüden faydalanarak görsel öznitelikleri kullanan konvolüsyonel sinir ağları tabanlı metotlar en başarılı yöntemlerdir. Ancak kapanmalar doğal senaryolarda sıkça ortaya çıkmakta ve KSA tabanlı insan poz kestirimi metotlarının performasını ciddi oranda düşürebilmektedir. Bu çalışmada, verilen bir görüntüde kapanmaya uğrayan insan eklemlerinin konumunu kestiren ve özgün bir Bayesyen yaklaşım olan BAKE metodu sunulmaktadır. Bu yaklaşımda görüntüdeki görünür eklemleri bulması için popüler bir kestirim metodu olan Openpose'dan [1] faydalanılmakta, sonrasında ise Bayesyen bir çerçevede kapanmaya ugramış noktaların yerleri kestirilmektedir. Bu metot, zamana bağlı olay dizilerini istatistiksel bir şekilde modelleyebilmesi bakımından 3 boyutlu KSA yapılarına bir alternatif olarak görülebilir. Kapanmaya ugramış eklemlerin kestirimi kötü koşullu bir problem olsa da önsel bilgiden faydalanılabilir ve bu önsel bilgi önceki kapanmaya ugramamış video karelerinden elde edilebilmektedir. Bu kapsamda, eklem uzunlukları ve açıları tanımlanarak istatistiksel bir vücut modeli oluşturulur. İstatistiksel parametreleri hesaplamak amacıyla kapanmaya uğramamış video karelerinden faydalanılarak lokal bilgi, geniş bir insan pozu veri kümesinden faydalanılarak da genel bilgi elde edilir. Sonrasında, kapanmaya ugramış video karesinde görülebilir noktalar kullanılarak uzunluk ve açı dağılımları güncellenir. Kaba kuvvet yöntemiyle de kapanmaya ugramış eklemler için pozisyon kestirimi yapılır. İnsan eklemlerini tamamlama işleminin ne kadar güvenilir yapıldığını ölçen yeni bir güven puanı da ortaya konmuştur. Bu puan Openpose ve BAKE algoritmalarının çıktılarını birleştiren hibrit bir algoritmada da kullanılmıştır. Yapılan deneylerde Openpose, BAKE ve hibrit yaklaşım karşılaştırılmış, BAKE'nin Openpose'dan üstün başarı sergilediği gösterilmiştir. Hibrit metodun da BAKE'nin performansını bir miktar artırdıgı gözlemlenmiştir. Ayrıca kısmi kapanma yaşanan insan görüntülerinde tamamlama yapacak bir metot da önerilmektedir. Bu metotta yine videodaki kapanmaya ugramamış görüntülerden faydalanılmakta, ayrıca da görüntüden 3 boyutlu vücut örgüsü oluşturabilen SMPLify-x [2] algoritması kullanılmaktadır. Kapanmaya uğramamış karelerdeki görüntü parçaları kapanma olan karede kapanma yaşanan bölgedeki görüntü parçalarıyla eşleştirilmekte ve eşleştirilmiş görüntü parçaları kapanma yaşanan bölgeye aktarılarak tamamlama işlemi yapılmaktadır. Bu metoda ait sonuçlar da sunulmuştur.
Özet (Çeviri)
Human pose estimation is a well-known computer vision task that has applications in the fields of surveillance, computerized outfit planners, and video special effects. State-of-the-art pose estimators are based on CNN structures and use visual features obtained from single images. However, occlusions are prevalent problems in the natural scenarios for this task, and the performances of CNN-based estimators degrade significantly under occlusion conditions. In this thesis, a novel Bayesian approach, BAKE: Bayesian Approach for occluded Keypoint Estimation, is presented to estimate the positions of occluded human joints in a given video sequence. This approach uses a well-known CNN-based pose estimator Openpose [1] to detect the visible human joints in a given image and then develops a Bayesian framework to complete missing pose elements. This approach can be evaluated as an alternative for 3D CNN structures in terms of embedding the information in time-dependent event sequences. In our case, the problem is ill-conditioned since it is in general not possible to complete the missing joints for an arbitrary occlusion on the human body accurately. However, it is possible to localize some missing joints in certain regions based on the apriori information on the human skeleton with a certain confidence. This apriori information is obtained from the previous frames of the video sequence. A statistical human body model is generated by defining the joint length and angle parameters. The parameters of the model are calculated from the non-occluded frames of the video sequence as the local information as well as a human pose database is utilized for obtaining the general joint statistics. Then, on a partially occluded video frame, body length and angle distribution are updated by using the visible joints. These length and angle distributions are used for the estimation of occluded joints. A new confidence score is also proposed. This confidence score is used to develop a hybrid technique which combines the predictions of the Openpose and the proposed method, BAKE. Several experiments are performed to compare the outputs of the Openpose, BAKE, and the hybrid approach. It is shown that BAKE outperforms Openpose in general and the hybrid method generates a slight improvement over the BAKE. In addition to the BAKE method, an inpainting method for the partially occluded human video frames is proposed. In this method, non-occluded images of the target person obtained from the video sequence are used with a 3D body reconstruction algorithm, SMPLify-x [2]. Image patches are transferred from non-occluded images to occluded parts after a matching process and the corresponding results are shown.
Benzer Tezler
- Anlık görüntüden nesne çıkarımı ve otomatik nesne takibi uygulaması
Object extraction from real time video image and an automated object tracking application
GÖKAY GÖKSER GÜL
Yüksek Lisans
Türkçe
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTOBB Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. A. MURAT ÖZBAYOĞLU
- A neural network approach for noninvasive detection of coronary artery disease
Başlık çevirisi yok
MİNE İZLEM DOKSATLI
Yüksek Lisans
İngilizce
1994
Tıbbi BiyolojiBoğaziçi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİL ÖZCAN GÜLÇÜR
- Estimation of partially observed multiple graph signals by learning spectrally concentrated graph kernels
Kısmen gözlenen çoklu graf sinyallerinin dar bantlı graf kernelleri öğrenilerek kestirimi
GÜLCE TURHAN
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ELİF VURAL
- Estimation of partially observed graph signals by learning spectrally matched graph dictionaries
Kısmen gözlemlenmiş graf sinyallerinin spektral olarak eşlenmiş graf sözlükleri ögrenilerek kestirimi
OSMAN FURKAN KAR
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ELİF VURAL
- Deniz deşarjı yayıcılarına kısmen ördek gaga çek-valf takılmasının birinci seyrelme üzerindeki etkileri
Effects of partially mounted duckbill check valve on initial dilution in the marine outfall diffusers
CEMRE BELİT ÇOBANOĞLU
Yüksek Lisans
Türkçe
2017
Çevre Mühendisliğiİstanbul ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEMİH NEMLİOĞLU