Fizyolojik işaretler yardımıyla kalp atışı tespiti ve uygulamaları
Heart rate detection using physiological signs and its applications
- Tez No: 891368
- Danışmanlar: DR. ÖĞR. ÜYESİ SAFFET VATANSEVER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Bursa Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 61
Özet
Medya ve internet ortamlarında, video ve görsel içerikli verilerin paylaşılması giderek artmakta ve bunlara kolayca erişilebilmektedir. Yapay zekâ teknolojisinin gelişmesiyle birlikte çeşitli algoritmalar kullanılarak sahte video ve görsel içerikler kolay bir şekilde üretilebilmektedir. Bu tür içerikler, şantaj, yanlış bilgi yayma, karalama ve siyasi problem oluşturma gibi ciddi güvenlik riskleri barındırmaktadır. Bu şekilde manipülasyon yapılarak bireylerin asla yapmadığı şeyleri yaptığı veya bulunmadığı bir ortamda bulunduğu algısı oluşturulabilir. Sahte içeriklerin kötü niyetle, kolayca ve programlama bilgisi gerektirmeden üretilebilmesi, bu tür içeriklerin tespitini son derece önemli kılmaktadır. Sahte videolar farklı algoritmalar kullanılarak oluşturulsa da gerçek videolardakine benzer şekilde biyolojik sinyallere sahiptirler. Ancak sahte videolarda ışık farklılıkları, görüntünün sıkıştırılması ve video oluşturma modellerinin yetersizliği gibi birçok tutarsızlık bulunmaktadır. Bu gibi sebepler oluşturulan videolardaki biyolojik sinyallerin enerjisi zayıflatmaktadır. Bu yaklaşım doğrultusunda, fizyolojik sinyallerin belirleyici özellikleri kullanılarak videolarda sahtecilik tespitine yönelik bir çalışma gerçekleştirilmiştir. PURE veri setinden hareketsiz 10 gerçek ve 10 sahte video, UBFC veri setinden de 10 gerçek ve 10 sahte video örnekleri incelenmiştir. Gerçek video örneklerinin alın altında kalan bölgeleri değiştirilerek bu videoların sahteleri oluşturulmuştur. Bu tez çalışmasında ilk olarak, yüz videolarından doğru rPPG sinyali elde edilmesine odaklanmıştır. Doğru ve düzgün sinyallerin çıkarılabilmesi için oldukça önemli olan yüksek başarımlı bir yüz bölgesi analizi yapılmıştır. Elde edilen yüzün farklı bölgelerinde, geçici olarak normalize edilmiş RGB uzayında cilde ortogonal bir düzlem tanımlanarak, rPPG sinyalleri elde edilmiştir. Bu rPPG sinyallerine kısa zamanlı fourier dönüşümü (STFT) uygulanarak kalp atış hızı tespiti yapılmıştır. PURE veri setindeki gerçek videoların ve oluşturulan sahte videoların kalp atış hızı sinyalleri ile referans kalp atış hızı sinyalleri arasındaki korelasyon değerleri hesaplanmıştır. Eğer videolarda kalp atış sinyali tespit edilebildiyse sahtecilik analizi yapılmıştır. Sahtecilik tespiti için yüzün alın bölgesi, burun, yanaklar ve alın altında kalan bölgeleri kullanılmıştır. Bu bölgelerdeki rPPG sinyallerine hızlı fourier dönüşümü (FFT) uygulanarak video örnekleri için frekans spektrumundaki en yüksek enerjiye sahip büyüklükler bulunmuştur. Alın bölgesi videolarda değiştirilmediği için referans olarak alınmıştır. Alın ve yanaklar, alın ve yanak burun, alın ve alın altında kalan bölgedeki enerji büyüklük farkları hesaplanmıştır. Bulunan farklar belirli bir eşik değerin altındaysa sahtecilik analizi gerçekleştirilmemiştir. Eğer farklar belirli bir eşik değerin üzerindeyse videolarda sahtecilik tespit yöntemi önerilmiştir.
Özet (Çeviri)
In media and online platforms, the sharing of video and visual content has been increasing and they can be easily accessed. Artificial intelligence technology has made it easy to create fake video and visual content using a variety of algorithms. Such content poses serious security risks, such as blackmail, spreading false information, defamation, and creating political problems. This kind of manipulation can make people appear to be acting in ways they have never done or being in an environment they have never been in. The detection of fake contents are crucial since malicious content can be created with ease and without the need for programming experience. Although fake videos are created using different algorithms, they have biological signals similar to real video signals. However, there are many inconsistencies in fake videos, such as light differences, image compression, and the inadequacy of video creation models. Such reasons weaken the energy of biological signals in fake videos. A study was carried out to identify video forgeries by utilizing key physiological signal features, consistent with this methodology. 10 real and 10 fake videos lacking motion from the PURE dataset and 10 real and 10 fake videos from the UBFC dataset were examined. The regions under the forehead of the real video samples were altered to create fake videos. The initial focus of this thesis study is to obtain an accurate rPPG signal from facial videos. Facial region analysis with high performance was conducted to ensure accurate and robust signal extraction. rPPG signals were obtained by defining an orthogonal plane to the skin in the temporally normalized RGB space in different regions of the face. Heart rate detection was performed by applying the Short-Time Fourier Transform (STFT) to these rPPG signals. The correlation values between the heart rate signals of the real videos in the PURE dataset and the generated fake videos and the reference heart rate signals were calculated. Forgery analysis was carried out if the videos contained detectable heart rate signals. The forehead area, nose, cheeks, and regions under the forehead of the face were used to detect forgery in videos. By applying the Fast Fourier Transform (FFT) to rPPG signals in these regions, the highest energy magnitudes in the frequency spectrum for video samples were detected. Since the forehead region was not changed in the videos, it was chosen as a reference. The differences in energy magnitude between the forehead and cheeks, as well as between the forehead and cheeks, including the nose, and between the forehead and the area beneath the forehead, were calculated. Forgery analysis is not conducted if the differences calculated are lower than a specific threshold value. A forgery detection method is suggested in the videos if the computed differences exceed a specific threshold value.
Benzer Tezler
- Kalp seslerinin pasif akustik görüntülenmesi ve hastalık tespiti
Pasif acoustic imaging of heart sounds and disease determination
BURHAN ERGEN
Doktora
Türkçe
2004
Elektrik ve Elektronik MühendisliğiFırat ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Y.DOÇ.DR. YETKİN TATAR
- Elektrofizyolojik ölçümler için düşük gürültülü, mikro-işlemci kontrollu çalışabilen genel amaçlı yükselteç
Başlık çevirisi yok
MEHMET ENGİN
Yüksek Lisans
Türkçe
1987
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiYRD. DOÇ. DR. BURHANETTİN CAN
- Durağan dalgacık dönüşümü ile EKG işaretinde gürültü giderimi ve QRS kompleksinin belirlenmesi
Determination of noise removal and QRS complex in ECG signal with stationary wavelet transform
NURAY MISIRLI
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik MühendisliğiErciyes ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. NURHAN KARABOĞA
- E-health kalkan ve Arduino kullanılarak çoklu fizyolojik işaretlerin bilgisayar ortamında görüntülenmesi
Viewing multiple physiological signs in computer system using e-health shield and Arduino
HASAN DİNÇER EKMEKCİ
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAfyon Kocatepe Üniversitesiİnternet ve Bilişim Teknolojileri Yönetimi Ana Bilim Dalı
DOÇ. DR. UÇMAN ERGÜN
- İşaret işleme teknikleri kullanarak EEG işaretlerinden migren hastalığının karakteristiklerinin belirlenmesi
Determination of the characteristics of migraine by using signal processing techniques from EEG signals
SELAHADDİN BATUHAN AKBEN
Doktora
Türkçe
2012
Elektrik ve Elektronik MühendisliğiKahramanmaraş Sütçü İmam ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET ALKAN