Derin öğrenme modelleri kullanarak ses işaretlerinden sahtecilik tespiti
Forgery detection from audio signals using deep learning models
- Tez No: 889884
- Danışmanlar: PROF. DR. YAŞAR BECERİKLİ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Kocaeli Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 114
Özet
Teknolojinin ilerlemesi sayesinde günümüzde dijital multimedya kaynaklarından olan ses, görüntü ve video alanında profesyonel eğitim almamış kişiler bile cep telefonları, akıllı cihazlar, çeşitli web uygulamalarını kullanarak ses, görüntü ve video verileri üzerinde çok kolay bir şekilde iyi ya da kötü niyetli değişiklikler yapabilmektedir. Yapılan bu manipülasyon işlemleri verilerin bütünlüğü, güvenilirliği ve gerçekliği üzerinde şüphe uyandırmaktadır. Yapılan manipülasyonlar ile dijital multimedya verileri şantaj, mahkemede sahte delil olarak kullanma, otomatik konuşmacı doğrulama sistemlerini yanıltmak vb. gibi çeşitli amaçlar için kullanılabilmektedir. Bu sebepten bir dijital multimedya verisinin kullanımından önce bütünlük ve güvenilirliğinin doğrulanması oldukça kritiktir. Bu tez çalışmasında güvenlik ve adli bilişim konuları için oldukça önemli olan ses biyometrisi üzerine çalışmalar yapılmıştır. Literatürde tespit edilmesi oldukça zorlu bir problem olduğu belirtilen ses kopyala-yapıştır sahteciliği üzerine çalışmalar yapılıp başarılı sonuçlar elde edilmiştir. Çalışmanın ilk aşamasında TIMIT veri kümesi kullanılarak ses kopyala-yapıştır sahteciliği içeren ses veri kümeleri oluşturulmuştur. İkinci aşamada bu veri kümesi üzerinde sinyalin sesli ve sessiz bölgeleri tespit edilerek segmentlerine ayrılmıştır. Üçüncü aşamada segmentlerine ayrılan bu ses parçaları üzerinde Mel frekansı tabanlı öznitelikler, doğrusal öngörü katsayıları elde edilmiştir. Dördüncü aşamada elde edilen özellikler istatiksel tabanlı yöntemlere ve derin öğrenme modellerine verilerek karar verme ve sınıflandırma işlemleri gerçekleştirilmiştir. Ayrıca bu çalışmada ses sinyallerinde kopyala-yapıştır sahteciliğini tespit edebilmek için ham sinyal verileri kullanılarak derin öğrenme tabanlı modeller uygulanmıştır. Çalışmanın son aşamasında ses sahteciliği çalışmalarında kullanılmak üzere çeşitli senaryolar dikkate alınarak KOU-AFD isimli ses veri kümesi oluşturulmuştur. Oluşturulan bu veri kümesi üzerinde TIMIT veri kümesi kullanılarak en iyi sonuç veren modeller uygulanmış ve KOU-AFD veri kümesi üzerindeki performans analizleri yapılmıştır.
Özet (Çeviri)
With the advancement of technology, even people who have not received professional training in the field of audio, image and video, which are digital multimedia resources, can easily make good or malicious manipulation to audio, image and video data using mobile phones, smart devices, and various web applications. These manipulation operations raise doubts about the integrity, reliability and authenticity of the data. With the manipulations, digital multimedia data can be used for blackmail, false evidence in court, misleading automatic speaker verification systems, etc. For this reason, it is crucial to verify the integrity and reliability of a digital multimedia data before its use. In this thesis, voice biometrics experiments which are essential for security and forensic informatics, have been carried out. In the literature, voice copy-move forgery detection, which is stated to be a very difficult problem to detect and successful results is obtained. In the first part of the study, audio datasets containing voice copy-move forgery were generated using the TIMIT dataset. Then, the silent and unsilent regions of the signal is detected and segmented on this dataset. Next, Mel frequency-based features and linear prediction coefficients is obtained on these audio segments. Then, the features is classified using statistical based methods and deep learning models for decision making. Furthermore, deep learning based models were applied, using copy-move forgery detection in audio signals by using raw signal data, too. Last, an audio dataset named KOU-AFD is generated considering various scenarios to be used in audio forgery studies. the models have best results is applied on the TIMIT dataset is used on the KOU-AFD dataset and best results are given as comprehensive in the thesis.
Benzer Tezler
- Source separation via weakly-supervised and unsupervised deep learning
Zayıf denetimli ve denetimsiz derin öğrenme ile kaynak ayrıştırma
ERTUĞ KARAMATLI
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET CELAL CEM SAY
DR. ÖĞR. ÜYESİ SERAP KIRBIZ ŞİMŞEK
- Derin öğrenme metodlarını kullanarak arapça metin tabanlı duygu analizi
Arabic text-based senti̇ment analysi̇s using deep learning methods
MARIAM ABAKAR NOKOUR
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EYYÜP GÜLBANDILAR
- Advanced techniques and comprehensive analysis in speech emotion recognition using deep neural networks
Derin sinir ağları kullanarak konuşma duygu tanıma üzerine gelişmiş teknikler ve kapsamlı analiz
AHMET KEMAL YETKİN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- A new nonlinear lifting line method for configuration aerodynamics and deep learning based aerodynamic surrogate models
Konfigürasyon aerodinamiği analizi ve derin öğrenme bazlı aerodinamik dijital model oluşturmak için yeni bir doğrusal olmayan taşıyıcı çizgi metodu
HASAN KARALİ
Yüksek Lisans
İngilizce
2020
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. MAHMUT ADİL YÜKSELEN
PROF. DR. GÖKHAN İNALHAN
- Classification of abnormal respiratory sounds using deep learning techniques
Solunum seslerinin derin öğrenme yöntemleri ile sınıflandırılması
AHAMADI ABDALLAH IDRISSE
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. OKTAY YILDIZ