Mel spektrogram temsilleri kullanılarak ses dosyalarında kopyala-taşı sahteciliğinin tespiti
Detection of copy-move forgery in audio files using Mel spectrogram representations
- Tez No: 993458
- Danışmanlar: DR. ÖĞR. ÜYESİ ŞEYMA YÜCEL ALTAY
- Tez Türü: Yüksek Lisans
- Konular: Adli Tıp, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Forensic Medicine, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Kriptoloji, Sahtecilik, Cryptology, Falsification
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Atatürk Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Amaç: Bu çalışmada, ses düzenleme yazılımları ve yapay zeka destekli araçların yaygınlaşmasıyla artan ses kopyala-taşı sahteciliğinin tespitine yönelik, Mel spektrogram görüntüleri üzerinde anahtar nokta tabanlı bir yöntem geliştirilmesi amaçlanmıştır. Yöntem: Ses kayıtları öncelikle Mel spektrogram görüntülerine dönüştürülmüş ve ön işleme aşamaları uygulanarak daha kararlı bir temsil elde edilmiştir. Ardından iki farklı anahtar nokta tabanlı yaklaşım kullanılmıştır. Birinci yaklaşımda, SIFT ve FAST ile anahtar nokta tespiti yapılmış; SIFT anahtar noktaları SIFT tanımlayıcıları ile, FAST anahtar noktaları FREAK tanımlayıcısı ile tanımlanmıştır ve elde edilen özellikler birleştirilerek benzerlik (sahtecilik) analizi gerçekleştirilmiştir. Yanlış eşleşmeleri azaltmak için RANSAC ile aykırı eşleşmeler elenmiştir. İkinci yaklaşımda ise anahtar noktalar AGAST ve Harris operatörleri ile belirlenmiş, FREAK ile tanımlanmış ve yanlış eşleşmeleri azaltmak için RANSAC ile aykırı eşleşmeler elenmiştir. Bulgular: Anahtar nokta tespiti, tanımlayıcıların birleştirilmesi, eşleştirme ve RANSAC ile aykırı eşleşmelerin elenmesi gibi adımların toplam performansı önemli ölçüde etkilediği tespit edilmiştir. Mel spektrogram üzerinde uygulanan ön işlemenin, anahtar noktaların belirginliğini ve eşleşmelerin tutarlılığını doğrudan etkilediği gözlemlenmiş ve sahte-orijinal ayrımında kararın güvenilirliğini artırdığı gözlemlenmiştir. Tanımlayıcı özellik vektörlerinin birleştirilmesi, eşleşme sayısını artırarak anahtar nokta eşleştirmelerinin daha kararlı ve güvenilir biçimde yapılmasını sağlamış ve bu durumun, doğru eşleşme oranını yükselterek sahteciliğin daha doğru tespit edilmesine katkıda bulunduğu belirlenmiştir. İşlem sonrası adımlara ilişkin olarak, 64 kbps kayıplı sıkıştırmanın bazı spektral ayrıntıları zayıflatabileceği ve eşleştirme güvenilirliğini azaltabileceği, buna karşılık medyan filtrelemenin geliştirilen yöntem üzerinde belirgin bir olumsuz etki yaratmadığı değerlendirilmiştir. Gauss gürültüsü 20 dB işleminde anahtar nokta eşleşmelerinin büyük oranda azaldığı ve Gauss gürültüsü 30 dB işleminin 20 dB'ye göre Mel spektrogram görüntüsünü fazla etkilemediği tespit edilmiştir. RANSAC kullanımının yanlış eşleşmeleri eleyerek olumsuz etkilerin azaltılmasında önemli bir rol oynadığı görülmüştür. Ayrıca saldırı şiddeti arttıkça sahte bölgelerin özgün desenlerinin daha fazla bozulduğu ve bunun da sahteciliğin tespitini zorlaştırdığı sonucuna ulaşılmıştır. Sonuç: Bu çalışmanın, adli bilişim ve güvenlik uygulamalarında kullanılabilecek düzeyde güvenilir ve rekabetçi bir çözüm sunduğu; ancak güçlü gürültü koşullarında daha güçlü ön işleme ve özellik çıkarımı stratejileriyle performansın daha da artırılabileceği değerlendirilmiştir.
Özet (Çeviri)
Purpose: In this study, it is aimed to develop a keypoint-based method on Mel spectrogram images for detecting audio copy-move forgery, which has increased with the widespread use of audio editing software and artificial intelligence (AI-assisted) tools. Method: Audio recordings were first converted into Mel spectrogram images, and a more stable representation was obtained by applying pre-processing steps. Then, two different keypoint-based approaches were used. In the first approach, keypoint detection was performed with SIFT and FAST; SIFT keypoints were described with SIFT descriptors, and FAST keypoints were described with the FREAK descriptor, and the obtained features were combined to perform similarity (forgery) analysis. To reduce false matches, outlier matches were eliminated using RANSAC. In the second approach, keypoints were determined using AGAST and Harris operators, described with FREAK, and outlier matches were eliminated using RANSAC to reduce false matches. Findings: It was determined that steps such as keypoint detection, descriptor fusion, matching, and eliminating outlier matches with RANSAC significantly affect the overall performance. It was observed that the pre-processing applied on the Mel spectrogram directly influences the distinctiveness of keypoints and the consistency of matches, thereby increasing the reliability of the decision in forged-original discrimination. It was found that combining descriptor feature vectors increases the number of matches, enabling more stable and reliable keypoint matching, and thus contributes to more accurate forgery detection by improving the correct matching rate. Regarding post-processing steps, it was evaluated that 64 kbps compression may weaken certain spectral details and reduce matching reliability, while median filtering does not produce a noticeable negative effect on the developed method. Under 20 dB Gaussian noise, keypoint matches were observed to decrease significantly, and it was determined that 30 dB Gaussian noise affects the Mel spectrogram image less compared to 20 dB. The use of RANSAC was found to play an important role in mitigating negative effects by removing false matches. In addition, it was concluded that as the attack severity increases, the original patterns of the forged regions are more heavily distorted, which makes forgery detection more difficult. Result: It was evaluated that this study provides a reliable and competitive solution that can be used in digital forensics and security applications. However, under strong noise conditions, the performance could be further improved with more robust pre-processing and feature extraction strategies.
Benzer Tezler
- Classification of abnormal respiratory sounds using deep learning techniques
Solunum seslerinin derin öğrenme yöntemleri ile sınıflandırılması
AHAMADI ABDALLAH IDRISSE
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. OKTAY YILDIZ
- Derin öğrenme teknikleri kullanılarak Parkinson hastalığının konuşma sinyallerinden tespiti
Detection of Parkinson's disease from speech signals using deep learning techniques
AYŞE NUR TEKİNDOR
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. EDA AKMAN AYDIN
- Derin öğrenme modelleri kullanılarak ses verileri ile parkinson hastalığı erken evre tespiti
Early detection of parkinson's disease from voice data using deep learning approaches
NUR BANU HANCI
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik MühendisliğiTrakya ÜniversitesiHesaplamalı Bilimler Ana Bilim Dalı
PROF. DR. OĞUZHAN ERDEM
- Derin öğrenme tabanlı spektro-temporal ve cnn özellik birleşimi ile derin sahte ses tespiti ve sentezleyici tanıma
Deep learning-based spectro-temporal and cnn feature fusion for deepfake speech detection and synthesizer recognition
BUKET SOYHAN
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZUHAL CAN
- Hand crafted versus learned representations for audio event recognition
Ses olayları tanımı için elle çıkarılmış ve öğrenilmiş özniteliklerin karşılaştırılması
SELVER EZGİ KÜÇÜKBAY
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SİNAN KALKAN